FP8

短浮動小数点数もここまで来たかｗ　6 bit まで縮めて昔の 6 bit コンピュータ 3+3 の octal 時代へ帰ろう.

We're pleased to support FP8 alongside @Intel and @NVIDIA to drive forward AI development.

This allows developers to leverage existing implementations and accelerate adoption across platforms, giving you more time to focus on innovation where it matters: https://t.co/jiGDakIzuI pic.twitter.com/VwzPgL22aT
— Arm (@Arm) 2022年9月15日

エネルギー消費、データ移動の律速がメモリー移動である以上、短ければ短いほど良し。36 bit ないし 48 bit の浮動小数点数も復活させて 64 bit 倍精度を排しようｗ

“Mixed Feelings About Mixed Precisions,” a BoF @Supercomputing #SC22 with @luszczekhpc @ICL_UTK.

Do you really think mixed precision techniques are a free lunch? Come / share your experiences w/ experts in applications, runtimes, sw/hw, & more! #HPC #GPU https://t.co/u6YTYFQFS1 pic.twitter.com/Jahvuc5I9E
— Hatem Ltaief (@HatemLtaief) 2022年9月15日

（ネタ元 HPC Guru リツイート）

HPC の今後予想

おじいちゃんの寝言が半分、示唆に富む話が半分のプレプリ。日本の地球シミュレータ、富岳も一寸出てきます。

Apple、amazon、Google 等が巨大な資本を投下して、チップからソフトまで垂直統合で内製開発しており、従来のコンピュータ会社や政府機関の予算をはるかに超えているので、もう今までのようなスパコン開発の未来が見えないという感じでしょうか。

The chart used by John Shalf is from the paper by @HPCDan, Dennis Gannon & @jdongarra

Reinventing High Performance Computing: Challenges and Opportunitieshttps://t.co/ovKFCv9lPi #HPC #AI #Cloud #PPAM22 via @siserte https://t.co/P77Xb2A1JA
— HPC Guru (@HPC_Guru) 2022年9月12日

There’s a new world order in the computing ecosystem and it has profound implications for the future of #HPC

It’s not just money that flows to FAANG/BAT/MAMAA/MATANA - it’s also talent and who drives R&D and determines system configuration #AI #Cloud pic.twitter.com/ZRYVLNEqv0
— HPC Guru (@HPC_Guru) 2022年9月12日

その場合、AI とか youtube ビデオ圧縮とかが主となるので、従来の科学技術用倍精度などは優先度が下がらざる負えぬことになります。ここ２０年ばかりの民生品を買ってきて組み合わせるだけでいい時代が終わって、利用目的とすり合わせで作る時代に戻るようです。富岳がその始まりの成功例となっている認識です。

ドンガラ関連スライド

#HPC: Where We Are Today And A Look Into The Future - presentation by Jack Dongarra (@jdongarra) at PPAM 2022

PowerPoint slides: https://t.co/f4w6RnzB68 #Exascale #AI via @ogawa_tter pic.twitter.com/HtAumgvPgP
— HPC Guru (@HPC_Guru) 2022年9月22日

Jim Keller のご託宣

チップ設計の天才の次回作は、AI に RISC-V のチップを設計させるようです。

🧵 Recommended viewing: @tenstorrent President & CTO Jim Keller discusses the past and future of computer design in Bangalore, India

Several thought provoking insights in this talk - but the audio is bad and the video truncatedhttps://t.co/GUkvw4Xs7y #AI #HPC via @ogawa_tter
— HPC Guru (@HPC_Guru) 2022年9月11日