fortran66のブログ

fortran について書きます。

【メモ帳】メモリー階層レイテンシー

intel parallel universe magazine vol.37 p.7 より

software.intel.com

f:id:fortran66:20190904004641p:plain
latency

1nsを1秒に換算すると、おおよそ

 階層 換算時間
レジスタ   0.1秒
キャッシュ 1秒
DRAM   1分
不揮発メモリ  1時間
SSD 1日
HDD       100日
テープ    3年

分散メモリのネットワーク通信はSSD HDD 位、加速装置とのやり取りは不揮発メモリ位でしょうか?

レイテンシ、バンド幅

水道でいえば、

・レイテンシは蛇口をひねってから水が出るまでの時間。

・バンド幅は水がドバドバ出るか、ちょろちょろ出るかの量。

手洗いや台所では、ちょろちょろでもいいが蛇口をひねったらすぐ水が出て欲しい。(レイテンシ小が〇)風呂場やプールに水をためるなら、最初は中々水が出なくてもドバドバ出ればそれでいい。(バンド幅大が〇)

補足 

Introduction to High Performance Computing for Scientists and Engineers(2010)

f:id:fortran66:20190904220157p:plain
latency & bandwidth

Introduction to High Performance Computing for Scientists and Engineers (Chapman & Hall/CRC Computational Science)

Introduction to High Performance Computing for Scientists and Engineers (Chapman & Hall/CRC Computational Science)