【メモ帳】メモリー階層レイテンシー

intel parallel universe magazine vol.37　p.7 より

software.intel.com

latency

1nsを1秒に換算すると、おおよそ

階層	換算時間
レジスタ	0.1秒
キャッシュ	１秒
DRAM	１分
不揮発メモリ	1時間
SSD	1日
HDD	100日
テープ	３年

分散メモリのネットワーク通信はSSD 位 HDD 位、加速装置とのやり取りは不揮発メモリ位でしょうか？

レイテンシ、バンド幅

水道でいえば、

・レイテンシは蛇口をひねってから水が出るまでの時間。

・バンド幅は水がドバドバ出るか、ちょろちょろ出るかの量。

手洗いや台所では、ちょろちょろでもいいが蛇口をひねったらすぐ水が出て欲しい。（レイテンシ小が〇）風呂場やプールに水をためるなら、最初は中々水が出なくてもドバドバ出ればそれでいい。（バンド幅大が〇）

補足　

Introduction to High Performance Computing for Scientists and Engineers(2010)

latency & bandwidth

Introduction to High Performance Computing for Scientists and Engineers (Chapman & Hall/CRC Computational Science)