> 3D-Stacked DRAMは高メモリ容量と高帯域幅という、HBMとSRAMの長所を組み合わせます。

> HBM（High Bandwidth Memory）は、シリコン貫通ビア（TSV）で接続された複数のDRAMダイを垂直に積層することで高速なメモリの読み書きを実現します。この構成は従来のDRAMと比較して高速なデータ転送を可能にしますが、メモリダイとロジックダイ間の距離が従来のDRAMと同様に離れているため、帯域幅の上限は限られています。NVIDIAはHBMを広く採用し、GPUで大きなメモリ帯域幅を実現しています。

> 一方で、CerebrasやGroqなどの新興企業はSRAM（Static Random-Access Memory）を採用しています。SRAMはロジックウェハー内に直接メモリセルを埋め込むことで、ロジックウェハー内の演算器とメモリとのデータ移動を最小限に抑え、極めて高速なメモリの読み書きを実現します。しかし、SRAMには2つの重要な制限があります。DRAM（およびHBM）と比較して密度が低くなってしまうことと、ロジック回路と貴重なダイスペースを共有しなければならないことです。これらの制約により総容量が厳しく制限され、SRAMを利用する場合には、適切なメモリ容量を確保するために複数のチップを使用せざるを得ません。例えば、GroqのシステムはLlama 3.1 70Bの実行に568チップを必要とし、Cerebrasのウェハースケールエンジン（CS-3）はウェハー全体に84個の小型ダイを配置し、合計44GBのSRAMを提供します。