generated at
AI and Memory Wall
https://arxiv.org/abs/2403.14123AI and Memory Wall
from 💬雑談
AI and Memory Wall
> Bilzard(@bilzrd)
> AI and Memory Wall (Mar 2024)
>
> 学習コストのスケール則はHWのスケール則より遥かに早い
>
> モデル
> - モデルパラメータ: x410/2y
> - 学習コスト: x750/2y
>
> HW
> - computing: x2/2y
> - メモリ容量と転送速度: x1.6/2y, x1.4/2y
>
> →HWのメモリがますますボトルネックになりつつある
>
やっぱりこの側面から見てもメモリ効率を上げつつ学習する手法はそう遠からず必要になる未来が待ち構えてそうね…morisoba65536
DeepSeek V3/DeepSeek-R1がなくても数年以内にメモリ効率が頭打ちになるので8bitでの学習などに(及び次のステップとしては4bit量子化での学習など…)(先端技術サイドは)向き合わないといけない…morisoba65536