Project Digits
https://nvidianews.nvidia.com/news/nvidia-puts-grace-blackwell-on-every-desk-and-at-every-ai-developers-fingertipsNVIDIA Puts Grace Blackwell on Every Desk and at Every AI Developer’s Fingertips
> 各Project DIGITSは、128GBのcoherentメモリと最大4TBのNVMeストレージを搭載しています。このスーパコンピュータを使用することで、開発者は最大2000億パラメータの大規模な言語モデルを実行してAIの革新を加速できます。
> さらに、NVIDIA ConnectX®ネットワーキングを使用すると、2台のProject DIGITS AIスーパコンピュータをリンクして、最大4050億パラメータのモデルを実行できます。
Llama 3.1 405Bがターゲット?
FP4で1PFLOPS
なら500TOPSというわけか
RTX 4070(466TOPS)ぐらい?
> 速报，寄了嗷，NVIDIA Project Digits 内存带宽只有 275GB/s. 意味着跑 70B-int4 速度只能到 6.8 token/s. 如果跑 DeepSeek-R1-Distill-Qwen-32B-Q5_K_M, 大概是 12.5 token/s. 就是个更便宜的 MacMini M4 Pro。
>
> 如果信了老黄的说法，用这个跑200B的大模型，一分钟也就能吐出来2句话。
>
>