Groq LPU™ Inference Engine Crushes First Public LLM Benchmark

Groq LPU™推論エンジン上で動作するMeta AIの

は 、 出力トークンのスループットにおいて 、他の全ての クラウドベースの推論プロバイダーよりも 最大18倍高速 でした。

Groqの新しいチップと新しいシステム - Vengineerの戯言

Groq の Language Processing Unitって、なんだ？ - Vengineerの戯言

Groq で LIama 2 70B を推論システムとして使った時の規模とお値段を妄想する - Vengineerの戯言

現行のシステム では、10Rack で $2M

 3rd Gen Systems では、1/2Rack で $500K と妄想しました。