Cerebras-GPT: A Family of Open, Compute-efficient, Large Language Models - Cerebras

Cerebras-GPTファミリーは、オープンなアーキテクチャとデータセットを用いたLLMのスケーリング法則の研究を促進し、CerebrasソフトウェアとハードウェアスタックでLLMをトレーニングすることの簡便性とスケーラビリティを実証するためにリリースされました。Cerebras-GPTの全モデルは、Hugging Faceで利用可能です。

 ファミリーは、111M、256M、590M、1.3B、2.7B、6.7B、13Bのモデルがあります。

 Cerebras-GPTファミリーのすべてのモデルは、計算機最適化である

スケーリング法則（モデルパラメータあたり20トークン）に従って学習されています。

Cerebras Releases 7 GPT-based Large Language Models for Generative AI

させたLLMのパイオニアである。