GitHub : https://github.com/EleutherAI/pythia

同じ公開データ∧同じ順序で学習させた16個のモデル郡

70Mから12Bまでのパラメータ幅

パラメータを増やせば性能が上がることは分かっていたが、比較検証のための要件を満たす公開されたLLMが無かった

これを解決するためにEleutherAIが提案