>shota7180 サムアルトマン曰く、LLMの時代は終わりつつあるらしい。この記事が気になったから要約をシェア

> #OpenAI のCEO サム(@sama)曰く、

> LLMの開発時代が終わりに近づいている

> ┠GPT-4の開発は1億ドル以上の費用がかった

> ┠今後のAI技術向上はモデルのサイズを拡大では寄与しない

> ┠他の方法で実現されると予想

> ┗GPT-4の一部の知能は、モデルのサイズに依存しない手法で活用されている可能性がある

>

> 他の企業や研究機関もLLMの開発に注力

> ┠#Microsoft の #Bing #Google の #Bard など

> ┗GPT-4以降はスケールアップによる効果が減少。

> ┃┠物理的な制約もある

> ┃┗最後の大きな進歩なんじゃない？

> ┗今後のAI技術向上は、スケールアップ以外がメインに

>

> 今後のAI技術向上

> ┠以下2つによって実現される

> ┃┠新たなAIモデルの設計

> ┃┗人間のフィードバックに基づくチューニング

> ┠GPT-2と-3は、15億パラと1750億パラ

> ┃┗モデルのサイズが増加することで性能が向上

> ┠GPT-4のサイズは公開されていない

> ┃┗サイズが最も重要でないため？

> ┠ 人間のフィードバックを用いた強化学習が、GPT-4の性能向上に一役買っている可能性がある。

>

> GPT-4でもたらされる未来

> ┠未来

> ┃┠経済の変革

> ┃┠雇用の喪失

> ┃┠デマ拡散

> ┃┗など

> ┠Elon Musk(@elonmusk )らが、6か月間開発停止するよう求めた

> ┗が、サムは、現在GPT-5の開発は行っていないと述べた

>