OpenAi によるLLMサービス

GPT-3 は1750億パラメータ

この時点で研究者間ではかなり話題になっていた

スケールさせることで精度がどんどん上がる

従来の統計の常識では、データを増やしすぎると精度が下がる

トランスフォーマーと自己教師あり学習を使うことでスケールするようになった

学習ステップ

Step1. 教師あり学習

ファインチューニングを行う

Step2. 報酬モデルの学習

アノテーターが良い回答例を評価する

Step3. 強化学習

大量のデータで繰り返す