Transformerのデコーダを使用

Open AIが作った言語モデル (GPTのv3)

めっちゃ巨大なモデル

Common Crawlというコーパス、書籍、Wikipedia等を使っている

巨大なコーパスがあると、同じ文が繰り返し出るのを防げる = 文を覚えたりしないで訓練できる

言語モデルを他の様々なタスクにも応用 (どうやって?)

タスクのタイプ

zero-shot型 (やることだけ自然言語で指定)

few-shot型 (やることの指定に加え、実例も指定)

ニュース記事生成

機械翻訳 (!?) (コーパスに少し(7%)含まれていた他言語の情報だけで、高性能の翻訳ができるように)

苦手: 合意関係認識(AがBから推論可能か判定)、二つの文を比較する学習はしていないから?