>GPT-3（ジーピーティースリー、Generative Pre-trained Transformer 3）は、2020年に発表された自己回帰型の言語モデルで、ディープラーニング（深層学習）により人間のようなテキスト（文章）を生成する。プロンプト（きっかけ）として最初のテキストを与えると、そのプロンプトを継続するテキストを生成する。

>

> アーキテクチャは、デコーダのみのTransformerネットワークで、2048トークン長のコンテキストと、750億個のパラメータという前例のないサイズを持ち、保存するのに800 GBを必要とした。このモデルは、生成的な事前学習を用いて訓練され、以前のトークンに基づいて次のトークンが何であるかを予測するように訓練をされる。

>2022年3月15日、OpenAIは、GPT-3とCodexのAPIに、編集と挿入機能を持たせた新しいバージョンを「text-davinci-003」および「code-davinci-002」という名前で公開した。これらのモデルは、以前のバージョンよりも高性能であると説明され、2021年6月までのデータを用いて訓練された。2022年11月30日、OpenAIはこれらのモデルを「GPT-3.5」シリーズに属すものとし[、GPT-3.5シリーズのモデルを微調整したChatGPTをリリースした。