GPTとはGenerative Pretrained Transformerの略

をベースにした事前学習した大規模言語モデル

2018年にOpenAIが発表した初期段階のモデル

BookCorpusという名の、さまざまなジャンル約7,000冊を含む書籍データセットで事前学習した後、ファインチューニングと呼ばれるタスクに適した処理をしていく2段階モデルが特徴的

2015年イーロン・マスクを筆頭に、起業家、実業家などから援助をうけ、非営利団体のAI研究組織であるOpenAIが誕生

2017年「Attention is all you need」という論文で

GPT-2ではより多くのテキストデータから事前学習を行い、パラメータ数を15億個と大幅に増やしている。さまざまなタスクにおいて事前学習したモデルだけで高い性能を示し、常識的な推論の出力を得られるまでになった。

45TBもの膨大なテキストデータから事前学習を行なっている。パラメータ数は1,750億個。

ほとんどのタスク処理において人間と同等以上の能力を発揮し、大きなブレークスルーとなった。