そこで、Transformerが“Attention is All You Need”という論文で提案

タイトルの通り、RNN(再帰的ニューラルネットワーク)やCNN(畳み込みニューラルネットワーク)は使わず、Attentionメカニズムだけを使うモデル