generated at
2/16/2025, 4:22:16 AM
Transformer
機械学習モデル
2017年に発表
"
Attention Is All You Need
"という自然言語処理に関する論文の中で初めて登場した
深層学習モデル
。
主流だった
CNN
、
RNN
を用いた
エンコーダ・デコーダモデル
とは違い、
エンコーダとデコーダを
Attention
というモデルのみで結んだネットワークアーキテクチャ
機械翻訳タスクにおいて
英独翻訳において28.4BLEU,
英仏翻訳において41.0BLEU
最良のBLEUスコアを取得(40以上で高品質とされている)
それまでの学習モデルと比較して、大幅な学習時間の短縮を実現
速いのに精度が高い
機械翻訳などの自然言語処理(
NLP
)モデルとして紹介された
モデルが簡潔なこともあり、機械翻訳以外の分野でも高い実用性。