generated at
BERT
Bidirectional Encoder Representations from Transformers


Google製
/miyamonz/自然言語処理の「BERT」とは何か
/miyamonz/BERT

https://ja.wikipedia.org/wiki/BERT_(言語モデル)


従来の自然言語処理は特定のタスクに特化していたものを作っていたが、BERTが出てきて汎用的なモデルができちゃった
2018年頃
教師なし学習
Masked Language Modeling