Bidirectional Encoder Representations from Transformers (BERT) is a technique for NLP (Natural Language Processing) pre-training developed by Google.

BERT was created and published in 2018 by Jacob Devlin and his colleagues from Google.

Google is leveraging BERT to better understand user searches.

qiitaでBERTで検索しても結構見つかる

READMEの翻訳

ただし

TransformerのEncoder部分だけ使ってるのでそもそも構造が違うのに注意

これについて明確に述べている文章がが調べた時点ではあまりなく、注意が必要だと思った

研究してる人らにとっては当たり前でわざわざ述べてない、ということな気がする

TransformerのEncoderブロックから成る

ネットワーク側でなく学習データ側にマスクをかけている

ファインチューニングでいろんなタスクに使えるように

複数センテンス入力

１つのセンテンス入力

class label出力

start/end Span

とかがあるっぽい

ファインチューニングに関して

固定するパラメータはないはず