自然言語処理
2022/6/2 谷中瞳 https://twitter.com/verypluming
>@TJO_datasci: 近年のNN + NLP研究を網羅的に解説している素晴らしいスライド。それぞれの手法が出てきた当時はいまいちピンと来ていなかった概念がこれを読んですんなり理解できました
このような特性をもつ記号列（自然言語）を目的別に処理するのが自然言語処理
新しい言語表現が生まれ続ける
一定の文法がある
同じ単語が文脈によって意味が異なる
テキストの前処理がとても重要
深層学習以前と以後の対比
テキスト
>典型的な言語モデルには，特定のタスクを解くために大量のラベル付きデータが必要
ラベル付きデータを集めるのが大変
データが少量であっても高性能なモデルを訓練したい
事前学習が主流になった（2018ごろ〜）
>特定タスクにモデルを適応する前に大規模コーパスで学習をする
> 2018年に登場したBERTが事前学習モデルの代表例です。BERTの登場以降，その応用モデルが数々開発され，タスクによっては人間を超えるような性能が実現されました。
文章分類
文章要約
文章生成
これはエンタメにになりそう