2023年現在、LLMの迫力で下記の話が全部吹き飛んでいる

カウントベース

トライグラム N-gram

まあまあ良い

ゼロ頻度問題が解決できない

Kneser-Ney smoother

べき分布も再現できる

RNN言語モデル #RNNLM

BPTTは勾配消失しやすい

→LSTM