これらの2つを解決するために、Mikorovら＾2010年

時系列データの予測で利用されていた再帰的ニューラルネットワーク(Recurrent Neural Network; RNN)を使った言語モデルを提案

１．「昨日」という単語をインプットとして処理をし(下図𝑥<1>)

２．出力値(下図𝑎<1>)と「観た(2)」という単語 (下図𝑥<2>) を次のインプットとして処理

３．その出力値(下図𝑎<2>)と「映画(3)」(下図𝑥<3>)をインプットとして順番に処理