対数双線形モデル
対数双線形言語モデル
あるcontext cの元での次の単語の出現確率が
P(w|c) = \frac{\exp (\phi(w)\cdot c)}{\sum_{w'\in V} \exp (\phi(w)\cdot c)}
となるという言語モデル。\phi は適当な単語の埋め込み関数
A. Mnih and G. Hinton (2007)では単なる内積よりもうちょっと高度
同様に内積をとってからソフトマックスするのが内積注意(2015)
対数双線形モデル
Log Bilinear Language Model
A. Mnih and G. Hinton (2007)
"Three new graphical models for statistical language modelling",
ICML, pp. 641–648, http://www.cs.utoronto.ca/~hinton/absps/threenew.pdf
A. Mnih, Y. Zhang, and G. Hinton (2009)
"Improving a statistical language model through non-linear prediction",
Neurocomputing, vol. 72, no. 7-9, pp. 1414 – 1418