Viewer

最も単純なAffine Layerを用いたネットワークを例に取る

入力は、\bold{x} = (x_1,x_2,x_3)

3つの入力があり、これを1つのベクトルとして表示している

隠れ層の1つ1つは、h_1 = x_1w_{11}+x_2w_{21}+x_3w_{31}+b_1のように表される

これを一気に書くことで、

(h_1,h_2,h_3,h_4,h_5)= (x_1,x_2,x_3)\begin{pmatrix}w_{11}&w_{12}&w_{13}&w_{14}&w_{15} \\ w_{21}&w_{22}&w_{23}&w_{24}&w_{25} \\ w_{31}&w_{32}&w_{33}&w_{34}&w_{35}\end{pmatrix}+(b_1,b_2,b_3,b_4,b_5) となり、

それぞれを行列とみなすことで\bold{h}=\bold{x}\bold{W}+\bold{b}と書ける

1組の入力が3つの時、(x_1,x_2,x_3)のように表せられるが、

これを同時に5組入力する(ミニバッチ)場合、以下のようにできる

\bold{x}= \begin{pmatrix}x_{11}&x_{12}&x_{13} \\ x_{21}&x_{22}&x_{23} \\ x_{31}&x_{32}&x_{33} \\ x_{41}&x_{42}&x_{43} \\ x_{51}&x_{52}&x_{53}\end{pmatrix}　

出力の同様に5組分出てくることになる

これは、上図を5つ並列に実行しているようなイメージになる

modelは学習時にも推論時にも同じものを使う

推論時は順伝播

学習時は逆伝播