generated at
Sigmoid関数
from Neural Network




\sigma(x)=\frac{1}{1+e^{-x}}
勾配消失がしてしまいやすい
Sigmoid関数の勾配は最大でも0.25
誤差逆伝播法を用いて勾配をかけ合わせるときにSigmoid関数があるたびに減っていくので、0に近づいてしまう
https://tutorials.chainer.org/ja/13_Basics_of_Neural_Networks.html#勾配消失

Sigmoid関数を微分するとSigmoid関数が出てくる
\sigma^{\prime}(x)=(1-\sigma(x)) \sigma(x).