from 重複してもよい

数値微分で勾配を求めるたとえ

縦軸は良さ、横軸は探索空間

観測が一点だけの場合、どちらに進めば良いかわからない

観測が二点あると、その二つを比較して「より良くなる方向」を知ることができる

これは数値微分によって勾配を求めている

図では右に進むと大きくなると判断している

図では探索空間が1次元なので左と右しかないが、一般には探索空間は高次元

勾配の方向に進むことで、より良い結果が得られる

これが最急降下法