損失からの情報をネットワーク上で逆向きに伝搬させる手法

任意のfについて勾配\nabla_{\boldsymbol{x}} f(\boldsymbol{x}, \boldsymbol{y})を求める

xは微分を求めたい変数の集合

yは勾配の計算が必要のない変数

これも関数の入力

誤差逆伝播のために連鎖律を求めるときに全く同じ計算を繰り返す場合がある

連鎖律を素直に実装すると現実的に計算不可能になることがある

p.196

参考

goodfellow本 6.3