from Neural Network

すべてのデータを一気に使わずに、いくつかのデータを選んでまとめて入力にする

それぞれの勾配を計算し、パラメータの更新をする

一つ一つのデータを入れてパラメータを更新するわけではなく。

順々に取り出していき、一応すべてのデータを当たるのか

この図のN_b一つ一つが一つのバッチ。

このN_b一つをまとめて入力にし、N_b個のの目的関数の値の平均に対して各パラメータを更新する

このサンプル数N_bのことを「バッチサイズ」と呼ぶ

ミニバッチ

一回の計算に使うデータセットのこと

ミニバッチサイズ

一回の学習のために使うデータのサンプル数のこと

32~256の値を取ることが多い

バッチ学習

データを分割せずにデータ全体を一度に用いて一回の更新をする学習の仕方

参考