KEI

最適化アルゴリズムを通常の勾配降下法からモーメンタムに変えた際の差分を確認。モーメンタムの方が学習の収束が早い。勾配降下法で500エポックのところ100エポック。モーメンタムの場合、初期のパラメータ移動が大き目。これにより、大域最適化を見つける可能性が高くなる。

モーメンタムを確認するプログラムの方針を確認。以前の勾配降下法のプログラムをベースにする。隠れ層のユニット数は4。プログラムのフローを確認。モーメンタム項とパラメータ更新が基本的な差分となる。

モーメンタムの更新式について確認。指数移動平均を利用して直近の値を重視する。モーメンタムの動作イメージについて確認。最初は大きく更新して、最適解が近いと小さく更新。勾配降下法で言うところの学習率が可変と同義な動きになる。

勾配降下法の更新式を確認。勾配降下法の動作イメージを確認。学習率が大きい場合と小さい場合で挙動が変わる。ちょうど良い学習率を人間の手で探す。これにより、一般的なパラメータとは異なるハイパーパラメータというカテゴリになる。

最適化アルゴリズムを取り扱う。今回のネットワークだとさほど恩恵はないが知っていて損はない。まずはモーメンタムから解説＆実験をしていく。最初は復習を兼ねて勾配降下法についても確認する。

モーメンタムを確認するプログラムの方針を確認。以前の勾配降下法のプログラムをベースにする。隠れ層のユニット数は4。プログラムのフローを確認。モーメンタム項とパラメータ更新が基本的な差分となる。