MATLAB,Python,Scilab,Julia比較 第4章 その91【モーメンタム①】

いや、まだだ。

以前、分類の安定化の対策の一つに最適化アルゴリズムを入れる話をしたと思う。

まぁ、本来はもっと複雑なネットワークで起きる問題に対しての対策案だから、
今回の問題に対しては効能は無いと思うのだが、
とりあえずやってみようって話。

端的に言うと、学習率を動的に調整していい感じに学習が進むような仕掛けだな。

勾配降下法としてはそうだな。
それ以外の最適化アルゴリズムだと、初期値としての学習率はハイパーパラメータだが、
その後の学習率は状況に応じて変動するのが一般的だ。

そうそう。

理想はそうだけど、実際はいろいろうまく行かないパターンも多いようだ。
そのため様々な最適化アルゴリズムが生まれている。

むっちゃ大量にある。

流石にそれは無理があるな。
比較的シンプルなものを一つ、主流なもののベースとなっているものを一つの計二つくらいが妥当だろう。

最もシンプルな最適化アルゴリズムは勾配降下法。
そして、それをベースに少し拡張したものがモーメンタム。
今回はこのモーメンタムを扱う。

以下の流れかな。

そうだね。
具体的な更新式は見せたことなかったと思うから、
復習も兼ねて確認しておこう。

まとめだよ。

• 最適化アルゴリズムを取り扱う。
  • 今回のネットワークだとさほど恩恵はないが知っていて損はない。
• まずはモーメンタムから解説＆実験をしていく。
  • 最初は復習を兼ねて勾配降下法についても確認する。