シミュレーションの世界に引きこもる部屋

勾配降下法をプログラム的に確認する方法としてニューラルネットワークではなく、任意の関数に試す方法がある。三角関数と二次関数を合成したもので試す。プログラムのフローを記載。

勾配降下法に概念レベルの説明。連鎖律含めた一連の流れを誤差逆伝播法と言う。ただし、単純パーセプトロンの段階では逆伝播という言葉にしておく。まずは勾配降下法のみの実験をやってみる。

多変数関数の連鎖律について説明。ニューラルネットワークを想定した場合の多変量関数の連鎖律について説明。ニューラルネットワークの学習を想定した場合、暗黙的に追加される関数として入力群がある。

多変数関数の連鎖律に突入したが、これを理解するのに必要な知識があるため、それらを列挙。合成関数について説明。合計関数の微分(連鎖律)について説明。合成関数の微分(連鎖律)の証明を実施。

ニューラルネットワークの学習を想定した場合、暗黙的に追加される関数として入力群がある。イメージ的に1層増える感じになる。これはバッチ学習、ミニバッチ学習時の起きる現象。と言っても、微分すると重みが消えるので足し算に化ける。

ニューラルネットワークを想定した場合の多変量関数の連鎖律について説明。入力から見た際の関数の伝達ルートが複数になる。変化させたいのは入力ではなく重み。

合成関数の微分(連鎖律)の証明を実施。途中、いろいろトリッキーなことをする。結果としては、中間変数を微分、中間変数での微分の組み合わせで表現しなおせるというもの。

合計関数の微分(連鎖律)について説明。まずは1入力1出力な合成関数。合計関数の微分をするための公式はあるが、一応証明もしてみる予定。

多変数関数の連鎖律に突入したが、これを理解するのに必要な知識があるため、それらを列挙。合成関数につい説明。単純パーセプトロンも入力層の内積、活性化関数、誤差関数の組み合わせが合成関数と言える。