MATLAB,Python,Scilab,Julia比較 第4章 その27【連鎖律の前準備①】

んなわけない。

というわけで、今回からは総当たり法に代わるものとして
最適化アルゴリズムを使用する。

損失を最小にするためのアルゴリズムだな。
総当たり法も広義では最適化アルゴリズムに該当はするが、
一般的には連鎖律を用いてパラメータを調整する手法になる。

連鎖律については、恒例のWikipediaの引用。

まぁ、この手のモノにアレルギー持ってる人は多いよね。

一言でまとめると、
「複数の関数が繋がって出来てるシステムも、この導関数が分かっていれば微分結果が一発でわかる」
ってことだな。

ニューラルネットワークって、
入力層、隠れ層、出力層に分かれるのだけど、
出力層と期待値の差である損失の変化が分かれば、隠れ層、入力層の変化もわかるって仕掛けだな。
ただし、問題点としては、変かさせたいのは入力や隠れ層に対しての入力ではなく、重みやバイアス。
つまり、重みとバイアスの変位と損失の変位の関係性の方が重要になる。
一つずつやると確かに複雑なのだが、連鎖律を利用するとシンプルになる。
だから連鎖律が重要。
って感じ。

そして、連鎖律に重要なのが導関数。
逆に導関数さえ分かっていればチョロい。
しかし問題としては、損失、活性化関数、各層の入力の導関数を求める必要があって、
特に活性化関数が厄介。
今回はシグモイド関数を使用するので、シグモイド関数の導関数を求める必要がある。

まぁ、具体的な進め方は次回説明しよう。

まとめだよ。

• 総当たり法では非効率なので最適化アルゴリズムを使用する。
• 最適化アルゴリズムを使用するには連鎖律が必要。
• 連鎖律を利用するには損失、活性化関数、各層の入力の導関数を求める必要がある。