MATLAB,Python,Scilab,Julia比較 第4章 その53【逆伝播④】

MATLAB,Python,Scilab,Julia比較 第4章 その53【逆伝播④】 数値計算
MATLAB,Python,Scilab,Julia比較 第4章 その53【逆伝播④】

バックナンバーはこちら。
https://www.simulationroom999.com/blog/compare-matlabpythonscilabjulia4-backnumber/

はじめに

単純パーセプトロンに対する逆伝播についての話。
誤差関数の微分について。

登場人物

博識フクロウのフクさん

指差しフクロウ

イラストACにて公開の「kino_k」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=iKciwKA9&area=1

エンジニア歴8年の太郎くん

技術者太郎

イラストACにて公開の「しのみ」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=uCKphAW2&area=1

【再掲】逆伝播を想定した単純パーセプトロンの構成

太郎くん
太郎くん

まずは、逆伝播を想定した単純パーセプトロンの構成を再掲。

逆伝播を想定した単純パーセプトロンの構成、誤差関数は二乗和誤差(SSE:Sum of Squared Error)を1/2したものを使用。1/2にしておくと微分時に消えるので便利、x1、x2、×w1、×w2、+b、A、Y、E=1/2∑_{i=1}^n(A-Y)^2
フクさん
フクさん

今回は、誤差関数の微分について。

誤差関数の位置づけ

フクさん
フクさん

逆伝播を行う上で、連鎖律を解くわけだが、
基本的にはブロック図上の後ろから解いていく。

逆伝播のブロック図(誤差関数)、W、f()、Z、σ()、A、SSE()、E
太郎くん
太郎くん

前からじゃないのか。

フクさん
フクさん

まぁ、別にどこからでも良いんだけどね。
ちなみに連鎖律で見ると前からになる。

\(
\displaystyle\frac{\partial E}{\partial W}={\color{red}\frac{\partial E}{\partial A}}\frac{\partial A}{\partial Z}\frac{\partial Z}{\partial W}
\)

太郎くん
太郎くん

そうすると、誤差関数からやる方が自然って感じになるのか。

誤差関数

フクさん
フクさん

誤差関数は二乗和誤差を1/2にした、ちょい変形したものを使用する。
これは以前説明したように、微分した際にシンプルな式になるため。

\(
\displaystyle E={\color{red}\frac{1}{2}}\sum_{i=1}^n(\hat{y}_i-y_i)^2
\)

太郎くん
太郎くん

確かにそういうこと言ってたね。

誤差関数の偏導関数

フクさん
フクさん

これにAとYを代入したものが以下

\(
\displaystyle E=\frac{1}{2}\sum_{i=1}^n(A-Y)^2=\frac{1}{2}\sum_{i=1}^n(A^2-2AY+Y^2)
\)

フクさん
フクさん

これの偏導関数が以下になる。

\(
\displaystyle \frac{\partial E}{\partial A}=\frac{1}{2}\sum_{i=1}^n(2A-2Y)=\frac{1}{2}\sum_{i=1}^n(A-Y)
\)

太郎くん
太郎くん

イヤーな感じの数式だと思ってたけど、
やってみたらそれほど複雑ではないんだね。

まとめ

フクさん
フクさん

まとめだよ。

  • 連鎖律に於ける誤差関数の位置づけを確認。
    • ブロック図的には一番後ろだが、連鎖律としては先頭。
  • 誤差関数の確認。
  • 誤差関数の偏導関数の確認。

バックナンバーはこちら。

Pythonで動かして学ぶ!あたらしい線形代数の教科書

https://amzn.to/3OE5bVp

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

https://amzn.to/3OBiaax

ゼロからはじめるPID制御

https://amzn.to/3SvzuyR

OpenCVによる画像処理入門

https://amzn.to/498ZUgK

恋する統計学[回帰分析入門(多変量解析1)] 恋する統計学[記述統計入門]

https://amzn.to/3STAe2i

Pythonによる制御工学入門

https://amzn.to/3uskuK5

理工系のための数学入門 ―微分方程式・ラプラス変換・フーリエ解析

https://amzn.to/3UAunQK

コメント

タイトルとURLをコピーしました