MATLAB,Python,Scilab,Julia比較 第4章 その63【逆伝播⑭】

バックナンバーはこちら。
https://www.simulationroom999.com/blog/compare-matlabpythonscilabjulia4-backnumber/

はじめに
登場人物
【再掲】プログラム化する数式
Scilabコード
処理結果
まとめ

はじめに

単純パーセプトロンに対する逆伝播を行う。
まずは逆伝播を行った際の重みの動き方を確認するプログラムを作成する。
今回はScilabでこれを実現する。

登場人物

博識フクロウのフクさん

イラストACにて公開の「kino_k」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=iKciwKA9&area=1

エンジニア歴8年の太郎くん

イラストACにて公開の「しのみ」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=uCKphAW2&area=1

【再掲】プログラム化する数式

太郎くん

まずは、今回プログラム化する数式を再掲。

\(
\begin{eqnarray}
\displaystyle\frac{\partial E}{\partial W}&=&(A-Y)\cdot\sigma(Z)\{1-\sigma(Z)\}\cdot X\\
&=&\sum \Bigg\{\Bigg(\begin{bmatrix}a_1\\a_2\\a_3\\a_4\end{bmatrix}-\begin{bmatrix}0\\0\\0\\1\end{bmatrix}\Bigg)\Bigg\}\circ
\sigma\Bigg(\begin{bmatrix}z_1\\z_2\\z_3\\z_4\end{bmatrix}\Bigg)
\Bigg\{1-\sigma\Bigg(\begin{bmatrix}z_1\\z_2\\z_3\\z_4\end{bmatrix}\Bigg)\Bigg\}
\begin{bmatrix}1&1\end{bmatrix}
\begin{bmatrix}0&0\\0&1\\1&0\\1&1\end{bmatrix}
\end{eqnarray}
\)

フクさん

これをScilabで実現する。
重みはそれぞれ2.7近辺に収束すればOKだ。

Scilabコード

フクさん

以下がScilabコード。

// シグモイド関数の定義
function y = sigmoid(x)
    y = 1./(1 + exp(-x));
endfunction

// シグモイド関数の導関数の定義
function y = sigmoid_derivative(x)
    y = sigmoid(x).*(1 - sigmoid(x));
endfunction

// データセットの定義
X = [0 0; 0 1; 1 0; 1 1];
Y = [0; 0; 0; 1];
W = [1.0,6.0];
b = -4.0;

N = 200; // ループ回数
aW = zeros(N, 2); // 重み記録用バッファ

for i = 1:N
    // 順伝播
    Z = X * W' + b;
    A = sigmoid(Z);

    // 逆伝播
    dW = sum((A - Y) .* sigmoid_derivative(Z)*ones(1,2).*X,1);

    // パラメータの更新
    W = W - dW;
    aW(i, :) = W'; // 重みを記憶
end

plot(aW); // 重みの変化の経緯をplot
legend('w_1', 'w_2');
xgrid;

printf("W =");
disp(W); // 最終的な重み