MATLAB,Python,Scilab,Julia比較 第4章 その46【勾配降下法④】

MATLAB,Python,Scilab,Julia比較 第4章 その46【勾配降下法④】 数値計算
MATLAB,Python,Scilab,Julia比較 第4章 その46【勾配降下法④】

バックナンバーはこちら。
https://www.simulationroom999.com/blog/compare-matlabpythonscilabjulia4-backnumber/

はじめに

勾配降下法をプログラム的に確認する。
今回はMATLAB。

登場人物

博識フクロウのフクさん

指差しフクロウ

イラストACにて公開の「kino_k」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=iKciwKA9&area=1

エンジニア歴8年の太郎くん

技術者太郎

イラストACにて公開の「しのみ」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=uCKphAW2&area=1

【再掲】勾配降下法の確認プログラムのフロー

太郎くん
太郎くん

とりあえず、勾配降下法の確認プログラムのフローを再掲

  • 目的関数の定義
  • 目的関数の導関数の定義
  • 入力初期値設定
  • ハイパーパラメータの設定
  • 勾配降下法の実装
  • 結果表示
  • グラフへのプロット
フクさん
フクさん

これをMATLABで実施する。

MATLABコード

フクさん
フクさん

MATLABコードは以下。

% 目的関数の定義(例: f(x) = sin(5x) + 0.5x^2)
f = @(x) sin(5*x) + 0.5*x.^2;

% 目的関数の微分(例: df(x)/dx = 5cos(5x) + x)
df = @(x) 5*cos(5*x) + x;

% 初期値の設定
x = 2.9; % 初期値

% ハイパーパラメータの設定
learning_rate = 0.1; % 学習率
max_iterations = 100; % 最大イテレーション数

% 学習過程を保存するための変数
x_history = zeros(1, max_iterations);
f_history = zeros(1, max_iterations);

% 勾配降下法の実装
for i = 1:max_iterations
    % 勾配の計算
    gradient = df(x);

    % パラメータの更新
    x = x - learning_rate * gradient;

    % 学習過程の保存
    x_history(i) = x;
    f_history(i) = f(x);
end

% 結果の表示
disp('optimal solution:');
disp(x);
disp('optimal value:');
disp(f(x));

% グラフのプロット
figure;
subplot(2, 1, 1);
x_vals = linspace(-3, 3, 100);
f_vals = f(x_vals);
plot(x_vals, f_vals);
hold on;
scatter(x_history, f_history, 'r');
xlabel('x');
ylabel('f(x)');
title('Objective Function');
grid;

subplot(2, 1, 2);
plot(1:max_iterations, f_history);
xlabel('Iteration');
ylabel('f(x)');
title('Learning Process');
grid;

処理結果

フクさん
フクさん

処理結果は以下。

勾配降下法(MATLAB)
optimal solution:
    1.9360

optimal value:
    1.6214

考察

太郎くん
太郎くん

案の上ではあるけど、
局所最適解に陥ってる状態か。

フクさん
フクさん

そうだね。
最終的には入力が1.9360、その出力が1.6214。

太郎くん
太郎くん

これはどうすれば解決するんだ?

フクさん
フクさん

一般的には学習率を大きくすると、
山を越えて、次の谷を探しに行けるが、
問題は、この山を越えられる学習率に設定すると、
大域最適解の前後にある山も越えられちゃうってところだな。

太郎くん
太郎くん

まじかよ。
全然解決じゃ無ぇ。

フクさん
フクさん

これに関しては様々な最適化アルゴリズムが考案されている。
代表的なものは、以下かな。

  • モーメンタム
    • 過去の傾きに応じて学習率を補正して傾きが小さくなると学習率も小さくなる。
  • AdaGrad
    • 2次の勾配の累積の平方根を分母にし、学習率を調整
  • Adam
    • 1次の勾配と2次の勾配の指数平均移動をとり、2次の平方根を分母、1次を分子として学習率を調整
太郎くん
太郎くん

ようわからんが、学習率を固定にしないで、勾配に応じて調整するってことか。

フクさん
フクさん

基本的な考え方は、モーメンタムを見た方が良いだろう。
Adam以降の最適化アルゴリズムもあるが、Adamベースであることが多いようだな。

まとめ

フクさん
フクさん
  • 勾配降下法の実験をMATLABで実施。
  • 予想通り局所最適解に陥った。
  • 局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。
    • モーメンタム、AdaGrad、Adamなどなど。

バックナンバーはこちら。

Pythonで動かして学ぶ!あたらしい線形代数の教科書

https://amzn.to/3OE5bVp

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

https://amzn.to/3OBiaax

ゼロからはじめるPID制御

https://amzn.to/3SvzuyR

OpenCVによる画像処理入門

OpenCVによる画像処理入門 改訂第3版 (KS情報科学専門書)
◆◆3言語(C言語、C++、Python)対応で、「画像処理の基本」が身につくと、大好評のテキストの改訂版!◆◆ ・OpenCV4.5に対応し、さらにパワーアップ! ・基本アルゴリズムとサンプルプログラムが豊富で、いますぐできる! ・理論と...

恋する統計学[回帰分析入門(多変量解析1)] 恋する統計学[記述統計入門]

https://amzn.to/3STAe2i

Pythonによる制御工学入門

https://amzn.to/3uskuK5

理工系のための数学入門 ―微分方程式・ラプラス変換・フーリエ解析

https://amzn.to/3UAunQK

コメント

タイトルとURLをコピーしました