最適化アルゴリズム

数値計算

ニューラルネット入門(シグモイドで基礎をつなぐ):決定境界→逆伝播→BCEWithLogitsLoss→最適化をNumPyで

シグモイドで基礎をつなぎ、決定境界の可視化→誤差逆伝播→BCEWithLogitsLoss(logaddexp)→最適化までをNumPyの最小コードで解説します。logが「自信満々の誤り」を強く罰する理由、勾配チェックで逆伝播を検証する方法、AdamWとL2正則化の違い、pos_weightによる不均衡データ対応、NumPyの式がPyTorch APIに一致する最短ブリッジもまとめます。
数値計算

【入門】最適化アルゴリズム(Adamでの分類結果)【数値計算】

Adamだけで出てくる分類結果を確認。四角形で分類する理想的な形状。この分類結果になる場合は、誤差関数の値が一気に跳ね上がる時。これにより大域最適解を引き当てやすくなる。
数値計算

【入門】最適化アルゴリズム(Julia)【数値計算】

ニューラルネットワークの最適化アルゴリズムAdamをJuliaにて確認。学習率を0.001にしている都合、収束までは時間がかかる。勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
数値計算

【入門】最適化アルゴリズム(Scilab)【数値計算】

ニューラルネットワークの最適化アルゴリズムAdamをScilabにて確認。学習率を0.001にしている都合、収束までは時間がかかる。勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
数値計算

【入門】最適化アルゴリズム(Python)【数値計算】

ニューラルネットワークの最適化アルゴリズムAdamをPythonにて確認。学習率を0.001にしている都合、収束までは時間がかかる。勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
数値計算

【入門】最適化アルゴリズム(MATLAB)【数値計算】

ニューラルネットワークの最適化アルゴリズムAdamをMATLABにて確認。学習率を0.001にしている都合、収束までは時間がかかる。勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その113【最適化アルゴリズム⑫】

Adamだけで出てくる分類結果を確認。四角形で分類する理想的な形状。この分類結果になる場合は、誤差関数の値が一気に跳ね上がる時。これにより大域最適解を引き当てやすくなる。
数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その112【最適化アルゴリズム⑪】

ニューラルネットワークの最適化アルゴリズムAdamをJuliaにて確認。学習率を0.001にしている都合、収束までは時間がかかる。勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その111【最適化アルゴリズム⑩】

ニューラルネットワークの最適化アルゴリズムAdamをScilabにて確認。学習率を0.001にしている都合、収束までは時間がかかる。勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その110【最適化アルゴリズム⑨】

ニューラルネットワークの最適化アルゴリズムAdamをPythonにて確認。学習率を0.001にしている都合、収束までは時間がかかる。勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。