多層パーセプトロン

数値計算

ニューラルネット入門(シグモイドで基礎をつなぐ):決定境界→逆伝播→BCEWithLogitsLoss→最適化をNumPyで

シグモイドで基礎をつなぎ、決定境界の可視化→誤差逆伝播→BCEWithLogitsLoss(logaddexp)→最適化までをNumPyの最小コードで解説します。logが「自信満々の誤り」を強く罰する理由、勾配チェックで逆伝播を検証する方法、AdamWとL2正則化の違い、pos_weightによる不均衡データ対応、NumPyの式がPyTorch APIに一致する最短ブリッジもまとめます。
G検定

G検定×実務の最短ブリッジで学ぶ ニューラルネット入門エッセンシャル(決定境界・活性化・logits損失・最適化)

G検定の頻出コア(決定境界・活性化・交差エントロピー・逆伝播・最適化)を、実務の定石であるlogits前提の損失(BCEWithLogitsとsoftmax交差エントロピーは同型の安定化)へ最短でつなぎます。数式とPythonは補足なので読み飛ばしOKです。
数値計算

【入門】最適化アルゴリズム(Adamでの分類結果)【数値計算】

Adamだけで出てくる分類結果を確認。四角形で分類する理想的な形状。この分類結果になる場合は、誤差関数の値が一気に跳ね上がる時。これにより大域最適解を引き当てやすくなる。
数値計算

【入門】最適化アルゴリズム(Julia)【数値計算】

ニューラルネットワークの最適化アルゴリズムAdamをJuliaにて確認。学習率を0.001にしている都合、収束までは時間がかかる。勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
数値計算

【入門】最適化アルゴリズム(Scilab)【数値計算】

ニューラルネットワークの最適化アルゴリズムAdamをScilabにて確認。学習率を0.001にしている都合、収束までは時間がかかる。勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
数値計算

【入門】最適化アルゴリズム(Python)【数値計算】

ニューラルネットワークの最適化アルゴリズムAdamをPythonにて確認。学習率を0.001にしている都合、収束までは時間がかかる。勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
数値計算

【入門】最適化アルゴリズム(MATLAB)【数値計算】

ニューラルネットワークの最適化アルゴリズムAdamをMATLABにて確認。学習率を0.001にしている都合、収束までは時間がかかる。勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
数値計算

MATLAB,Python,Scilab,Julia比較 第4章【バックナンバー】

はじめにMATLAB,Python,Scilab,Julia比較するシリーズの第4章。第3章では画像処理、座標変換の話がメインだった。第4章は分類問題関連の話がメインとなる。基本的には以下の流れとなる。形式ニューロン決定境界線の安定化単純パ...
数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その113【最適化アルゴリズム⑫】

Adamだけで出てくる分類結果を確認。四角形で分類する理想的な形状。この分類結果になる場合は、誤差関数の値が一気に跳ね上がる時。これにより大域最適解を引き当てやすくなる。
数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その112【最適化アルゴリズム⑪】

ニューラルネットワークの最適化アルゴリズムAdamをJuliaにて確認。学習率を0.001にしている都合、収束までは時間がかかる。勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。