数値計算 MATLAB,Python,Scilab,Julia比較 第4章【バックナンバー】
はじめに MATLAB,Python,Scilab,Julia比較するシリーズの第4章。 第3章では画像処理、座標変換の話がメインだった。 第4章は分類問題関連の話がメインとなる。基本的には以下の流れとなる。 形式ニューロン 決定境界線の安...
KEI
数値計算 
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その114【本章のまとめ】
分類問題を扱って第4章終了。
最も原始的なニューラルネットワークをやったことでディープラーニングの基礎部分は把握できたかもしれない。
次の章はこれから考える。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その113【最適化アルゴリズム⑫】
Adamだけで出てくる分類結果を確認。
四角形で分類する理想的な形状。
この分類結果になる場合は、誤差関数の値が一気に跳ね上がる時。
これにより大域最適解を引き当てやすくなる。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その112【最適化アルゴリズム⑪】
ニューラルネットワークの最適化アルゴリズムAdamをJuliaにて確認。
学習率を0.001にしている都合、収束までは時間がかかる。
勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その111【最適化アルゴリズム⑩】
ニューラルネットワークの最適化アルゴリズムAdamをScilabにて確認。
学習率を0.001にしている都合、収束までは時間がかかる。
勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その110【最適化アルゴリズム⑨】
ニューラルネットワークの最適化アルゴリズムAdamをPythonにて確認。
学習率を0.001にしている都合、収束までは時間がかかる。
勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その109【最適化アルゴリズム⑧】
ニューラルネットワークの最適化アルゴリズムAdamをMATLABにて確認。
学習率を0.001にしている都合、収束までは時間がかかる。
勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
数値計算 【入門】最適化アルゴリズム③【数値計算】
各最適化アルゴリズムの依存関係を記載。
1次の勾配で勢いをつけて、2次の勾配で抑制するというのが全体を通しての共通点。
Adamの更新式を実現するためのプログラムフローを記載。
学習率は0.001とかなり小さめの値に設定。
これにより収束は遅くなる。
かわりに特殊な最適解が得られるのでそれを確認する。
数値計算 【入門】最適化アルゴリズム②【数値計算】
AdaDeltaについて説明。
RMSpropの拡張版に当たる。
最適化アルゴリズムAdamについて説明。
モーメンタムとRMSpropの合わせ技。
1次の勾配と、2次の勾配の指数移動平均を使用する。
数値計算 【入門】最適化アルゴリズム①【数値計算】
もう一個試す予定の最適化アルゴリズムAdamへ至る系譜を説明予定。
AdaGradについて説明。
更新式をモーメンタムと比較。
RMSpropについて説明。
AdaGradの完了版であるため、AdaGradと更新式を比較。