数値計算

シグモイド関数、シグモイド関数の導関数の再掲と、シグモイド関数のオイラー法による微分の数式を確認。 上記を実現するプログラムを作成して、似た波形になればOKと見なす。 シグモイド関数の導関数は有名なので間違っていることは無いはず。

いままでの公式達を再掲。 商の微分公式を使ってシグモイド関数の導関数を求めた。 本当に導関数になっているか、オイラー法で求めたシグモイド関数の微分のプロットと比較してみる。

商の微分方式の話。 逆数の微分公式と積の微分公式の合わせ技で導出。 商の微分方式はシグモイド関数の導関数導出で生きてくる。

積の微分公式を導出。 少しトリッキーなことをする。 f(x)の極限と、g(x)の極限に分けられるような細工。

連鎖律を把握するための知識を列挙。 恐らく数式ラッシュになる。 まずは逆数の微分公式。 途中、式を分解してそれぞれの導関数を求めてから代入で導出できる。

総当たり法では非効率なので最適化アルゴリズムを使用する。 最適化アルゴリズムを使用するには連鎖律が必要。 連鎖律を利用するには損失、活性化関数、各層の入力の導関数を求める必要がある。