MATLAB,Python,Scilab,Julia比較 第2章 その50【正規方程式③】

MATLAB,Python,Scilab,Julia比較 第2章 その50【正規方程式③】 数値計算
MATLAB,Python,Scilab,Julia比較 第2章 その50【正規方程式③】

バックナンバーはこちら。
https://www.simulationroom999.com/blog/compare-matlabpythonscilabjulia2-backnumber/

はじめに

正規方程式を導出するまでの説明。
今回は、以下の説明。

  • グラム行列の存在とそれに伴う二次形式であることの保証について。
  • 二次形式の偏導関数を元に最小化問題化。

登場人物

博識フクロウのフクさん

指差しフクロウ

イラストACにて公開の「kino_k」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=iKciwKA9&area=1

エンジニア歴8年の太郎くん

技術者太郎

イラストACにて公開の「しのみ」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=uCKphAW2&area=1

ロードマップと前回の二乗和誤差の変形式【再掲】

太郎くん
太郎くん

恒例のロードマップ。
これの正規方程式のところだね。

正規方程式に至る道、二次形式、対称行列、二次形式の微分、グラム行列、二乗和誤差、正規方程式
フクさん
フクさん

そして、前回導出した、二乗和誤差の変形式を再掲しておこう。

\(
\begin{eqnarray}
(Ax-b)^2&=&(Ax-b)^T(Ax-b)\\
&=&(\color{blue}{x^TA^T}-b^T)(Ax-b)\\
&=&x^T\color{red}{A^TA}x-2x^TA^Tb+b^Tb
\end{eqnarray}
\)

グラム行列の存在とそれに伴う二次形式であることの保証

フクさん
フクさん

先の式の赤字の部分の\(\color{red}{A^TA}\)なんだが、
これってグラム行列なんだよね。

太郎くん
太郎くん

言われてみればそうだ!

フクさん
フクさん

よって、この部分は対称行列であることが保証される。
これにより、\(x^T\color{red}{A^TA}x\)は二次形式であることが保証される。

太郎くん
太郎くん

確かに!

二次形式の偏導関数を元に最小化問題化

フクさん
フクさん

そして、二次形式の偏導関数を用いて、最小化問題にしてしまう。
\(x^T\color{red}{A^TA}x\)の微分は\(2\color{red}{A^TA}x\)であることが保証されている。
よって以下になる。

\(
\nabla(Ax-b)^2=2A^TAx-2A^Tb
\)

太郎くん
太郎くん

どんどんシンプルになっていくなー。

フクさん
フクさん

ここまでくれば、正規方程式までもう一歩ってところだ。

まとめ

フクさん
フクさん

まとめだよ。

  • グラム行列が対称行列であることを利用して、二次形式であることを保証してしまう。
  • 二次形式を保証した上で、それの偏導関数を利用する。

バックナンバーはこちら。

コメント

タイトルとURLをコピーしました