一般化した二乗和誤差の数式の変形
まずは、二乗和誤差の数式の変形を行う。
二乗和誤差の行列形式の数式は以下になる。
\(
L(x_1,\dots,x_n)=(A\vec{x}-\vec{b})^2
\)
これの変形だが、普通に展開していくだけになる。
といっても、ベクトル、行列である故のクセみたいなのはある。
転置がところどころに出てくるが、
ベクトルと方程式の関係性を意識するとそれほど違和感はないはずだ。
\(
\begin{eqnarray}
(Ax-b)^2&=&(Ax-b)^T(Ax-b)\\
&=&(\color{blue}{x^TA^T}-b^T)(Ax-b)\\
&=&x^T\color{red}{A^TA}x-2x^TA^Tb+b^Tb
\end{eqnarray}
\)
(Ax)^T=x^TA^T の証明
\(\color{blue}{x^TA^T}\)の部分で引っかかる方もいそうなので解説。
単純に\((Ax)^T=x^TA^T\)ってだけなのだが、
その部分だけを丁寧に書いてみよう。
\(
\begin{eqnarray}
(Ax)^T&=&\Bigg(
\begin{bmatrix}
a_{11} & \dots & a_{1n} \\
\vdots & \ddots & \vdots \\
a_{n1} & \dots & a_{nn} \\
\end{bmatrix}
\begin{bmatrix}
x_1 \\
\vdots \\
x_n \\
\end{bmatrix}\Bigg)^T\\&=&
\begin{bmatrix}
x_1a_{11} & \dots & x_na_{1n} \\
\vdots & \ddots & \vdots \\
x_1a_{n1} & \dots & x_na_{nn} \\
\end{bmatrix}^T\\&=&
\begin{bmatrix}
x_1 &\dots & x_n \\
\end{bmatrix}
\begin{bmatrix}
a_{11} & \dots & a_{n1} \\
\vdots & \ddots & \vdots \\
a_{1n} & \dots & a_{nn} \\
\end{bmatrix}\\&=&
x^TA^T
\end{eqnarray}
\)
という感じで等しくなる。
グラム行列の存在とそれに伴う二次形式であることの保証
先の式の赤字の部分の\(\color{red}{A^TA}\)は、グラム行列になる。
よって、この部分は対称行列であることが保証される。
これにより、\(x^T\color{red}{A^TA}x\)は二次形式であることが保証される。
二次形式の偏導関数を元に最小化問題化
そして、二次形式の偏導関数を用いて、最小化問題にしてしまう。
\(x^T\color{red}{A^TA}x\)の微分は\(2\color{red}{A^TA}x\)であることが保証されている。
よって以下になる。
\(
\nabla(Ax-b)^2=2A^TAx-2A^Tb
\)
どんどんシンプルになっていく。
正規方程式まではもう一歩
コメント