MATLAB,Python,Scilab,Julia比較 第2章 その62【多項式回帰分析①】

MATLAB,Python,Scilab,Julia比較 第2章 その62【多項式回帰分析①】 数値計算
MATLAB,Python,Scilab,Julia比較 第2章 その62【多項式回帰分析①】

バックナンバーはこちら。
https://www.simulationroom999.com/blog/compare-matlabpythonscilabjulia2-backnumber/

はじめに

正規方程式を用いた、多項式回帰分析について。

登場人物

博識フクロウのフクさん

指差しフクロウ

イラストACにて公開の「kino_k」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=iKciwKA9&area=1

エンジニア歴8年の太郎くん

技術者太郎

イラストACにて公開の「しのみ」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=uCKphAW2&area=1

多項式回帰分析

フクさん
フクさん

今回から、多項式回帰分析の話に突入する。

太郎くん
太郎くん

多項式回帰?
重回帰とは別物?

フクさん
フクさん

一応、多項式回帰は重回帰の一種ではある。
が、ここでは一旦分けて扱う。
まずはWikipediaから引用。

統計学における多項式回帰(たこうしきかいき、英: polynomial regression)とは、従属変数 y y を独立変数 x x の n n 次多項式でモデル化する回帰分析の一手法である。多項式回帰は、従属変数と独立変数とが非線形的な関係で表現されるような場合に適しており、例えば神経組織の成長、湖底堆積物中の炭素同位体の分布、感染症の拡大の記述に用いられてきた。多項式回帰ではデータに非線形なモデルを当てはめるが、推定理論(英語版)においては線形の問題に分類される。というのも、推定される関数が未知母数の1次式だからである。この意味で、多項式回帰は重回帰分析の特別な場合とみなされる。

Wikipediaより(https://ja.wikipedia.org/wiki/%E5%A4%9A%E9%A0%85%E5%BC%8F%E5%9B%9E%E5%B8%B0)
太郎くん
太郎くん

何言ってるのかわからんな・・・。

太郎くん
太郎くん

具体的な方程式はどんな感じになるの?

フクさん
フクさん

こんな多項式を想定している。
いわゆる、一元高次方程式ってやつだな。

\(
y=\alpha x^2+\beta x+\gamma
\)

太郎くん
太郎くん

なるほど。
前回までの重回帰分析は二元の多項式ではあったけど、高次ではなかったってところか。

太郎くん
太郎くん

でも、次数が上がったものを扱うイメージ沸かない・・・。

フクさん
フクさん

考え方は前回までの単回帰、重回帰と一緒だ。
同じように二乗和誤差関数と正規方程式の各成分の定義していく。

多項式回帰分析の二乗和誤差関数

太郎くん
太郎くん

で、どう定義するの?

フクさん
フクさん

以下が先の多項式に対しての二乗和誤差関数になる。

\(
\displaystyle\sum_{i=1}^n\{(\alpha x_i^2+\beta x_i+\gamma)-y_i\}^2
\)

太郎くん
太郎くん

まぁ元になる方程式の形から考えると、こんな感じにはなるよね。

正規方程式の各成分の定義

フクさん
フクさん

\((Ax-b)^2\)で最小化問題を解く場合はの各成分は以下となる。

\(
A=
\begin{bmatrix}
x_1^2 & x_1 & 1\\
x_2^2 & x_2 & 1\\
\vdots & \vdots & \vdots\\
x_n^2 & x_n & 1\\
\end{bmatrix},
\vec{x}=
\begin{bmatrix}
\alpha\\
\beta\\
\gamma
\end{bmatrix},
\vec{b}=
\begin{bmatrix}
y_1\\
y_2\\
\vdots\\
y_n
\end{bmatrix}
\)

太郎くん
太郎くん

結局は、元の多項式の形を入れ込んだだけってことか。

フクさん
フクさん

当然、次数が増えれば、それに合わせて各行列、ベクトルの要素も増える。
今回の二次の場合はこうなるってところに気を付けよう。

多項式回帰分析の実施

フクさん
フクさん

あとは正規方程式に上記パラメータを入れるだけで求めたい多項式の各係数が求まる。
これは単回帰分析、重回帰分析と同じ。

\(
x=(A^TA)^{-1}A^Tb
\)

太郎くん
太郎くん

じゃー、恒例の以下の流れでやっていく感じか。

  • サンプリングデータの用意
  • 正規方程式のパラメータへ成形
  • 正規方程式で各係数算出
  • サンプリングデータと求めらえた関数のプロット
フクさん
フクさん

サンプリングデータに関しては重回帰分析の時と同じように、
以下の多項式をベースに乱数で\(\pm 1\)をしたものを使用する。

\(
z=4x^2-5y+2
\)

太郎くん
太郎くん

係数として\(4,-5,2\)に近い値が求まればOKってパターンだね。

フクさん
フクさん

そうそう。

まとめ

フクさん
フクさん

まとめだよ。

  • 正規方程式を使って多項式回帰分析を行う。
  • 多項式回帰分析の二乗和誤差関数の定義。
  • 正規方程式の各成分の定義。
  • サンプリングデータは特定の多項式に±1の乱数を載せたものを使用。
    • 特定の多項式と近い係数が求まればOK。

バックナンバーはこちら。

コメント

タイトルとURLをコピーしました