PRML 3章 線形回帰モデル§3.1 ～ §3.1.2pp. 135-141

yag_aysPRML復復習レーン #32012/07/16

図は全てhttp://research.microsoft.com/en-us/um/people/cmbishop/prml/webfigs.htmより

• 線形回帰• 入力変数から目標変数を予測• 入力変数に関して非線形な関数を導入する• 最尤推定と最小二乗法• パラメータを推定する• 最小二乗法の幾何学

3.1～3.1.2のあらすじ

�(xn)

3.1 線形基底関数モデル

最も単純な線形回帰モデルを考えるy(x,w) = w0 + w1x1 + · · ·+ wDxd

入力変数：パラメータ:

入力変数に関して線形関数になっているため，表現能力に乏しい

基底関数の導入

w = (w0, . . . wD)Tx = (x1, . . . xD)T

y(x,w) =M�1X

j=0

wj�j(x) = w

T�(x)

y(x, w) = w0 +M�1X

j=1

wj�j(x)

入力変数に関して非線形な関数 を噛ませる�j(x)

バイアスパラメータ を整理して

�0(x) = 1

w0

ただし

y(x,w)

w

�j(x)

関数パラメータ基底関数

: 非線形: 線形: 非線形

多項式 ガウス基底関数 シグモイド関数�j(x) = x

j�j(x) = exp

⇢� (x� µj)2

2s2

��j(x) = �

✓x� µj

s

◆

よく用いられる基底関数の例

• その他• スプライン関数で範囲を区切る• フーリエ基底やウェーブレットも

3.1.1 最尤推定と最小二乗法

t = y(x,w) + ✏

p(t|x,w,�) = N (t|y(x,w),��1)

p(t|X,w,�) =NY

n=1

N (tn|wT�(xn),��1)

目的変数　が関数　　　 とノイズ　で与えられる時y(x,w) ✏t

ノイズがガウス分布に従うとすると

入力ベクトルと目標値が与えられた時の尤度関数は

ln p(t|X,w,�) =NX

n=1

N (tn|wT�(xn),��1)

r ln p(t|X,w,�) = �NX

n=1

{tn �w

T�(xn)}�(xn)T

両辺対数を取って

尤度関数の最大化 ＝ 二乗和誤差関数の最小化 なので

=N

2ln� � N

2ln 2⇡ � �ED(w)

ED(w) =1

2

NX

n=1

{tn �w

T�(xn)}2

このとき，二乗和誤差関数は

wML = (�T�)�1�Ttについて解くw

計画行列

0 =NX

n=1

tn�(xn)T �w

T

NX

n=1

�(xn)�(xn)T

!勾配を0とおいて について解くw

(展開しただけ)

バイアスパラメータ の解釈w0

ED(w) =1

2

NX

n=1

{tn � w0 �M�1X

j=1

wj�j(xn)}2

バイアスパラメータを残したまま二乗和誤差関数を求めると

について解くとw0

w0 = t̄�M�1X

j=1

wj�j

t̄ =1

N

NX

n=1

tn �j =1

N

NX

n=1

�j(xn)ただし，

w0 = t̄�M�1X

j=1

wj�j

目標変数の平均 ー 基底関数の平均

バイアスパラメータ の解釈w0

1

�ML=

1

N

NX

n=1

{tn �w

TML�(xn)}2

また，ノイズの精度パラメータ について�

これは回帰関数周りでの目標値との残差分散

t̄ =1

N

NX

n=1

tn �j =1

N

NX

n=1

�j(xn)

3.1.2 最小二乗法の幾何学

幾何学なんて無かった...

• 皆様から教えてもらったことを自分なりに解釈してみる(ほとんどそのまま)．普通に間違ったこと書いてると思うので，指摘して頂ければ幸い．

• 図3.2の見方としては，tが手前に伸びている．それを部分空間Sに正射影したものがy．この図ではM=2，N=3．

• tのベクトルの要素はデータ点の数N個あるので，tはN次元空間で表すことができる．基底関数の数MをNと同じにすればtを正確に表現することができるが，それでは過学習のような状態になってしまうため，Nより少ない数(M<N)で何とか表現したい．

• そのときにM次元空間で扱える範囲でtに一番似せようとしたベクトルがyであり，これはtの正射影ベクトルになる．これがtとyと二乗和誤差の幾何学的な関係．

• 「二乗和誤差はyとtの二乗ユークリッド距離に等しい」は，yとtが作る三角形のもう一つの辺のこと(これが小さくなるとNより少ない次元数でtを上手く表現できていることになって嬉しい)

• このような幾何学的解釈は，この後もPRML下巻などで出てくるらしい

3.1.2 最小二乗法の幾何学(補足)