т е . етод е к д то

Л е е е

е е д е то к пло ко т о о п о е т п у тол ко

од у

А е л то ек пло ко т –

т олее?

т . Од о е л е е е

етод е к д то

о: 1. о к пе е т л то ек , ), , , …, �, �)

2. Л е одел = +

т ко е т

+ =+ =…+ =

= − +

е еоп еделё те у е

етод е к д то К

у к д то откло е RSS Resudiual Sum of

Squares)

ео од о т

п л е етод

В о е лу е е е е еет т.к. к пе е т л е

то к о о е ло т то о т од у п у

Л е е е : ко е т

�� = − − =�� = − − =

о к т о то ек дл RSS − − = − − =

− − =− − = = − − − − = = − − + − =

= − = − −

е ул т т ёт = − +

уе у к

Л е е е : ко е т r R2

Ко е т дете R2

= − − − = − = + =

Ко е т ко ел о � ,

, = − − − − = − − ⋅

, = − + − − ⋅ = − − + − ⋅ = =

0 т.к. К е ду R2 � ,

= −

residual sum of squares у к д то откло е = −

total sum of squares о у к д то = −

explained sum of squares

о ё у к д то

= +

Л е е е : к те Ф е н-те т

� � = − ⋅

. т F п . т т л е е к т л

- ло тепе е о од дл д N – дл = + ) - ло е ко е то дл = + )

л � �~ ; , то о т т т т е к е

п кт ке: л � � < ; ;

т.е. т т л е е к т л // = // ⋅ = − ⋅

Откуд т о ул ?

е : R2=0.667, N=11, пп ок y = a + bx

� � = .. ⋅ = . , , = . е е

К тет Э ко (A s o e’s quartet)

y=3.00+0.500x

r=0.816 y=3.00+0.500x

r=0.816

y=3.00+0.500x

r=0.816

y=3.00+0.500x

r=0.816

Л е е е MS Excel

по о . Л т е д ке

1. о т о т то е к по е д д yi, xi)

2. Щелк ут п о к опко е то ек т «до т л т е д »

3. От ет т л к у е оп д пп ок у е у к , пок т л у е е д е, пок т л R2 т.п.

л де , о е п о од т н-те т о е к до е тел те ло ко е то е е

по о . пол о е п кет л д

1. В т кл дку д е, елк ут по пу кту е « л д » 2. п едл е оп т е е

3. к т од е д е у т е ул т т

л де , оде т н-те т о е ку до е тел те ло ко е то е е

по о . у у

пол о т у к MS Excel оде КОВА , , АЧ, , КО Л т.п. п кт ке по о е удо е , о поле е дл по ут п о од е о

Л е е е : л е

л д е оп т ел е о о т , то екото лу её о о л е о т

е : � = � � − �� у е е А е у

е е е: l� � = l� � − �� т.е. е то k; T) – (ln k; 1/T) )

е 2: Δ = − + т л п е е

е е е: Δ����− = +

е : � = ��+�� е л - е те )

е е е: � = �� + ����

о т л е е е GNU Octave

>> x = (0:0.1:5)’; >> y = 2*x + 5 + randn(size(x));

>> X = [x ones(size(x))];

>> beta = X\y

beta =

2.0653

4.7701

>> close all;

>> plot(x,y,’bo’,’LineWidth’,2); >> hold on;

>> yfunc = @(x)beta(1)*x+beta(2);

>> plot(x,yfunc(x),’k-’,’LineWidth’,2); >> hold off;

>> print(gcf,’graph’,’-dpng’,’-r75’);

+ =…+ = ⇔ … … = … ⇔ � =

.к. т X – е к д т , то п т = �− ел

о Octave/MATэAB е т ту те у у е , е л п т b=X\y

т . о о е л е е е

о т о к д

од е д е

о к k+1) – е о п о т т е , , … ,

Апп ок у у к = + + +

– п ет одел

те у е пе еоп еделё :

+ + + =+ + + =…+ + + =

те т о де: �� =

� = ⋱ ; = ;

=

+

екото е о т т

о е е т по о е лед т

1. + ⊤ = ⊤ + ⊤

2. ⊤ = ⊤ ⊤

3. − ⊤ = ⊤ −

4. =

5. + = +

6. + = +

tr =

лед т – у ле е то её л о д о л

1. tr + = tr + tr

2. tr = tr

3. tr ⊤ = tr

4. tr = tr = tr

етод е к д то

у к д то откло е = = ⊤ = = − � ⊤ − � = = ⊤ − ⊤� + ⊤�⊤�

о к у �� = − � ⊤�� + � ⊤�⊤�� = �� = − �⊤ + �⊤� = �⊤� = �⊤ ⇔ = �⊤� − �⊤

е е о е

� ⊤�� � = � �� ��� � = � ⇒ � ⊤�� = ⊤� ⊤ = �⊤ , де � = ⊤�

⊤�⊤� = � ⊤ � = == ⇒ � ⊤�⊤�� = ==

== = � ⊤� ⊤ = �⊤�

етод е к д то : од о е лу

>> x = (0:0.1:5)’; >> y = 2*x + 5 + randn(size(x));

>> X = [x ones(size(x))];

>> beta = X\y

beta =

2.0653

4.7701

>> close all;

>> plot(x,y,’bo’,’LineWidth’,2); >> hold on;

>> yfunc = @(x)beta(1)*x+beta(2);

>> plot(x,yfunc(x),’k-’,’LineWidth’,2); >> hold off;

>> print(gcf,’graph’,’-dpng’,’-r75’);

+ =…+ = ⇔ … … = … ⇔ � =

.к. т X – е к д т , то п т = �− ел

о Octave/MATэAB е т ту те у у е , е л п т b=X\y

д : о де е ко е то е е

. о д т о ку то ек x = rand(500, 1);

y = rand(500, 1);

z = 3*x+4*y+5+randn(size(x));

plot3(x,y,z,’bo’);

. п т е т те у у е

X = [x y ones(size(x))];

b = (X'*X)\(X'*z);

format long;

disp(b);

xv = 0:0.1:1;

[Xm,Ym]=meshgrid(xv,xv);

Zm = b(1)*Xm + b(2)*Ym + b(3);

hold on;

mesh(Xm,Ym,Zm); hold off;

ео е у - ко

у т пол т леду е у ло :

1. одел п л о пе о

2. � = , де m – ло ко е то е е

3. � = уле ое то д е о ок е е

4. � � = � � = е о т о ок д у от д у

5. � � = � � = � о о кед т о т о ок е е

о д о е к п ет о е е етодо е

к д то л т лу кл е л е е е ё

о е ок л. Best Linear Unbiased Estimator, BLUE).

Ко о т

е е ё о т о е ок п ет о е е = �⊤� − �⊤ � + � = + �⊤� − �⊤ � = [ ] B – т ое е е п ет о е е , � – екто о ок

Ко о т cov , = − − ⊤ = �⊤� − �⊤��⊤� �⊤� − = = �⊤� − �⊤ [��⊤]� �⊤� − = � �⊤� −

B – т ое е е п ет о е е , � – екто о ок

д ко о о т

cov , = Var[ ] cov , cov , cov , Var[ ] cov , ⋱cov , cov , Var[ ]

о е тел е те л

� = Var[ ] Δ = � ⋅ ,

t – д у то о к т л t-п еделе ;

– е о т о т , f = n – m –

ло тепе е о од

О е к о к е е

е е ё о е к

о к е е � = − = ⊤−

= −

n – ло то ек, m – ло ко е то е е

оек о т = ; = � �⊤� − �⊤

о т

1. ⊤ = ет о т

2. = де поте т о т

3. � = �

= − = − = � � + � = ��; = ⊤ = �� ⊤ �� = �⊤�� ⊤ = tr ⊤ = tr �⊤�� = tr ���⊤ ⇒ = � ��⊤ = � tr �

� = − � �⊤� − �⊤ = − �⊤� �⊤� − = −

по е о т п оек о о т е

ле е лед п оек о о т

д : до е тел е те л е �

. О к е е

>> res = z–(b(1)*x+b(2)*y+b(3)); >> f = numel(res) - numel(b);

>> sigma2 = res'*res/f

sigma2 = 0.808416630656864

. Ко о т >> format short;

>> C = sigma2 * inv(X'*X)

C =

0.0204893 -0.0013650 -0.0096530

-0.0013650 0.0188808 -0.0085331

-0.0096530 -0.0085331 0.0106459

. О к до е тел е те л ко е то

>> sb = sqrt(diag(C));disp(sb');

0.14314 0.13741 0.10318

>> db = sb * tinv(1-0.05/2,f);

>> disp(db');

0.28124 0.26997 0.20272

4. Ко ел о т >> sbm = [sb sb sb];

>> r = C./(sbm.*sbm')

r =

1.000000 -0.069400 -0.653593

-0.069400 1.000000 -0.601874

-0.653593 -0.601874 1.000000

е! � � , � ≠

О т л те « п е» к п ок у ле � !

. R2 н-к те >> TSS = sum((z-mean(z)).^2)

TSS = 1497.7

>> RSS = res'*res;

RSS = 401.78

>> R2 = 1 - RSS/TSS;

R2 = 0.73173

>> F = R2/(1-R2)*f/2

F = 677.80

>> finv(0.95,2,f)

ans = 3.0139

. те у е � =

Л е о о е о ел е о е е

. ел е о т � = + +

. Л е � = + + ; = ; = ; = −

� = /⋱ / ; =

о е тел те л те л п ед к

о е тел те л

(confidence interval) ± � , − ⊤ �⊤� −

од у к е о т о т 95% п о од т

е е тот те л

те л п ед к

(prediction interval) ± � , − + ⊤ �⊤� −

о то к поп дёт тот те л е о т о т 95%

n=20 n=200