wprowadzenie do technik analitycznych metoda najmniejszych...
TRANSCRIPT
![Page 1: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/1.jpg)
Wprowadzenie do technik analitycznych —Metoda najmniejszych kwadratów
Dariusz Ucinski
Instytut Sterowania i Systemów InformatycznychUniwersytet Zielonogórski
Wykład 2
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 2: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/2.jpg)
Korelacja i regresja
Przykład: Temperatura latem←→ srednia liczba napojówsprzedawanych przez automat
Diagram korelacyjny (ang. scatter diagram) — wykrespunktowy.
korelacja liniowa
18 20 22 24 26 28 30 32 3435
40
45
50
55
60
65
70
temperatura
liczb
a n
ap
ojó
w
k. dodatnia
k. ujemna
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 3: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/3.jpg)
Korelacja i regresja
korelacja nieliniowa brak korelacji
Współczynnik korelacji liniowej Pearsona
r =n(∑
xiyi)−(∑
xi)(∑
yi)√[
n(∑
x2i
)−(∑
xi)2] · [n(∑ y2
i
)−(∑
yi)2]
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 4: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/4.jpg)
Korelacja i regresjaPrzykład: Dla nastepujacych obserwacji:
xi 8 4 5 −1yi −2 0 2 6
zbadac istnienie zaleznosci liniowej pomiedzy wielkosciami x i y .
i xi yi xiyi x2i y2
i1 8 −2 −16 64 42 4 0 0 16 03 5 2 10 25 44 −1 6 −6 1 36
r =4 · (−12)− 16 · 6√
(4 · 106− 162)(4 · 44− 62)= −0,939
Własnosci:1) r ∈ [−1, 1],
2) r = 0 — brak zwiazku liniowego,
3) r = 1 — doskonała korelacja liniowa dodatnia,
4) r = −1 — doskonała korelacja liniowa ujemna.
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 5: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/5.jpg)
Korelacja a przyczynowosc
W zaleznosci funkcyjnejy = f (x),
gdzie: x — zmienna objasniajaca (niezalezna), y — zmienna objasniana(zalezna),
moze istniec bezposredni zwiazek przyczynowy pomiedzy zmiennymi,czyli x moze wpływac na y (brak wody moze powodowac odwodnienie,wzrost temperatury powoduje topnienie lodu itp.),
moze istniec odwrotna zaleznosc przyczynowo-skutkowa, czyli y takzemoze wpływac na x . Przykładowo, spalony tranzystor mozespowodowac awarie w układzie elektronicznym, ale tez awaria układumoze byc przyczyna spalenia tranzystora.
relacja moze byc spowodowana przypadkiem lub zmienna zakłócajaca,np. zaleznosc pomiedzy liczba wypadków wsród narciarzy, a wzrostemsprzedazy paczków.
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 6: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/6.jpg)
Korelacja a przyczynowosc
W zaleznosci funkcyjnejy = f (x),
gdzie: x — zmienna objasniajaca (niezalezna), y — zmienna objasniana(zalezna),
moze istniec bezposredni zwiazek przyczynowy pomiedzy zmiennymi,czyli x moze wpływac na y (brak wody moze powodowac odwodnienie,wzrost temperatury powoduje topnienie lodu itp.),
moze istniec odwrotna zaleznosc przyczynowo-skutkowa, czyli y takzemoze wpływac na x . Przykładowo, spalony tranzystor mozespowodowac awarie w układzie elektronicznym, ale tez awaria układumoze byc przyczyna spalenia tranzystora.
relacja moze byc spowodowana przypadkiem lub zmienna zakłócajaca,np. zaleznosc pomiedzy liczba wypadków wsród narciarzy, a wzrostemsprzedazy paczków.
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 7: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/7.jpg)
Korelacja a przyczynowosc
W zaleznosci funkcyjnejy = f (x),
gdzie: x — zmienna objasniajaca (niezalezna), y — zmienna objasniana(zalezna),
moze istniec bezposredni zwiazek przyczynowy pomiedzy zmiennymi,czyli x moze wpływac na y (brak wody moze powodowac odwodnienie,wzrost temperatury powoduje topnienie lodu itp.),
moze istniec odwrotna zaleznosc przyczynowo-skutkowa, czyli y takzemoze wpływac na x . Przykładowo, spalony tranzystor mozespowodowac awarie w układzie elektronicznym, ale tez awaria układumoze byc przyczyna spalenia tranzystora.
relacja moze byc spowodowana przypadkiem lub zmienna zakłócajaca,np. zaleznosc pomiedzy liczba wypadków wsród narciarzy, a wzrostemsprzedazy paczków.
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 8: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/8.jpg)
Regresja liniowa
Aproksymujemy zmienna objasniana y modelem liniowym
y = a1x + a0,
tak aby minimalizowac błedy predykcji modelu
ei = yi − yi = yi − a0 − a1xi
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 9: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/9.jpg)
Jak minimalizowac naraz wszystkie błedy?
n∑i=1
ei =
n∑i=1
(yi − a0 − a1xi ) −→ min
n∑i=1
|ei | =
n∑i=1
|yi − a0 − a1xi | −→ min
maxi=1,...,n
|ei | = maxi=1,...,n
|yi − a0 − a1xi | −→ min
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 10: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/10.jpg)
Kryterium najmniejszej sumy kwadratów
Sr =
n∑i=1
e2i =
n∑i=1
(yi − a0 − a1xi )2 −→ min
−4−3
−2−1
01
2
−10
0
10
200
500
1000
1500
2000
2500
3000
3500
a1a0
Sr
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 11: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/11.jpg)
Kryterium najmniejszej sumy kwadratów
Z warunków optymalnosci
∂Sr
∂a0= −2
n∑i=1
(yi − a0 − a1xi ) = 0
∂Sr
∂a1= −2
n∑i=1
[(yi − a0 − a1xi )xi ] = 0
otrzymujemy układ równan 0 =∑
yi −∑
a0 −∑
a1xi
0 =∑
yixi −∑
a0xi −∑
a1x2i
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 12: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/12.jpg)
Równania normalne
Po uporzadkowaniu, otrzymuje sie układ równan normalnych:na0 +
(∑xi
)a1=
∑yi(∑
xi
)a0+
(∑x2
i
)a1=
∑xiyi
Oto jego rozwiazanie
a1 =n∑
xiyi −∑
xi∑
yi
n∑
x2i −
(∑xi)2
a0 = y − a1x
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 13: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/13.jpg)
Równania normalne
Po uporzadkowaniu, otrzymuje sie układ równan normalnych:na0 +
(∑xi
)a1=
∑yi(∑
xi
)a0+
(∑x2
i
)a1=
∑xiyi
Oto jego rozwiazanie
a1 =n∑
xiyi −∑
xi∑
yi
n∑
x2i −
(∑xi)2
a0 = y − a1x
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 14: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/14.jpg)
Regresja liniowaPrzykład: Kontynuacja ilustracji dla r :
a1 =4 · (−12)− 16 · 6
4 · 106− 162 = −0.857, a0 = 1.5− (−0.857)(4) = 4.929
y = −0.857x + 4.929
−2 0 2 4 6 8 10−4
−2
0
2
4
6
8
x
y
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 15: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/15.jpg)
Ocena dopasowania funkcji regresji
Zdefiniujmy
St =
n∑i=1
(yi − y)2
i porównajmy z
Sr =
n∑i=1
e2i =
n∑i=1
(yi − a0 − a1xi )2
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 16: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/16.jpg)
Ocena dopasowania funkcji regresji
Współczynnik determinacji liniowej:
r2 =St − Sr
St
1) r2 bliski 1 oznacza, ze model wyjasnia wiekszosczmiennosci zmiennej zaleznej i moze byc uzyteczny,
2) r2 bliski 0 oznacza, ze model objasnia bardzo mało, jezelichodzi o zmiennosc zmiennej zaleznej.
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 17: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/17.jpg)
Ocena dopasowania funkcji regresji
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 18: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/18.jpg)
Ocena dopasowania funkcji regresji
Dla doskonałego dopasowania zachodzi Sr = 0 orazr = r2 = 1, co oznacza, ze linia prosta objasnia 100%zmiennosci danych. Dla r = r2 = 0 mamy Sr = St idopasowanie nie wprowadza zadnej poprawy.Dla rozwazanego wczesniej przykładu
r2 = (−0.939)2 = 0.8817⇒ około 88% zmiennosci jest objasniane modelem
Obserwacje odstajaceSa to obserwacje odpowiadajace duzym residuom, powodujaduze zmiany w wartosciach parametrów modelu o najlepszymdopasowaniu (obserwacje wpływowe).
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 19: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/19.jpg)
Ocena dopasowania funkcji regresji
Dla doskonałego dopasowania zachodzi Sr = 0 orazr = r2 = 1, co oznacza, ze linia prosta objasnia 100%zmiennosci danych. Dla r = r2 = 0 mamy Sr = St idopasowanie nie wprowadza zadnej poprawy.Dla rozwazanego wczesniej przykładu
r2 = (−0.939)2 = 0.8817⇒ około 88% zmiennosci jest objasniane modelem
Obserwacje odstajaceSa to obserwacje odpowiadajace duzym residuom, powodujaduze zmiany w wartosciach parametrów modelu o najlepszymdopasowaniu (obserwacje wpływowe).
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 20: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/20.jpg)
Linearyzacja zaleznosci liniowych
y = a1eb1x
y = a2xb2
y = a3x
b3 + x
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 21: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/21.jpg)
Regresja wielomianowa
Dopasujmy do danych parabole:
y = a0 + a1x + a2x2
Suma kwadratów residuów:
Sr =n∑
i=1
(yi − a0 − a1xi − a2x2i )2
Warunki optymalnosci
∂Sr
∂a0= −2
n∑i=1
(yi − a0 − a1xi − a2x2i ) = 0
∂Sr
∂a1= −2
n∑i=1
xi(yi − a0 − a1xi − a2x2i ) = 0
∂Sr
∂a2= −2
n∑i=1
x2i (yi − a0 − a1xi − a2x2
i ) = 0
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 22: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/22.jpg)
Regresja wielomianowa
Dopasujmy do danych parabole:
y = a0 + a1x + a2x2
Suma kwadratów residuów:
Sr =n∑
i=1
(yi − a0 − a1xi − a2x2i )2
Warunki optymalnosci
∂Sr
∂a0= −2
n∑i=1
(yi − a0 − a1xi − a2x2i ) = 0
∂Sr
∂a1= −2
n∑i=1
xi(yi − a0 − a1xi − a2x2i ) = 0
∂Sr
∂a2= −2
n∑i=1
x2i (yi − a0 − a1xi − a2x2
i ) = 0
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 23: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/23.jpg)
Regresja wielomianowa
Dopasujmy do danych parabole:
y = a0 + a1x + a2x2
Suma kwadratów residuów:
Sr =n∑
i=1
(yi − a0 − a1xi − a2x2i )2
Warunki optymalnosci
∂Sr
∂a0= −2
n∑i=1
(yi − a0 − a1xi − a2x2i ) = 0
∂Sr
∂a1= −2
n∑i=1
xi(yi − a0 − a1xi − a2x2i ) = 0
∂Sr
∂a2= −2
n∑i=1
x2i (yi − a0 − a1xi − a2x2
i ) = 0
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 24: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/24.jpg)
Regresja wielomianowa
Po uporzadkowaniu, otrzymuje sie układ równan normalnych:(n)a0 +
(∑xi
)a1+
(∑x2
i
)a2=
∑yi(∑
xi
)a0+
(∑x2
i
)a1+
(∑x3
i
)a2=
∑xiyi(∑
x2i
)a0+
(∑x3
i
)a1+
(∑x4
i
)a2=
∑x2
i yi
Pytanie: Jak to sie uogólnia na dowolny wielomian?
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 25: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/25.jpg)
Regresja wielomianowa
Po uporzadkowaniu, otrzymuje sie układ równan normalnych:(n)a0 +
(∑xi
)a1+
(∑x2
i
)a2=
∑yi(∑
xi
)a0+
(∑x2
i
)a1+
(∑x3
i
)a2=
∑xiyi(∑
x2i
)a0+
(∑x3
i
)a1+
(∑x4
i
)a2=
∑x2
i yi
Pytanie: Jak to sie uogólnia na dowolny wielomian?
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 26: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/26.jpg)
Wielokrotna regresja liniowa
Dopasujmy do danych płaszczyzne:
y = a0 + a1x + a2x2
Suma kwadratów residuów:
Sr =n∑
i=1
(yi − a0 − a1x1i − a2x2i)2
Warunki optymalnosci
∂Sr
∂a0= −2
n∑i=1
(yi − a0 − a1x1i − a2x2i) = 0
∂Sr
∂a1= −2
n∑i=1
x1i(yi − a0 − a1x1i − a2x2i) = 0
∂Sr
∂a2= −2
n∑i=1
x2i(yi − a0 − a1x1i − a2x2i) = 0
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 27: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/27.jpg)
Wielokrotna regresja liniowa
Dopasujmy do danych płaszczyzne:
y = a0 + a1x + a2x2
Suma kwadratów residuów:
Sr =n∑
i=1
(yi − a0 − a1x1i − a2x2i)2
Warunki optymalnosci
∂Sr
∂a0= −2
n∑i=1
(yi − a0 − a1x1i − a2x2i) = 0
∂Sr
∂a1= −2
n∑i=1
x1i(yi − a0 − a1x1i − a2x2i) = 0
∂Sr
∂a2= −2
n∑i=1
x2i(yi − a0 − a1x1i − a2x2i) = 0
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 28: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/28.jpg)
Wielokrotna regresja liniowa
Dopasujmy do danych płaszczyzne:
y = a0 + a1x + a2x2
Suma kwadratów residuów:
Sr =n∑
i=1
(yi − a0 − a1x1i − a2x2i)2
Warunki optymalnosci
∂Sr
∂a0= −2
n∑i=1
(yi − a0 − a1x1i − a2x2i) = 0
∂Sr
∂a1= −2
n∑i=1
x1i(yi − a0 − a1x1i − a2x2i) = 0
∂Sr
∂a2= −2
n∑i=1
x2i(yi − a0 − a1x1i − a2x2i) = 0
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 29: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/29.jpg)
Wielokrotna regresja liniowa
Otrzymuje sie w ten sposób układ równan normalnych n∑
x1i∑
x2i∑x1i
∑x2
1i∑
x1ix2i∑x2i
∑x1ix2i
∑x2i2
a0
a1a2
=
∑
yi∑x1iyi∑x2iyi
Przykład. Do danych
x1 x2 y0 0 52 1 102.5 2 91 3 04 6 37 2 27
nalezy dopasowac „najlepsza” płaszczyzne.
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 30: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/30.jpg)
Wielokrotna regresja liniowa
Otrzymuje sie w ten sposób układ równan normalnych n∑
x1i∑
x2i∑x1i
∑x2
1i∑
x1ix2i∑x2i
∑x1ix2i
∑x2i2
a0
a1a2
=
∑
yi∑x1iyi∑x2iyi
Przykład. Do danych
x1 x2 y0 0 52 1 102.5 2 91 3 04 6 37 2 27
nalezy dopasowac „najlepsza” płaszczyzne.
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 31: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/31.jpg)
Wielokrotna regresja liniowa
W rezultacie otrzymuje sie układ równan 6 16.5 1416.5 76.25 4814 48 54
a0
a1a2
=
54243.5100
skad
a0 = 5, a1 = 4, a2 = −3
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 32: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/32.jpg)
Wielokrotna regresja liniowa — przypadek ogólny
Rozwazmy model
y = a0z0 + a1z1 + a2z2 + · · ·+ amzm
gdzie: z0, z1, . . . , zm — rózne funkcje (nb. jak zapisac w tensposób wczesniejsze przypadki?).Zdefiniujmy
Z =
z01 z11 . . . zm1z02 z12 . . . zm2...
......
...z0n z1n . . . zmn
, y =
y1y2...
yn
, a =
a0a1...
am
oraz
Sr =n∑
i=1
yi −m∑
j=0
ajzji
2
=(y − Za
)T(y − Za)
= ‖y − Za‖2
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 33: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/33.jpg)
Wielokrotna regresja liniowa — przypadek ogólny
Rozwazmy model
y = a0z0 + a1z1 + a2z2 + · · ·+ amzm
gdzie: z0, z1, . . . , zm — rózne funkcje (nb. jak zapisac w tensposób wczesniejsze przypadki?).Zdefiniujmy
Z =
z01 z11 . . . zm1z02 z12 . . . zm2...
......
...z0n z1n . . . zmn
, y =
y1y2...
yn
, a =
a0a1...
am
oraz
Sr =n∑
i=1
yi −m∑
j=0
ajzji
2
=(y − Za
)T(y − Za)
= ‖y − Za‖2
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 34: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/34.jpg)
Wielokrotna regresja liniowa — przypadek ogólny
Równania normalne przyjmuja wtedy nastepujaca postac:
(Z TZ
)a = Z Ty
Pytanie: Jak je rozwiazywac?
Dariusz Ucinski Metoda najmniejszych kwadratów
![Page 35: Wprowadzenie do technik analitycznych Metoda najmniejszych …staff.uz.zgora.pl/ducinski/pliki/DPPwyklad_2.pdf · Wykład 2 Dariusz Uci´nski Metoda najmniejszych kwadratów. Korelacja](https://reader031.vdocuments.net/reader031/viewer/2022022802/5c77804e09d3f291718c6500/html5/thumbnails/35.jpg)
Wielokrotna regresja liniowa — przypadek ogólny
Równania normalne przyjmuja wtedy nastepujaca postac:
(Z TZ
)a = Z Ty
Pytanie: Jak je rozwiazywac?
Dariusz Ucinski Metoda najmniejszych kwadratów