jakość prognozy. jak mierzyć i od czego zależy?
DESCRIPTION
Jakość prognozy. Jak mierzyć i od czego zależy?. AD 2008. Optymalizacja kosztów prognoz. Jakość (i ilość) danych. Dane. Selekcja danych 1. Rzetelność - błędy losowe - błędy systematyczne - obserwacje nietypowe 2. Jednoznaczność 3. Identyfikowalność zjawiska przez zmienne - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/1.jpg)
Jakość prognozy.
Jak mierzyć i od czego zależy?
AD 2008
![Page 2: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/2.jpg)
Zadanieprognostyczne
Zadanieprognostyczne
DaneDane
ModelModel
PrognozaPrognoza
Reguła prognozyReguła prognozy
Dobór zmiennychDobór zmiennych
Specyfikazjawiska
Specyfikazjawiska
Czas i kosztyCzas
i koszty
![Page 3: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/3.jpg)
Koszty
K o s z t y s t r a t
K o s z t y p r o g n o z y
K o s z t y c a łk o w it e
Optymalizacja kosztów prognozOptymalizacja kosztów prognoz
![Page 4: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/4.jpg)
Jakość (i ilość) danych
![Page 5: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/5.jpg)
Selekcja danych
1. Rzetelność- błędy losowe- błędy systematyczne- obserwacje nietypowe
2. Jednoznaczność3. Identyfikowalność zjawiska przez zmienne4. Kompletność5. Aktualność danych dla przyszłości6. Koszt zbierania i opracowywania danych7. Porównywalność danych
DaneDane
![Page 6: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/6.jpg)
Jakość modelu,
czyli czy model jest dobrzedobrany?
![Page 7: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/7.jpg)
Jakość modeluJakość modelu zgodność modelu z danymi empirycznymi
y
y
y
t
t
ˆ
- wartość zmiennej Y w okresie t- teoretyczna wartość zmiennej Y w okresie t- średnia z Y w szeregu o długości n
n - liczba obserwacjim - liczba zmiennych objaśniających
T - horyzont prognozy
![Page 8: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/8.jpg)
n
ii
n
ii
yy
yyR
1
2
1
2
2
)(
)ˆ(
Współczynnik determinacjiJakość modeluJakość modelu
Dla modeli liniowych <0,1>
Jaka część zmienności zmiennej objaśnianej jest wytłumaczona przy pomocy modelu.
miara dopasowania modelu do danych rzeczywistych
[%]
![Page 9: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/9.jpg)
0
2
4
6
8
1 0
1 2
1 4
1 2 3 4 5 6 7 8 9 1 0
t
Produkcj
a y,yt
Y
OSKSKR
yy
yy
n
ii
n
iii
1
2
1
2
2
)(
)ˆ(
22 1 R
2 - w s p ó ł c z y n n i k r o z b i e ż n o ś c i
![Page 10: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/10.jpg)
SKR
0
2
4
6
8
10
12
14
1 2 3 4 5 6 7 8 9 10
t
Pro
du
kcja
y,y
t
Y Yt
OSK
0
2
4
6
8
10
12
14
1 2 3 4 5 6 7 8 9 10
t
Pro
du
kcja y
,yt
Y Y śr
OSK
0
2
4
6
8
10
12
14
1 2 3 4 5 6 7 8 9 10
t
Pro
du
kcja y
,yt
Y Y śr
Jakość modeluJakość modelu
![Page 11: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/11.jpg)
Skorygowany współczynnik determinacji
)1(1
1 22R
knn
R
do porównywania jakości modeli o różnej ilości zmiennych
n - liczba obserwacjik - liczba stopni swobody (szacowanych parametrów)
[%]
Jakość modeluJakość modelu
![Page 12: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/12.jpg)
%69
665,2ˆ2
R
ty
%80
27322,0ˆ2
321
R
xxxty
%65)69,01(210110
12
R %64)8,01(
510110
12
R
n = 1 0
M o d e l IM o d e l I M o d e l I IM o d e l I I
)1(1
1 22R
knn
R
k = 2 k = 5
J a k o ś ć m o d e l uJ a k o ś ć m o d e l uP r z y k ł a dP r z y k ł a d
![Page 13: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/13.jpg)
O d c h y le n ie s ta n d a r d o w e r e s z t m o d e lu ( s )
n
iii yy
kns
1
2)ˆ(1
p rz e c ię tn e o d c h y le n ia w a r to ś c i te o re ty c z n y c h o d rz e c z y w is ty c h
N a jw a ż n ie js z y w s k a ź n ik d o o c e n y d o k ła d n o ś c i p ro g n o z y
W s p ó łc z y n n ik w y r a z is to ś c i ( w )
100ys
w
c z ę ś ć w a r to ś c i z m ie n n e j Y s ta n o w ią c a o d c h y le n ie s ta n d a rd o w e
[% ]
J a k o ś ć m o d e luJ a k o ś ć m o d e lu
[~ Y ]
![Page 14: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/14.jpg)
Jakość prognoz,
?
czyli określenie stopnia niepewnościprognoz.
*ty - prognoza zmiennej Y na
czas t>n otrzymana z danej metody
![Page 15: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/15.jpg)
Y Yt Yp
![Page 16: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/16.jpg)
Dokładność prognozyBłąd ex ante
?
czyli co można powiedzieć o prognozie w momencie jej
sporządzenia?
![Page 17: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/17.jpg)
Błędy ex Błędy ex anteante Dokładność prognozyDokładność prognozy
Bezwzględny błąd prognozy ex ante w czasie t (t>n)
11
*
1
2
2*
nxx
xxsV n
tt
t
*x
x
- wartość zmiennej objaśniającej w prognozie- średnia wartość zmiennej objaśniającej z n obserwacji
TTt XXXXsV *1*1*
*X
Bezwzględny błąd prognozy ex ante dla modelu z większą ilością zmiennych objaśniających
- wektor prognozowanych wielkości zmiennych objaśniających
[~Y]
![Page 18: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/18.jpg)
B ł ę d y e x B ł ę d y e x a n t ea n t e D o k ł a d n o ś ć p r o g n o z yD o k ł a d n o ś ć p r o g n o z y
11
1
2
2
ntt
tsV n
t
D l a p r o g n o z y p r z y u ż y c i u t r e n d u l i n i o w e g o n a o k r e s
n = 1 0 t = 1 . . 1 0 t = 5 , 5 s = 2 m l n z ł
42,21
101
5,825,511
22
V
96,2V
82,3V
P r z y k ł a dP r z y k ł a d
![Page 19: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/19.jpg)
Względny błąd prognozy ex ante w czasie t (t>n)
100* t
tt y
V
Prognoza jest dopuszczalna, gdy:
nt
ntVV
tt
tt
,
,*
*
**, ttV oczekiwana dokładność prognoz
[%]
Błędy ex anteBłędy ex ante Dokładność prognozyDokładność prognozy
![Page 20: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/20.jpg)
P r a w d o p o d o b i e ń s t w o r e a l i z a c j i p r o g n o z y
ntyYP ttt ,)( *
- z a k ł a d a n a d o k ł a d n o ś ć p r o g n o z y t - w i a r y g o d n o ś ć p r o g n o z y
B ł ę d y e x B ł ę d y e x a n t ea n t e D o k ł a d n o ś ć p r o g n o z yD o k ł a d n o ś ć p r o g n o z y
P r z e d z i a ł u f n o ś c i d l a p r o g n o z y
ntVtyYVtyP ttttt ,1)( **
- p o z i o m i s t o t n o ś c i t - w a r t o ś ć g r a n i c z n a s t a t y s t y k i t - S t u d e n t a d l a n - k s t o p n i s w o b o d yV t - b e z w z g l ę d n y b ł ą d p r o g n o z y w c z a s i e t
![Page 21: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/21.jpg)
Trafność prognozy Błąd ex post
?
czyli jak oceniać skuteczność prognozy?
![Page 22: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/22.jpg)
Błędy ex postBłędy ex post [n+1,..., T] Trafność prognozyTrafność prognozy
Bezwzględny błąd prognozy ex post w czasie t (t>n)
*ttt yyq
12ˆ tt xy
PrzykładPrzykład
y11=30 mln zł
q11=30 - 31 = -1 mln zł
[~Y]
31
15*11
*11
y
x tys. szt
mln zł
![Page 23: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/23.jpg)
Tnty
yy
t
ttt ,...,1,
*
W z g l ę d n y b ł ą d p r o g n o z y e x p o s t w c z a s i e t
[ % ]
B ł ę d y e x p o s tB ł ę d y e x p o s t [ n + 1 , . . . , T ] T r a f n o ś ć p r o g n o z yT r a f n o ś ć p r o g n o z y
P r z y k ł a dP r z y k ł a d
%33,330
3130 t
![Page 24: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/24.jpg)
Ś r e d n i b ł ą d p r o g n o z e x p o s t w p r z e d z i a l e w e r y f i k a c j i
T
nttnT 1
1
B ł ę d y e x p o s tB ł ę d y e x p o s t [ n + 1 , . . . , T ] T r a f n o ś ć p r o g n o z yT r a f n o ś ć p r o g n o z y
= 8 , 3 4 %
1 1 = - 3 , 3 3 % 1 2 = 1 9 % 1 3 = - 6 % 1 4 = - 6 % 1 5 = - 7 , 4 %
![Page 25: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/25.jpg)
T
nttt yy
nTs
1
2** )(1
Ś r e d n i k w a d r a t o w y b ł ą d p r o g n o z e x p o s t w p r z e d z i a l ew e r y f i k a c j i
ss * w e k t o r p r o g n o z m o ż n a u z n a ć z a z a d a w a l a j ą c y
B ł ę d y e x p o s tB ł ę d y e x p o s t [ n + 1 , . . . , T ] T r a f n o ś ć p r o g n o z yT r a f n o ś ć p r o g n o z y
P r z y k ł a dP r z y k ł a d
s * = 3 , 9 1 m l n z ł s = 1 m l n z ł> >
![Page 26: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/26.jpg)
Ś r e d n i e o b c i ą ż e n i e p r o g n o z e x p o s t
T
nttq
nTu
1
1
B ł ę d y e x p o s tB ł ę d y e x p o s t [ n + 1 , . . . , T ] T r a f n o ś ć p r o g n o z yT r a f n o ś ć p r o g n o z y
W z g l ę d n e o b c i ą ż e n i e p r o g n o z e x p o s t
*y
uV u
022,0u
P r z y k ł a dP r z y k ł a d
%063,000063,035
022,0
uV
![Page 27: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/27.jpg)
n
itt
T
nttt
yyn
yynTJ
1
2
1
2*
2
)ˆ(1
)(1
W s p ó ł c z y n n i k j a n u s o w y
12J d o t y c h c z a s o w e p r o g n o z y t r a f n e
S t o p i e ń d o p a s o w a n i a p r o g n o z w p o r ó w n a n i u z d o p a s o w a n i e m m o d e l u .
B ł ę d y e x p o s tB ł ę d y e x p o s t [ n + 1 , . . . , T ] T r a f n o ś ć p r o g n o z yT r a f n o ś ć p r o g n o z y
1,1989,0
91,32
22 Js * = 3 , 9 1 m l n z ł
s = 1 m l n z ł
P r z y k ł a dP r z y k ł a d
![Page 28: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/28.jpg)
Współczynnik Theila
T
ntt
pr
T
ntt
T
nttt
y
rss
y
yyI
1
2
1
2
1
2*
2
)(
02I prognozy idealnie trafne
nT
yys
T
ntt
r
1
2)(
nT
yys
T
ntt
p
1
2** )(
pr
T
nttt
ss
yyyynTr
1
** )()(1
Odchylenie standardowe wielkości rzeczywistych w przedziale weryfikacji
Odchylenie standardowe prognoz w przedziale weryfikacji
Współczynnik korelacji liniowej pomiędzy prognozą, a jej realizacją
Błędy ex postBłędy ex post [n+1,..., T] Trafność prognozyTrafność prognozy
![Page 29: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/29.jpg)
W s p ó ł c z y n n i k T h e i l a
23
22
21
2 IIII
T
ntty
nT
yyI
1
2
*2
11
T
ntt
pr
ynT
ssI
1
2
222 1
)(
T
ntt
pr
ynT
rssI
1
2
23 1
)1(2
B ł ę d y z t y t u ł u :
O b c i ą ż o n o ś c i p r o g n o z yn i e o d g a d n i ę c i a ś r e d n i e j w a r t o ś c i p r o g n o z y
N i e d o s t a t e c z n e j e l a s t y c z n o ś c in i e o d g a d n i ę c i a w a h a ń z m i e n n e j p r o g n o z o w a n e j
N i e z g o d n o ś c i k i e r u n k ó w t e n d e n c j i r o z w o j o w e j
B ł ę d y e x p o s tB ł ę d y e x p o s t [ n + 1 , . . . , T ] T r a f n o ś ć p r o g n o z yT r a f n o ś ć p r o g n o z y
![Page 30: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/30.jpg)
Błędy ex postBłędy ex post [n+1,..., T] Trafność prognozyTrafność prognozy
PrzykładPrzykład
70
90
110
130
150
170
190
210
230
sty 98 lut 98 mar 98 kwi 98 maj 98 cze 98 lip 98 sie 98 wrz 98 paź 98 lis 98 gru 98
tys
m2
sprzedaż Wg trendu logistycznego Wg trendu liniowego
![Page 31: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/31.jpg)
B ł ę d y e x p o s tB ł ę d y e x p o s t [ n + 1 , . . . , T ] T r a f n o ś ć p r o g n o z yT r a f n o ś ć p r o g n o z y
W g t r e n d u l o g i s t y c z n e g o
W g t r e n d u l i n i o w e g o
Ś r e d n i w z g l ę d n y b ł ą d p r o g n o z 4 , 2 % 5 , 7 %O d c h y l e n i e s t a n d a r d o w e r e s z t m o d e l u s = 2 1 , 4 2 2 , 6
Ś r e d n i k w a d r a t o w y b ł ą d p r o g n o z s * = 9 , 8 1 0 , 3
W s p ó ł c z y n n i k j a n u s o w y J 2 = 0 , 2 0 9 0 , 2 0 9
W s p ó ł c z y n n i k T h e i l a I 2 = 0 , 0 0 3 0 , 0 0 3
o b c i ą ż o n o ś ć p r o g n o z y I 12 = 0 , 0 0 0 0 , 0 0 1
n i e d o s t a t e c z n a e l a s t y c z n o ś ć I 22 = 0 , 0 0 1 0 , 0 0 1
n i e z g o d n o ś ć k i e r u n k u I 32 = 0 , 0 0 2 0 , 0 0 2
o b c i ą ż o n o ś ć p r o g n o z y 8 , 4 % 2 7 , 2 %n i e d o s t a t e c z n a e l a s t y c z n o ś ć 3 6 , 8 % 2 3 , 2 %
n i e z g o d n o ś ć k i e r u n k u 5 4 , 8 % 4 9 , 6 %
![Page 32: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/32.jpg)
Więcej zmiennych nie oznacza lepszego modelu
Sprzeczność pomiędzy zwiększaniem stabilnościmodeli, a zwiększaniem ilości danych do modelu
UwagiUwagi
Zjawiska ekonomiczne są trudne do prognozowania
Więcej obserwacji - lepsze poznanie zjawiska
Dobry model powinien być oszczędny
Dobry model nie musi dawać dobrych prognoz
![Page 33: Jakość prognozy. Jak mierzyć i od czego zależy?](https://reader034.vdocuments.net/reader034/viewer/2022051316/568143b3550346895db03d63/html5/thumbnails/33.jpg)
M.Cieślak (red.) Prognozowanie gospodarcze. Metody i zastosowania. PWN’97A. Zeliaś, B.Pawełek, S.Wanat Prognozowanie ekonomiczne. Teoria, przykłady, zadania PWN’2003J.Gajda Prognozowanie i symulacja a decyzje gospodarcze, Wydawnictwo C.H. Beck 2001
A. Zeliaś, Teoria prognozy PWE’97W.Sadowski (red.) Elementy ekonometrii i programowania matematycznego. PWN’80D.Montgomery, L.Johnson, J.Gardiner Forecasting and Analysis. McGraw Hill’90A. Aczel Statystyka w zarządzaniu PWN 2000
W.Samuelson, S.Marks Ekonomia menedżerska, PWE’98
Użyteczna literaturaUżyteczna literatura