metody analizy decyzji wykład 7 – sekwencyjne problemy decyzyjne
DESCRIPTION
Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne. Cele dzisiejszego wykładu. Specyfika sekwencyjnych problemów decyzyjnych Model sekwencyjnego problemu decyzyjnego Parametryzacja modelu Rozwiązywanie problemów sekwencyjnych (indukcja wsteczna). Sekwencyjne sytuacje decyzyjne. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/1.jpg)
Metody analizy decyzji
Wykład 7 – sekwencyjne problemy decyzyjne
![Page 2: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/2.jpg)
2
• Specyfika sekwencyjnych problemów decyzyjnych
• Model sekwencyjnego problemu decyzyjnego
• Parametryzacja modelu
• Rozwiązywanie problemów sekwencyjnych (indukcja wsteczna)
Cele dzisiejszego wykładu
![Page 3: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/3.jpg)
3
• Problemy decyzyjne są często częścią większych problemów
• Wybór dotyczy ciągu działań odseparowanego w czasie
• Akcje spotykają się z reakcjami środowiska– trudno podjąć wszystkie decyzje na zapas– zależności strukturalne (dostępność akcji zależy od reakcji) –
trudno postrzegać „jednocześnie”
• Akcje podejmowane po to, żeby zbadać stan świata (nawet bez 100% pewności)
Sekwencyjne sytuacje decyzyjne
![Page 4: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/4.jpg)
4
Firma zdała sobie sprawę, że wypuściła na rynek wadliwy produkt. Nie jest pewna skali zjawiska – może być duża (40%) lub mała. Jeśli firma nie da po sobie znać, to wina za duży problem na 25% nie zostanie przypisana firmie (za mały na pewno nie). Firma może zignorować problem, upublicznić sprawę lub wszcząć wewnętrzne śledztwo. Wewnętrzne śledztwo na 80% faktycznie pozostanie w ukryciu i da pewną informację nt. skali problemu. Wtedy firma będzie mogła ponownie podjąć decyzję o upublicznieniu lub zignorowaniu przy zachowaniu ww. prawdopodobieństw. Jeśli śledztwo się wyda, pozostaje jedynie niepewność co do skali problemu i reakcji ludzi.Straty – konieczność rekompensat i wymiany sprzętu – wynikające z dużego problemu wynoszą 100 [wszystkie kwoty w mln $], z małego 30. Jeśli problem jest duży, to dodatkowa strata wyniesie: 100 – jeśli firma ignorowała problem, 50 – jeśli firma badała kwestię, ale w ukryciu.Koszt upublicznienia jest równy 1, zaś śledztwa 5.
Przykład
![Page 5: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/5.jpg)
5
• Jakie warianty decyzyjne są dostępne, ile ich jest?• Jakie są możliwe konsekwencje dla poszczególnych
wariantów? Jakie są związane z nimi wypłaty i prawdopodobieństwa wystąpienia?
• Jaka jest optymalna decyzja? Jakie zachowania przewiduje?• Jak wpływa wzrost prawdopodobieństwa przecieku ze
śledztwa? • Ile jest warta możliwość przeprowadzenia śledztwa?• Ile maksymalnie warto zapłacić za informację o skali
problemu?
Przykład – pytania
![Page 6: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/6.jpg)
6
• Brak uwidocznienia struktury• Trudność odgadnięcia niezbędnych parametrów• Trudność reewaluacji• Niewidoczne współzależności między parametrami
Model sekwencyjnego problemu decyzyjnego – złe podejście
Skala jest duża, ale sama z siebie nie wyjdzie; sekretne badania
wyjdą na jaw… …
Zignoruj problem … … …
… … … …Prowadź badania, jeśli uda się utrzymać
sekret i okaże się, że …, to … … … …
![Page 7: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/7.jpg)
7
• Elementy modelu:– struktura (dostępne działania, następstwo czasowe)– parametry (prawdopodobieństwa, koszty, wypłaty)
• Struktura: drzewo decyzyjne – graf (nieskierowany, spójny, acykliczny)– korzeń reprezentuje początek sytuacji decyzyjnej– wierzchołki reprezentują moment oczekiwania lub zakończenie
problemu– wierzchołki: decyzyjne, losowe, końcowe– krawędzie między wierzchołkami reprezentują działania/reakcje– odległość wierzchołków od korzenia reprezentuje następstwo czasowe
Model sekwencyjnego problemu decyzyjnego – drzewa decyzyjne
![Page 8: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/8.jpg)
8
![Page 9: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/9.jpg)
9
• Elementy modelu:– struktura (dostępne działania, następstwo czasowe)– parametry (prawdopodobieństwa, koszty, wypłaty)
• Struktura: …
• Parametry:– miary prawdopodobieństwa dla wierzchołków losowych– …
Model sekwencyjnego problemu decyzyjnego – drzewa decyzyjne, c.d.
![Page 10: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/10.jpg)
10
![Page 11: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/11.jpg)
11
• Elementy modelu:– struktura (dostępne działania, następstwo czasowe)– parametry (prawdopodobieństwa, koszty, wypłaty)
• Struktura: …
• Parametry:– miary prawdopodobieństwa dla wierzchołków losowych– wypłaty dla wierzchołków końcowych– koszty dla działań i reakcji (krawędzi wychodzących z odpowiednich
węzłów)
Model sekwencyjnego problemu decyzyjnego – drzewa decyzyjne, c.d.
![Page 12: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/12.jpg)
12
![Page 13: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/13.jpg)
13
• Stałość parametrów• Czas tylko porządkowo (tylko następstwo
czasowe)• Jeden decydent• Jedno kryterium• Liniowa f. użyteczności (ew. wypłaty w węzłach
końcowych jako użyteczność)
Przyjęte uproszczenia modelu
![Page 14: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/14.jpg)
14
• Wariant decyzyjny jednoznacznie określa zachowanie decydenta poprzez podanie reguł: „jeśli wystąpi stan świata X, podejmij działanie Y”
• Wariant decyzyjny to maksymalny spójny podgraf, w którym każdy wierzchołek decyzyjny ma dokładnie jeden następnik
• Ile jest wariantów decyzyjnych w naszym problemie?
Model sekwencyjnych problemów decyzyjnych – warianty decyzyjne
![Page 15: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/15.jpg)
15
![Page 16: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/16.jpg)
16
Przykładowe warianty decyzyjne
![Page 17: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/17.jpg)
17
• Każdemu wariantowi odpowiada co najmniej jedna konsekwencja, tj. ścieżka działań i reakcji, która może zajść w wyniku wybrania tego wariantu
• Konsekwencje reprezentowane są przez maksymalne spójne podgrafy, w których każdy węzeł (poza końcowymi) ma jeden następnik
• Każdy wariant ma tyle konsekwencji, ile węzłów końcowych
• Konsekwencjom odpowiadają wypłaty dla decydenta oraz prawdopodobieństwo (przy założeniu wybrania wariantu, dla którego dana konsekwencja możliwa)
Konsekwencje
![Page 18: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/18.jpg)
18
Przykładowe konsekwencje
![Page 19: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/19.jpg)
19
• Każdemu wariantowi odpowiada co najmniej jedna konsekwencja, tj. ścieżka działań i reakcji, która może zajść w wyniku wybrania tego wariantu
• Konsekwencje reprezentowane są przez maksymalne spójne podgrafy, w których każdy węzeł (poza końcowymi) ma jeden następnik
• Każdy wariant ma tyle konsekwencji, ile węzłów końcowych
• Konsekwencjom odpowiadają wypłaty dla decydenta oraz prawdopodobieństwo (przy założeniu wybrania wariantu, dla którego dana konsekwencja możliwa)
• Ta sama konsekwencja może wynikać z kilku różnych wariantów (różniących się po reakcjach, które nie zaszły) – wtedy ma takie same wypłaty i prawdopodobieństwa dla każdego wariantu
Konsekwencje, c.d.
![Page 20: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/20.jpg)
20
• Każdej konsekwencji odpowiada:– koszt – suma kosztów na ścieżce konsekwencji– wypłata – z węzła końcowego– prawdopodobieństwo – iloczyn prawdopodobieństw
• Każdemu wariantowi przypisać można rozkład prawdopodobieństwa zysku (wypłat pomniejszonych o koszty)
• Przy porównywaniu można stosować metody poznane na poprzednim wykładzie,…
• …w dalszej części będziemy wykorzystywać wartość oczekiwaną zysku (liniowa funkcja użyteczności)
Ocena wariantu i wybór
![Page 21: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/21.jpg)
21
• W dużych problemach łatwiej wybrać metodą indukcji wstecznej:– przesuwamy się od węzłów końcowych do wierzchołka– dla węzłów końcowych mamy zdefiniowaną wypłatę– z każdym węzłem losowym utożsamiamy wypłatę jako wartość
oczekiwaną wypłaty dla jego następników– z każdym węzłem decyzyjnym utożsamiamy wypłatę jako najwyższą
wypłatę dla któregoś następnika pomniejszoną o koszt działania
• Uwaga:– dla każdego węzła decyzyjnego dokonaliśmy wyboru – te wybory definiują
wariant decyzyjny, który jest rozwiązaniem!– wartość obliczona w korzeniu drzewa definiuje oczekiwaną wypłatę przy
wybraniu rozwiązania – to jest także wartość całego problemu
Wybór metodą indukcji wstecznej
![Page 22: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/22.jpg)
22
![Page 23: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/23.jpg)
23
• Optymalny wariant przewiduje prowadzenie badań i upublicznienie wyników (o ile samoistnie nie nastąpił przeciek), jeśli okaże się, że skala problemu jest duża
• Oczekiwana strata w tej sytuacji decyzyjnej dla optymalnego wariantu wynosi 58,6 mln $
• Druga najlepsza opcja to natychmiastowe upublicznienie wyników – oczekiwana strata jest wówczas równa 59 mln $
Podsumowanie rozwiązania
![Page 24: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/24.jpg)
24
Rockefeller ma pole w umiarkowanie roponośnej okolicy. Zgłosił się do niego oferent, proponując mu za to pole od ręki 750 tys. $, jeśli do transakcji dojdzie natychmiast.
Rockefeller może jednak próbować zarobić większe pieniądze. Wiadomo, że połowa pól w tej okolicy rzeczywiście obfituje w ropę. Można (za 250 tys. $) zbudować instalację pozwalającą na wydobycie. Jeśli pod polem znajdują się złoża, przychód wyniesie 2,5 mln. $. Jeśli nie, przychód wyniesie 0$. Co więcej, wykonanie odwiertu uniemożliwia sprzedaż pola (wszyscy wiedzą, że oznaczać to może wyłącznie to, że pole jest bezwartościowe)
Alternatywnie można zdecydować się na próbne odwierty połączone z badaniami geologicznymi, które kosztują 100 tys. $. Wyniki takich badań są mylne w 10%, jeśli pole jest roponośne (sensitivity = 90%), i w 30%, jeśli ropy nie ma (specificity = 70%).
Po wykonaniu badania można podjąć decyzję o budowaniu instalacji na powyższych warunkach lub sprzedaży pola. Co więcej, uzyskanie pozytywnego sygnału daje możliwość sprzedaży za wyższą kwotę, bo za 1 mln. $ (dostaje się odpowiedni certyfikat). Uzyskanie negatywnego wyniku można ukryć i sprzedać pole za 500 tys. $.
Przykład 2 – czarne złoto
![Page 25: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/25.jpg)
25
Ustal strukturę drzewa
![Page 26: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/26.jpg)
26
Wpisz wypłaty i koszty
![Page 27: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/27.jpg)
27
Podaj prawdopodobieństwa
![Page 28: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/28.jpg)
Prawdopodobieństwo warunkowe Bayes
• Prawdopodobieństwo zdarzenia pod warunkiem innego zdarzenia
• Prawdopodobieństwo całkowite zdarzenia w zależności od zajścia którejś z rozłącznych możliwości
• Prawdopodobieństwo zajścia hipotezy pod warunkiem zajścia skutku
)(
)()|(
HP
HAPHAP
)()|()()|()(
)()()(
)()(
;;,,
11
1
1
11
nn
n
n
njin
HPHAPHPHAPAP
HAPHAPAP
HAHAA
HHHHjiHH
)()|()()|(
)()|(
)(
)()|(
11
1111
nn HPHAPHPHAP
HPHAP
AP
AHPAHP
![Page 29: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/29.jpg)
Paradox Monty Hall’a
• http://www.math.ucsd.edu/~crypto/Monty/montybg.html
![Page 30: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/30.jpg)
Przykład z testowaniem wirusa HIV• Prawdopodobieństwo, że dana
osoba jest zakażona wirusem HIV w danej populacji jest 0,1%
• Test się myli w 1% przypadków, jeśli osoba jest zakażona (sensitivity = 99%)
• Test się myli w 5% przypadków, jeśli osoba jest niezakażona (specificity = 95%)
• Jakie jest prawdopodobieństwo, że dana osoba jest zakażona pod warunkiem, że test wskazał „positive”?
• Jakie jest prawdopodobieństwo, że dana osoba nie jest zakażona pod warunkiem, że test wskazał „negative”?
![Page 31: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/31.jpg)
0,099%
0,001%
4,995%
94,905%
0,099%
0,001%
4,995%
94,905%
Probability tree flipping
![Page 32: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/32.jpg)
Czarne złoto – prawdopodobieńśtwa
• Oznaczenia:– hipotezy:
• H1 – jest ropa• H2 – nie ma ropy
– zdarzenie A – pozytywny wynik testu
• Dane:– P(H1)= 50%– P(H2)= 50%– P(A|H1)= 90%– P(A|H2)= 30%– P(~A|H1)= 10%– P(~A|H2)= 70%
• Potrzebujemy:– P(A)=…– P(H1|A)=…– P(H1|~A)=…
• Obliczenia:P(A) = P(A|H1)P(H1)+P(A|H2)P(H2)==90%*50%+30%*50%=60%
P(H1|A)=P(A|H1)P(H1)/P(A)=90%*50%/60% = 75%
P(H1|~A)=P(~A|H1)P(H1)/P(~A)=10%*50%/40% = 12,5%
![Page 33: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/33.jpg)
![Page 34: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/34.jpg)
34
Prawdopodobieństwa warunkowe intuicyjnie
Pr(test + | wiersz) Pr(test - | wiersz) Pr. wiersza
jest ropa 90% 10% 50%
nie ma 30% 70% 50%
SUMA n.a. n.a. 100%
test + test - SUMA
jest ropa 45% 5% 50%
nie ma 15% 35% 50%
SUMA 60% 40% 100%
test + test - SUMA
Pr(jest ropa | kolumna) 75% 12,5% n.a.
Pr(nie ma | kolumna) 25% 87,5% n.a.
Pr. kolumny 60% 40% 100%
![Page 35: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/35.jpg)
35
Podaj prawdopodobieństwa
![Page 36: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/36.jpg)
36
Rozwiąż metodą indukcji wstecznej
![Page 37: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/37.jpg)
37
• Optymalny wariant przewiduje prowadzenie badań i sprzedaż pola dla negatywnego wyniku oraz budowanie instalacji dla pozytywnego
• Oczekiwany zysk dla optymalnego wariantu wynosi 1,075 mln $
• Druga najlepsza opcja to natychmiastowe budowanie instalacji – oczekiwany zysk jest wówczas równy 1 mln $
Podsumowanie rozwiązania
![Page 38: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/38.jpg)
38
• Darmowe (do celów niekomercyjnych):– InsightTree:
http://www.visionarytools.com/License.htm
• Płatne, wiele funkcji, dostępna wersja testowa:– TreeAge: http://www.treeage.com/
Narzędzia
![Page 39: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/39.jpg)
39
![Page 40: Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne](https://reader035.vdocuments.net/reader035/viewer/2022062409/56814deb550346895dbb5b5e/html5/thumbnails/40.jpg)
40
• Drzewo decyzyjne jako model sekwencyjnego problemu decyzyjnego (to nie to samo co drzewo klasyfikacyjne z data miningu!)
• Drzewo decyzyjne ułatwia strukturyzację modelu, ale wciąż występują pułapki (jak zawsze) – trzeba zachować perspektywę decydenta
• Parametryzacja często wymaga metod bayesowskich
• Do rozwiązywania można podejść globalnie (wypisanie wariantów) albo rekurencyjnie (indukcja wsteczna) – w ramach modelu i ograniczeń stosowanych dzisiaj podejścia te są równoważne
Podsumowanie