fakultamatematiky,fyziky...

57
FAKULTA MATEMATIKY, FYZIKY A INFORMATIKY UNIVERZITY KOMENSKÉHO V BRATISLAVE Diplomová práca Ľubomír Boďa Bratislava 2005

Upload: others

Post on 05-Mar-2021

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

FAKULTA MATEMATIKY, FYZIKYA INFORMATIKY UNIVERZITY KOMENSKÉHO

V BRATISLAVE

Diplomová práca

Ľubomír Boďa

Bratislava 2005

Page 2: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

FAKULTA MATEMATIKY, FYZIKYA INFORMATIKY UNIVERZITY KOMENSKÉHO

V BRATISLAVE

Katedra aplikovanej matematiky a štatistiky

Aplikácie a metódy riešenia teórie hier- normálne, opakované a evolučné hry

Diplomová práca

Diplomant: Ľubomír BoďaVedúci diplomovej práce: Doc. RNDr. Ján Pekár, PhD.

Bratislava 2005

Page 3: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Prehlasujem, že túto prácu som vypracoval sám, iba s použitím uvedenejliteratúry a s pomocou diplomového vedúceho.

Page 4: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Ďakujem svojmu diplomovému vedúcemu Doc. RNDr. Jánovi Pekárovi, PhD.za pomoc a inšpiráciu pri písaní tejto práce.

Page 5: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

0.1 Úvod

Základné postupy časti teórie hier, ktorá sa zaoberá normálnymi hrami majúniekoľko všeobecne známych praktických nedostatkov. Asi najvážnejším jefakt, že napriek tomu, že rovnovážny stav, výstup z hry považovaný za rie-šenie, existuje v každej konečnej hre, neexistuje všeobecná metóda, ktorá bytoto dokázala explicitne nájsť. Naviac, numerické metódy na výpočet ekvilib-ria sú už aj pri relatívne málo-rozmerných všeobecných hrách kvôli nutnostiriešiť systém veľkého množstva nelineárnych rovníc komplikované.Druhým problémom je aplikácia rovnovážneho stavu v praxi. Najmä preto,

že rovnovážnych stavov môže existovať viac a tiež môže existovať v hre takývýstup, že nie je rovnovážnym stavom a pritom je pre každého hráča lepší akokaždý rovnovážny stav. Toto je možné riešiť opakovaním hry, kde sa riešeniehry môže veľmi líšiť od prípadu, keď sa hra neopakuje. Dôvodom je postupnénaberanie skúseností hráčov, ktorí počas procesu opakovania prihliadajú napredchádzajúci priebeh hry.Teória hier je častokrát považovaná skôr za nástroj na vysvetľovanie a

analýzu skutočností, ktoré sa už stali a jej predikčná funkcia je menej vý-razná alebo dokonca úplne spochybnená. Dôvodom je v praxi ťažko zaruči-teľný predpoklad, že všetci hráči, účastníci nejakého procesu, pri ktorom sanavzájom ovplyvňujú, budú konať racionálne.Z hľadiska posledných dvoch spomenutých vlastností sú výnimočné evo-

lučné modely, pretože napriek tomu, že ide de facto o modely, kde sa hraopakuje, nedochádza tu oproti statickým hrám k veľkým zmenám v riešení.A taktiež, predpoklad racionality hráčov je nahradený procesom, v ktorommnožstvo úspešnejších hráčov rastie na úkor menej úspešných. Vo svojej pod-state sú evolučné hry príbuzné hrám normálnym, pretože riešenia evolučnýcha normálnych hier sú takmer identické. Podobnosť s normálnymi hrami mávšak aj ďalšie veľmi zaujímavé dôsledky. Evolučnú hru možno chápať aj akonástroj na empirické overenie výsledkov normálnej hry. Čo je však dôleži-tejšie, evolučný model je častokrát oveľa jednoduchšie numericky riešiteľnýako statická hra, z ktorej vychádza. Preto je možné a vhodné, hľadať rovno-vážne stavy normálnej hry analýzou dynamického systému prislúchajúcehoevolučnej hre, v ktorej sa normálna hra opakuje.V kapitolách 1,2 a 3 sú zhrnuté najdôležitejšie poznatky z normálnych,

opakovaných a evolučných hier s prihliadnutím na ich aplikačné možnosti.Kapitola 4 priamo konfrontuje tieto tri prístupy a na známych príkladochukazuje výsledky každého z nich.

1

Page 6: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

0.2 Poznámky

• V prípade, že je v práci uvedený pojem Nashovho ekvilibria bez zmienkyo tom, či ide o profil čistých alebo zmiešaných stratégií, myslí sa týmvšeobecnejší pojem Nashovho ekvilibria v zmiešaných stratégiach.

• Citácie z literatúry sú v práci uvedené vtedy, keď text presne zodpo-vedá, alebo priamo výchádza z textu v uvedenej literatúre. V prípade,že poznatok je všeobecne známy a v práci ho uvádzame modifikovanýalebo inak formulovaný, citácie presne neuvádzame.

2

Page 7: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Obsah

0.1 Úvod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10.2 Poznámky . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1 Hry v normálnom tvare 51.1 Základné pojmy a definície . . . . . . . . . . . . . . . . . . . . 6

1.1.1 Hra v strategickom tvare . . . . . . . . . . . . . . . . . 61.1.2 Dominancia . . . . . . . . . . . . . . . . . . . . . . . . 81.1.3 Nashovo ekvilibrium . . . . . . . . . . . . . . . . . . . 101.1.4 Ďalšie typy ekvilibrií . . . . . . . . . . . . . . . . . . . 12

1.2 Existencia ekvilibria . . . . . . . . . . . . . . . . . . . . . . . 151.2.1 Existencia ekvilibria v čistých stratégiách . . . . . . . . 151.2.2 Existencia ekvilibria v zmiešaných stratégiách . . . . . 16

1.3 Metódy riešenia statických hier . . . . . . . . . . . . . . . . . 181.3.1 Hľadanie NE v čistých stratégiách . . . . . . . . . . . . 181.3.2 Hľadanie NE v zmiešaných stratégiách . . . . . . . . . 19

2 Opakované hry 212.1 Základné pojmy a definície . . . . . . . . . . . . . . . . . . . . 22

2.1.1 Opakovaná hra . . . . . . . . . . . . . . . . . . . . . . 222.1.2 Ekvilibrium v opakovaných hrách . . . . . . . . . . . . 23

2.2 Stratégie v opakovaných hrách . . . . . . . . . . . . . . . . . . 242.3 Riešenie opakovanej hry . . . . . . . . . . . . . . . . . . . . . 252.4 Fictitious Play . . . . . . . . . . . . . . . . . . . . . . . . . . 27

3 Evolučné hry 293.1 Evolučná hra . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

3.1.1 Evolučný model . . . . . . . . . . . . . . . . . . . . . . 303.1.2 Výplatová pozitívnosť . . . . . . . . . . . . . . . . . . 31

3.2 Replikátor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

3

Page 8: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

3.3 Riešenie evolučných hier . . . . . . . . . . . . . . . . . . . . . 34

4 Opakované a evolučné prístupy ku hre 364.1 Opakované a evolučné prístupy . . . . . . . . . . . . . . . . . 37

4.1.1 Riešenie hry . . . . . . . . . . . . . . . . . . . . . . . . 374.1.2 Nashovo ekvilibrium a stabilný stav . . . . . . . . . . . 384.1.3 Systém nelineárnych rovníc . . . . . . . . . . . . . . . 39

4.2 Niektoré typy hier . . . . . . . . . . . . . . . . . . . . . . . . . 404.2.1 Väzňova dilema . . . . . . . . . . . . . . . . . . . . . . 404.2.2 Koordinačná hra . . . . . . . . . . . . . . . . . . . . . 424.2.3 Najpočetnejší prehráva . . . . . . . . . . . . . . . . . . 444.2.4 Hra - Kitty Genovese . . . . . . . . . . . . . . . . . . . 47

4.3 Záver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

5 Obrázková príloha 49

4

Page 9: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Kapitola 1

Hry v normálnom tvare

5

Page 10: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

1.1 Základné pojmy a definície

1.1.1 Hra v strategickom tvare

Teória hier sa vo všeobecnosti zaoberá procesmi, v ktorých hráči (agentizúčastnení v procese - hre) na základe svojich rozhodnutí a rozhodnutí os-tatných hráčov počas hry, dostávajú odmenu (výplatu). Podľa toho ako hráčivolia svoje rozhodnutia a dostávajú výplaty, budeme rozlišovať rôzne formyhry. Hráči môžu voliť svoje rozhodnutia naraz (simultánne) alebo postupne,výplaty môžu byť vyplácané raz, viac-krát alebo do nekonečna, hráči môžualebo nemusia mať informácie o rozhodnutiach ostatných hráčov a pod.”Štandardná interpretácia formy hry je, že táto predstavuje presný a úplnýpopis pravidiel pre danú situáciu. ([2])” V prvej kapitole sa budeme zaobe-rať hrami, v ktorých hráči volia svoje rozhodnutia práve jeden-krát a všetcinaraz. Budeme hovoriť o hre v normálnej alebo tiež strategickej forme.

Definícia 1.1.1 ([3]) Pod hrou v strategickej (normálnej) forme rozumieme:

• konečnú množinu hráčov D = {1, 2, ..., N}

• množiny stratégií S1, S2, ..., SN

• funkcie výplat ui : S1 × S2 × ... × SN → R, (i = 1, 2, ..., N)

Hra v normálnej forme je teda trojica pozostávajúca z množiny hráčov, mno-žín stratégií a funkcií výplat. Označujeme G = (D, {Si}, {ui}).Profilom stratégií s = (s1, s2, ..., sN) budeme nazývať prvok z množiny

S = S1 × S2 × ... × SN , t.j. s ∈ S. Profil stratégií predstavuje výber straté-gií všetkých hráčov. Taktiež budeme značiť výber stratégií všetkých hráčovokrem hráča i ako s−i = (s1, ..., si−1, si+1, ..., sN).Pojem stratégie je zvyčajne interpretovaný ako ”plán akcie ([2])”, alebo

tiež ”hráčov zámer, akým spôsobom bude hrať ([2])”. To znamená, že stra-tégiu môžeme chápať ako rozhodnutie podmienené stavom hry, v ktorom sahráč rozhoduje.Takýmto strátegiám, ktoré prestavujú konkrétnu voľbu hráča budeme ho-

voriť čisté stratégie. Hráč sa však môže rozhodnúť, že jeho voľba nebudepodmienená len stavom hry, ale zčasti aj náhode. Môže sa tak rozhodnúťnapríklad vtedy, keď je buď ku viacerým stratégiám indiferentný, alebo aj vprípade, keď by chcel voliť niektorú stratégiu viac ako inú, nechce sa všakobmedziť len na hranie tejto stratégie. V takomto prípade budeme hovoriť otzv. zmiešaných stratégiách.

6

Page 11: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Definícia 1.1.2 Nech G je hra v normálnej forme s množinami stratégiíS1, S2, ..., SN . Zmiešanou stratégiou σi hráča i budeme nazývať rozdeleniepravdepodobnosti nad Si.

Pretože stratégií hráča i je konečné množstvo, σi možno chápať aj akofunkciu σi : Si → R+0 takú, že

si∈Siσi(si) = 1.

Symbolom Σi budeme značiť množinu všetkých rozdelení nad stratégiamihráča i. Σ bude kartézsky súčin týchto množín, čiže Σ = Σ1 × ... × ΣN

Keďže hráči volia svoje stratégie náhodne, budeme hovoriť o očakávanejvýplate. Očakávanú výplatu hráča i, ak volí čistú stratégiu si a ostatní hráčivolia σ−i označíme ui(si, σ−i) a máme

ui(si, σ−i) =∑

s−i

u(si, s−i)p(s−i) (1.1)

kde p(s−i) je pravdepodobnosť, že protihráči budú hrať s−i, čiže

p(s−i) =∏

sj∈s−i

σj(sj) (1.2)

Podobne očakávanú výplatu hráča i, ak volí zmiešanú stratégiu σi a os-tatní hráči volia σ−i budeme označovať ui(σi, σ−i) a vypočítame ju ako

ui(σi, σ−i) =∑

si∈Si

σi(si)u(si, σ−i) (1.3)

Zmiešané stratégie môžu byť intuitívne trochu problematické. ”Len ne-ochotne pripúšťame, že naše rozhodnutia môžu byť náhodné. Preferujeme,keď môžeme každú voľbu zdôvodniť. [2]” Avšak existujú prípady, keď je ajintuitívne jasné, že náhodná voľba stratégie môže mať svoj význam. Jed-ným z najjednoduchších príkladov môže byť hra kameň-papier-nožnice, kdeza predpokladu, že nemáme žiadne presvedčenie o tom, čo bude protivníkvoliť, sme jednak indiferentní v hraní tej-ktorej stratégie a taktiež chcemezabrániť, aby z voľby našej stratégie získal protihráč presvedčenie, ktoré bymu umožnilo získať výhodu.Z hľadiska zabránenia protihráčovi získať presvedčenie, ktoré by mu mohlo

pomôcť pri hre, by sa mohlo zdať, že zmiešané stratégie majú význam lenv prípade, že sa hra opakuje a keďže ak hra pozostáva len z jedného kon-krétneho simultánneho rozhodnutia hráčov, nemá toto význam podmieňovaťnáhode. Ukazuje sa však, že je výhodné uvažovať zmiešané stratégie aj v prí-pade, že nechávame hrať tú istú hru síce len raz, ale veľké množstvo hrajúcich

7

Page 12: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

n-tíc hráčov, kde potom zmiešaná stratégia predstavuje pomerné množstvohráčov hrajúcu konkrétnu stratégiu. Čiže je možné sa na hru pozerať, ako na”interakciu medzi veľkými populáciami ([2])”. Ďalším významom zmiešanýchstratégií je možná interpretácia, že stratégia nie je náhodná, ale ”je závislána hráčovej informácii, ktorá nie je špecifikovaná v modeli ([2])”, avšak na-hradenie tejto informácie zmiešanou stratégiou je pre model prijateľné.

1.1.2 Dominancia

Jedným z predpokladov, ktorý sa objavuje takmer vo všetkých oblastiachteórie hier, je racionalita hráčov, čiže predpoklad, že každý hráč sa na zá-klade svojich presvedčení rozhoduje tak, že maximalizuje svoj zisk (výplatu)z hry. Presvedčenie možno definovať ako pravdepodobnostné rozdelenie nadstratégiami ostatných hráčov. V prípade, že hráč nemá žiadne špeciálne pre-svedčenie o tom, čo budú jeho súperi hrať, rozdelenie bude rovnomerné.Predpoklad racionality hráčov, aj napriek tomu, že by sa mohol zdať

automaticky vhodný a prirodzený, býva jedným z hlavných dôvodov, prečov aplikáciach na konkrétny problém slúži teória hier skôr ako nástroj navysvetľovanie a nie ako nástroj predikčný.Racionalita hráča zaručuje, že v prípade existencie dvoch stratégií, s kto-

rých jedna je horšia ako druhá bez ohľadu na to, čo bude hrať protihráčresp. protihráči, si túto stratégiu hráč nikdy nevyberie. V takomto prípadehovoríme o dominovanej stratégii.

Definícia 1.1.3 ([3])Hovoríme, že stratégia si ∈ Si hráča i je ostro dominovaná, ak existuje takástratégia s′i ∈ Si hráča i, že

ui(s′

i, s−i) > ui(si, s−i)

pre každé s−i ∈ S−i.

Podobne môžeme definovať aj slabú dominanciu, ak nerovnosť v definíciibude ostro platiť aspoň pre jedno s−i ∈ S−i a pre všetky ostatné budeui(s′i, s−i) ≥ ui(si, s−i).Racionálny hráč si nikdy nevyberie dominovanú stratégiu, pretože bez

ohľadu na jeho presvedčenie (teda pre každé pravdepodobnostné rozdelenienad stratégiami ostatných hráčov) bude existovať stratégia, pri ktorej dostanelepšiu alebo rovnakú výplatu.

8

Page 13: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Za predpokladu racionality všetkých hráčov možno tiež uvažovať, že všetcihráči majú presvedčenie o tom, že každý z protihráčov bude voliť stratégiuracionálne. To okrem iného znamená, že každý hráč je presvedčený o tom,že žiadny z jeho súperov si nezvolí dominovanú stratégiu. Tieto presvedče-nia môžeme aplikovať na hru tak, že dominované stratégie z hry odstránime.Avšak po odstránení niektorej resp. niektorých stratégií sa môže stať, žev novovzniknutej hre budú niektoré stratégie dominované, aj keď predtýmneboli. Mohlo sa totiž stať, že bolo odstránené práve také s−i, ktoré spôso-bovalo, že nebola nesplnená nerovnosť 1.1.3, avšak všetky ostatné stratégienerovnosť spĺňali. Tým nám teda vznikla ďalšia dominovaná stratégia, ktorúna základe predpokladu racionality môžeme z hry odstrániť. Tento proces sanazýva iterovaná dominancia. Formálne môžeme definovať iteračný algorit-mus na odstraňovanie dominovaných stratégií.

Definícia 1.1.4 Množinu stratégií S∞

i , ktorá vznikla postupným odstraňo-vaním všetkých dominovaných stratégí dostaneme nasledovným algoritmom:

• S0i = Si, ∀i = 1, 2, ..., N

• Sk+1i = {si ∈ Sk

i |Neexistuje taká s′i ∈ Ski , že ui(s′i, s−i) > ui(si, s−i)∀s−i ∈

Sk−i)}, ∀i = 1, 2, ..., N

• S∞

i =⋂

k=1 Ski

Treba poznamenať, že ”zmenšovanie” množiny Ski skončí po konečnom počte

krokov, pretože množina stratégií je konečná.V prípade, že je možné postupným odstraňovaním dominovaných stratégií

dôjsť až k jedinému profilu, možno tento považovať za riešenie hry, pretožeracionalita hráčov implikuje, že práve tento profil stratégií budú hráči hrať.Iterovaná dominancia predstavuje prvú, aj keď veľmi obmedzenú možnosť,ako riešiť hru v normálnej forme. Jej veľkou nevýhodou, ktorá ju robí voväčšine prípadov nepoužiteľnou, je skutočnosť, že dominované stratégie vktorejkoľvek ”iterácii” nemusia existovať.

Definícia 1.1.5 Hra v normálnej forme je riešiteľná iterovanou dominan-ciou, ak po aplikovaní 1.1.4 bude S∞ = S∞

1 × S∞

2 × ...×S∞

N obsahovať právejeden profil stratégií.

9

Page 14: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

1.1.3 Nashovo ekvilibrium

Ďalšou možnosťou, ako riešiť hru v normálnej forme je hľadanie výstupu zhry, ktorý by predstavoval rovnovážny stav. Myšlienka je založená na tom, žehráči sa dostanú do takého stavu hry - zvolia taký profil stratégií, v ktoromje výhodné každému z nich ostať. Takýto rovnovážny stav nemusí byť nutne”najvýhodnejším” profilom stratégií, zaručuje však, že v prípade, ak pro-tihráči budú hrať túto rovnováhu, hráčovi sa ju oplatí hrať tiež. Keďže totoplatí pre každého hráča a pri predpoklade racionality všetkých hráčov, je tátorovnováha intuitívne dobrým kandidátom na riešenie hry. Takejto rovnováhebudeme hovoriť Nashova rovnováha alebo tiež Nashove ekvilibrium.

Definícia 1.1.6 ([3])Profil stratégií s∗ je Nashovým ekvilibriom hry G v čistých stratégiách, ak prekaždého hráča i a pre všetky si ∈ S platí:

ui(s∗i , s∗

−i) ≥ ui(si, s∗

−i) (1.4)

Definícia 1.1.7 ([3])Nashovo ekvilibrium s∗ v čistých stratégiách je ostré, ak pre každého hráča ia pre všetky si ∈ S také, že si 6= s∗ platí:

ui(s∗i , s∗

−i) > ui(si, s∗

−i) (1.5)

Nashovo ekvilibrium predstavuje síce slabšieho, ale oveľa použiteľnejšiehokandidáta na riešenie hry ako iterovaná dominancia. Problém s existenciouriešenia nie je síce ešte úplne vyriešený, ale je možné formulovať prijateľnépredpoklady, za ktorých bude Nashove ekvilibrium existovať. Táto proble-matika je podrobnejšie rozoberaná v časti 1.2.Ďalším problémom je fakt, že v hre môže existovať viacero Nashových

ekvilibrií a teda nie je jasné, ktorý profil stratégií považovať za riešenie hry.Toto môže viesť až k úplne opačnému efektu, ako by si hráči želali. Predpo-kladajme, že dvaja hráči si vyberú za cieľ Nashovo ekvilibrium a prispôsobiatomu svoj výber stratégie, avšak každý z nich si zvolil ekvilibrium iné. Vý-sledkom teda nielenže nebude požadovaná rovnováha, ale výstup môže byťúplne iný, ako by si každý z hráčov želal. Takýto prípad ilustruje tabuľka1.1.3, kde sú uvedené výplaty hry ”Battle of Sexes” dvoch hráčov. V tomtoprípade sú Nashovymi ekvilibriami profily stratégií (F,F) a (O,O).

10

Page 15: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

1/2 F OF (2,1) (0,0)O (0,0) (1,2)

Tabuľka 1.1: Battle of Sexes

Treba však poznamenať, že tento problém vystupuje len v prípade simul-tánnych hier bez opakovania1, keď nie je hráčom povolená žiadna predhernákomunikácia a teda z hľadiska aplikačného je možné tomuto ľahko predísť.

Veta 1.1.1 Nech profil stratégií s∗ je Nashovym ekvilibriom hry v čistýchstratégiách. Potom aplikovanie iterovanej dominancie 1.1.3 na hru neodstránižiadne stratégie, ktoré vystupujú v profile s∗.

Je zrejmé, že žiadna zo stratégií, ktoré vystupujú v Nashovom ekvilibriunemôže byť silne dominovaná. Avšak treba poznamenať, že sa môže stať, žebude existovať stratégia, ktorá slabo dominuje nad stratégiou v Nashovomekvilibriu. Dôvod je ten, že na niektorú stratégiu môže existovať viaceronajlepších odpovedí a niektorá z nich, aj keď nemusí patriť do Nashovhoekvilibria, môže nad niektorou inou, ktorá zase bude patriť do Nashovhoekvilibria, slabo dominovať.

Veta 1.1.2 Nech hra je riešiteľná iterovanou dominanciou, potom profil stra-tégií S∞ je Nashovym ekvilibriom tejto hry.

Definícia 1.1.8 ([3])Profil zmiešaných stratégií σ∗ ∈ Σ je Nashovym ekvilibriom, ak

ui(σ∗

i , σ∗

−i) ≥ ui(σi, σ∗

−i), ∀i = 1, 2, ..., N, σi ∈ Σi (1.6)

Nie je ťažké ukázať, že rovnako ako v čistých stratégiách, ani v zmiešanýchstratégiách nebude vystupovať v ekvilibriu žiadna dominovaná stratégia. Toznamená, že pre každú dominovanú stratégiu si hráča i platí, že σi(si = 0).Ďalšou z užitočných vlastností ekvilibria zmiešaných stratégií je skutoč-

nosť, že je veľmi jednoduché zistiť, či profil stratégií je alebo nie je Nashovymekvilibriom. V prípade profilov čistých stratégií je to triviálne, stačí pre každý

1a tiež v prípade hier s konečným počtom opakovaní, keď hráči majú informáciu o tom,kedy hra končí. Oba prípady sú vo svojej podstate podobné.

11

Page 16: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

profil stratégií overiť, že je splnená nerovnosť z definície 1.1.6. Pre profil zmie-šaných stratégií však platí to isté, nie je nutné overovať nerovnosť v definícii1.1.8 pre všetky pravdepodobnostné rozdelenia. Hovorí o tom nasledovnáveta.

Veta 1.1.3 Profil stratégií σ∗ je Nashovym ekvilibriom práve vtedy, ak prekaždé i a každé si ∈ Si platí

ui(σ∗

i , σ∗

−i) ≥ ui(si, σ∗

−i) (1.7)

Táto vlastnosť nám poskytuje silný nástroj na overenie Nashovho ekvi-libria. Ukazuje sa, že častokrát je problémom práve nájdenie kandidátov naNashovo ekvilibrium, najmä v hrách s väčším počtom hráčov.

1.1.4 Ďalšie typy ekvilibrií

Častokrát sa stáva, že množina Nashovych ekvilibrií je z nejakých dôvodov”nevyhovujúca”(obsahuje ”nevyhovujúce” profily stratégií) a chceli by sme,aby riešenie hry spĺňalo ešte nejaké ďalšie kritériá, resp. malo by ešte nejakéďalšie vlastnosti, okrem toho, že hráčom sa z neho neoplatí vychyľovať. Nadruhej strane je ale potrebné, aby zostali zachované existenčné vlastnostipodobné ako pri Nashovom ekvilibriu2 (viac v časti 1.2). Podľa toho, aké súdodatočné kritéria rozoznávame množstvo ďalších typov ekvilibrií. Množinytýchto ekvilibrií sú teda podmožinami množiny Nashovych ekvilibrií.Pravdepodobne najznámejším z ďalších typov ekvilibrií je perfektné ek-

vilibrium, niekedy tiež nazývané ”trembling hand” ekvilibrium. V tomto prí-pade sú z množiny Nashovych ekvilibrií vylúčené tie, ktoré nie sú dostatočnerobustné vzhľadom na drobné chyby, ktoré môžu vzniknúť pri voľbe stratégie.Majme hru G v normálnej forme s množinou profilov zmiešaných stratégiíΣ. Nech µ je funkcia, ktorá každej čistej stratégii každého hráča priradí re-álne číslo µih ∈ (0, 1), ktoré predstavuje pravdepodobnosť, že daná stratégiabola zvolená omylom, pričom musí platiť, že

h µih < 1. Takáto funkcia,ktorú nazývame chybovou funkciou, definuje každému hráčovi podmnožinuΣi(µ) množiny zmiešaných stratégií tak, že Σi(µ) = {x ∈ Σi : σih > µih}.Perturbovanou hrou budeme nazývať hru, ktorá vznikne z pôvodnej hry G

2Čiže napríklad profil stratégií získaný iterovanou dominanciou nie je z tohoto hľadiskavhodný.

12

Page 17: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

tak, že namiesto celej množiny profilov zmiešaných stratégií budeme uvažo-vať len množinu Σ(µ) = Σ1(µ) × ... × Σn(µ), to znamená len tie zmiešanéstratégie, ktoré priraďujú stratégiam väčšie pravdepodobnosti ako sú prav-depodobnosti, že dané stratégie budú zvolené omylom.

Definícia 1.1.9 Profil stratégií σ, ktorý je Nashovym ekvilibriom hry G na-zývame dokonalým, ak pre každú postupnosť {G(µt)}µt→0 perturbovaných hierexistujú profily stratégií xt také, že sú Nashovymi ekvilibriami perturbovanýchhier a xt → x.

Napríklad (v čistých stratégiách) Nashove ekvilibriá (A,A) a (B,B) hry svýplatami v tabuľke 1.1.4 nie sú dokonalými ekvilibriami.3 Ale už napríkladľubovoľné ekvilibrium v zmiešaných stratégiách áno, pretože každé ekvilib-rium, ktoré patrí do int(Σ) je zároveň dokonalým ekvilibriom.

1/2 A BA (0,1) (0,0)B (0,0) (1,0)

Tabuľka 1.2: AB hra

Zaujímavá súvislosť existuje aj medzi dominanciou a dokonalým Nasho-vym ekvilibriom.

Veta 1.1.4 Nashovo ekvilibrium σ je dokonalé práve vtedy, keď pre každústratégiu z profilu stratégií σ platí, že neexistuje žiadna iná stratégia, ktorá bynad ňou (slabo ani ostro) dominovala.

Ešte silnejším kritériom je takzvaná ostrá dokonalosť, ktorá v definíciipodobne ako pri dokonalom ekvilibriu vyžaduje, aby ekvilibriá perturbova-ných hier konvergovali ku dokonalému ekvilibriu, ale navyše to musí platiťpre každú a nielen pre nejakú postupnosť perturbovaných hier. To v praxiznamená, že ostré dokonalé Nashovo ekvilibrium je robustné voči ”chybámdo ľubovoľného smeru”.Ďalšou z možností ako pristupovať ku otázke robustnosti ekvilibria je idea,

že ekvilibrium by malo odolať drobným výchylkám vo výplatách hráčov. Defi-nujeme vzdialenosť medzi hrami, ktoré majú rovnakú množinu hráčov a stra-tégií ale rozdielne funkcie výplat čistých stratégií. Vzdialenosť d(G, G′) hry

3Táto hra tiež dobre ilustruje význam ostrého ekvilibria.

13

Page 18: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

G = (D, S, µ) od hry G′ = (D, S, µ′) bude maximálny rozdiel vo výplatách tejistej stratégie toho istého hráča. Teda d(G, G′) = maxi∈D,s∈S |µi(s)− µ′

i(s)|

Definícia 1.1.10 Profil stratégií σ, ktorý je Nashovym ekvilibriom hry Gnazývame prirodzeným, ak pre každé ε > 0 existuje δ > 0 tak, že pre každúhru G’, ktorej výplatová vzdialenosť od G je menšia ako δ platí, že ak máNashovo ekvilibrium, tak je od σ vzdialené nanajvýš δ.

Ďalším dôležitým typom rovnováhy v simultánnych hrách je korelovanéekvilibrium. Na rozdiel od ostatných ekvilibrií nie je toto profilom stratégií,ale pravdepodobnostným rozdelením nad množinou profilov stratégií. Rov-nako ako v zmiešaných stratégiách volia hráči svoje stratégie náhodne, avšakv korelovanom ekvilibriu sú tieto voľby navzájom korelované.4 Z definícievyplýva, že ak hráč volí stratégiu z korelovaného ekvilibria, má istotu, žetáto je najlepšou odpoveďou na stratégie z korelovaného ekvilibria ostatnýchhráčov.

Definícia 1.1.11 Nech G = (D, {Si}, {ui}) je hra v normálnej forme. Nechq je pravdepodobnostné rozdelenie nad S1 × ...× Sn. Hovoríme, že q je kore-lovaným ekvilibriom, ak pre každého hráča i a pre každú dvojicu stratégií l al′ platí

s:si=l

q(s)ui(s) ≥∑

s:si=l′

q(s)ui(s′) (1.8)

kde s′ dostaneme z profilu stratégií s, keď namiesto i-tej stratégie profilu sdosadíme l′.

Interpretácia korelovaného ekvilibria je nasledovná. Všobecne akcepto-vaná autorita náhodne zvolí profil stratégií na základe pravdepodobnostnéhorozdelenia q a každému hráčovi potom ”odporučí” stratégiu zo zvolenéhoprofilu. Rozdelenie q je však také, že maximalizuje očakávanú výplatu kaž-dému hráčovi, ak jeho protihráči akceptujú ”odporučenie” autority. Teda vprípade, že sa hráči riadia zvoleným ekvilibriom, žiadnemu z nich sa neoplatíhrať inú stratégiu, ako mu určuje korelované ekvilibrium.Výhody navzájom korelovanej voľby sú jasne viditeľné napríklad v hre

New York (tabuľka 1.1.4), kde sa maximálne výplaty dosahujú iba vzájomnoukoordináciou hráčov5.4V prípade zmiešaných stratégií vystupuje pre každého hráča osobitné pravdepodob-

nostné rozdelenie nad jeho množinou stratégií. V korelovanom ekvilibriu máme jedno roz-delenie pre všetkých hráčov. Preto, ak si hráči volia stratégiu na základe korelovanéhoekvilibria, sú tieto voľby korelované.5Preto hra New York patrí ku tzv. koordinačným hrám.

14

Page 19: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

1/2 E CE (1,1) (0,0)C (0,0) (1,1)

Tabuľka 1.3: New York

Korelované ekvilibrium poskytuje oveľa bohatšiu informáciu o hre akoklasické ekvilibrium, pretože v sebe obsahuje všetky Nashove ekvilibriá. Užz definície totiž vyplýva, že ak korelované ekvilibrium prideľuje nejakémuprofilu stratégií pravdepodobnosť väčšiu ako nula, musí byť tento profil Na-shovym ekvilibriom. To znamená, že nájsť korelované ekvilibrium zároveňznamená nájsť celú množinu Nashovych ekvilibrií.

1.2 Existencia ekvilibria

1.2.1 Existencia ekvilibria v čistých stratégiách

Z hľadiska riešiteľnosti hry je Nashove ekvilibrium v čistých stratégiách po-užiteľnejšie ako riešenie iterovanou dominanciou, o tom hovoria vety 1.1.1 a1.1.2. Avšak stále nemožno formulovať rozumné predpoklady na jeho existen-ciu, pretože mnoho aplikačne zaujímavých hier v strategickom tvare Nashovoekvilibrium jednoducho nemá. Sú to napríklad všetky hry s nulovým súčtomokrem triviálneho prípadu, kde sú výplaty vo všetkých profiloch stratégií nu-lové. Príklad hry, kde neexistuje Nashove ekvilibrium v čistých stratégiáchukazuje tabuľka 1.2.1.

1/2 K P NK (0,0) (-1,1) (1,-1)P (1,-1) (0,0) (-1,1)N (-1,1) (1,-1) (0,0)

Tabuľka 1.4: Kameň, papier, nožnice

Predpoklady na existenciu Nashovho ekvilibria možno však formulovať vprípade, že množiny stratégií hráčov nie sú konečné. Avšak za predpokladu,že máme konečnú hru, t.j. má konečné množstvo hráčov a konečné množ-

15

Page 20: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

stvo konečných množín stratégií, bude v takejto hre vždy existovať profilzmiešaných stratégií, ktorý je Nashovym ekvilibriom.

1.2.2 Existencia ekvilibria v zmiešaných stratégiách

Definícia 1.2.1 Najlepšími odpoveďami hráča i budeme rozumieť zobrazenieBR−i : Σ−i → Σi definované vzťahom

BRi(σ−i) = arg maxσi∈Σi

ui(σi, σ−i) (1.9)

Z nerovnosti v definícii Nashovho ekvilibria vyplýva, že stratégia hráčai v profile stratégií Nashovho ekvilibria je najlepšou (alebo jednou z najlep-ších) odpoveďou na stratégie ostatných hráčov v tomto ekvilibriu. Platí topre každého hráča, t.j. môžeme povedať, že profil stratégií, ktorý je Nasho-vym ekvilibriom obsahuje stratégie, ktoré su navzájom na seba najlepšímiodpoveďami. Z definície tiež máme, že táto skutočnosť platí aj opačne, t.j.ak pre profil stratégií platí, že tieto sú na seba najlepšími odpoveďami, jetento profil stratégií Nashovym ekvilibriom.

Lema 1.2.1 Profil zmiešaných stratégií σ je Nashovym ekvilibriom právevtedy, keď σ je pevným bodom zobrazenia BR, t.j. σ ∈ BR(σ).

Zobrazenie BR nie je nič iné ako ”zlúčenie” zobrazení najlepších odpo-vedí každého hráča do jediného zobrazenia prislúchajúceho všetkým hrá-čom. Formálne je to zobrazenie BR : Σ → Σ definované ako BR(σ) =(BR1(σ−1), BR2(σ−2), ..., BRN (σ−N)).Existencia ekvilibria v zmiešaných stratégiách sa potom ukáže tak, že

ukážeme, že zobrazenie BR má vždy aspoň jeden pevný bod.

Veta 1.2.1 (Kakutaniho veta o pevnom bode.)Nech množina K ⊂ Rm je kompaktná a konvexná a nech zobrazenie ϕ : K →K je zhora polospojité6 a taká, že pre každé x ∈ K platí, že ϕ(x) je konvexnámnožina. Potom zobrazenie ϕ má pevný bod.

Lema 1.2.2 Nech A1, A2, ..., Am sú konvexné množiny a nech A je ich kar-tézsky súčin A ≡ A1 × A2 × ... × Am. Potom A je konvexná množina.

6Zobrazenie ϕ je zhora polospojité, ak pre každú postupnosť dvojíc (xk , yk) ∈ K × K

a bod (x0, y0) ∈ K × K také, že (xk, yk) → (x0, y0) a také, že yk ∈ ϕ(xk) pre každé k,platí, že y0 ∈ ϕ(x0)

16

Page 21: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Lema 1.2.3 Nech A1, A2, ..., Am sú kompaktné množiny a nech A je ich kar-tézsky súčin A ≡ A1 × A2 × ... × Am. Potom A je kompaktná množina.

Nasledujúca veta predstavuje jeden z kľúčových poznatkov teórie hier.Hovorí o tom, že každá konečná hrá má v zmiešaných stratégiach Nashoveekvilibrium.

Veta 1.2.2 (Existencia Nashovho ekvilibria.)Nech G je hra v normálnom tvare s konečným počtom hráčov, pričom každýhráč má konečný počet stratégií. Potom existuje taký profil zmiešaných stra-tégií, že je Nashovym ekvilibriom.

DôkazPotrebujeme ukázať, že zobrazenie BR : Σ→ Σ má vždy aspoň jeden pevnýbod. Keď použijeme vetu 1.2.1 stačí ukázať, že pre zobrazenie BR platiapodmienky z tejto vety.Konvexnosť a kompaktnosť Σ : Nech množina stratégií Si hráča i má K

prvkov. Σi potom bude množina K-tíc (p1, ..., pk) takých, že∑K

j=1 pj = 1, t.j.K-rozmerný simplex euklidovského priestoru. Množiny Σi sú teda konvexnéaj kompaktné. Pretože Σ je kartézskym súčinom Σ1× ...×ΣN z liem 1.2.2 a1.2.3 vyplýva, že je tiež zároveň konvexnou aj kompaktnou množinou.Konvexnosť BR(σ) : Je zrejmé, že množina obrazov BR(σ) je neprázdna,

pretože najlepšia odpoveď vždy existuje (aj keď nemusí byť jediná). Pretožepre obrazy zobrazení BRi máme BR1(σ−1) × ... × BRN (σ−N) = BR(σ)) zlemy vypýva 1.2.2, že BR(σ) je konvexná, ak sú konvexné množiny BR1(σ−1)×... × BRN (σ−N). Nech σ′

i, σ′′

i ∈ Σi sú stratégie hráča i, také, že sú naj-lepšími odpoveďami na nejaké σ−i. Treba ukázať, že konvexná kombiná-cia σi týchto dvoch stratégií je tiež najlepšou odpoveďou na σ−i, t.j. σi ≡|ασ′

i + (1 − α)σ′′

i | ∈ BRi(σ) pre každé α ∈ 〈0, 1〉. Prípady keď α = 0 aleboα = 1 sú jasné, pretože σ′

i a σ′′

i sú sami najlepšími odpoveďami. Pre α ∈ (0, 1)máme supp(σi) = supp(σ′

i) ∪ supp(σ′′

i )7. A pretože supp(σ′

i) ∈ BRi(σ−i) ajsupp(σ′′

i ) ∈ BRi(σ−i) platí aj pre ich konjunkciu supp(σi) ∈ BRi(σ−i). Ateda množina najlepších odpovedí BR(σ) je konvexná.Polospojitosť BR(σ) : Dokážeme sporom. Predpokladajme, že existuje

konvergentná postupnosť dvojíc profilov zmiešaných stratégií (σk, σk) →(σ, σ) taká, že σk ∈ BR(σk), ale σ /∈ BR(σ). Pretože σk ∈ BR(σk), pre

7Pre definíciu supp(σi) pozri 1.3.1

17

Page 22: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

každého hráča i musí platiť σki ∈ BRi(σk

i ). Pretože σ /∈ BR(σ) musí existo-vať hráč i a stratégia σ′

i ∈ Sigmai taká, že je lepšia ako σi, t.j. ui(σ′

i, σ−i) >ui(σi, σ−i). Z toho, že σk → σ vyplýva, že σk

−i → σ−i a teda aj ui(σ′

i, σk−i)→

ui(σi, σ−i). Podobne z σk → σ máme ui(σki , σk

−i) → ui(σi, σ−i). Čiže pre kdostatočne veľké máme ui(σ′

i, σk−i) > ui(σk

i , σk−i), čo je spor, pretože to by

znamenalo, že σki nie je najlepšou odpoveďou na σk

−i

Ukázali sme, že zobrazenie BR spĺňa podmienky z vety 1.2.1 a teda podľalemy 1.2.1 a vety 1.2.1 v každej konečnej hre existuje aspoň jedno Nashovoekvilibrium.Q.E.D.

Rovnako ako pre ekvilibrium v zmiešaných stratégiách možno formulovaťvety o existencii ďalších typov ekilibrií. Pretože vo väčšine prípadov špeciálnytyp ekvilibria zahŕňa všetky ekvilibriá, ktoré patria do intΣ, čiže tie, ktoré súzmiešanými profilmi stratégií a zároveň priraďujú kladnú pravdepodobnosťvšetkým stratégiám, bude existenčná veta veľmi podobná vete o existenciiekvilibria v zmiešaných stratégiách. Napríklad pre prípad dokonalého Na-shovho ekvilibria platí

Veta 1.2.3 Nech G je hra v normálnom tvare s konečným počtom hráčov,pričom každý hráč má konečný počet stratégií. Potom existuje taký profilstratégií, že je dokonalým Nashovym ekvilibriom.

1.3 Metódy riešenia statických hier

1.3.1 Hľadanie NE v čistých stratégiách

V prípade, že má hra konečný počet hráčov a konečný počet stratégií, je hľa-danie ekvilibria ľahké. Využijeme fakt, že v Nashovom ekvilibriu pre všetkystratégie platí, že sú navzájom na seba najlepšími odpoveďami.

Lema 1.3.1 Profil stratégií s∗ = (s∗1, ..., s∗

N) je Nashovym ekvilibriom právevtedy, keď pre každé i platí, že s∗i ∈ BRi(s−i)

Lema 1.3.1 vyplýva priamo z lemy 1.2.1 a dáva návod, ako vo všeobecnostihľadať Nashovo ekvilibrium.Nashovo ekvilibrium teda dostaneme riešením systému

18

Page 23: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

si = BR(s−i), i = 1, 2, ..., N (1.10)

Keďže hľadáme Nashovo ekvilibrium v čistých stratégiách a množina stra-tégií je konečná, otázku nájdenia ekvilibria možno ľahko vyriešiť tak, že jed-noducho ku každému s−i priradíme najlepšiu odpoveď a tie profily stratégií,ktoré budú obsahovať stratégie, ktoré sú navzájom na seba najlepšími odpo-veďami, budú Nashovymi ekvilibriami.

1.3.2 Hľadanie NE v zmiešaných stratégiách

Hľadanie ekvilibria v zmiešaných stratégiách je oproti čistým stratégiámproblematickejšie. Možno použiť dve metódy. Prvá je identická s metódoupopísanou pre čisté stratégie a je založená na hľadaní najlepších odpovedí.Rozdiel je v tom, že nemôžeme jednoducho nájsť najlepšie odpovede ku kaž-dému s−i, pretože v zmiešaných stratégiách už máme σ−i aj odpovedí na σ−i

nekonečne veľa. Keďže v tomto prípade ide o extremálnu úlohu, je možné tútoza určitých podmienok explicitne riešiť. Problém nastáva v prípade, že mámepočet hráčov N > 2 a počet stratégií každého hráča K > 2. V prípade, žemáme dvoch hráčov s dvoma stratégiami, budeme riešiť systém dvoch rovníco dvoch neznámych, ktorý dostaneme tým, že budeme hľadať extrémy funkciínajlepších odpovedí v premenných zodpovedajúcich vždy jednej z hráčovýchstratégií. V takomto prípade dostaneme systém dvoch lineárnych rovníc odvoch neznámych, ktorý možno explicitne riešiť. Vo všeobecnosti pre N hrá-čov s K stratégiami by sme však mali KN rovníc a N podmienok typu∑K

k=0 pik = 1, čo s použitím podmienok môžeme ešte upraviť na (N − 1)K

rovníc. 8 Problémom je ale skutočnosť, že rovnice v systéme nie sú lineárnea častokrát nemajú taký tvar, že by ich bolo možné explicitne vyriešiť.Ďalšou možnosťou je využitie faktu, že v Nashovom ekvilibriu sú hráči

indiferentní medzi voľbami konkrétnej čistej stratégie, ktorej je v zmiešanomekvilibriu priradená pravdepodobnosť väčšia ako 0. Hovorí o tom veta 1.3.1

Definícia 1.3.1 Majme konečnú hru G. Nosičom supp(σi) zmiešanej stra-tégie σi nazveme množinu tých čistých stratégií, ktorým σi priraďuje pravde-podobnosť väčšiu ako 0, čiže

supp(σi) = {si ∈ Si|σi(si) > 0} (1.11)

8pričom pi

kpredstavuje pravdepodobnosť hrania k-tej stratégie i-teho hráča.

19

Page 24: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Veta 1.3.1 Ak profil zmiešaných stratégií σ∗ je Nashovym ekvilibriom as′i, s

′′

i ∈ supp(σ∗

i ), potom

ui(s′i, σ∗

−i) = ui(s′′i , σ∗

−i) (1.12)

Tento poznatok možno využiť na nájdenie ekvilibiria, ak máme ľubo-voľnú hru s dvoma hráčmi. Ak majú obaja hráči K stratégií, môžeme vetu1.3.1 využiť na konštrukciu systému K lineárnych rovníc o K neznámych. Vprípade, že hráči nemajú rovnaké počty stratégií, je toto možné ľahko vy-riešiť tým, že pridáme jednému z hráčov ďalšie stratégie. Množina ekvilibriísa nám nezmení, ak budeme pridávať len stratégie, ktoré sú silno domino-vané. Dôvodom je vlastnosť Nashovho ekvilibria v zmiešaných stratégiách,že dominovaným stratégiám priraďuje nulovú pravdepodobnosť.

20

Page 25: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Kapitola 2

Opakované hry

21

Page 26: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

2.1 Základné pojmy a definície

2.1.1 Opakovaná hra

Nech G = (D, {Si}, {ui}) je hra v normálnom tvare. Opakovaná hra zna-mená, že hráči sa zúčastňujú tej istej hry G opakovane, v každej diskrétnejčasovej jednotke t = 0, 1, 2, .., T . Ak T < ∞, hovoríme, že hra má konečnýpočet opakovaní, inak ide o hru s nekonečným počtom opakovaní. Normálnahra G, ktorá sa opakuje v každej perióde, sa tiež nazýva stavová hra.Ďalej treba rozlišovať dva prípady hry s konečným počtom opakovaní na

základe toho, či hráči majú alebo nemajú informáciu o počte opakovaní. Vprípade, že hráči vedia, kedy hra končí, dá sa hra riešiť spätnou indukciou odposlednej stavovej hry v T-tom kroku. Takáto hra sa výrazne líši od prípadu,keď hráči informáciu o konci hry nemajú, aj od hry s nekonečným počtomopakovaní. Vo svojej podstate má bližšie ku jednokrokovej hre, pretože ajkeď sa hra opakuje, voľba stratégie v každom kroku nie je ovplyvnená pred-chádzajúcimi krokmi, ale je dopredu určená. Nevystupuje v nej teda proces”učenia sa” počas hry, ktorý nahrádza predhernú komunikáciu a teda umož-ňuje vychýlenie sa zo statického ekvilibria1, pričom toto vychýlenie hráčommôže priniesť vyššiu výplatu, ako keby hrali statické ekvilibrium.

Definícia 2.1.1 Pod opakovanou hrou rozumieme:

• ”stavovú” hru v normálnom tvare G = (D, {Si}, {ui})

• informáciu o počte opakovaní t = 0, 1, 2, .., T

• funkcie výplat Ui2 každého hráča i

Označme at = (at1, ..., a

tN) profil stratégií ”stavovej” hry v čase t. Histó-

ria ht opakovanej hry v čase t ≥ 1 bude postupnosť realizovaných profilovstratégií ”stavovej” hry vo všetkých časových periódach pred t.

ht = (a0, a1, ..., at−1), t = 1, 2, ... (2.1)

H t budeme značiť množinu všetkých možných histórií ht v čase t. Históriahry predstavuje informáciu každého hráča o hre, na základe nej sa rozhoduje,

1Statickým ekvilibriom sa tu myslí Nashovo ekvilibrium ”stavovej” hry v normálnejforme2Celková výplata Ui z opakovanej hry môže byť definovaná rôzne. Väčšinou je to súčet

alebo priemer výplat nadobudnutých v stavových hrách.

22

Page 27: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

ktorú stratégiu ”stavovej” hry v čase t zvoliť, čiže môžeme povedať, že históriavytvára hráčovo presvedčenie. Čistou stratégiou hráča i v opakovanej hre tedabude postupnosť funkcií si(ht) : H t → Si, ktoré v každej časovej periódepriradia históriám opakovanej hry stratégie hry stavovej.Výplaty v opakovaných hrách môžu byť definované niekoľkými spôsobmi.

Celková výplata je buď priemerom všetkých výplat ”stavových” hier, aleboich súčtom. Častokrát sa tiež zavádza tzv. diskontný faktor, ktorý prisudzujeväčšiu váhu výplate, ktorá bola pridelená hráčovi skôr ako výplate pridelenejneskôr. Diskontný faktor možno interpretovať dvoma rôznymi spôsobmi.Tým prvým je časová hodnota peňazí, čiže fakt, že výplata v čase t1 má

väčšiu hodnotu ako tá istá výplata v čase t2 > t1. Diskontný faktor δ ∈ (0, 1)tu vystupuje ako koeficient, ktorý ”znižuje” hodnotu výplat vyplatených ne-skôr. Prítomná hodnota výplaty u vyplatenej v čase t bude teda uδt.Druhá interpretácia δ je taká, že v prípade, že ide o hru s konečným po-

čtom opakovaní, avšak hráči nevedia, kedy hra končí, predstavuje v každejčasovej perióde δ pravdepodobnosť, že hra v tom okamihu skončí. Čiže vý-platy budeme počítať ako očakávané výplaty s prihliadnutím na to, že hrakončí v časovej perióde t s pravdepodobnosťou δt.V oboch prípadoch máme

Ui = ui(a0) + δui(a1) + δ2ui(a2) + ... =∞∑

t=0

δtui(at) (2.2)

ak celková výplata Ui hráča i je diskontovaným súčtom jeho výplat ui v”stavovej” hre, resp.

Ui = (1− δ)∞∑

t=0

δtui(at) (2.3)

ak je jeho priemerom.3

2.1.2 Ekvilibrium v opakovaných hrách

Rovnako ako v normálnych hrách, koncept Nashovho ekvilibria v opakova-ných hrách je založený na myšlienke, že hráčovi sa neoplatí voliť stratégiu

3Faktor (1 − δ) tu slúži na to, aby výplata opakovanej hry zodpovedala výplate hrystavovej, ak sú v opakovanej hre hrané stále tie isté stratégie hry stavovej, pretože akstavová hra dáva výplatu c, máme

t=0δtc = c

1−δ

23

Page 28: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

mimo ekvilibria, ak ostatní hráči volia svoju stratégiu z neho. Jediným roz-dielom je skutočnosť, že v opakovaných hrách sú stratégiami postupnostistratégií stavovej hry.

Definícia 2.1.2 Profil stratégií s je Nashovym ekvilibriom opakovanej hry,ak platí

si ∈ argmaxsi∈Si

Ui(si, s−i) (2.4)

2.2 Stratégie v opakovaných hrách

Všeobecne sú stratégie v opakovaných hrách postupnosti funkcií históriepredchádzajúcich výstupov z hry. V aplikáciách sa častokrát vyskytujú prí-pady, že máme symetrickú opakovanú hru 2 hráčov a každý má 2 stratégietaké, že jedna predstavuje možnosť spolupracovať a druhá nespolupracovať sdruhým hráčom. Najznámejším príkladom tohto druhu je hra typu väzňovadilema.Množina všetkých postupností, ktoré predstavujú stratégie v opakovanej

hre je nekonečná. Avšak je možné vybrať postupnosti také, ktoré sú svojímspôsobom výnimočné, či už preto, že sú to ekvilibriové stratégie v niektorýchhrách, alebo predstavujú práve ten prvok v opakovaných hrách, ktorý spô-sobuje, že každý hráč volí svoju stratégiu ”stavovej” hry aj s vedomím toho,že tým môže ovplyvniť budúcu voľbu stratégie ostatných hráčov.Pre prípad hry dvoch hráčov s dvoma stratégiami : D - nespolupracovať

a C - spolupracovať môžeme mať

• si(ht = D), t = 0, 1, ...

Stratégia stále nespolupracovať. V prípade väzňova dilema je Nasho-vym ekvilibriom, aj keď podobne ako v normálnej hre výstup z hry nieje pareto-efektívny4.

• si(ht = C), t = 0, 1, ...

Stratégia stále spolupracovať.

• Grim Trigger si(ht) =

C ak t = 0C ak hτ = (C, C)pre τ = 0, 1, ..., t − 1D inak

4t.j. existuje iný výstup, aj keď nemusí byť nutne ekvilibriom, ktorý je lepší pre aspoňjedného hráča a aspoň rovnako dobrý pre ostatných.

24

Page 29: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Grim Trigger predstavuje najjednoduchšiu formu ”trestania” hráča,ktorý zahrá stratégiu nespolupracovať. Akonáhle hráč zahrá startégiuD, jeho protihráč hrajúci Grim Trigger bude už navždy hrať stratégiuD, čo pre prvého hráča môže znamenať zníženie výplat. Hranie Grimtrigger oboma hráčmi je tiež Nashovym ekvilibriom.

• Tit-for-Tat si(ht) =

C ak t = 0C ak ht−1

j = C, j 6= iD inak

Hráč hrajúci TFT kooperuje na začiatku a potom hrá vždy to, čo jehoprotihráč v minulej perióde, čiže podobne ako u stratégie Grim Trigger,hráč hrajúci proti TFT svojou voľbou priamo ovplyvňuje výstup z hrya na každé zahranie D odpovie jeho protihráč jedným zahraním D vďalšej perióde. TFT je tiež ekvilibriová stratégia.

2.3 Riešenie opakovanej hry

Pretože stratégií v opakovanej hre je nekonečne veľa a častokrát aj Nashovychekvilibrií je nekonečne veľa, nemožno naďalej ekvilibrium chápať ako riešeniehry. Namiesto toho budeme analyzovať, aké výplaty je možné v hre dosiahnuťa za riešenie opakovanej hry budeme považovať množinu možných výplat,ktorá bude mať vlastnosti podobné idei Nashovho ekvilibria.Kľúčovú úlohu prirodzene zohráva aj diskontný faktor δ. Motivácia hrá-

čov dosiahnuť výplatu iným spôsobom ako hrať ekvilibrium statickej hry vprípade, že toto nie je pareto-efektívne, bude tým vyššia, čím hodnotnejšiebudú budúce výplaty zo stavovej hry, teda čím vyšší bude diskontný faktorδ. Na to, aby sme uviedli vzťah, ako bude výstup z hry súvisieť s diskontnýmfaktorom, potrebujeme ešte zaviesť niekoľko pojmov.Definujeme množinu prípustných výplat a z nej potom vyberieme tie,

ktoré budú spĺňať určité podmienky na to, aby predstavovali riešenie hry.

Definícia 2.3.1 Vektor výplat V=(v1, v2, ..., vn) nazývame prípustným, ak jekonvexnou kombináciou výplat čistých stratégií stavovej hry G.

To znamená, že množina všetkých prípustných vektorov V je konvexnýmobalom množiny

{v|∃s ∈ S : u(a) = v} (2.5)

25

Page 30: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Dôležitým pojmom je minimaxová hodnota hráča i. Je to najnižšia hod-nota výplaty v ”stavovej” hre, ak hráč i zvolí stratégiu, ktorá je najlepšiouodpoveďou.

Definícia 2.3.2 Minimaxovou hodnotou hráča i nazveme číslo vi také, že

vi = minσ−i

[maxi

ui(σi, σ−i)] (2.6)

Minimaxová hodnota je zaujímavá preto, pretože ako je zrejmé z definície,v každom ekvilibriu hráč dostane výplatu aspoň takú, ako je jeho minima-xová hodnota. Teda táto hodnota by mala byť pre hráča dolnou hranicoupre výplatu, akú by mal byť ochotný akceptovať. Keď teda v opakovanejhre upravíme celkovú funkciu výplat tak, aby zodpovedala jednotkám stavo-vej hry, budú hodnoty väčšie alebo rovné ako minimaxová hodnota hráča ikritériom na prípustný výstup z hry pre hráča i.

Definícia 2.3.3 Množinou individuálne racionálnych výplat nazveme mno-žinu

{v ∈ V |vi > v−i, ∀i} (2.7)

Množina individuálne racionálnych výplat je podmnožinou množiny všet-kých prípustných vektorov výplat. Túto množinu možno považovať, za rieše-nie hry v tom zmysle, že hráči by mali hrať tak, aby ich výplaty patrili domnožiny individuálne racionálnych výplat. Dôvodom je tiež skutočnosť, žepre akýkoľvek vektor výplat existuje Nashovo ekvilibrium, ktoré dáva hráčompráve také výplaty je daný vektor výplat. Hovorí o tom nasledujúca veta.

Veta 2.3.1 Ak vektor výplat v patrí do množiny individuálne racionálnychvýplat, potom existuje také σ < 1, že pre každé σ ∈ (σ, 1) platí, že v hre G sdiskontným faktorom σ existuje nashovo ekvilibrium s výplatami v

Dôkaz ([6])Predpokladajme, že existuje profil čistých stratégií s taký, že u(s) = v. De-finujme stratéegiu si hráča i ako : Hrať si na začiatku, t.j. v čase t = 0 apokračovať v hraní si pokiaľ v predchádzajúcej perióde bol zvolený profils alebo pokiaľ bol zvolený profil taký, že sa nezhodoval s s v aspoň dvochkomponentoch. Čiže ak hráč i je jediný, kto nehrá stratégiu z profilu s, vnasledujúcej a vo všetkých ďalších periódach budú všetci ostatní hráči j hraťmi

j.

26

Page 31: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Skúmajme, čo sa stane, keď sa hráč i odchýli z s. V perióde, keď volí prvý-krát stratégiu, ktorá nepatrí do s môže získať maximálne maxsui(s) a jehoprotihráči budú navždy hrať tak, že získa len svoju minimaxovú hodnotu. Toznamená, že ak sa odchýli v perióde t, jeho celková výplata bude nanajvýš

(1− δt)vi + δt(1− δ)maxs

ui(s) + δt+1vi (2.8)

Na to, aby sme ukázali, že toto odchýlenie je pre hráča i nevýhodné, musímenájsť také δ, že výplata 2.8 je menšia ako výplata vi, ktorú by dostal, kebyhral vždy si. Chceme ukázať, že

(1− δt)vi + δt(1− δ)maxs

ui(s) + δt+1vi < vi

δt(1− δ)maxs

ui(s) + δt+1vi < δtvi

(1− δ)maxs

ui(s) + δvi < vi (2.9)

Pretože vi < vi, vždy existuje také δi < 1, že platí nerovnosť 2.9. To znamená,že existuje také δ = maxi δi, že zo stratégie s sa neoplatí vychyľovať.Q.E.D.

2.4 Fictitious Play

Predpokladajme, že máme hru s nekonečným počtom opakovaní. Fictitiousplay jedným z modelov, v ktorom sa hráči učia, t.j. volia svoje stratégie nazáklade toho, ako sa hra vyvíjala v minulosti. To samozrejme spĺňa každá ne-konečne opakovaná hra, pretože hráči sa rozhodujú na základe histórie. ModelFictitious play je ale založený na inom princípe. Jeho hlavnou charakteris-tikou je predpoklad každého hráča, že jeho protivníci volia v každej periódetú istú zmiešanú stratégiu ”stavovej” hry, ktorá nie je známa. Každý hráčzačína5 s presvedčením o zmiešaných stratégiách svojich protihráčov a totopresvedčenie na základe zahraných stratégií (histórie) upravuje. V každomkroku volí hráč svoju stratégiu podľa presvedčenia tak, aby bola najlepšouodpoveďou na zmiešané stratégie ostatných hráčov, o ktorých si myslí , žeich budú voliť.5Je niekoľko možností, ako zvoliť začiatočné presvedčenia hráčov. Napríklad každá stra-

tégia bude mať na začiatku priradenú rovnakú pravdepodobnosť, alebo jedna zo stratégiíbude mať pravdepodobnosť 1 a ostatné 0 a pod.

27

Page 32: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Uvedieme model fictitious play pre prípad dvoch hráčov. Presvedčeniehráča i je konštruované pomocou váhovej funkcie. Počiatočná váhová fun-kcia je κi

0 : S−i → R+0 a s každým ďalším odohraním hry je táto funkciaaktualizovaná podľa toho, aké stratégie jeho protivník zahral.

κit(s

−i) = κit−1(s

−i)

{

1 ak s−it−1 = s−i

0 ak s−it−1 6= s−i (2.10)

Presvedčenie hráča i je teda charakterizované pravdepodobnosťami, s kto-rými podľa hráča i jeho protivík volí jednotlivé stratégie.

γit(s

−i) =κi

t(s−i)

s−i∈S−i κit(s−i)

(2.11)

Ak chceme vylúčiť vplyv počiatočnej váhovej funkcie, pre pravdepodob-nosti jednotlivých stratégií máme.

djt =

κt(sj)− κ0(sj)t

(2.12)

Ako t → ∞djt čoraz lepšie aproximuje váhovú funkciu κi

t a je možné vmodeli používať radšej dj

t . Pravdepodobnosti djt sa tiež nazývajú empirické

rozdelenia.Model fictitious play nám vytvára predpis pre diskrétny proces, ktorý

modeluje voľby profilov v čase St+1 = FP (St), St ∈ S.O asymptotických vlastnostiach procesu fictitious play hovoria nasledovné

vety.

Veta 2.4.1 Ak profil stratégií s∗ je ostrým Nashovym ekvilibriom v stavovejhre a s∗ je zvolený v čase t v procese fictitious play, potom v každej ďalšejperióde t∗ > t budú hráči hrať s∗.

Veta 2.4.2 Ak profil čistých stratégií s∗ je pevným bodom procesu fictititousplay, t.j. existuje také t∗, že pre každé t > t∗ platí s∗ = FP (s∗), potom s∗ jeNashovym ekvilibriom.

Veta 2.4.3 Ak empirické rozdelenia nad voľbou stratégií každého hráča kon-vergujú, potom profil stratégií zodpovedajúci týmto rozdeleniam je Nashovymekvilibriom.

28

Page 33: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Kapitola 3

Evolučné hry

29

Page 34: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

3.1 Evolučná hra

3.1.1 Evolučný model

Uvažujme množinu K typov hráčov (populácií) s indexami k = 1, 2, ..., K.Z hľadiska teórie hier charakterizuje populáciu jej množina stratégií. Členkaždej populácie k má k dispozícii konečné množstvo stratégií sk

1, sk2, ..., s

kN .

Pre jednoduchosť predpokladáme, že N nezávisí na k, t.j. každá populáciahráčov má k dispozícii rovnaký počet stratégií.Majme K N-rozmerných simplexov

Sk := {x = (xk1, ...x

kN ) : x

ki ≥ 0,

N∑

i=1

xki = 1} (3.1)

pričom na bod rk z k-teho simplexu (3.1) sa možno pozerať ako na zmiešanústratégiu individuálneho hráča z k-tej populácie. Každý bod (ozn. xk) z rov-nakého simplexu taktiež môže reprezentovať pomerné množstvá hráčov k-tejpopulácie hrajúce konkrétne čisté stratégie.1

Karteziánsky súčin S := S1 × S2 × ... × SK bude teda množina profilovstratégií a zároveň tzv. stavovým priestorom interagujúcich populácií.Interakcia medzi populáciami je vyjadrená tzv. funkciami výplat, ktoré

sú funkciami vlastnej stratégie a aktuálneho stavu, čiže stratégií ostatnýchhráčov. Formálne môžeme funkcie výplat zapísať ako uk : Sk × S → R, k =1, ..., K2, o ktorých predpokladáme, že sú lineárne v prvom (vlastnom) argu-mente xk ∈ Sk a spojite diferencovatelné v druhom (stavovom) argumentex−k ∈ S. Vektorovou funkciou výplat rozumieme funkciu u : S → RK ,u(x) := (u1(x1, x), ..., uK(xK , x)).Poslednou časťou modelu je dynamická štruktúra, ktorá by popisovala,

ako sa stav populácií xmení v čase. Definujme časové derivácie x = (x1, ..., xK)

ako xk := (xk1, ..., x

kN ) := (

dxk1

dt, ...,

dxkN

dt) v zmysle nejakej funkcie F : S → RNK

tak, žex = F (x) (3.2)

je autonómny systém obyčajných diferenciálnych rovníc. Riešenie x(t) tohotosystému s počiatočnou podmienkou s(0) ∈ S bude popisovať vývoj populácií

1Napríklad xki= 1

2znamená, že jedna polovica k-tej populácie hrá stratégiu sk

i, alebo

každý hráč k-tej populácie hrá stratégiu ski s pravdepodobnosťou

1

2.

2S−k := S1 × ... × Sk−1 × Sk+1 × ... × SK

30

Page 35: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

v čase, avšak na to budeme ešte potrebovať, aby 3.2 spĺňal niekoľko základ-ných kritérií. Potrebujeme zaručiť, aby dynamický systém nejakým ”rozum-ným” spôsobom zodpovedal funkciám výplat, čomu je venovaná časť 3.1.2.Avšak ešte predtým je nutné, aby pre každé t, riešenie x(t) naozaj predsta-vovalo stav populácií v čase t. Pre funkciu F : S → RNK teda musí platiťnasledovné

•∑N

i=1 Fki (x) = 0 pre každé x ∈ S a k = 1, 2, ..., K

• ak xki = 0, potom F k

i (x) = 0

• F je spojite po častiach diferencovatelná na S

3.1.2 Výplatová pozitívnosť

Ako už bolo spomenuté, dynamický systém, ktorý má predstavovať zmenupopulácií v čase, by mal zodpovedať funkcii výplat. Ak vo vzťahu systém-výplata platí, že čím väčšia výplata tým rýchlejší rast populácie, budemehovoriť o výplatovej pozitívnosti.3

Bez straty na všeobecnosti môžeme uvažovať, že dynamický systém budemať tvar

xi = gi(x)xi (3.3)

kde gi(x) je funkcia celkového stavu populácií a bude reprezentovať mieru,s akou sa populácia hrajúca čistú stratégiu si ”replikuje”. Funkciu g(x) =(g1(x), ..., gN(x))budeme nazývať mierou rastu. Na to, aby boli splnené pod-mienky z časti 3.1.1, mieru rastu definujeme nasledovne

Definícia 3.1.1 Regulárnou mierou rastu rozumieme Lipschitzovsky spojitúfunkciu g : X → RN , kde X je otvorená oblasť obsahujúca S, taká že g(x)x =0 pre každé x ∈ S

Ďalej definujme súvislosť miery rastu a funkcie výplat

Definícia 3.1.2 Regulárna miera rastu g je výplatovo monotónna, ak prekaždé x ∈ S platí

u(ei, x) > u(ej, x)⇔ gi(x) > gj(x) (3.4)

3Súvislosť sa častokrát definuje aj ako kompatibilita (??) funkcie dynamiky s funkciouvýplat, či už kompatibilita rádová alebo slabá.

31

Page 36: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Definícia 3.1.3 Regulárna miera rastu g je výplatovo pozitívna, ak pre každéx ∈ S a pre každé i platí

sgn[gi(x)] = sgn[u(ei − x, x)] (3.5)

3.2 Replikátor

Jednou z možností, ako konštruovať funkciu dynamiky pre danú hru, je pod-mienka, že množstvo hráčov hrajúcich stratégiu si rastie práve vtedy, keďtáto prináša lepšiu výplatu ako je priemerná výplata všetkých hráčov a klesá,keď prináša výplatu nižšiu. To znamená, že funkcia dynamiky musí spĺňaťpodmienku výplatovej pozitívnosti

sgn(xi(t)) = sgn(u(si, x)− u(x, x)) (3.6)

Pod priemernou výplatou hráča i hrajúceho stratégiu si rozumieme výplatuui(si, x), t.j. očakávanú výplatu hráča i, keď volí stratégiu si a s pravdepo-dobnosťou xj bude stratégia jeho protihráča sj

Keď okrem požiadavky výplatovej pozitívnosti zavedieme požiadavku,aby aj veľkosť výplaty ovplyvňovala mieru rastu, vieme definovať zodpoveda-júcu funkciu dynamiky. Takejto funkcii dynamiky budeme hovoriť replikátor.

Definícia 3.2.1 Replikátorom budeme nazývať nasledovnú funkciu dynamiky:

xi

xi

= u(si, x)− u(x, x) (3.7)

Táto funkcia je vhodnou voľbou funkcie dynamiky, pretože máme

K∑

i=1

xi =K

i=1

xiu(si, x)−K

i=1

xiu(x, x)

= u(x, x)− u(x, x) = 0

To znamená, že pri počiatočných podmienkach takých, že∑K

i xi = 1 zostanekonštantnosť celkovej populácie zachovaná.Označenie si intuitívne vyjadruje úlohu stratégie si ale z všeobecnej kon-

štrukcie funkcie dynamiky je si v skutočnosti vektor. Preto je lepšia repre-zentácia jednotkovým vektorom ei, ktorý má na i-tom mieste hodnotu 1 a 0

32

Page 37: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

všade inde. Takýto vektor zodpovedá diskrétnemu rozdeleniu pravdepodob-nosti nad všetkými stratégiami, ale pozitívnu (dokonca jednotkovú) prav-depodobnosť pridelí iba jedinej stratégii si. Jednoduchým zamenením budepotom rovnica replikátora

xi = [u(ei, x)− u(x, x)]xi (3.8)

Pretože funkcia výplat je lineárna v prvom argumente, môžeme napísať

xi = u(ei − x, x)xi (3.9)

Keď funkciu výplat u nahradíme funkciou u = λu + µ, kde λ, µ ∈ R+

dostaneme

xi = u(ei − x, x)xi = λu(ei − x, x)xi (3.10)

3.10 znamená, že rovnica replikátora je invariantná ku pozitívnej lineárnejtransformácii funkcie výplat. Tým, že transformácia vynásobí ľavú stranufunkcie dynamiky parametrom λ, zmení sa len rýchlosť rastu resp. poklesupopulácií, avšak pomery zostanú zachované. Vďaka tomu je častokrat možnéz celej skupiny hier vybrať jediného kandidáta a výsledky potom aplikovaťna všetky hry daného typu.V tabuľke 3.2 sú výplaty dvoch rôznych hier typu väzňova dilema. Vďaka

vlastnosti invariantnosti stačí skúmať evolučné správanie len jednej z nich.

1/2 N P 1/2 N PN (1,1) (-1,2) N (2,2) (0,3)P (2,-1) (0,0) P (3,0) (1,1)

Tabuľka 3.1: Dve rôzne hry typu väzňova dilema

Rozdiel v prípade, že máme ľubovoľný počet typov populácií je minimálny.Konštrukcia diferenciálnych rovníc replikátora je identická. Pre všeobecnýprípad máme

xih = [ui(ehi , x−i)− ui(x)]xih (3.11)

Častokrát sa však zavádza drobná modifikácia tým, že sa rast i-tej popu-lácie normalizuje jej výplatou, čiže

xih =1

ui(x)[ui(eh

i , x−i)− ui(x)]xih (3.12)

33

Page 38: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Nevýhodou takéhoto prístupu je nutný predpoklad, že všetky výplaty vhre sú kladné. Vďaka výplatovej invariantnosti je možné ku všetkým výpla-tám pripočítať konštantu tak, aby boli kladné, ale častokrát je v hre akomodeli simulujúcom určitú situáciu jednoducho nutné, aby boli výplaty zá-porné. Vtedy nie je možné takto modifikovaný replikátor použiť.

3.3 Riešenie evolučných hier

Prvotnou ideou na charakterizovanie stavu, ktorý by bol stabilný z hľa-diska evolučného odolania ostatným stratégiam, je pojem evolučne stabilnéhostavu.

Definícia 3.3.1 Evolučne stabilným stavom nazveme také x ∈ S, pre ktoréplatí, že pre každé y ∈ S existuje εy také, že pre každé ε ∈ (0, εy) je splnenánerovnosť

u[x, εy + (1− ε)x] > u[y, εy + (1− ε)x] (3.13)

Evolučne stabilný stav x má aj niekoľko užitočných vlastností, z ktorých asinajzákladnejšou je vlastnosť, že množina evolučne stabilných stavov je pod-množinou Nashovych ekvilibrií. My sa však budeme zaoberať inými formamistability, a síce analýzou stabilných pevných bodov dynamického systémureplikátora. Dôvodom je to, že vyšetrovanie pevných bodov je relatívne jed-noduché a ako sa ukáže, poskytne nám dostatočne silný nástroj na riešeniecelkovej hry.

Definícia 3.3.2 Pevným alebo stacionárnym bodom dynamického systémux = F (x) nazveme taký stav x∗, pre ktorý platí, že x∗ = F (x∗).

Množina pevných bodov evolučného systému bude teda predstavovať stavy,v ktorých sa hodnoty populácií už viacej nemenia. Zahŕňa v sebe však aj takéstavy, ktoré sú z evolučného hladiska neudržateľné, pretože nie sú rezistentnévoči drobným výchyľkám zmenách populácií. Preto je vhodné definovať, kedyje pevný bod dynamického systému stabilný.

Definícia 3.3.3 Stav x ∈ C je Lyapunovsky stabilný(alebo len stabilný), akkaždé okolie B bodu x obsahuje okolie bodu x B0 také, že pre každú počia-točnú podmienku x0 ∈ C ∩ B0 a t ≥ 0 platí, že hodnota ξ dynamickéhosystému s počiatočnou podmienkou x0 bude v okolí B, teda ξ(t, x0) ∈ B.

34

Page 39: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Definícia 3.3.4 Stav x ∈ C je asymptoticky stabilný, ak je Lyapunovskystabilný a existuje také okolie B∗ bodu x, že pre každú počiatočnú podmienkux0 ∈ B∗ ∩ C platí

limt→∞

ξ(t, x0) = x (3.14)

Ešte treba poznamenať, že v mnohých prípadoch4 sú pojmy asymptotickejstability a evolučne stabilného stavu ekvivalentné. Všeobecne platí, že celámnožina všetkých evolučne stabilných stavov je asymptoticky stabilná.

4Napríklad pri symetrických hrách.

35

Page 40: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Kapitola 4

Opakované a evolučné prístupyku hre

36

Page 41: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

4.1 Opakované a evolučné prístupy

4.1.1 Riešenie hry

Celkom prirodzene si môžeme klásť otázku, čo považovať za riešenie hry. Intu-itívne by sme za riešenie mohli považovať taký stav v hre, ktorý by bol svojímspôsobom prijateľný pre všetkých hráčov. Nashovo ekvilibrium v normálnejhre od toho nemá ďaleko. Ekvilibrium z definície má práve tú vlastnosť, žeako finálny výstup je akceptovaný všetkými racionálnymi hráčmi. Ako užbolo spomínané, toto podriadenie sa ekvilibriu nie je celkom bez problémov.Stabilita rovnovážneho stavu totiž stojí na tom, že nemôže byť narušenájednotlivcom, ak sa ten má správať racionálne. Avšak pri hromadnej zmenevoľby stratégie môžu hráči dosiahnuť vyššie výplaty, takže vychýliť sa z ekv-lilibria je výhodné. V klasickej normálnej hre bez akejkoľvek komunikácieje dosiahnutie niečoho takého veľmi ťažké. Dokonca aj v prípade, že povo-líme hráčom predhernú komunikáciu, nebude tu existovať samo-vynucovacímechanizmus, ktorý zaručí, že žiadnen z hráčov jednoducho nezneužije vedo-mosť o voľbe stratégie ostatných hráčov na maximalizáciu vlastného úžitku.Ďalšou možnosťou by sa mohla zdať dohoda hráčov o podmienení výstupu zhry náhodnému javu. Hráči si vyberú niekoľko, najlepšie pareto-efektívnychvýstupov a svoju stratégiu zvolia podľa toho aký náhodný jav nastal. Na po-dobnom princípe funguje aj idea korelovaného ekvilibria. Treba však povedať,že takýto prístup je len malým zlepšením Nashovho ekvilibria v tom, že vý-platy hráčov môžu byť vyššie. Spomínaný problém o stabilite však ostávanevyriešený.Celkom iná situácia nastáva, keď sa hra opakuje buď do nekonečna, alebo

hráči nevedia alebo vedia len s určitými pravdepodobnosťami, kedy hra končí.Tu sa môže naplno prejaviť práve taký samo-vynucovací mechanizmus, akýchýba v statickej hre. Každý hráč totiž musí rátať s tým, že jeho voľba stra-tégie ovplyvňuje voľbu stratégií ostatných hráčov v budúcnosti. Štandardnáformulácia opakovanej hry nemá v sebe zahrnuté žiadne mechanizmy, ktoréby hráčom dovolili na začiatku dohodnúť sa na výstupe z hry a potom by užlen samo-vynucovací efekt spôsobil, že takýto profil sa bude voliť až do koncahry. Toto je zabezpečené len tým, že do takejto dohody hráči na základe po-zorovaní histórie časom dospejú. Problémom podobne ako v statickej hreostáva, že takýto výstup nemusí byť pareto-efektívny. Na rozdiel od statickejhry však zavedenie predhernej komunikácie postačuje, aby sme o výsledkumohli hovoriť ako o prijateľnom výstupe z hry.

37

Page 42: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Evolučná hra je vo svojej podstate bližšia ku normálnej forme ako kuopakovanej hre. Mohli by sme ju chápať ako opakovanú hru s tým, že hráčinemôžu aplikovať skúsenosti z predchádzajúcich hier v tom zmysle, že ďalšiuhru odohrajú s úplne iným hráčom. Skúsenosti v tomto prípade zodpovedajúakémusi postupnému procesu posúvania sa do rovnováhy. Avšak skúsenosti sostatnými hráčmi sú práve to, čo odlíšilo opakovanú hru od statickej, pretoje evolučná hra z hľadiska riešenia veľmi podobná statickej. Rozdielom je to,že na hráčov v statickej hre sa kladie požiadavka, aby volili svoje stratégieracionálne. Evolučná hra toto nahrádza jednoducho tým, že menej úspešníhráči ”vymierajú” a populácia úspešnejších rastie. Z tohto pohľadu je evo-lučný model veľmi vhodný práve tam, kde statická hra zlyháva. Teória hierv evolučnom modeli vystupuje z pozície čisto vysvetľovacej vednej disciplínya objavuje sa u nej aj predikčný faktor.

4.1.2 Nashovo ekvilibrium a stabilný stav

Pri väčšom počte hráčov a stratégií sa stáva, že hru je možné riešiť - hľa-dať Nashovo ekvilibrium, iba numerickými metódami. Množstvo nelineárnychrovníc je však kvadratické a numerické riešenie častokrát nie je veľmi efek-tívne. Tento problém je o to závažnejší, že už pri relatívne malých počtochhráčov a stratégií je riešenie najlepšími odpoveďami veľmi komplikované. Na-sledujúce vety nám však hovoria, že v prípade, že poznáme riešenie evolučnejhry, vieme ľahko vyriešiť aj statickú hru. Buď tým, že riešenie evolučnej hryje rovnaké ako hry statickej, alebo tým, že je veľmi podobné(napr. množinariešení statickej hry je podmožinou evolučnej).

Veta 4.1.1 Nech s je symetrickým Nashovym ekvilibriom v zmiešaných stra-tégiách v symetrickej hre, potom s je zároveň pevným bodom dynamickéhosystému replikátora prislúchajúceho k danej hre.

Veta 4.1.2 Ak je pevný bod s dynamického systému stabilný, potom s jezároveň Nashovym ekvilibriom hry, ku ktorej prislúcha dynamický systém re-plikátora.

Prvá veta hovorí o symetrickom prípade a vyplýva z nej, že statické rieše-nie dostaneme jednoducho tak, že vyšetríme pevné body systému replikátoraa zistíme, ktoré z nich sú Nashove ekvilibriá. Na hľadanie Nashovych ekvilib-rií v symetrických hrách však existujú aj explicitné metódy, takže podobný

38

Page 43: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

postup nám vlastne predstavuje iba ďalšiu možnosť(navyše numerickú) akohľadať ekvilibrium.Oveľa zaujímavejšou sa javí veta 4.1.2, ktorá hovorí, že stabilný stav evo-

lučného systému je automaticky Nashovym ekvilibriom. V praxi to znamená,že vyriešením evolučnej hry dostaneme podmnožinu Nashovych ekvilibrií sta-tickej hry. Nemáme síce celú množinu ekvilibrií, ale v aplikáciach takýto prí-stup častokrát stačí.Aký je však dôvod na to, aby sme riešili hru evolučne a jednou z kla-

sických metód? Dynamický systém replikátora má v niektorých prípadochvýrazne menej rovníc na riešenie ako klasické metódy. Podobne ako pri rie-šení najlepšími odpoveďami, rovníc je (N − 1)K, avšak s tým rozdielom, žeN je v tomto prípade počet typov hráčov na rozdiel od počtu interagujú-cich hráčov. To napríklad znamená aj to, že počet rovníc symetrickej hry jevždy rovný počtu stratégií, čiže pre ľuboľnú dvoj-stratégiovú hru, v ktorejnecháme navzájom hrať ľubovoľný počet hráčov dokážeme nakresliť fázovýportrét. Alebo tiež dokážeme efektívnejšie riešiť úlohy, kde majú niektoríhráči rovnaké stratégie a rovnako interagujú(majú rovnaké výplaty) medzisebou a ostatnými hráčmi.Či už riešime hru najlepšími odpoveďami alebo evolučne, vo väčších(viac

ako dvaja hráči a dve stratégie) úlohách sa nevyhneme riešeniu systémunelineárnych rovníc. Toto je nutné častokrát riešiť numericky a je niekoľkometód ako k tomuto problému pristupovať. V nasledujúcej časti ilustračneuvádzame najtriviálnejšiu numerickú metódu na iteračné riešenie systémunelineárnych rovníc - viacrozmernú Newtonovu metódu.

4.1.3 Systém nelineárnych rovníc

Nech je daná sústava n rovníc o n neznámych

f1(x1, x2, ..., xn) = 0

f1(x1, x2, ..., xn) = 0...

f1(x1, x2, ..., xn) = 0

Nech x∗

1, x∗

2, ..., x∗

n je riešením sústavy a nech x(0)1 , x

(0)2 , ..., x(0)n sú približné

hodnoty riešenia. Ďalej nech

x∗

1 = x(0)1 + h1

39

Page 44: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

...

x∗

n = x(0)n + hn

Nahraďme každú funkciu fi jej Taylorovým rozvojom, pričom sa obmedzímelen na členy po prvú mocninu hj

fi(x∗

1, x∗

2, ..., x∗

n) = fi(x(0)1 , x

(0)2 , ..., x(0)n ) +

n∑

j=1

∂fi(x(0)1 , x

(0)2 , ..., x(0)n )

∂xj

hj

Pretože fi(x∗

1, x∗

2, ..., x∗

n) = 0 pre i = 1, 2, ..., n, dostaneme sústavu n lineár-nych rovníc s n neznámymi h1, h2, ..., hn. V maticovom tvare máme

∂F(X(0))∂x

H+ F(X(0)) = 0

kde

H =

h1h2...

hn

,F(X0) =

f1(x01, x02, . . . , x

0n)

f2(x01, x02, . . . , x

0n)

...fn(x01, x

02, . . . , x

0n)

∂F(X(0))∂x

=

∂f1(x(0)1 ,x

(0)2 ,...,x

(0)n )

∂x1. . .

∂f1(x(0)1 ,x

(0)2 ,...,x

(0)n )

∂xn

. . . . . . . . .∂fn(x

(0)1 ,x

(0)2 ,...,x

(0)n )

∂x1. . .

∂fn(x(0)1 ,x

(0)2 ,...,x

(0)n )

∂xn

Iteračný proces bude teda určený vzťahom

Xr+1 = Xr +H

4.2 Niektoré typy hier

4.2.1 Väzňova dilema

Riešenie jedného odohrania väzňovej dilemy je jednoduché. Či už využijemefakt, že stratégia P je dominantná, alebo použijeme metódu najlepších od-povedí, zistíme, že jediným Nashovym ekvilibriom je profil stratégií (P,P).Zvláštnosťou väzňovej dilemy je to, že rovnováha (P,P) nie je pareto efek-tívna a obom hráčom by viac vyhovoval profil stratégií (N,N). Problémom je

40

Page 45: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

1/2 N PN (1,1) (-1,2)P (2,-1) (0,0)

Tabuľka 4.1: Väzňova dilema

to, že ak väzenská dilema prebieha len raz, alebo počet opakovaní je známyobom hráčom, neexistuje tu žiaden ”samo-vynucovací” mechanizmus, ktorýby spôsobil, že hráči budú voliť stratégiu N.Podobný výsledok dostaneme, aj keď predpokladáme populáciu hráčov-

väzňov, ktorí sú rozdelení na tých, čo sa priznávajú (ich relatívny počet jexp) a tých, čo sa nepriznávajú(xn), pričom xp + xn = 1 Keď si napíšemeočakávané výplaty stratégií N a P pri vyššie uvedenom rozdelení populácie,dostaneme

u(xn, x) = xn − xp

u(xp, x) = 2xn

u(x, x) = xn(xn − xp) + 2xnxp (4.1)

a z nich potom rovnice dynamiky replikátora. Pre tie platí

xn

xn

= (1− xn)(xn − xp)− 2xnxp

xp

xp

= xn(2− xn − xp) (4.2)

Skúmaním 4.2 ľahko zistíme, že jediným pevným bodom je (xn, xp) =(0, 1), ktorý je zároveň aj evolučne stabilným. Na obrázku 5.1 je fázový por-trét systému 4.2.Spočítajme teraz minimaxovú hodnotu oboch hráčov. Hra je symetrická,

takže tieto hodnoty budú rovnaké. Stratégia druhého hráča je všeobecne(q, 1−q). Pre očakávané výplaty z jednotlivých čistých stratégií prvého hráčateda máme

vn = 1q + (−1)(1− q) = 2q − 1

vp = 2q + 0 = 2q

41

Page 46: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Iterácia Hodnoty populácií0 x(t) = 0.5, y(t) = 0.51 x(t) = 0.268941412862824246

y(t) = 0.7310585871371755312 x(t) = 0.119203015581334766

y(t) = 0.8807969844186651633 x(t) = 0.0474258820158336148

y(t) = 0.9525741179841662474 x(t) = 0.0179861944399302734

y(t) = 0.9820138055600695645 x(t) = 0.00669282463288547146

y(t) = 0.993307175367114326

Tabuľka 4.2: Hodnoty populácií Väzňovej dilemy 2 hráčov

Hodnota q, ktorá minimalizuje vn aj vp je q = 0. To znamená, že akékoľvekvýplaty, ktoré dávajú hráčom rovnako alebo viac ako (0, 0) budú patriť domnožiny individuálne racionálnych výplat. Teda napríklad aj výstup (N,N),ktorý nie je v statickej hre ekvilibriom.

Statický prístup Opakovaný prístup Evolučný prístupJediné Nashovo ekvi-librium je (N,N).

{(v1, v2)|v1 ≥ 0, v2 ≥0}

Evolučne stabilný stavje xn = 1, xp = 0

Tabuľka 4.3: Riešenie Väzňovej dilemy 2 hráčov

4.2.2 Koordinačná hra

1/2 E CE (1,1) (0,0)C (0,0) (1,1)

Tabuľka 4.4: New York

42

Page 47: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

New York je najjednoduchším typom koordinačnej hry. Jej zvláštnosťouje to, že ľubovoľná stratégia môže viesť ku maximálnej ale aj ku minimálnejvýplate, podľa toho, či hráči ”koordinovane” zvolia rovnakú stratégiu alebonie.Nie je ťažké zistiť, že v čistých stratégiách existujú dve Nashove ekvilibriá

: (E,E) a (C,C) a v zmiešaných stratégiách jediné ekvilibrium ( 12, 12). Žiadny

z týchto výsledkov nám však nedáva návod na to, ako ku hre pristupovať.Aplikovanie opakovaného prístupu nám určí, že výplaty väčšie ako 0 budú

patriť do množiny individálne racionálnych výplat, ale podobne ako v static-kom prípade bez ďalšieho prvku v hre nie je možné hovoriť o riešení.

Iterácia Hodnoty populácií0 x(t) = 0.49

y(t) = 0.511 x(t) = 0.483518513592104127

y(t) = 0.5164814864078959282 x(t) = 0.472852083582171790

y(t) = 0.5271479164178284323 x(t) = 0.455353695298920836

y(t) = 0.5446463047010789984 x(t) = 0.426889910271159078

y(t) = 0.5731100897288408105 x(t) = 0.381616959059459970

y(t) = 0.6183830409405398626 x(t) = 0.313590647765059849

y(t) = 0.6864093522349399287 x(t) = 0.223872856802861342

y(t) = 0.7761271431971390468 x(t) = 0.131228934853980544

y(t) = 0.8687710651460195389 x(t) = 0.0628826002895824938

y(t) = 0.93711739971041729810 x(t) = 0.0261584111573970671

y(t) = 0.973841588842603412

Tabuľka 4.5: Hodnoty populácií koordinačnej hry-New York 2 hráčov

43

Page 48: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

V evolučnom prístupe si skonštruujeme dynamický systém na základeočakávaných výplat

u(x1, x) = x1

u(x2, x) = x2

u(x, x) = [x1]2 + [x2]2 (4.3)

x1x1= x1 − [x1]2 − [x2]2

x2x2= x2 − [x1]2 − [x2]2 (4.4)

Analýzou 4.4 dostaneme 3 pevné body zodpovedajúce Nashovym ekvilib-riám. Dva z týchto bodov (E,E) a (C,C) sú evolučne stabilné a pevný bodzodpovedajúci zmiešanému ekvilibriu je evolučne nestabilný.Podľa toho, aké sú počiatočné podmienky, hodnoty populácií dokonver-

gujú buď do jedného, alebo druhého evolučne stabilného stavu. V prípade, žepočiatočný stav populácií je ( 1

2, 12), čo zodpovedá nestabilnému bodu, hod-

noty populácií v tomto stave zostávajú, avšak akákoľvek výchylka ľubovoľ-ným smerom spôsobí, že sa hodnoty populácií postupne zmenia na jedenalebo druhý evolučne stabilný stav.

Statický prístup Opakovaný prístup Evolučný prístupNE sú (E,E),(C,C) a(12, 12)

- Tri pevné body zodpo-vedajú NE. Evolučnenestabilný je (1

2, 12).

Tabuľka 4.6: Riešenie hry New York pre 2 hráčov a 2 stratégie

4.2.3 Najpočetnejší prehráva

Majme množinu hráčov D=1,2,. . .,N, pričom každý má rovnakú množinu stra-tégií S=1,2,. . .,K, pre ktoré platí, že K < N . Funkcie výplat sú definovanénasledovne

ui(s−i) =

{

si ak m(si) < m(s−i)0 inak

(4.5)

44

Page 49: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

kde m(M) je počet hráčov, ktorí zvolili stratégiu sk takú, že sk ∈ M .Čiže každý hráč si volí, akú výplatu by chcel mať a dostane ju vtedy,

ak si práve túto výplatu nezvolilo najviac hráčov. Paradox tejto hry spočívav tom, že jasne najlepšia stratégia K s výplatou K sa v prípade, že ju akonajlepšiu zvolí najviac hráčov stáva najhoršou s výplatou 0. Nerovnosť K <N zabezpečuje, že stratégia, ktorú si zvolilo najviac hráčov a bude volenáaspoň dvoma hráčmi.Metódou najlepších odpovedí ľahko zistíme, že v normálnom tvare táto

hra nemá Nashovo ekvilibrium. Pretože sa predpokladá, že počet hráčovbude väčší ako stratégií a tie budú aspoň 2, systém najlepších odpovedí budepozostávať minimálne zo 4 rovníc. V prípade, že by sme chceli analyzovaťprípady s väčším počtom hráčov a stratégií, množstvo rovníc nám veľminarastá.Pretože hra je symetrická, je možné počet rovníc zredukovať tak, že si

napíšeme dynamický systém replikátora a budeme analyzovať ten. V ňomnájdeme pevné body a evolučne stabilné stavy. Vzhľadom na charakter rovnícje potrebné postupovať numericky a vďaka vlastnostiam evolučného systémudostaneme aproximáciu zmiešaného ekvilibiria analýzou pevných bodov.Pre 5 hráčov a 3 stratégie máme príslušný systém replikátora

x1x1= 4x1x32 + 4x1x

33 + 4x2x

33 + 4x

32x3 + 12x1x

22x3 + 12x1x2x

23 +

+x42 + x43 + 6x22x23 − 2x2(4x2x

31 + 4x2x

33 + 4x1x

33 + 4x

31x3 +

+12x2x21x3 + 12x1x2x23 + x41 + x43 + 6x

21x22)− 3x3(4x

32 +

+4x31x3 + 4x2x31 + 4x1x

32 + 12x1x

22x3 + 12x2x

21x3 + x42 +

+x41 + 6x1x2)− x1(4x1x32 + 4x1x33 + 4x2x

33 + 4x

32x3 + 12x1x

22x3 +

+12x1x2x23 + x42 + x43 + 6x22x23)

x2x2= 2(4x2x31 + 4x2x

33 + 4x1x

33 + 4x

31x3 + 12x2x

21x3 + 12x1x2x

23 +

+x41 + x43 + 6x21x22 − 2x2(4x2x

31 + 4x2x

33 + 4x1x

33 + 4x

31x3 +

+12x2x21x3 + 12x1x2x23 + x41 + x43 + 6x

21x22)− 3x3(4x

32 +

+4x31x3 + 4x2x31 + 4x1x

32 + 12x1x

22x3 + 12x2x

21x3 + x42 +

+x41 + 6x1x2)− x1(4x1x32 + 4x1x33 + 4x2x

33 + 4x

32x3 + 12x1x

22x3 +

+12x1x2x23 + x42 + x43 + 6x22x23)

45

Page 50: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Iterácia Hodnoty populácií0 x(t) = 0.2

y(t) = 0.3z(t) = 0.5

1 x(t) = 0.165992402490285158y(t) = 0.352649384369413788z(t) = 0.481358213140300861

5 x(t) = 0.117004599749002888y(t) = 0.391508895966235504z(t) = 0.491486504284761760

10 x(t) = 0.104797332233226154y(t) = 0.398814077473508166z(t) = 0.496388590293265986

15 x(t) = 0.101973547182530627y(t) = 0.400480473146793525z(t) = 0.497545979670676152

20 x(t) = 0.101248134252347924y(t) = 0.400907428071403837z(t) = 0.497844437676248308

Tabuľka 4.7: Hodnoty populácií hry Najpočetnejší prehráva 5 hráčov s 3stratégiami

x3x3= 3x3(4x

32 + 4x

31x3 + 4x2x

31 + 4x1x

32 + 12x1x

22x3 + 12x2x

21x3 +

+x42 + x41 + 6x1x2)− 2x2(4x2x31 + 4x2x

33 + 4x1x

33 + 4x

31x3 +

+12x2x21x3 + 12x1x2x23 + x41 + x43 + 6x

21x22)− 3x3(4x

32 +

+4x31x3 + 4x2x31 + 4x1x

32 + 12x1x

22x3 + 12x2x

21x3 + x42 +

+x41 + 6x1x2)− x1(4x1x32 + 4x1x33 + 4x2x

33 + 4x

32x3 + 12x1x

22x3 +

+12x1x2x23 + x42 + x43 + 6x22x23)

Tento systém má jediný pevný bod, ktorý je zároveň aj evolučne stabil-ným stavom. Je to približne (0.1,0.4,0.5) a zodpovedá Nashovmu ekvilibriuv zmiešaných stratégiách. Evolučné rovnice nám týmto pomohli ku numeric-kému výpočtu zmiešaného Nashovho ekvilibria.

46

Page 51: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Na obrázku 5.6 sa nachádza fázový portrét verzie hry Najpočetnejší pre-hráva s 3 hráčmi a 2 stratégiami, ktorý ilustruje charakter pevného boduzodpovedajúceho zmiešanému ekvilibriu.Opakovaný prístup nám nedáva žiadnu zaujímavú informáciu o riešení

hry, pretože všetky vektory výplat čistých aj zmiešaných profilov stratégiípatria do množiny individuálne racionálnych výplat.

Statický prístup Opakovaný prístup Evolučný prístupV čistých stratégiachNE neexistuje. Nie jejasné, aké je zmiešanéNE.

- Pevným bodom re-plikátora je približne(0.1, 0.4, 0.5) a je záro-veň aj evolučne stabil-ným stavom.

Tabuľka 4.8: Riešenie hry Najpočetnejší prehráva pre 5 hráčov a 3 stratégie

4.2.4 Hra - Kitty Genovese

Známa hra Kitty Genovese je inšpirovaná skutočnou udalosťou, v ktorej boliúčastníci konfrontovaní s voľbou, či na vlastné náklady pomôžu alebo nepo-môžu pri riešení istej situácie, pričom stačilo, aby pomohol jediný účastník aprofitovali by všetci. Skutočnosť, že v danej situácii nepomohol nikto, viedlaku matematickému modelu s prístupom teórie hier.Majme množinu hráčov D = {1, 2, ..., N}, pričom každý hráč i má dve

rovnaké stratégie, teda Si = {P, N}. Ak aspoň jeden hráč zvolí P , všetci tí,ktorí volili N majú výplatu 1 a tí, ktorí volili P majú výplatu 1 − C, kdeC ∈ (0, 1). V prípade, že každý hráč zvolí stratégiu N , všetci majú výplatu0.Hra má N Nashovych ekvilibrií v čistých stratégiach a jedno ekvilib-

rium v zmiešaných stratégiach. Ekvilibriá v čistých stratégiach sú však asy-metrické a pre inak úplne rovnocenných hráčov nespravodlivé. Symetric-kým ekvilibriom je profil stratégií, keď každý hráč hrá zmiešanú stratégiu(p1, p2) = (1 − C

1n−1 , C

1n−1 ). Toto ekvilibrium približne dostaneme, aj keď

analyzujeme príslušný systém replikátora.Pre hodnotu C = 1

2a 3 hráčov bude dynamický systém vyzerať nasle-

dovne

47

Page 52: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

xp

xp

=12(x2p + 2xpxn + x2n)−

12xp(x2p + 2xpxn + x2n)− xn(x2p + xpxn))

xn

xn

= x2p + xpxn −12xp(x2p + 2xpxn + x2n)− xn(x2p + xpxn))

Fázové portréty systémov replikátora pre 2, 3 a 4 hráčov sú na obrázkoch5.3, 5.4 a 5.5.Zaujímavý výsledok z hry Kitty Genovese dostaneme, keď vyjadríme prav-

depodobnosť, že v symetrickom ekvilibriu aspoň jeden hráč zvolí stratégiu P .V závislosti od počtu hráčov máme

p(N) = (1− p1)n = cn

n−1 (4.6)

a pretože C ∈ (0, 1), pravdepodobnosť, že nikto nepomôže s rastúcimpočtom hráčov rastie.

4.3 Záver

Záverom tejto práce sú dva poznatky, ktoré sa snažia plniť funkciu odpovedína všeobecne známe praktické problémy modernej teórie hier.Prvý poznatok, skutočnosť, že aplikovanie opakovaného prístupu ku hre

zásadne mení koncept prijateľného výstupu z hry a navrhuje riešenia na situ-ácie, v ktorých nevie dať teória statických hier odpoveď, nie je nový. V prácisme iba zhrnuli jeho význam a vyskúšali, ako funguje na konkrétnych hrách,v ktorých existuje v statickom prístupe element určitej nejednoznačnosti.Druhým poznatkom je to, že prepísanie normálnej hry do evolučnej po-

doby môže veľmi zjednodušiť numerické hľadanie Nashovho ekvilibira v zmie-šaných stratégiách. Vety o vzťahu Nashovho ekvilibria boli publikované v uve-denej literatúre, v našej práci sme sa zamerali na to, že tieto vzťahy možnopriamo využiť na zníženie počtu rovníc v systéme, ktorý treba na nájdenieekvilibria vyriešiť. Veľkým prínosom sa to ukázalo hlavne v prípade, že v hreveľkého počtu hráčov je niekoľko hráčov takých, že ich stratégie aj interakcieso všetkými hráčmi sú rovnaké.

48

Page 53: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Kapitola 5

Obrázková príloha

49

Page 54: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Obr. 5.1: Väzňova dilema

Obr. 5.2: New York

50

Page 55: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Obr. 5.3: Kitty Genovese - 2 hráči

Obr. 5.4: Kitty Genovese - 3 hráči

51

Page 56: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Obr. 5.5: Kitty Genovese - 4 hráči

Obr. 5.6: Najpočetnejší prehráva

52

Page 57: FAKULTAMATEMATIKY,FYZIKY ...pc2.iam.fmph.uniba.sk/studium/efm/diplomovky/2005/boda/...FAKULTAMATEMATIKY,FYZIKY AINFORMATIKYUNIVERZITYKOMENSKÉHO VBRATISLAVE Katedraaplikovanejmatematikya„tatistiky

Literatúra

[1] Daniel Friedman, Evolutionary Games in Economics, Econometrica,Vol.59, No.3, 637-666, 1991.

[2] Ariel Rubinstein, Comments on the Interpretation of Game Theory, Eco-nometrica, Vol.59, No.4, 909-924, 1991.

[3] Markus M. Mobius, Lectures from Game Theory 2003.

[4] Drew Fudenberg, David K. Levine, The Theory of Learning in Games,The MIT Press 1999

[5] Jorgen W. Weibull, Evolutionary Game Theory, The MIT Press 1997

[6] Branislav L. Slantchev Repeated Games Lectures, Department of Politi-cal Science, University of California - San Diego, 2004

53