![Page 1: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/1.jpg)
Malte Paskuda, 02.05.2010 1
Improving heuristic minimax search by supervised learningAutor des Papers: Michael Buro
Evaluation: GLEM
ProbCut– Multi-ProbCut– EndCut
Opening book construction
![Page 2: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/2.jpg)
Malte Paskuda, 02.05.2010 2
Logistello
Programm für Othello (Reversi)
![Page 3: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/3.jpg)
Malte Paskuda, 02.05.2010 3
Evaluation: GLEM
ProbCutProbCut– MultiProbCut– EndCut
Opening book construction
![Page 4: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/4.jpg)
Malte Paskuda, 02.05.2010 4
GLEM
„generalized linear evaluation model“
e(p)=g( Σ w_i * c_i (p))
c: Konfigurationw: Gewichtungg: -> : wachsend und ableitbarℝ ℝ
![Page 5: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/5.jpg)
Malte Paskuda, 02.05.2010 5
GLEM: Konfigurationen
c = r_1(p) & ... & r_n(p)val(c(p)) = 1 wenn belegt, 0 sonst
Positionen belegt oder nicht belegt, tritt also ein oder nicht
![Page 6: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/6.jpg)
Malte Paskuda, 02.05.2010 6
GLEM: Konfigurationen generieren
![Page 7: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/7.jpg)
Malte Paskuda, 02.05.2010 7
GLEM (Forts.)
E(w) := Σ(s_i – e_w(p_i))²
Dieser Fehler soll minimiert werden, Gewichtungen entsprechend wählen
s_i: Positionswert
![Page 8: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/8.jpg)
Malte Paskuda, 02.05.2010 8
GLEM: Gewichte berechnen
Auch Gewichte kann man berechnen lassen
alpha: stepsizegrad_w E ist ein Vektor, die partiellenAbleitungen:
„changes the weights in direction of the errorfunction's steepest descent“ ²
![Page 9: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/9.jpg)
Malte Paskuda, 02.05.2010 9
Beispiele für Patterns
![Page 10: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/10.jpg)
Malte Paskuda, 02.05.2010 10
Beispiel Logistello
![Page 11: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/11.jpg)
Malte Paskuda, 02.05.2010 11
Effekt von GLEM
![Page 12: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/12.jpg)
Malte Paskuda, 02.05.2010 12
GLEM Zusammenfassung
GLEM kombiniert also eine Sammlung von Features, die gewählt wurden
Zusammengefasste Features = Patterns
Da Konfigurationen 1 oder 0 werden, entscheiden die Gewichte alleine über ihre Wichtigkeit
![Page 13: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/13.jpg)
Malte Paskuda, 02.05.2010 13
Evaluation: GLEM
ProbCutProbCut– Multi-ProbCut– EndCut
Opening book construction
![Page 14: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/14.jpg)
Malte Paskuda, 02.05.2010 14
ProbCut
Schneide Teilbäume ab, die wahrscheinlich min-max-Wert nicht beeinflussen: forward pruning.
1. Shallowsearch liefert v_s. 2. Wenn a * v_s + b außerhalb α/β, also außerhalb von [α – t * σ, β + t * σ] Suche abbrechen 3. Ansonsten: Wahren Wert v_d berechnen
![Page 15: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/15.jpg)
Malte Paskuda, 02.05.2010 15
ProbCut: Unterschied zu α/βPruning
α/β-Pruning-Prinzip: Subtrees ignorieren, die den min-max-Wert nicht beeinflussen werden.
Aber: Immer noch muss auf unterster Ebene evaluiert werden
prune backwards
![Page 16: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/16.jpg)
Malte Paskuda, 02.05.2010 16
MultiProbCut (MPC)
● Parameter: Je nach Spielsituation unterschiedlich tief suchen
● Suchen mehrmals mit zunehmender Länge durchführen
![Page 17: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/17.jpg)
Malte Paskuda, 02.05.2010 17
EndCut
Ab bestimmter Tiefe: Schätze zuerst mit Shallowsearch, weiter werdend, wie das Spiel ausgeht.
![Page 18: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/18.jpg)
Malte Paskuda, 02.05.2010 18
ProbCut Anwendungen
MPC wurde inzwischen auch für Schach getestet ²:
„CRAFTY’s speed chess tournament score went up from 51% to 56%.“
![Page 19: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/19.jpg)
Malte Paskuda, 02.05.2010 19
Evaluation: GLEM
ProbCutProbCut– Multi-ProbCut– EndCut
Opening book construction
![Page 20: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/20.jpg)
Malte Paskuda, 02.05.2010 20
Opening Book Construction
Verhindere, wiederholt zu verlieren– z.B. wichtig, wenn das Programm als Server läuft
![Page 21: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/21.jpg)
Malte Paskuda, 02.05.2010 21
Opening Book Construction: Der Baum
Spielbaum der Positionsvariationen, mit( (W, L, D, ?), [-∞,+∞])Für Win, Loss, Draw und unbekannt und den Wert (dann geschätzt).
Außerdem: Heuristisch beste Abweichung
![Page 22: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/22.jpg)
Malte Paskuda, 02.05.2010 22
Opening Book Construction: Vorgehen
„Find the node corresponding to the current position, propagate the heuristic evaluations from the leaves to that node by means of the nega-max algorithm, and choose the move that leads to the successor position with lowest evaluation.“
![Page 23: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/23.jpg)
Malte Paskuda, 02.05.2010 23
Opening Book Construction: Vorgehen (Bild)
![Page 24: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/24.jpg)
Malte Paskuda, 02.05.2010 24
Fragen?
![Page 25: Improving heuristic minimax search by supervised learning€¦ · Malte Paskuda, 02.05.2010 1 Improving heuristic minimax search by supervised learning Autor des Papers: Michael Buro](https://reader033.vdocuments.net/reader033/viewer/2022050107/5f451ba31399c617116a7d63/html5/thumbnails/25.jpg)
Malte Paskuda, 02.05.2010 25
QuellenSlide 2, Bild: Wikipedia, http://upload.wikimedia.org/wikipedia/de/6/6b/Othello_start.jpgGenconf: Aus M. Buro: „From Simple Features to Sophisticated Evaluation Functions“[1]: Aus M. Buro: „From Simple Features to Sophisticated Evaluation Functions“Endcut: Aus Präsentation „Multi-ProbCut Search“, http://webdocs.cs.ualberta.ca/~mburo/ps/mpc.pdf[2] A.X. Jiang, M. Buro, „FIRST EXPERIMENTAL RESULTS OF PROBCUT APPLIED TO CHESS“Opening Book Construction: M. Buro, „Toward Opening Book Learning“
Bilder, wenn nicht anders angegeben, aus „Improving heuristic mini-max searchby supervised learning“ von M. Buro