beating humans in complex boardgames · beating humans in complex boardgames seminar „neueste...
TRANSCRIPT
![Page 1: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/1.jpg)
Beating Humans in
complex BoardgamesSeminar „Neueste Trends in Big Data Analytics“ – Universität Hamburg
Eike Nils Knopp – 18.12.2017
Eike Nils Knopp 1 / 55
![Page 2: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/2.jpg)
Inhalt
Historie
IBMs Deep Blue
IBMs Watson
DeepMinds AlphaGO
Warum ist AlphaGo so besonders?
Hauptteil
Traditioneller Ansatz für Spiele-AIs
Funktionsweise Deep Blue
Unterschiede Schach und Go
Funktionsweise Alpha Go
Ausblick
Wie kann das neue Wissen genutzt werden
Eike Nils Knopp 2 / 55
![Page 3: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/3.jpg)
1997 2011 2016
IBMs Deep Blue IBMs Watson DeepMinds AlphaGo
Historie
Eike Nils Knopp 3 / 55
![Page 4: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/4.jpg)
IBMs Deep Blue (1997)
Schlug Schachweltmeister Garry Kasparov
IBM siegt 31/2 zu 21/2
Kombination TreeSearch + Evaluate-Funktion
Erster Sieg gegen Weltmeister
[1] http://www.businessinsider.com/how-ibm-watson-is-transforming-healthcare-2015-7?IR=TEike Nils Knopp 4 / 55
![Page 5: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/5.jpg)
1996 2011 2016
IBMs Deep Blue IBMs Watson DeepMinds AlphaGo
Historie
Eike Nils Knopp 5 / 55
![Page 6: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/6.jpg)
IBMs Watson (2011)
Schlug gleich mehrere
Champions gleichzeitig
Verstehen von Fragen in
natürlicher Sprache
Deep analytics
und natural language
processing
Antwortet basierend auf
Confidence-Level
[2] https://sciencebasedmedicine.org/tag/watson/
Eike Nils Knopp 6 / 55
![Page 7: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/7.jpg)
1997 2011 2016
IBMs Deep Blue IBMs Watson DeepMinds AlphaGo
Historie
Eike Nils Knopp 7 / 55
![Page 8: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/8.jpg)
Deep Minds AlphaGo (2016)
Schlug 18-fachen
Weltmeister Lee Sedol
Klarer Sieg mit 4 – 1
Erlangte
höchstmöglichen Go-
Rang
[3] https://www.newscientist.com/article/2079871-im-in-shock-how-an-ai-beat-the-worlds-best-human-at-go/Eike Nils Knopp 8 / 55
![Page 9: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/9.jpg)
Relevanz von AlphaGo
Warum ist AlphaGo so besonders?
Eike Nils Knopp 9 / 55
![Page 10: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/10.jpg)
Traditioneller Ansatz für Brettspiele
Eike Nils Knopp 10 / 55
https://commons.wikimedia.org/wiki/File:Tic-tac-toe-full-game-tree-x-rational.jpg
![Page 11: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/11.jpg)
Traditioneller Ansatz für Brettspiele
Eike Nils Knopp 11 / 55
https://commons.wikimedia.org/wiki/File:Tic-tac-toe-full-game-tree-x-rational.jpg
![Page 12: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/12.jpg)
Traditioneller Ansatz für Brettspiele
Eike Nils Knopp 12 / 55
https://commons.wikimedia.org/wiki/File:Tic-tac-toe-full-game-tree-x-rational.jpg
![Page 13: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/13.jpg)
Traditioneller Ansatz für Brettspiele
Eike Nils Knopp 13 / 55
https://commons.wikimedia.org/wiki/File:Tic-tac-toe-full-game-tree-x-rational.jpg
![Page 14: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/14.jpg)
Traditioneller Ansatz für Brettspiele
Eike Nils Knopp 14 / 55
https://commons.wikimedia.org/wiki/File:Tic-tac-toe-full-game-tree-x-rational.jpg
![Page 15: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/15.jpg)
Traditioneller Ansatz für Brettspiele
Eike Nils Knopp 15 / 55
https://commons.wikimedia.org/wiki/File:Tic-tac-toe-full-game-tree-x-rational.jpg
![Page 16: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/16.jpg)
Komplexität Spiel
Speicherplatz, Leistung
Benötigte Leistung und Speicherplatz skaliert mit Komplexität des Spiels
Nicht anwendbar auf komplexe Spiele mit sehr vielen Brettmöglichkeiten
Eike Nils Knopp 16 / 55
![Page 17: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/17.jpg)
Wie spielte Deep Blue Schach?
Berechnung von 17mio möglichen Positionen
Erzeuge mögliche Züge anhand der Regeln von Schach
Evaluiere jeden möglichen Zug anhand der Evaluate-Funktion
Wähle den bestmöglichen Zug aus
Eike Nils Knopp 17 / 55
![Page 18: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/18.jpg)
Wie spielte Deep Blue Schach?
Game Tree zu groß um alle Pfade zu durchsuchen
=> Durchsuche so weit wie möglich (im Durchschnitt 6 Züge)
Ersetze den SubTree durch die Evaluate-Funktion
Material
Position
King safety
Tempo
Expert domain knowledge
Wähle den Zug mit dem höchsten Wert aus
Eike Nils Knopp 18 / 55
![Page 19: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/19.jpg)
Evaluate-Funktion
Bestehend aus ca. 8.000 Teilen
Viele extra auf bestimmte Positionen abgestimmt
Opening Book:
4.000 Positionen
700.000 Grandmaster Spiele
Endgame Database:
Viele Six-Piece endgames
Viele <=5 Piecepositions
Eike Nils Knopp 19 / 55
![Page 20: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/20.jpg)
Mehr Brute Force als smarte AI
Testen von sehr vielen möglichen Zügen
Speziell entwickelte Evaluate-Funktionen mit menschlichem Expertenwissen
Overfitting
Maximal so gut wie die Entwickler der Funktion
Nicht generalisierbar
Eike Nils Knopp 20 / 55
![Page 21: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/21.jpg)
Schach versus Go
Schach
Beginn:
16 Figuren, 6 verschiedenen Typen
Jeder Typ darf anders ziehen
Ziel:
Gegnerischen König schlagen
Go
Beginn:
Leeres Brett
Nur ein Figurentyp (Stein)
Ziel:
Soviel Gebiet wie möglich
einnehmen
Eike Nils Knopp 21 / 55
![Page 22: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/22.jpg)
Schach versus Go
Go besitzt einfachere Regeln
Weniger Einschränkungen
Eike Nils Knopp 22 / 55
![Page 23: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/23.jpg)
Schach versus Go
Schach Go
Eröffnung: mögliche Züge
20
361
Eike Nils Knopp 23 / 55
![Page 24: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/24.jpg)
Schach versus Go
Schach Go
Ø mögliche Züge
35
250
Eike Nils Knopp 24 / 55
![Page 25: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/25.jpg)
Schach versus Go
Schach Go
Ø Spiellänge
35
250
Eike Nils Knopp 25 / 55
![Page 26: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/26.jpg)
Mögliche Boards Schach
Eike Nils Knopp 26 / 55
10120
![Page 27: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/27.jpg)
10170
Mögliche Boards Schach Mögliche Boards Go
Eike Nils Knopp 27 / 55
10120
![Page 28: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/28.jpg)
10170
Mögliche Boards Schach Mögliche Boards GoMögliche Boards Schach Atome im Universum
Eike Nils Knopp 28 / 55
101201080
![Page 29: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/29.jpg)
Go ist zu komplex, um durch Verfahren wie
IBM`s Deep Blue gelöst zu werden,
geschweige denn vom traditionellen Ansatz
Eike Nils Knopp 29 / 55
![Page 30: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/30.jpg)
Wie konnte AlphaGo Lee Sedol schlagen?
Eike Nils Knopp 30 / 55
![Page 31: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/31.jpg)
Aufbau AlphaGo
AlphaGo
Monte Carlo Tree Search Deep Neural Networks
[4] http://ccg.doc.gold.ac.uk/research-mcts/
[5] https://www.tastehit.com/blog/google-deepmind-alphago-how-it-works/
Eike Nils Knopp 31 / 55
![Page 32: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/32.jpg)
Monte Carlo Tree Search
Alternativer Ansatz Game Trees zu durchsuchen
Simulation von möglichen Spielen
Beginnt mit zufälligen Zügen
Je mehr Simulationen, desto besser der Zug
MCTS konvergiert zum bestmöglichen Zug
Eike Nils Knopp 32 / 55
[4] http://ccg.doc.gold.ac.uk/research-mcts/
![Page 33: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/33.jpg)
Monte Carlo Tree Search
Selection:
[7] https://en.wikipedia.org/wiki/Monte_Carlo_tree_search
Eike Nils Knopp 33 / 55
![Page 34: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/34.jpg)
Monte Carlo Tree Search
Expansion:
Eike Nils Knopp 34 / 55[7] https://en.wikipedia.org/wiki/Monte_Carlo_tree_search
![Page 35: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/35.jpg)
Monte Carlo Tree Search
Simulation:
Eike Nils Knopp 35 / 55
[7] https://en.wikipedia.org/wiki/Monte_Carlo_tree_search
![Page 36: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/36.jpg)
Monte Carlo Tree Search
Backpropagation:
Eike Nils Knopp 36 / 55[7] https://en.wikipedia.org/wiki/Monte_Carlo_tree_search
![Page 37: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/37.jpg)
Effektivität von MCTS
Reine Berechnung durch MCTS
MCTS kombiniert mit menschlichem Fachwissen
Niveau auf Level von starkem Amateur-Spiel
Eike Nils Knopp 37 / 55
![Page 38: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/38.jpg)
Deep Neural Networks
Eike Nils Knopp 38 / 55
[5] https://www.tastehit.com/blog/google-deepmind-alphago-how-it-works/
![Page 39: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/39.jpg)
Policy Network
Input: Aktuelles Board als Bild
Leitet die MCTS
Output: Wertigkeit eines jeden möglichen Zugs
Auswahl der bestmöglichen Züge
Reduzierung der Breite des Suchbaums
Eike Nils Knopp 39 / 55
![Page 40: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/40.jpg)
Heavy vs. Fast Rollout
HeavyRollout
57% Genauigkeit
3ms Zugzeit
Fast Rollout
Weniger Neuronen / Synapsen
24% Genauigkeit
2μs Zugzeit
Eike Nils Knopp 40
![Page 41: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/41.jpg)
Policy Network: Training
Trainiert mit 30 Millionen Positionen von Spielen von menschlichen Spielern
KGS Go Server
57% Genauigkeit den menschlichen Zug vorauszusagen
Ø Zugzeit: 3ms
Stage 1: Supervised Learning
Eike Nils Knopp 41 / 55
![Page 42: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/42.jpg)
Raw Data
Training Set Validation Set
Supervised Learning
Eike Nils Knopp 42 / 55
[5] https://www.tastehit.com/blog/google-deepmind-alphago-how-it-works/
![Page 43: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/43.jpg)
Policy Network: Training
Spielt gegen zufällige vorherige Iterationen von sich selbst
Minimierung von Overfitting
Ausgang des Spiels wird als Trainingssignal verwendet
80% Winrate gegen das SL Policy Network
85% Winrate vs Pachi
Pachi: Nur MCTS mit 100.000 Simulationen pro Zug
Stage 2: Reinforcement Learning
Eike Nils Knopp 43 / 55
![Page 44: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/44.jpg)
Value Network
Input: Aktuelles Board als Bild
Wertet den aktuellen Stand des Spiels
Wie hoch ist die Wahrscheinlichkeit, dass der schwarze Spieler gewinnt?
Output: Einzelne Nummer, Gewinnchance von Schwarz
Ersetzt die Evaluate-Funktion von Deep Blue
Gelernt, nicht definiert
Kein menschliches Wissen notwendig
Keine Limitierung durch den Menschen
Reduziert die Tiefe des Suchbaums
Eike Nils Knopp 44 / 55
![Page 45: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/45.jpg)
Value Network: Training
Training mit KGS Go Daten führt zu Overfitting
Trainiert mit 30 Millionen Positionen von generierten Self-Play data
Jede Position aus einem anderen Spiel zwischen dem RL Policy Network und sich selbst
Genauer als MCTS mit fast rollout policy network
Ähnlich genau wie MCTS mit heavy policy network
15.000 mal weniger Rechenleistung
Eike Nils Knopp 45 / 55
![Page 46: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/46.jpg)
[6] Mastering the Game of Go with Deep Neural Networks and Tree Search
Google, Google DeepMind | Pusblished in Nature 529, Januar 2016
Selection
Kombination MCTS und Neural Networks
Eike Nils Knopp 46 / 55
![Page 47: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/47.jpg)
Expansion
Eike Nils Knopp 47 / 55[6] Mastering the Game of Go with Deep Neural Networks and Tree Search
Google, Google DeepMind | Pusblished in Nature 529, Januar 2016
![Page 48: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/48.jpg)
Evaluation
Eike Nils Knopp 48 / 55[6] Mastering the Game of Go with Deep Neural Networks and Tree Search
Google, Google DeepMind | Pusblished in Nature 529, Januar 2016
![Page 49: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/49.jpg)
Back-Propagation
Eike Nils Knopp 49 / 55[6] Mastering the Game of Go with Deep Neural Networks and Tree Search
Google, Google DeepMind | Pusblished in Nature 529, Januar 2016
![Page 50: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/50.jpg)
Eike Nils Knopp 50 / 55
![Page 51: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/51.jpg)
[ ] [ ][ ]
Policy Network
Eike Nils Knopp 51 / 55[4] http://ccg.doc.gold.ac.uk/research-mcts/
![Page 52: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/52.jpg)
[ ]
Value NetworkEike Nils Knopp 52 / 55
[4] http://ccg.doc.gold.ac.uk/research-mcts/
![Page 53: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/53.jpg)
Wie kann das neue Wissen genutzt
werden?
Anwendung in der Medizinischen Forschung
Falten von Proteinen
IBM's Watson for Oncology
AlphaGo Zero
„Tabula Rasa“-Learning
General Purpose AI
Eike Nils Knopp 53 / 55
![Page 54: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/54.jpg)
Quellen
[4] http://ccg.doc.gold.ac.uk/research-mcts/
[5] https://www.tastehit.com/blog/google-deepmind-alphago-how-it-works/
https://jeffbradberry.com/posts/2015/09/intro-to-monte-carlo-tree-search/
https://www.tastehit.com/blog/google-deepmind-alphago-how-it-works/
http://ccg.doc.gold.ac.uk/research-mcts/
https://machinelearnings.co/understanding-alphago-948607845bb1
https://deepmind.com/blog/alphago-zero-learning-scratch/
https://deepmind.com/research/alphago/
https://blog.google/topics/machine-learning/alphago-machine-learning-
game-go/
[6]Mastering the Game of Go with Deep Neural Networks and Tree Search
Google, Google DeepMind | Pusblished in Nature 529, Januar 2016Eike Nils Knopp 54 / 55
![Page 55: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/55.jpg)
Quellen
Mastering the game of Go without human knowledge
Google, Google DeepMind | Pusblished in Nature 550, April 2017
[7] https://en.wikipedia.org/wiki/Monte_Carlo_tree_search
[1] http://www.businessinsider.com/how-ibm-watson-is-transforming-
healthcare-2015-7?IR=T
[2] https://sciencebasedmedicine.org/tag/watson/
[3] https://www.newscientist.com/article/2079871-im-in-shock-how-an-ai-
beat-the-worlds-best-human-at-go/
http://www.businessinsider.com/r-ibms-watson-to-guide-cancer-therapies-at-
14-centers-2015-5?IR=T
Eike Nils Knopp 55 / 55
![Page 56: Beating Humans in complex Boardgames · Beating Humans in complex Boardgames Seminar „Neueste Trends in Big Data Analytics“ –Universität Hamburg Eike Nils Knopp –18.12.2017](https://reader033.vdocuments.net/reader033/viewer/2022060523/6053453cc1d0437c657d4365/html5/thumbnails/56.jpg)
Quellen
https://www.engadget.com/2017/06/01/ibm-watson-cancer-treatment-
plans/
http://www.telegraph.co.uk/science/2017/10/18/alphago-zero-google-
deepmind-supercomputer-learns-3000-years/
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4828734/
https://en.wikipedia.org/wiki/Deep_Blue_versus_Garry_Kasparov
https://en.wikipedia.org/wiki/Watson_(computer)
Eike Nils Knopp 56 / 55