c by Rolf Haenni (2006) Seite 1 Intelligente Spiele Prof. Rolf Haenni Reasoning under UNcertainty Group Institute of Computer Science and Applied Mathematics University of Berne, Switzerland Master-Vorlesung SS 2006 http://www.iam.unibe.ch/ run/teachss06.html
Allgemeine Informationen c by Rolf Haenni (2006) Seite 2 Kurs-Nr.: S7071 Dozent: Rolf Haenni, S14, Büro 203, Tel. 031 631 8643 Assistent: Michael Wachter, S14, Büro 204, Tel. 031 631 3837 Sprech-Std.: nach Vereinbarung Ort: IAM, Schützenmattstrasse 14, Seminarraum S107 Zeit: Donnerstag, 14:15-16:00 (Vorlesung) Donnerstag, 16:15-17:00 (Übungen) ECTS: 5 Punkte Daten: 30.3. / 6.4. / 13.4. / 20.4. / 27.4. / 4.5. / 11.5. / 18.5. (abwesend) / 25.5. (Auffahrt) / 1.6. / 8.6. / 15.6. / 22.6. / 29.6 (evtl. Prüfung) Leistungen: Präsenz in der Vorlesung und Übungsstunde Abgabe der Übungsaufgaben Prüfungsnote 4.0
Inhalt der Vorlesung c by Rolf Haenni (2006) Seite 3 Teil I: Einführung Motivation Einführendes Beispiel Merkmale eines Spiels Teil II: Mathematische Spieltheorie Einführung Neutrale Spiele Die Conway-Theorie Teil III: Spielalgorithmen in der KI Einführung Der Minimax-Algorithmus Suboptimale Suche Endspiel-Datenbanken Spiele mit Zufall Teil IV: Strategische Spieltheorie
Kursunterlagen c by Rolf Haenni (2006) Seite 4 Vorlesungsfolien: PDF auf http://www.iam.unibe.ch/ run Skripten: Links auf http://www.iam.unibe.ch/ run Game Theory, T. S. Ferguson, UCLA, Los Angeles An Introduction to Conway s Games and Numbers, D. Schleicher und M. Stoll, arxiv.org Lecture Notes on Game Theory, B. von Stengel, London School of Economics Bücher: Winning Ways for Your Mathematical Plays, E. R. Berlekamp, J. H. Conway, R. K. Guy, AK Peters, 1982 (2nd Edition, 2001) On Numbers and Games, J. H. Conway, Academic Press, 1976 Glück, Logik und Bluff, J. Bewersdorff, Vieweg, 2001
Motivation c by Rolf Haenni (2006) Seite 5 Teil I: Einführung Motivation Einführendes Beispiel Merkmale eines Spiels Teil II: Mathematische Spieltheorie Einführung Neutrale Spiele Die Conway-Theorie Teil III: Spielalgorithmen in der KI Einführung Der Minimax-Algorithmus Suboptimale Suche Endspiel-Datenbanken Spiele mit Zufall Teil IV: Strategische Spieltheorie
Motivation c by Rolf Haenni (2006) Seite 6 Spieltheorie ist in mindestens 3 Gebieten interessant: Mathematik: kombinatorische (mathematische) Spieltheorie Informatik (KI): intelligente Spielprogramme, Komplexität Ökonomie: strategische (klassische) Spieltheorie Dazu kommt die Untersuchung von Glücksspielen wie Lotto, Roulette, Black Jack, usw. Abschätzung der Gewinnchancen (Risiko) wichtig bei der Entstehung der Wahrscheinlichkeitstheorie im 17 Jh.
c by Rolf Haenni (2006) Seite 7 Teil I: Einführung Motivation Der mathematische Ansatz beschränkt sich auf eine spezielle Klassen von (meist endlichen) 2-Personen-Spielen kombinatorische Spiele kein Zufallseinfluss keine verborgenen Informationen gezogen wird abwechselnd wer nicht spielen kann verliert Ziel: exakte und vollständige mathematische Analyse und Lösung Methoden: mathematische Modelle, Komplexitätstheorie Meilensteine: Bouton (1902), Sprague (1936), Grundy (1939), Conway (1976), Berlekamp et al. (1982)
Motivation c by Rolf Haenni (2006) Seite 8 Der KI Ansatz befasst sich mit komplexen 2-Personen-Spielen, die wegen dem enormen Rechenaufwand nicht oder nur sehr schwer vollständig gelöst werden können Schach Backgammon Mühle (wurde vollständig analysiert) Go Ziele: starker automatischer Spielpartner, Komplexitätsanalyse Methoden: Suchalgorithmen, Heuristiken, Endspiel-Datenbanken, Lernfähigkeit Meilensteine: Shannon (1950), vollständige Mühle-DB (1993), Weltmeister-Niveau in Checkers (1994), Backgammon (1995), Bridge (1997), Othello (1997), Schach (1997), usw.
Motivation c by Rolf Haenni (2006) Seite 9 Die ökonomische Spieltheorie beschreibt (meist ökonomische) Spiele auf eine höheren (weniger detailierten) Abstraktionsebene Strategische Form (Normalform, Matrizenform) Menge der Spieler Menge der möglichen Aktionen (Strategien) Auszahlungsmatrix (Payoff Function) Ziel: Analyse wirtschaftlicher Fragestellungen, Optimierung von Entscheidungen Meilensteine: von Neumann (1928), Morgenstern (1944), Nash (1950), verschiedene Nobelpreise (1994, 1996, 2005) Viele Anwendungen auch ausserhalb der Ökonomie: Psychologie, Soziologie, Politikwissenschaften, Operations Research, Biologie
c by Rolf Haenni (2006) Seite 10 Teil I: Einführung Motivation Der Reiz von Spielen beruht auf den folgenden Faktoren: Jedes Spiel verläuft anders Der weitere Spielverlauf und somit der Ausgang des Spiels ist unsicher (nicht vorhersehbar) Der Sieger (Verlierer) wird mit einem Gewinn (Verlust) belohnt (bestraft) Die Unsicherheit über den weiteren Spielverlauf ist durch mind. 3 Faktoren bestimmt: Zufallselemente (nicht beeinflussbare externe Einflüsse) Komplexität der möglichen Zug-Kombinationen unterschiedlicher Informationsstand der einzelnen Spieler
c by Rolf Haenni (2006) Seite 11 Teil I: Einführung Motivation Zufallselemente Würfel Mischen/Ziehen von Spielkarten Münzwurf Glücksrad Roulette-Kugel Dominiert der Einfluss des Zufalls gegenüber denen der Spieler, so spricht man von reinen Glücksspielen (Lotto, Roulette, usw.) Bei Anwendungen in der Ökonomie, Soziologie, usw. bestehen die Zufallselemente aus nicht beeinflussbaren externen Einflüssen (z.b. Kurs-Entwicklung an der Börse, Umweltkatastrophen, usw.)
Motivation c by Rolf Haenni (2006) Seite 12 Komplexität der möglichen Zug-Kombinationen Im Verlauf eines Spiels stehen die Spieler wiederholt vor Entscheidungen, die nicht rückgängig gemacht werden können Diese Entscheidungen sind durch die Spielregeln definiert Ein einzelner Entscheid ist ein (Spiel-) Zug Bei nicht-trivialen Spielen (mind. 2 Optionen pro Zug) führt dies meist zu exponentiell vielen Spielverläufen Die Auswirkungen eines Zuges sind somit unüberschaubar kombinatorische Unsicherheit Ein Spiel, dessen Reiz ausschliesslich auf der kombinatorischen Unsicherheit beruht, nennt man kombinatorisches Spiel Schach, Go, Mühle, Othello (Reversi), Sudoku, Solitaire, usw.
c by Rolf Haenni (2006) Seite 13 Teil I: Einführung Motivation Unterschiedlicher Informationsstand Oft sind gewisse Informationen nicht allen Spielern zugänglich: verdeckte Karten (Poker, Bridge, Die Siedler, usw.) vergangene oder aktuelle Züge des Gegners (Mastermind, Schere-Stein-Papier, Spekulation an der Börse, usw.) Hintergrundwissen (Sport-Toto, Scrabble, Börse, usw.) Spiele, deren Ungewissheit vorwiegend auf solch imperfekter Information beruht, werden strategische Spiele genannt Strategische Spiele erlauben es, durch Bluffen, die Entscheide des Gegners zu beeinflussen
c by Rolf Haenni (2006) Seite 14 Teil I: Einführung Motivation Überblick Bei den meisten Spielen treten die drei Ursachen der Ungewissheit gleichzeitig auf Kombinatorische Spiele Schach, Go, Sudoku Backgammon Mastermind, Stratego Schere-Stein-Papier Strategische Spiele Poker Skat Mensch-ärgere-dich-nicht Roulette, Lotto Glücksspiele Gewonnen wird mit Glück, Logik und Bluff
c by Rolf Haenni (2006) Seite 15 Teil I: Einführung Motivation Weitere Faktoren Körperliche und geistige Leistungsfähigkeit Kraft Ausdauer Schnelligkeit Gedächtnis Verhandlungsgeschick bei Kooperation und Allianzen (Mehrpersonen-Spiele) Spielerfahrung Geschicklichkeit Nervenstärke Phantasie
Einführendes Beispiel c by Rolf Haenni (2006) Seite 16 Teil I: Einführung Motivation Einführendes Beispiel Merkmale eines Spiels Teil II: Mathematische Spieltheorie Einführung Neutrale Spiele Die Conway-Theorie Teil III: Spielalgorithmen in der KI Einführung Der Minimax-Algorithmus Suboptimale Suche Endspiel-Datenbanken Spiele mit Zufall Teil IV: Strategische Spieltheorie
Einführendes Beispiel c by Rolf Haenni (2006) Seite 17 EinsZwei-gegen-EinsDrei ist durch die folgenden Regeln definiert: Auf einem Stapel sind 6 Steine 2 Spieler EinsZwei und EinsDrei spielen abwechslungsweise EinsZwei nimmt entweder einen oder zwei Steine vom Stapel EinsDrei nimmt entweder einen oder drei Steine vom Stapel Es gewinnt, wer den letzten Stein vom Stapel nimmt Der Verlierer bezahlt dem Gewinner 1 Fr. kombinatorisches 2-Personen-Nullsummenspiel (endlich, parteiisch, asymmetrisch, normale Spielregel)
Einführendes Beispiel c by Rolf Haenni (2006) Seite 18 Ansatz 1: Baum mit 2 Arten von Knoten X EinsZwei (beginnt) 5 4 6 X EinsDrei 0 EinsZwei verliert 0 EinsDrei verliert 4 2 3 1 3 2 1 0 2 1 0 2 0 1 0 1 0 1 0 0 0 0
Einführendes Beispiel c by Rolf Haenni (2006) Seite 19 Ansatz 1: Baum mit 2 Arten von Knoten X EinsZwei 6 5 3 X EinsDrei (beginnt) 0 EinsZwei verliert 0 EinsDrei verliert 4 3 2 1 3 1 2 0 1 0 2 1 0 1 0 0 1 0 0 0
Einführendes Beispiel c by Rolf Haenni (2006) Seite 20 Ansatz 2: Gerichteter Graph mit 2 Arten von Knoten 6 X EinsZwei (beginnt) X EinsDrei 0 EinsZwei verliert 5 4 4 3 0 EinsDrei verliert 3 2 2 0 1 0 1
Einführendes Beispiel c by Rolf Haenni (2006) Seite 21 Ansatz 2: Gerichteter Graph mit 2 Arten von Knoten 6 X EinsZwei X EinsDrei 0 EinsZwei verliert 5 5 4 4 6 3 0 EinsDrei verliert 3 2 2 0 1 0 1
Einführendes Beispiel c by Rolf Haenni (2006) Seite 22 Ansatz 3: Gerichteter Graph mit 2 Arten von Kanten 6 0 EinsZwei EinsDrei 5 1 4 2 3
Einführendes Beispiel c by Rolf Haenni (2006) Seite 23 Ansatz 4: Gerichteter Graph mit 3 Arten von Kanten 6 0 EinsZwei EinsDrei beide 5 1 4 2 3
Einführendes Beispiel c by Rolf Haenni (2006) Seite 24 Ansatz 5: Rekursiv Spielpositionen: S = {S 0, S 1, S 2, S 3, S 4, S 5, S 6 } Startposition: S 6 S Endposition(en): E = {S 0 } S S 0 = { } S 1 = {S 0 S 0 } S 2 = {S 1, S 0 S 1 } S i = {S i 1, S i 2 S i 1, S i 3 }, i 3
Merkmale eines Spiels c by Rolf Haenni (2006) Seite 25 Teil I: Einführung Motivation Einführendes Beispiel Merkmale eines Spiels Teil II: Mathematische Spieltheorie Einführung Neutrale Spiele Die Conway-Theorie Teil III: Spielalgorithmen in der KI Einführung Der Minimax-Algorithmus Suboptimale Suche Endspiel-Datenbanken Spiele mit Zufall Teil IV: Strategische Spieltheorie
Merkmale eines Spiels Spiele werden aufgrund der folgenden Merkmale klassifiziert: Anzahl Spieler: n {0, 1, 2,...} Zufallselemente: ja/nein vollständige Information: ja/nein symmetrisch: ja/nein neutral: ja/nein endlich: ja/nein deterministisch (= kategorisch): ja/nein gerecht (fair): ja/nein abwechselndes Ziehen: ja/nein normale Spielregel: ja/nein Verzweigungsfaktor: B N Spiellänge (Anzahl Züge bis Spielende): L N Gewinnsumme: F R, bzw. negativ/null/positiv c by Rolf Haenni (2006) Seite 26
Merkmale eines Spiels c by Rolf Haenni (2006) Seite 27 Anzahl Spieler Die Anzahl der Spieler n variert zwischen 0 bis unendlich n = 0: zum Beispiel Conway s Game of Life n = 1: Puzzles (keine Zufallselemente) n = 1: Entscheidungstheorie (mit Zufallselementen) n = 2: die meisten Brettspiele n {2,..., 6}: die meisten Gesellschaftsspiele n = : in makroökonomischen Modellen Die mathematischen Spieltheorie setzt meistens n = 2 voraus
Merkmale eines Spiels c by Rolf Haenni (2006) Seite 28 Zufallselemente Der Zufall ist ein wichtiger Bestandteil von vielen Spielen randomisiertes Spiel Bei Glücksspielen sind Zufallselemente dominierend Zufällige Ereignisse werden oft als Züge eines unsichtbaren Spielers (Natur, Gott,... ) betrachtet In der mathematischen Spieltheorie werden Zufallselemente ausgeschlossen In der ökonomischen Spieltheorie sind Zufallselemente von zentraler Bedeutung Für die mathematische Beschreibung von Zufallselementen benutzt man die Wahrscheinlichkeitstheorie
Merkmale eines Spiels c by Rolf Haenni (2006) Seite 29 Vollständige Information Spiel mit vollständiger Information = sämtliche Spieler besitzen bezüglich der gespielten Züge und der aktuellen Spielposition die gleiche Information Die mathematischen Spieltheorie setzt meistens vollständige Information voraus kombinatorisches Spiel: kein Zufall, vollständige Information Die ökonomischen Spieltheorie geht meist von unvollständiger Information aus Ein Spiel, in dem die Spieler gleichzeitig ziehen, betrachtet man als ein Spiel mit unvollständiger Information es wird nacheinander gespielt, ohne den Zug bekannt zu geben
Merkmale eines Spiels c by Rolf Haenni (2006) Seite 30 Symmetrie und Neutralität In der mathematischen Spieltheorie heisst ein Spiel symmetrisch, wenn die Spielregeln für beide Spieler gleich sind (ausser das Recht des ersten Zuges) Ein Spiel nennt man neutral, wenn die Spieler immer dieselben Zugmöglichkeiten haben impartial games In anderen Worten: die Zugmöglichkeiten hängen nur von der aktuellen Position, nicht aber vom Spieler ab Jedes neutrale Spiel ist symmetrisch Nicht-neutrale Spiele nennt man parteiisch partizan games
Merkmale eines Spiels c by Rolf Haenni (2006) Seite 31 Endlichkeit und Determinismus In einem endlichen Spiel gibt es keine unendlich lange Folgen von Spielzügen Ein unendliches Spiel nennt man Remis draw Ein Spiel heisst deterministisch, wenn es bei jedem möglichen Spielende einen eindeutigen Sieger gibt Ein nicht-determinisches Spiel kann unentschieden enden tie Remis (draw) unentschieden (tie)!
Merkmale eines Spiels c by Rolf Haenni (2006) Seite 32 Fairness Ein Spiel ohne Zufall ist gerecht (fair), wenn jeder Spieler unabhängig vom Spiel des anderen mindestens ein Remis oder ein Unentschieden erreichen kann Ein randomisiertes Spiel ist gerecht, wenn jeder Spieler den gleichen erwarteten Gewinn erspielen kann Deterministische Spiele ohne Zufall sind ungerecht! Aus einem ungerechten 2-Personen-Spiel erhält man ein gerechtes Spiel, indem das Spiel zweimal gespielt wird, mit vertauschten Rollen das Recht des ersten Zugs ausgelost wird Bei vielen bekannten Spielen ist es unklar, ob das Spiel fair ist
Merkmale eines Spiels c by Rolf Haenni (2006) Seite 33 Ablauf und Ende des Spiels In der ökonomischen Spieltheorie spielen die Spieler (inkl. die Natur) gleichzeitig Die mathematische Spieltheorie geht davon aus, dass die Spieler abwechslungsweise einen Zug spielen In einem normalen Spiel verliert der Spieler, der keinen Zug mehr machen kann normal play rule wer den letzten Zug macht, gewinnt das Spiel Bei Misère-Spielen gewinnt der Spieler, der keinen Zug mehr machen kann misère play rule wer den letzten Zug macht, verliert das Spiel Die Analyse von Misère-Spielen ist viel schwieriger!
Merkmale eines Spiels c by Rolf Haenni (2006) Seite 34 Verzweigungsfaktor und Spiellänge Die Anzahl möglicher Spielzüge eines Spieler bezeichnet man als Verzweigungsfaktor B N branching factor Ein konstanter Verzweigungsfaktor bleibt im Lauf eines Spiels immer gleich Bei vielen Spielen ist der Verzweigungsfaktor monoton abnehmend Oft hängt die Komplexität von kombinatorischen Spielen stark vom (durchschnittlichen) Verzweigungsfaktor ab Die Spiellänge L N ist die (durchschnittliche) Anzahl Züge bis zum Spielende Kurze Spiele (z.b. L = 1) werden oft mehrfach wiederholt (Partie)
Merkmale eines Spiels c by Rolf Haenni (2006) Seite 35 Gewinnsumme Am Ende eines Spiels erhält jeder Spieler i einen Gewinn (payoff) Endposition: E E S Gewinnfunktion: f i : E R oder f : E R n Einen negativen Gewinn f i (E) < 0 nennt man Verlust Gewinnsumme: F (E) = n f i (E) i=1 Nullsummenspiel (zero-sum game): F (E) = 0, E E Positivsummenspiel: F (E) 0, E E Negativsummenspiel: F (E) 0, E E Die meisten kombinatorischen Spiele sind Nullsummenspiele Spieltheoretische Modelle in der Ökonomie und Politik sind meistens keine Nullsummenspiele non-zero-sum games
Merkmale eines Spiels c by Rolf Haenni (2006) Seite 36 EinsZwei-EinsDrei Nim n,m Tic-Tac-Toe Schach Backgammon Anzahl Spieler Zufallselemente vollständige Information symmetrisch neutral endlich deterministisch gerecht abwechselndes Ziehen normale Spielregel Spiellänge Verzweigungsfaktor 2 1..2 3..6 0 2 1..nm n..nm 0 2 1..9 5..9 0 2? ~35 ~100 0 2? ~20 ~100 0 Gewinnsumme Schere-Stein-Papier 2 3 1 0 ~10 Lotto Euromillions ~76 1 < 0 Mio. Mio. Tetris 1 n.a. n.a. n.a. n.a. n.a. n.a. ~36 > 5 > 0