der Künstlichen Intelligenz

Transkript

1 Einführung in die Methoden der Künstlichen --- Vorlesung vom Sommersemester 2009 Ingo J. Timm, René Schumann Professur für Wirtschaftsinformatik und Simulation (IS) Spiele spielen Prof. Timm 1

2 Inhalt der Vorlesung 1. Spiele 2. Optimale Entscheidungen bei Spielen 3. Alpha-Beta Pruning 4. Echtzeit-Entscheidungen mit unvollständigem Wissen 5. Spiele mit Zufallselementen 6. State-of-the-Art t th AtProgramme 7. Zusammenfassung Spieltheorie und Ökonomie Gegenstand der Spieltheorie ist die Analyse von strategischen Entscheidungssituationen Situationen, in denen a) das Ergebnis von den Entscheidungen mehrerer Entscheidungsträger abhängt, so daß ein einzelner das Ergebnis nicht unabhängig von der Wahl der anderen bestimmen kann; b) jeder Entscheidungsträger sich dieser Interdependenz bewußt ist; c) jeder Entscheidungsträger g davon ausgeht, daß alle anderen sich ebenfalls der Interdependenz bewußt sind; d) jeder bei seinen Entscheidungen (a), (b) und (c) berücksichtigt. [Holler & Illing, 1996, S. 1] Prof. Timm 2

3 Beispiel: Gefangenendilemma Spieler 2 nicht gestehen gestehen nicht gestehen 1 Jahr für 1 1 Jahr für 2 10 Jahre für 1 3 Monate für 2 Spieler 1 gestehen 3 Monate für 1 10 Jahre für 2 8 Jahre für 1 8 Jahre für 2 Spiele als Suche Prof. Timm 3

4 Suchstrategien für Spiele Unterschied zu allgemeinen Suchproblemen Unsicherheit: unberechenbarer Gegner Zeitbedarf: approximative Algorithmen perfekte Information unvollständige Information deterministisch Dame, Schach, Go? zufällig Backgammon, Monopoly Bridge, Poker, Scrabble Frühe grundlegende Ergebnisse Algorithmus für perfektes Unsere Terminologie: Spiel von Neumann (1944) deterministisch, voll zugreifbare Informationen Approximation durch Bewertung Zuse (1945), Shannon (1950) Spiele Spiele als Suchprobleme Rechtfertigung: Spiele sind Suchprobleme mit einem Gegenspieler Unsicherheit h itdurch Aktionen des Gegenspielers: mögliche Ereignisse müssen behandelt werden Spiele sind schwer erschöpfend beherrschbar: Durchschnittlicher Verzweigungsfaktor beim Schach: 35 Ca. 50 Züge für jeden Spieler => Knoten im Suchbaum Aber nur erlaubte Positionen Spiele Prof. Timm 4

5 Spiele als Suchprobleme Spiele als Spielwiese für ernsthafte Forschung für Entscheidungsunterstützung Repräsentation der Spiele Suchstrategien für Spiele Erweiterungen: Wie kann man den besten nächsten Zug finden? Äste absägen ( pruning ) Evaluierungsfunktionen für die Approximation der Utility-Funktion Spiele Das Suchproblem 2-Personenspiele Spieler MAX Spieler MIN MAX beginnt; die Spieler ziehen abwechselnd Beispiel: Schach Suchbaum Knoten nur zulässige Positionen Optimale Entscheidungen Prof. Timm 5

6 Das Suchproblem Suchproblem Initialzustand Brett, Positionen, Spieler am Zug Nachfolgerfunktion Liste von (Zug, Zustand)-Paaren Zieltest Stellt fest, ob Spiel zu Ende ist Bewertungsfunktion Resultat des Spiels e.g. +1,0,-1 (Nullsummenspiele) auch: payoff function Optimale Entscheidungen Beispiel: Tic- Tac-Toe Partieller Suchbaum für Tic-Tac-Toe, T T oben der Startzustand, MAX hat den ersten Zug (x) Initialzustand und legale Züge Zahl an Blättern ist Utility-Wert definieren Spielbaum der Endzustände aus Sicht von MAX hat neun mögliche Züge MAX (hohe Wert sind gut für Spiel dauert an, solange keiner der MAX und schlecht für MIN) Spieler drei x oder drei o in einer Zeile, Spalte oder Diagonale hat oder alle Felder ausgefüllt sind Optimale Entscheidungen Prof. Timm 6

7 Optimale Entscheidungen bei Spielen Optimale Strategien Normale Suchprobleme Endzustände liefern Ergebnis (Sieg) MIN hat etwas dagegen Deswegen braucht MAX eine bedingte Strategie Zug am Anfang Züge nachdem MIN gezogen hat Tic-Tac-Toe Zu komplex, um den ganzen Suchbaum zu zeigen, deswegen hier ein absolut triviales Spiel: Spiel endet nach jeweils einem Zug. Optimale Entscheidungen Prof. Timm 7

8 Minimax-Wert Optimale Strategie beim Spielbaum: Bestimmung des min/max Wertes jedes Knotens Minimax-Value(n) Minimax-Algorithmus zur Bestimmung der optimalen Strategie für Max und für die Bestimmung des besten ersten Zugs. Minimax-Entscheidung: maximiert Utility unter der Annahme, daß MIN perfekt spielt, um sie zu minimieren. Minimax-Value(n) = Optimale Entscheidungen Triviales Tic-Tac-Toe a 1 -a 3 sind Züge, die MAX durchführen kann MIN kann mit b 1-3,c 1-3,d 1-3 antworten Ein Zug = 2 Halbzüge = 2-Schichten Spiel Die Δ- Knoten: MAX ist am Zug Die Endzustände haben die Utilitywerte für MAX, die anderen Werte werden durch die Utilityfunktion ihrer Nachfolger berechnet Optimale Entscheidungen Prof. Timm 8

9 Minimax-Algorithmus Erzeugen des Suchbaums des Spiels Bis herunter zu den Spielendesituationen! Bewerten der Blätter des Suchbaums Für jedes Spielende wird der Nutzen bewertet Bewertungen bis zur Wurzel propagieren MAX wählt den maximalen Nutzen MIN wählt den minimalen Nutzen Tiefensuche für ganzen Baum Zeitkomplexität: wenn maximale Tiefe m und b legale Züge an jedem Punkt, dann O(b m ) Speicherkomplexität O(bm), wenn alle Nachfolger berechnet werden Reale Spiele: Zeitkomplexität ist nicht handhabbar! Optimale Entscheidungen Minimax-Algorithmus Minimax Entscheidungen Nutzen maximieren/ minimieren Aktionen werden entsprechend gewählt Annahme: Max/Min spielen immer optimal! Optimale Entscheidungen Prof. Timm 9

10 Optimale Entscheidungen in Spielen mit mehr als zwei Spielern Erweiterung der Minimax Idee möglich Einzelner Wert eines Knotens wird durch Vektor von Werten ersetzt Bsp.: Drei Spieler A,B,C ergibt drei Vektoren pro Knoten {v A,v B,v C } Endzustände: Werte aus Sicht eines jeden Spielers Knoten im Baum Optimale Entscheidungen Beispiel C entscheidet nächsten Zug Zwei Möglichkeiten: {v A =1, v B =2,v C =6}, {v A =4, v B =2,v C =3} Weil 6 > 3, sollte der erste genommen werden d.h., wenn X erreicht wird, wird der Endzustand (1,2,6) sein Allianzen als Problem Optimale Entscheidungen Prof. Timm 10

11 Alpha Beta Pruning Alpha-Beta Pruning Problem von Minimax Suchraum exponentiell in der Anzahl der Züge Abkürzen der Suche Idee des Alpha-Beta- Kürzen: Absägen von Ästen, die die Entscheidung nicht beeinflussen können an jedem Knoten ist der Wertebereich angezeigt Alpha-Beta Pruning Prof. Timm 11

12 Genereller Fall Abkürzen der Suche Alpha-Beta-Kürzen: Absägen von Ästen, die die Entscheidung nicht beeinflussen können Prinzip des Alpha-Beta- Kürzens: wenn m besser als n, werden wir nie zu n kommen. Alpha-Beta Pruning Algorithmus Nur zwei Zeilen Unterschied zu Minimax Effektivität: O(b d/2 ) Knoten werden nur betrachtet, wenn nur die besten Nachfolgeknoten zuerst analysiert werden. Alpha-Beta Pruning Prof. Timm 12

13 Echtzeit-Entscheidungen mit unvollständigem Wissen Entscheidungen unter unvollständigem Wissen Minimax sucht ganzen Suchraum ab Alpha-Beta Pruning hilft, einen signifikanten Teil davon zu kürzen Aber auch hier gilt: ganzer Suchraum bis zu den Endzuständen meistens nicht praktisch Besser: heuristische Evaluierungsfunktion, die nicht-terminale Knoten zu Endzuständen macht (temporär) Minimax oder Alpha-Beta Algorithmen werden über zwei Wege ersetzt heuristische Evaluierungsfunktion statt Utilityfunktion Kürzen; Cutoff-Test statt Zieltest, der entscheidet, wann Eval-funktion angewendet wird Entscheidungen unter unvollständigem Wissen Prof. Timm 13

14 Heuristische Evaluierungsfunktion Ersatz der Utility-Funktion durch eine heuristische Evaluierungsfunktion Frühes Abschneiden von Zweigen Anforderungen an die Evaluierungsfunktion: z. B. Messen des Materialwerts, im Schach: Bauer = 1, Pferd = 3, Turm = 5, Dame = 9, andere (z. B. König ist sicher = 1/2 Bauer Entscheidungen unter unvollständigem Wissen Anforderungen an die Evaluierungsfunktion Übereinstimmung mit Utility- Funktion für die Endzustände Performanz! Darstellung der Gewinnchancen Die Evaluierungsfunktion soll die Möglichkeit des Gewinnens für eine beliebige Position einer Materialbewertungskategorie repräsentieren Beispiel: gewichtete lineare Evaluierungsfunktion: w 1 f 1 + w 2 f w n f n mit: w = Gewichte (Werte für Figuren, z.b. 1 für Bauern, 3 für Pferd) und f = die Anzahl der Spielelemente Entscheidungen unter unvollständigem Wissen Prof. Timm 14

15 Kürzen der Suche durch festes Tiefenlimit, d.h. Cutoff-test für alle Knoten bis Limit erfolgreich Ziel: Evaluierungsfunktion nur auf stabile Positionen anwenden Bsp.: Annahme: Evaluierungsfunktion basiert auf Materialvorteil, Program sucht bis Tiefenlimit, erreicht Position b) Eval-funktion würde für diesen Zustand melden, dass ein Sieg wahrscheinlich ist Weiss kann aber mit einem Zug die Dame schlagen Suche von instabilen Zuständen aus nach stabilen Zuständen Materialfunktion, d.h. Evalfunktion nur dann anwenden, wenn Ruhe eingekehrt ist. Entscheidungen unter unvollständigem Wissen Horizontproblem Horizontproblem (horizon effect) Gegner zieht, Zug zieht erheblichen Schaden nach sich und ist nicht zu verhindern Bsp.: Es sieht so aus, als wenn Schwarz leichte Vorteile hat. Wenn Weiss seinen Bauern in die achte Reihe bringt, gibt es eine Dame und Weiss wird gewinnen Schwarz kann jedoch diesen Schritt herauszögern durch ständiges Schachsetzen. Man nennt das den unausweichlichen Schritt über den Horizont schieben Eine limitierte Tiefensuche kann den Schritt (Bauer zu Dame) nicht vorhersehen Bisher gibt es dafür keine generelle Lösung Entscheidungen unter unvollständigem Wissen Prof. Timm 15

16 Beispiel: Schach Annahme: Evaluierungsfunktion implementiert Vernünftiger Cutoff-Test für stabile Zustände Große Transpositionstabelle (repeated states in einer Hash-table) ca. 1 Mio Knoten/s können generiert und evaluiert werden (auf 2GHz PC) ~200 Mio Züge pro Einheit (3 min) Entscheidungen unter unvollständigem Wissen Test b= 35beim Schach, mit Mio Züge, d.h. 5 Halbzüge evaluieren Mittelmäßiger Schachspieler würde gewinnen Mit Alpha-Beta werden 10 Halbzüge evaluierbar Expertenlevel Mit weiteren Pruning Techniken sind 14 erreichbar Großmeisterlevel Spiele mit Zufallselementen Prof. Timm 16

17 Spiele mit Zufall Unvorhersehbare Ereignisse bringen neue Situationen Wissen und Glück (Würfel) Bsp.: Weiss hat eine 6 und eine 5 ge- würfelt und hat dadurch vier Möglichkeiten: (5-10,5-11), (5-11,19-24), (5-10,10-16), (5-11,11-16) Problem: Weiss kennt nicht die Augen, die Schwarz würfeln wird, also auch nicht, was Schwarz machen wird. Konstruktion eines kompletten Suchbaumes ist nicht möglich --> Chance nodes zusätzlich. Spiele mit Zufallselementen Chance Nodes (CN) CN als Kreise dargestellt Wir können nicht ausrechnen, welches der beste Zug ist Aber: wir können ein Mittel ausrechnen, ein Mittel über alle möglichen Augen, die vorkommen können. Endzustände wie in deterministischen Spielen Chance C: Sei d i ein Wurf und P(d i ) die Wahrscheinlichkeit dazu. Für jeden Wurf wird die Utility für den besten Weg für MIN errechnet, auf summiert und gewichtet Spiele mit Zufallselementen Prof. Timm 17

18 Expectiminimax Wert Expectiminimax Wert Minimax Wert für Spiele mit Chance Nodes Aber: Wert keine richtigen Minimax-Werte Nur: wahrscheinlicher Wert Wahrscheinlichkeit über die Würfelaugen Generalisierung des Minimax-Wertes zu Expectiminimax-Wert Spiele mit Zufallselementen Positionsevaluierung Abschneiden der Suche und Evaluationsfunktion anwenden ist offensichtlich Bei Minimax: ordnungserhaltende Transformation der Blätter macht keinen Unterschied (1,2,3,4) vs (1,20,30,400), Freiheit bei der Wahl der Funktion Bei Zufallsverhalten verliert man diese Freiheit: mit (1,2,3,4) ist A 1 die beste Wahl, mit (1,20,30,400) ist A 2 besser Programm arbeitet anders! Vermeidung: Evaluationsfunktion kann nur eine positive lineare Transformation sein Wichtig bei Situationen, wo Unsicherheit im Spiel ist Spiele mit Zufallselementen Prof. Timm 18

19 Komplexität von Expectiminimax Minimax O(b m ) Expectiminimax O(b m n m ) n ist die Anzahl der Würfeleinsätze viel Extrakosten (z.b. für Backgammon n = 21, b 20), manchmal aber auch b=4000 (Pasch)) Alpha-Beta Pruning Obere Grenze für C? Möglich, wenn obere Grenze für Utilityfunktion gegeben wird Spiele mit Zufallselementen State-of-the-Art Programme Prof. Timm 19

20 State-of-the-art Programme Zwei Ziele bei der Entwicklung von Spielprogrammen: Wahl der Aktionen in komplexen Domänen mit unsicherem Ergebnis Entwicklung von highperformance Systemen für spezielle Spiele Hier: Ausführungen für das leztere (Schach) Konzentration auf Schach extrem ausgeprägt Speed-Schach (5 und 25min) Computer gewinnt gegen Kasparov In normalen Tournament etwas schlechter State-of-the-Art State-of-the-art Programme Schach Deep Blue: 1 Milliarde Positionen in der Sekunde bis Tiefe 14 Othello/Reversi Suchraum kleiner als Schach 5bi bis 15l legale l Züge Computer wesentlich besser als Menschen 1997 Logistello (Buro, 2002) 6:1 gegen WM Backgammon Unsicherheit durch Würfel, dadurch Suche teuer TD-Gammon (Gerry Tesauro) auf Basis von KNN & RL 1 Mio Trainingspiele gegen sich selbst Unter den besten drei der Welt Go b erreicht 360 bei 19x19 Brett, reguläre Suche ist nicht möglich Systeme basieren auf dem wissensbasiertem Ansatz, bis 1997 kein gutes Programm $ Dollar State-of-the-Art Prof. Timm 20

21 Diskussion Optimale Entscheidungen bei Spielen meist nicht effizient Deswegen: Algorithmen machen Annahmen und Approximationen Standardansatz, basierend auf Minimax, Evaluationsfunktionen und Alpha-Beta Pruning ist ein Ansatz dafür Minimax ist optimale Methode für den nächsten Schritt, wenn der Suchbaum gegeben ist und die Evaluierungen der Blätter exakt korrekt sind Realität: nur Schätzungen, in Abb. scheint Minimax keine gute Wahl zu sein Algorithmus entscheidet sich für den rechten Zweig, wobei es wahrscheinlicher ist, daß der linke Zweig in der Realität besser wäre Minimaxannahme: alle rechten Knoten sind besser als 99 links Zusammenfassung Prof. Timm 21

22 Zusammenfassung Spiele spielen für KI ist wie Formel 1 im Motorsport. Hier die wichtigsten Ideen: Ein Spiel kann als Initialzustand, Operatoren, Zieltest (zum Terminieren), und einer Evaluationfunktion definiert werden. In Spielen mit zwei Spielern mit perfekter Information ist der Minimax- Algorithmus den nächst besten Zug bestimmen (einzige Annahme: der Gegner spielt perfekt). Der gesamte Suchbaum wir dabei aufgebaut. Der Alpha-Beta-Algorithmus kalkuliert genauso wie Minimax, ist aber effizienter, weil Zweige aus dem Suchbaum abgeschnitten werden. Normalerweise ist es nicht möglich, den gesamten Suchbaum aufzubauen (auch nicht mit Alpha-Beta), also muß man irgendwann die Suche abbrechen und die Evaluationsfunktion anwenden. Spiele mit Zufall können mit Hilfe einer Minimax-Erweiterung gespielt werden. Hier werden die sog. Chance-Knoten evaluiert (mittlerer Nutzen aller Kinder, gewichtet über die Wahrscheinlichkeit). Prof. Timm 22