5. Spiele. offensichtlich eine Form von Intelligenz. Realisierung des Spielens als Suchproblem

Transkript

1 5. Spiele Spiele, insbesondere Brettspiele, stellen eines der ältesten Teil- und Anwendungsgebiete der KI dar (Shannon und Turing: 1950 erstes Schachprogramm). Brettspiele stellen eine sehr abstrakte und pure Form des Wettbewerbs zwischen zwei Gegnern dar und erfordern offensichtlich eine Form von Intelligenz. Realisierung des Spielens als Suchproblem Zustände eines Spiels und mögliche Aktionen der Spieler sind wohldefiniert Weltzustände sind voll zugänglich Allerdings: Kontingenzproblem - Züge des Gegners können nicht (voll) vorhergesagt werden. Einf. in die KI 5 1

2 Probleme Brettspiele sind nicht nur schwer, weil es sich um Kontingenzprobleme handelt, sondern auch, weil die Suchbäume meistens astronomisch groß werden. Beispiele: Schach: durchschnittlich 35 mögliche Aktionen in jeder Position, rund 100 Halbzüge Knoten im Suchbaum (bei nur ca legalen Schachpositionen) Go: durchschnittlich 200 mögliche Aktionen bei ca. 300 Halbzügen Knoten. Gute Spielprogramme zeichnen sich dadurch aus, daß sie irrelevante Äste im Suchbaum abschneiden, gute Evaluationsfunktionen für Zwischenzustände benutzen, möglichst viele Halbzüge vorausschauen Einf. in die KI 5 2

3 Begriffe Terminologie bei Zweipersonen-Brettspielen Spieler: MAX und MIN, wobei MAX beginnt. Anfangszustand (z.b. Brettposition) Operatoren: entsprechen legalen Zügen Terminierungstest: gibt an, wann ein Spiel zu Ende ist. Terminalzustand = Ende des Spiels Nutzenfunktion, die den Ausgang eines Spiels für jeden Spieler bewertet. Oft einfach: +1 (Sieg), 1 (Niederlage), 0 (unentschieden). Strategie Im Gegensatz zu regulärer Suche, bei der ja ein Pfad vom Anfangszustand zum Zielzustand die Lösung ist, will MAX eine Strategie finden, die unabhängig von MIN s Zügen zum Gewinn führt korrekte Reaktionen auf alle von MIN s Zügen Einf. in die KI 5 3

4 Beispiel Tic-Tac-Toe Jede Stufe des Suchbaums, auch Spielbaum genannt, wird mit dem Namen des Spielers bezeichnet, der am Zug ist (MAX- und MIN-Stufen). Wenn es wie hier möglich ist, den gesamten Suchbaum (Spielbaum) zu erzeugen, liefert der Minimax-Algorithmus eine optimale Strategie für MAX. Einf. in die KI 5 4

5 MAX (X) MIN (O) X X X X X X X X X MAX (X) X O X O X O... MIN (O) X O X X O X X O X TERMINAL Utility X O X X O X X O X O X O O X X O X X O X O O Einf. in die KI 5 5

6 Minimax MAX 3 A A 1 A 3 2 MIN A 11 A 13 A 21 A 22 A 23 A 32 A 33 A 12 A Einf. in die KI 5 6

7 Minimax (2) 1. Erzeuge vollständigen Spielbaum 2. Wende die Nutzenfunktion auf jeden Terminalzustand an. 3. Beginnend bei Terminalzuständen, berechne die Werte für die Elternknoten wie folgt: Elternknoten = MIN-Stufe: Wert ist das Minimum der Kinderknoten. Elternknoten = MAX-Stufe: Wert ist das Maximum der Kinderknoten. Dann wählt MAX im Anfangszustand (Wurzel des Spielbaums) den Zug, der zu dem Kinderknoten mit grö stem berechneten Nutzen führt: (Minimax- Entscheidung). Beachte: Minimax setzt voraus, dass MIN perfekt spielt, aber jede Abweichung kann das Ergebnis für MAX nur verbessern. Einf. in die KI 5 7

8 Minimax-Algorithmus Berechne rekursiv den besten Zug von der Anfangssituation ausgehend: function MINIMAX-DECISION(game) returns an operator for each op in OPERATORS[game] do VALUE[op] MINIMAX-VALUE(APPLY(op, game), game) end return the op with the highest VALUE[op] function MINIMAX-VALUE(state, game) returns a utility value if TERMINAL-TEST[game](state) then return UTILITY[game](state) else if MAX is to move in state then return the highest MINIMAX-VALUE of SUCCESSORS(state) else return the lowest MINIMAX-VALUE of SUCCESSORS(state) Funktioniert nur, wenn der Spielbaum nicht zu tief wird; sonst muß man versuchen, eine Approximation des Minimax-Wertes zu bestimmen. Einf. in die KI 5 8

9 Wenn der Suchraum zu groß wird Bei zu großem Suchraum, kann der Spielbaum nur bis zu einer gewissen Tiefe erzeugt werden. statt Nutzenfunktion Evaluationsfunktion statt Terminierungstest Cutofftest Bestimmen des Horizonts Beispiel einfacher Bewertungskriterien im Schach: Materialwert: Bauer = 1, Springer = 3, Läufer = 3, Turm = 5, Dame = 9. andere: Sicherheit des Königs, Positionierung der Bauern. Faustregel: 3-Punkte Vorsprung = sicherer Sieg. Wahl der Evaluationsfunktion ist spielentscheidend! Wert einer Spielposition sollte die Gewinnchancen widerspiegeln, d.h. die Gewinnchanchen beim einem Vorteil von +1 sollten geringer sein als bei einem Vorteil von +3. Einf. in die KI 5 9

10 Evaluationsfunktion allgemein Bevorzugte Evaluationsfunktionen sind gewichtete lineare Funktionen: w 1 f 1 + w 2 f w n f n f i : ites Kriterium w i : ites Gewicht [Bsp. für MAX = Weiß: w 1 = 3, f 1 = Zahl der wei sen Springer auf dem Brett] Annahme: Die Kriterien sind unabhängig voneinander. Die Gewichte können u.u. gelernt werden. Die Kriterien müssen allerdings vorgegeben werden (niemand weiß, wie man diese erlernen könnte). Einf. in die KI 5 10

11 Wann den Baum beschneiden? Iterative Tiefensuche (mit Abbruch beim Erreichen des Zeitlimits)... aber nur ruhige Positionen evaluieren, solche die nicht zu großen Schwankungen bei der Evaluierung in den folgenden Zügen führen, D.h. u.u. noch etwas weiter suchen und einen Schlagabtausch zu Ende führen. Einf. in die KI 5 11

12 Schach-Positionen Einf. in die KI 5 12

13 (a) White to move Fairly even (b) Black to move White slightly better (c) White to move Black winning (d) Black to move White about to lose Einf. in die KI 5 13

14 Horizontproblem Schwarz hat zwar leichten Materialvorteil verliert aber wird nicht erkannt bei fester Suchtiefe, da Unglück herauszögerbar (jenseits des Horizonts) Black to move Einf. in die KI 5 14

15 Alpha-Beta-Suche Nicht alle Knoten müssen untersucht werden: bestimmte Zweige des Suchbaums können abgeschnitten werden. MAX 3 A A 1 A 3 2 MIN 3 <=2 2 A 11 A 21 A 22 A 23 A 32 A 33 A 12 A 13 A Einf. in die KI 5 15

16 Alpha-Beta-Suche (2) Allgemein: Player Falls m > n, wird bei Auswahl einer optimalen Strategie das Spiel nie zum Knoten n gelangen. Opponent Player m Opponent n Einf. in die KI 5 16

17 Alpha-Beta-Suchalgorithmus function MAX-VALUE(state, game,, ) returns the minimax value of state inputs: state, current state in game game, game description, the best score for MAX along the path to state, the best score for MIN along the path to state if CUTOFF-TEST(state) then return EVAL(state) for each s in SUCCESSORS(state) do MAX(, MIN-VALUE(s, game,, )) if then return end return function MIN-VALUE(state, game,, ) returns the minimax value of state if CUTOFF-TEST(state) then return EVAL(state) for each s in SUCCESSORS(state) do MIN(, MAX-VALUE(s, game,, )) if then return end return Initialer Aufruf mit MAX-VALUE(initial-state, SPIEL,, + ) Einf. in die KI 5 17

18 Alpha-Beta-Pruning Alpha-Beta-Pruning: Abschneiden von Teilbäumen, für die es bereits sicher ist, daß sie keine bessere Bewertung als die bereits vorliegende liefern können. α und β sind Eckwerte für Maximierung an einem MAX-Knoten bzw. Minimierung an einem MIN-Knoten: Teilbäume, die keinen größeren Wert als α bzw. kleineren Wert als β liefern können, werden nicht weiter entwickelt (expandiert). Suche wird abgebrochen unterhalb eines MIN-Knotens, dessen β-wert kleiner oder gleich dem α-wert des MAX-Vorgängers ist. Suche wird abgebrochen unterhalb eines MAX-Knotens, dessen α-wert größer oder gleich dem β-wert des MIN-Vorgängers ist. Einf. in die KI 5 18

19 Alpha-Beta-Pruning (2) α-wert für Maximum-Ebene: (bisheriger) größter Wert der Nachfolger β-wert für Minimum-Ebene: (bisheriger) kleinster Wert der Nachfolger Alpha-Beta-Pruning: Beschneiden des Suchbaums mit Hilfe von α- und β-werten: Zweige mit Werten kleiner als α bzw. größer als β können abgeschnitten werden bzw. brauchen nicht weiterentwickelt zu werden. α-schnitt: unterhalb eines Min-Knotens mit einem β-wert kleiner oder gleich dem α-wert der Max-Vorgänger. β-schnitt: unterhalb eines Max-Knotens mit einem α-wert größer oder gleich dem β-wert der Max-Vorgänger. Einf. in die KI 5 19

20 Effizienzgewinn Alpha-Beta-Suche schneidet am meisten ab, wenn jeweils der beste Zug als erstes betrachtet wird: vermutlich besten Zug zuerst nehmen. Bester Fall (immer bester Zug zuerst) reduziert den Suchaufwand auf O(b d/2 ). Durchschnittlicher Fall (zufällig verteilte Züge) reduziert den Suchaufwand auf O((b/ log b) d ) Praktischer Fall: Schon mit relativ einfachen Anordnungsheuristiken kommt man in die Nähe des besten Falls. Einf. in die KI 5 20

21 Spielprogramme Motivation: Entscheidungsfindung in komplexen, indeterministischen Umgebungen Entwicklung guter Spielprogramme Dame (engl. Checkers, Draughts, d.h. nach internationalen Regeln): Eines der ersten Spielprogramme (A. Samuel, End-50ger Jahre). Das Programm CHINOOK gewann 1992 die US Open und war das erste Programm, das an der echten Weltmeisterschaft teilnehmen durfte wurde es zum Weltmeister erklärt. Backgammon Das Programm BKG schlug 1980 den amtierenden Weltmeister. Allerdings hatte es Glück beim Würfeln. BKG realisiert Vorausschau um nur einen Halbzug, verwendet aber eine ausgefeilte Evaluationsfunktion. Ein neueres Programm arbeitet mit neuronalen Netzen, um eine neue Evaluationsfunktion zu entwickeln. Es gehört zu den drei besten Spielern weltweit. Einf. in die KI 5 21

22 Spielprogramme (2) Reversi (Othello): Sehr gut auch auf normalen Computern. Programme werden bei Tunieren nicht zugelassen. Go: Die besten Programme spielen etwas besser als Anfänger (Verzweigungsfaktor > 300). Das erste Programm, das einen Großmeister schlägt, erhält einen Preis von 2 Mio. US-$. Schach Das zeitweise stärkste Programm DEEP BLUE spielte auf Großmeisterniveau und schlug Kasparov 1997 in einer von ACM organisierten Begegung. Derzeit: Deep Fritz Einf. in die KI 5 22

23 Botvinnik (2616) Petrosian (2363) MacHack (1400) Chess 3.0 (1500) Spassky (2480) Fischer (2785) Chess 4.6 (1900) Karpov (2705) Korchnoi (2645) Belle (2200) Kasparov (2740) Hitech (2400) Deep Thought (2551) Kasparov (2805) Deep Thought 2 (approx. 2600) Einf. in die KI 5 23

24 Gründe für die Erfolge... Alpha-Beta-Suche... mit dynamischer Tiefenfestlegung bei unsicheren Positionen gute (aber normalerweise einfache) Evaluationsfunktionen große Eröffnungsbücher sehr große Endspieldatenbanken (für Dame: alle 8-Steine Situationen) und sehr schnelle und parallele Rechner! Einf. in die KI 5 24

25 Zusammenfassung Ein Spiel kann durch Angabe des Anfangszustands, der Operatoren (legale Züge), einem Terminaltest und einer Nutzenfunktion (Ausgang des Spiels) beschrieben werden. In 2-Personen-Brettspielen kann der Minimax-Algorithmus den besten Zug bestimmen, indem er den ganzen Spielbaum aufbaut. Der Alpha-Beta-Algorithmus liefert das gleiche Ergebnis, ist jedoch effizienter, da er überflüssige Zweige des Suchbaums abschneidet. Normalerweise kann nicht der ganze Spielbaum aufgebaut werden, so daß man Zwischenzustände mit einer Evaluationsfunktion bewerten muß. Einf. in die KI 5 25

26 Schlußbemerkungen Brettspiele werden heute oft nicht mehr zur KI gezählt funktionierende Technologie allgemeine KI und Brettspiele haben relativ wenig methodische Gemeinsamkeiten. Aber: Allgemeine KI-Methoden erlangen zunehmende Bedeutung in der Entwicklung von Computer-Spielen Computer-Spiele stellen bereits ein erhebliches Segment der Software-Industrie dar, mit wachsender Tendenz. Interessante Spiele erfordern einen intelligenten Computer als Gegner (oder Partner). Ein breites Spektrum von KI-Methoden anwendbar mehr hierzu später. Einf. in die KI 5 26