Übersicht. 5. Spiele. I Künstliche Intelligenz II Problemlösen 3. Problemlösen durch Suche 4. Informierte Suchmethoden

Transkript

1 Übersicht I Künstliche Intelligenz II Problemlösen 3. Problemlösen durch Suche 4. Informierte Suchmethoden 5. Spiele III Wissen und Schlußfolgern IV Logisch Handeln V Unsicheres Wissen und Schließen VI Lernen VII Kommunizieren, Wahrnehmen und Handeln

2 Spiele Games have engaged the intellectual faculties - sometimes to an alarming degree - for as long as civilization has existed. Typen von Spielen: Spiele in zugänglicher, deterministischer Umgebung (vollständige Information; aber: Indeterminismus gegnerischer Züge): viele Brettspiele ohne Würfel wie Schach, Go, Tic-Tac- Toe,... Spiele in zugänglicher, indeterministischer Umgebung: viele Würfelspiele wie Backgammon, Mensch-ärgere-Dich-nicht, Spiele in unzugänglicher, deterministischer Umgebung: viele Kartenspiele wie Schafskopf, Doppelkopf,... Spiele in unzugänglicher, indeterministischer Umgebung: viele Kartenspiele mit kontinuierlichem Ziehen von Karten wie Romme, Mau-Mau,...

3 Spiele mit vollständiger Information Spiele mit vollständiger Information, insbesondere Schach, wurden von der KI von Anfang an intensiv untersucht. Herausforderung: großer Suchraum bei beschränkter Zeit. Schach: Definition als 4-Tupel.: ca mögliche Zugsequenzen in normalem Spiel; ca verschiedene Stellungen. (Anfangszustand, Operatoren, Ende-Test, Bewertungsfunktion) Die beiden Spieler seien MAX und MIN. Unterschied zu normalem Suchproblem: MAX muß auf unterschiedliche Züge von MIN gefaßt sein. Strategie: Minimax-Algorithmus (gehe davon aus, daß MIN immer den besten Zug findet).

4 Spielbaum

5 Minimax-Algorithmus 1. Generiere den vollständigen Spielbaum. 2. Wende die Bewertungsfunktion auf jeden Endzustand an. 3. Berechne aus den Bewertungen der Nachfolger eines Knoten die Bewertung des Knoten selbst. a. Wenn MIN wählen kann, nimm das Minimum der Bewertungen. b. Wenn MAX wählen kann, nimm das Maximum der Bewertungen. 4. Setze dieses Verfahren rekursiv bis zur Wurzel des Baumes fort. 5. Wählen den Zug mit der höchsten Bewertung (MAX am Zug). Vereinfachung: Man muß den Spielbaum nicht komplett generieren, und dann erst bewerten, sondern kann beides integrieren.: Zeit- und Speicherkomplexität entspricht Tiefensuche.

6 Beispiel für Minimax - Algorithmus

7 Minimax - Algorithmus

8 Heuristische Evaluationsfunktionen Bei allen interessanten Spielen ist es unmöglich, den Spielbaum bis zu den Endzuständen zu expandieren. Daher muß man irgendwo abbrechen und eine heuristische Evaluationsfunktion zur Bewertung des Zustandes benutzen. Anforderung an Evaluationsfunktionen: möglichst korrekt möglichst schnell Evaluationsfunktionen gruppieren viele verschiedene Spielzustände unter dieselbe Kategorie (z.b. alle Schachpositionen, in der ein Spieler einen Läufer mehr hat, unter die Kategorie +3 ). Die Kategorie beschreibt eine Gewinnchance (auf Basis von Erfahrungen mit verschiedenen Positionen derselben Kategorie).

9 Art der heuristischen Evaluationsfunktion Meist werden gewichtete lineare Funktionen benutzt: w 1 f 1 +w 2 f w n f n wobei die f s Merkmale der Position sind. Beispiel: Materialbewertung der Figuren im Schach. Die Gewichte w können durch parameteradaptive Lernverfahren justiert werden. Es gibt aber auch Erfolge mit nicht-linearen Bewertungen, z.b. durch ein neuronales Netz für Backgammonbewertung.

10 Evaluations-Beispiele für Schach-Positionen

11 Probleme an der Suchgrenze: unruhige Stellungen Problem: Der direkte Ansatz, die Suchtiefe entsprechend der verfügbaren Zeit vorzugeben, kann an der Suchgrenze zu Verzerrungen führen, z.b. wenn im nächsten Zug eine Figur ohne Kompensation geschlagen werden kann. Lösung: Bei unruhigen Positionen wird unabhängig von der vorgegebenen Suchtiefe solange weitergesucht, bis eine ruhige Position entstanden ist: Quiescence Search. (Im Schach kann man unruhige Positionen als solche definieren, bei denen etwas geschlagen oder Schach geboten werden kann).

12 Probleme an der Suchgrenze: Horizont-Problem Problem: Der Gegner kann einen (aus eigener Sicht) katastrophalen Zug machen, den man nicht vermeiden, sondern nur aufschieben kann. Durch das Aufschieben verschwindet der Zug aber hinter den Suchhorizont und geht daher nicht in die Evaluationsfunktion ein. Bisher keine allgemeine Lösung: Beispiel: Schwarz kann den Gewinn von Weiss nicht verhindern, sondern nur durch Schachgebote verzögern.

13 Alpha-Beta-Abschneiden Szenario: Wir gut ist ein Minimax-Programm mit Quiescence-Search, das ca Schachpositionen pro Sekunde durchsuchen kann? Bei ca. 150 Sekunden Zeit pro Zug kann es Stellungen durchsuchen, was bei einem Verzweigungsfaktor von 35 nur 3 bis 4 Halbzügen entspricht! Verbesserungsidee: Rate die jeweils besten Züge und zeige bei den anderen Zugalternativen nur, daß sie schlechter sind: Alpha-Beta-Abschneiden. Es sei in einem Pfad der: Alpha-Wert: Die bisher beste Option für MAX-Knoten. Beta-Wert: Die bisher beste Option für MIN-Knoten. Immer wenn in einem neu untersuchten Teilbaum eine Option gefunden wird, die schlechter bzw. besser ist als die jeweiligen Alpha- bzw. Beta- Werte, wird die Suche in diesen Teilbäumen abgebrochen.

14 Beispiel für Alpha-Beta-Abschneiden

15 Alpha-Beta Suchalgorithmus

16 Effektivität des Alpha-Beta-Abschneidens Wenn man immer den besten Zug ahnen könnte, sinkt die Komplexität von O(b d ) auf O(b d/2 ). Das bedeutet, daß man in derselben Zeit ca. doppelt so viele Züge vorher berechnen kann! Wenn die Suchtiefe nur wenige Züge (wie beim Schach) ist, umfaßt der Effekt vom Alpha-Beta-Abschneiden bei zufälliger Auswahl eines Zuges immerhin noch O(b 3d/4 ). Durch einfache Tricks kommt man in der Praxis nahe an den optimalen Wert heran: 1. Versuche entsprechend der iterativen Tiefensuche immer die in der letzten Iteration gefundenen besten Züge zuerst; 2. Betrachte Züge in einer bestimmten Reihenfolge, z.b. erst Schlagen & Schachgebote, dann Drohungen, dann Vorwärts- und schließlich Rückwärtszüge.

17 Spiele mit Zufallsfaktor (Indeterministische Spiele) (1) z.b. bei Würfelspielen mit einem Würfel: 6 Optionen mit 1/6 Wahrscheinlichkeit mit zwei Würfeln: 21 Optionen mit 1/36 (1-1, 2-2 bis 6-6) bzw. 1/18 Wahrscheinlichkeit (übrige Kombinationen) Modifikation von Minimax erforderlich: Statt des exakten Wertes eines Zuges muß der Erwartungswert durch eine gewichtete Wahrscheinlichkeitsverteilung berechnet werden.

18 Spiele mit Zufallsfaktor (Indeterministische Spiele) (2) Es sei: C: die zu bewertende Aktion, d i : eine bestimmte Würfelkombination (ein Wurf) P(d i ): ihre Wahrscheinlichkeit, S(C,d i ): Menge der möglichen Folgepositionen, wenn man den Wurf di auf die Position C anwendet. Dann ist: Erwartungswert (C) = Summe ( P(d i )max sauss(c,di) (utility(s)) ) So modifizierter Minimax-Algorithmus heißt: Expectiminimax Weitere Anforderung: Die Evaluationsfunktion zum Schätzen der Qualität von Stellungen enthält mehr Semantik: Bei Minimax war nur die Reihenfolge wichtig, beim Berechnen des Erwartungswertes ist auch das Verhältnis der Zahlen relevant.

19 Suchbaum für Backgammon

20 Einfluß verschiedener Evaluationsfunktionen

21 Komplexität von Expectiminimax Sei m die Suchtiefe, b die Verzweigungsrate und n die Anzahl der möglichen Würfe, dann ist die Komplexität von Expectiminimax: O(b m n m ) In Spielen wie Backgammon sind daher ca. 2 Halbzüge das Maximum der Suchtiefe (n = 21, b = ca. 20 bis zu 4000). Gute Evaluationsfunktion erforderlich!

22 Neuere Entwicklungen bei Computerspielen Iterative Tiefensuche mit Alpha-Beta-Abschneiden ist Standard bei Strategiespielen mit vollständiger Information Monte-Carlo-Simulation statt vollständiger Suche bei indeterministischen Spielen Lernen durch Selbstspiel und Temporal Difference Learning Speichern von Stellungsbewertungen in Hash-Tabelle Probabilistisches Abschneiden von Suchzweigen Dynamische Erweiterung der Suchtiefe Parallelität (jedoch schwierig bei Alpha-Beta-Abschneiden) Hardwarebasierte Stellungsbewertungen (Linearkombination von Stellungsbewertungen mit Index auf Stellung) Umfangreiche Eröffnungs- und Endspieldatenbanken Bei Dame teilweise komplette Suche von Eröffnung bis Endspiel

23 Entwicklungsstand bei verschiedenen Spielen Schach: Weltmeister in einem Match geschlagen, aber der hatte wegen Geheimhaltung keine Möglichkeit, sich auf die Schwächen der Maschine gezielt vorzubereiten. Daher bisher auch kein Rematch. Dame: Weltmeister Othello (Reversi): Menschen weigern sich, gegen Computer zu spielen. Backgammon: Unter den 3 besten Spielern. Go: Anfängerniveau.

24 Vergleich Weltmeister - Schachcomputer

25 Diskussion Minimax und Alpha-Beta-Suche dominieren Computerspielprogramme derart, daß aus theoretischer Sicht interessantere Ansätze keine Chance haben. Insbesondere haben die Programme meist wenig Wissen. Beobachtungen und Alternativen: 1. Evaluationsfunktionen könnten Wahrscheinlichkeitsverteilungen statt exakter Werte liefern. 2. Alpha-Beta-Suche muß alle erlaubten Züge generieren, auch dann wenn es einen klaren Gewinnzug gibt bzw. wenn viele Züge gleichwertig sind. -> Kriterium, welche Knoten sich nicht zur Expansion lohnen (weil sie wahrscheinlich nicht besser als der aktuell bester Zug sind). 3. Schließen auf der Meta-Ebene: einfaches Beispiel: Alpha-Beta- Abschneiden, komplexeres Beispiel: Verfolgen bestimmter Ziele beim Spiel (z.b. rückständigen Bauern erobern).

26 Evaluationsfunktion: Exakte Werte können irreführen

27