KI und Sprachanalyse (KISA)

Transkript

1 Folie 1 KI und Sprachanalyse (KISA) Studiengänge DMM, MI (B. Sc.) Sommer Semester 15 Prof. Adrian Müller, PMP, PSM1, CSM HS Kaiserslautern e: adrian.mueller@ hs-kl.de

2 Folie 2 ADVERSIALE SUCHE Spiele: Multi-Agenten Umgebung, in der die Ziele der Agenten in Konflikt zueinander stehen. Die Suchverfahren werden als adversiale Suche bezeichnet. Ziele der adversialen Suche: Berechnung des besten Zuges in einer 2- oder mehr Spieler Situation für einen Spieler Effizienz: Einhalten von Zeitvorgaben Brettspiele waren schon immer Messlatte für Intelligenz Regeln abstrakt, einfach, präzise darstellbar Ein Motor der Künstlichen Intelligenz (seit 1950) Spiele sind Suchprobleme mit Gegner Unsicherheit, Mangel an Kontrolle, Kontingenz-Problem Problem: Große Zustandsräume (deshalb interessant) Schach: Verzweigungsgrad: 35, Anzahl Züge: 50 ( ) aber nur etwa legale Positionen Zentrales Problem: Effizienz (wg. Schachuhr)

3 Folie 3 SPIELTYPEN Deteristic Stochastic Fully Observable Partially Observable Schach, Go Schiffe Versenken Backgammon, Monopoly Bridge, Poker Formulierung Lösungsschritte: Spielzüge Zielzustand: Gewinn oder Verlust Kosten: Punktgewinn/-verlust Suchraum: Game-Tree Problem: Züge des Gegners sind nicht bekannt wie plane ich dann meinen Zug?

4 Folie 4 BEISPIEL: TIC-TAC-TOE 2 Spieler: o und x Deteristic Fully, Observable Nullsummen Spiel R/N Abbildung 6.1: Ein (partieller) Suchbaum für das Spiel Tic-Tac-Toe. Der oberste Knoten ist der Ausgangszustand, und MAX zieht zuerst und platziert dabei ein X in ein leeres Quadrat. Wir zeigen einen Teil des Suchbaums, der alternative Züge von (O) und (X) darstellt, bis wir irgendwann den Endzustand erreicht haben, dem gemäß den Spielregeln Werte zugewiesen werden können. Aufgabe der adversialen Suche: optimalen Zug für (0), genannt MAX.

5 Folie 5 SPIELE ALS UND/ODER BÄUME 1 Spiel gewonnen 0 Spiel verloren eigener Zug gegnerischer Zug Wird v (MAX) dieses Spiel gewinnen? V MAX: simulierter Spieler, zieht zuerst ^ MIN: simulierter Gegner Anfangszustand: Position der Spielsteine, wer ist am Zuge? Operatoren: erlaubte Züge der Spieler Zieltest: Test auf Endzustand (Matt, Patt,...) Nutzenfunktion (Utility) Schach: {-1, 0, 1}, Backgammon {-192,..., 192}) MAX sucht nach Pfad mit maximalem Nutzen ABER: MIN sucht nach Pfad mit imalem Nutzen

6 Folie 6 SPIELE ALS UND/ODER BÄUME 1 Spiel gewonnen 0 Spiel verloren eigener Zug gegnerischer Zug Ja, wenn er richtig zieht. Probleme der Spielesuche Wir können bestimmen, welche Züge zum Sieg führen Problem: Suchbaum in der Regel zu groß, um ihn vollständig zu durchsuchen Lösung: Tiefenbeschränkte Suche bis zu einer realisierbaren Tiefe Problem: Woher wissen wir, wie das Spiel wirklich ausgeht? Lösung: Bewertungsheuristik für Zwischenzustände

7 Folie 7 MINIMAX ALGORITHMUS R/N: Abbildung 6.3: Ein Algorithmus für die Berechnung von Minimax- Entscheidungen. Er gibt die Aktion zurück, die dem bestmöglichen Zug entspricht, d.h. dem Zug, der zu dem Ergebnis mit der besten Nützlichkeit führt unter der Annahme, dass der Gegner so spielt, dass er die Nützlichkeit imieren will. Die Funktionen MAX-VALUE und MIN- VALUE durchlaufen den gesamten Spielbaum bis hin zu den Blättern, um den aktualisierten Wert eines Zustands zu ermitteln MiniMax Algorithmus Generiere vollständigen Spielbaum (Hinweis: praktisch für die meisten Spiele unmöglich) Weise jedem Blatt seinen Nutzen zu Weise - von Blättern zur Wurzel - allen Knoten Nutzen zu: Wähle maximalen Wert der Söhne bei eigenem Zug Wähle imalen Wert der Söhne bei gegnerischem Zug Wähle Sohn mit höchstem Nutzen

8 Folie 8 PARTIELLE SUCHBÄUME???????? Wir gehen von rationalem Verhalten aus: Jeder Spieler versucht, seinen Gewinn zu maximieren Der Zug des Gegners imiert den eigenen Gewinn (Nullsummenspiel)

9 Folie 9 PARTIELLE SUCHBÄUME h(n) Achtung: h(n) steht hier für Nutzen, nicht für Kosten!!

10 Folie 10 PARTIELLE SUCHBÄUME Wir wählen den Zug mit dem größten erwarteten Nutzen max Der Gegner wählt den Zug, der für uns den geringsten Nutzen hat. max max max max h(n) Minimax-Algorithmen nur anwendbar bei trivialen Spielen Neuer Ansatz: Unvollständige Echtzeitentscheidungen (vgl. R/N, Kap. 6.4). Modifikation: Stop Baumkonstruktion bei Cut-Off-Knoten (statt bei Spielende) Wann ist ein Knoten ein guter Cut-Off-Knoten? (a) Feste Baumtiefe, grob abhängig von erlaubter Zeit (b) Iterative Tiefensuche (bis Zeit abgelaufen ist) Problem: der nächste Zug könnte die Dame kosten!! Besser: (c) Cut-off bei Knoten, deren Nachfolger ähnlich bewertet sind Tiefe abhängig von Bewertungsveränderung (eine sog. ruhende Position ) Dabei: Horizontproblem: Änderung ergibt sich erst nach (zu) vielen Zügen

11 Verwende eine heuristische Bewertungsfunktion h(n) (statt der präzisen Nutzenfunktion) Was ist eine gute Heuristik? Erste Beispiele, mehr dazu später; Schach: lineare Funktion: Bauer 1, Läufer/Springer 3, Turm 5, Dame 9 nichtlinear: 2 Springer / 2 Läufer 0.5 besser als gemischt gewichtet: Position geht ein (oder sogar relative Position) Kriterien für Bewertungsfunktionen: muss mit Nutzfunktion auf Endzuständen übereinstimmen muss schnell zu berechnen sein (trade-off mit Güte) muss die Gewinnchancen ausdrücken (auch ohne Würfel) 1 : 100% aller Stellungen mit der Bewertung gewinnen -1 : 100% aller Stellungen mit der Bewertung verlieren 0 : 100% aller Stellungen mit der Bewertung unentschieden 0.25 : z.b. 50% gewinnen, 25% verlieren, 25% unentschieden

12 Folie 11 PARTIELLE SUCHBÄUME 5 max max max 4 max 8 max h(n)

13 Folie 12 PARTIELLE SUCHBÄUME 5 max max 9 max 4 max 8 max h(n) Die viel-versprechenste Handlung wird ausgeführt und dann neu gesucht vgl. Iteratives Deepening

14 Folie 13 PRUNING- MÖGLICHKEITEN 5 max 5 Warum kann hier abgeschnitten werden? 4 5 max 9 max 4 max 7 max h(n) Mit Minimax können etwa 4 Halbzüge vorausberechnet werden (150 sec. je Zug, Verzweigung 35) Das entspricht Anfängerniveau. Verbesserung durch frühzeitiges Abschneiden ( pruning ) schlechter Äste Wenn ein Knoten eine schlechtere Bewertung hat als ein Geschwisterknoten oder ein Ahnenknoten, braucht er nicht weiter untersucht werden. Dasselbe gilt (mit umgekehrtem Vorzeichen) für den Gegner Frühzeitig: es gibt günstige und ungünstige Permutationen des Suchbaums für das Pruning. Alpha: Bester Wert an allen Auswahlknoten im Pfad Beta: Schlechtester Wert an allen Auswahlknoten im Pfad Trick: möglichst früh die besten Züge finden (Heuristik)

15 Folie 14 SUCHFENSTERTECHNIK max [-,] [-,] 5 max [-,] max max max h(n)

16 Folie 15 SUCHFENSTERTECHNIK 5 max [-,] [-,5] 5 [-,] 4 max [5, ] 5 [-,] 9 max max [-,5] 4 max [5, ] 1 max h(n) Alpha-Beta Pruning Idee: wir merken uns den bisher besten Wert und expandieren nur Zweige, die diesen noch verbessern können Bem: In Zweigen, die außerhalb des Suchfensters liegen wird der Näherungswert value zurückgegeben integer alphabeta (Knoten n, integer alpha,beta) integer value succ := expand(n) ** Nachfolger bestimmen** if succ leer then return u(n) **Blattknoten** value := - **max Wert initialisieren** forall s in succ do **Rekursive Berechnung** value := max(value, -alphabeta(s,-beta,-max(value,alpha))) if value beta then **Vergleich mit Schranke** return value **Pruning** end return value Stand der Technik: Reversi (Othello): besser als Mensch

17 Schach: Grossmeisterniveau, aber nicht Menschen immer überlegen Go: Etwas besser als Anfänger Funktionsweise: Alpha-Beta-Schnitt dynamische Tiefensuche bei unsicheren Positionen gute (aber einfache) Evaluierungsfunktionen große Eröffnungssammlungen sehr große Endspieldatenbanken sehr schnelle parallele Rechner

18 Folie 16 WO KOMMEN DIE BEWERTUNGEN HER? Bei komplexen Spielen kann nicht bis zum Ende gesucht werden Alternative: Tiefenbegrenzung und Heuristiken zur Bewertung Beispiel Schach: Bauer: 1, Springer/Läufer 3, Turm 5, Königin 9 Endgame Tablebases Datenbank mit allen Positionen, für die das Ergebnis bei optimalem Spiel feststeht. Ist eine solche Position erreicht, muss nicht weitergesucht werden Für Schach gibt es eine komplette Endgame Datenbank für alle Endgames mit bis zu 6 Spielfiguren Variante: Positionen, die sicher zum schlagen einer Figur führen. Züge bis zum schlagen als Bewertung Selbst automatische Erzeugung vollständiger Endgame Tables ist extrem aufwendig Allerdings können hierfür die beschriebenen Suchverfahren verwendet werden Der Speicherbedarf steigt auch bei guter Kompression extrem an: Alle Endgames mit 5 Figuren: 7 GB Alle Endgames mit 6 Figuren: 1.2 Terabyte 7 Figuren Endgames werden in näherer Zukunft nicht effizient speicherbar sein

19 Effiziente Suchverfahren können die meisten Endgames häufig selbst schneller analysieren als sie aus der Tablebase geladen werden können! Ausnahmen sind komplexe Verläufe (vgl. R/N Kap. 6.7)

20 Folie 17 WICHTIGE BEGRIFFE MiniMax Algorithmus Halbzug Horizontproblem Ruhende Position AlphaBeta pruning Bewertungsfunktion