Vom Amateur zum Großmeister

Transkript

1 Vom Amateur zum Großmeister - von Spielbäumen und anderen Wäldern - ProInformatik - Funktionale Programmierung Dr. Marco Block-Berlitz 1

2 Übersicht zum Inhalt 1) Es war einmal... Tic-Tac-Toe! 2) Das unbesiegbare Tic-Tac-Toe-Programm 3) Spiele komplexer als das Weltall? 4) Ohne menschliche Experten geht es nicht 5) Schach ist Tic-Tac-Toe sehr ähnlich 6) Suche allein genügt nicht - auch das Brett ist wichtig 7) Mensch versus Maschine 8) Das Schachprogramm FUSc# 9) Programme können selbständig Spiele lernen Dr. Marco Block-Berlitz 2

3 Tic-Tac-Toe Eigenschaften und Komplexität Zunächst betrachten wir die speziellen Eigenschaften und Spielregeln vom Spielklassiker Tic-Tac-Toe. alternierendes Zwei-Spieler-Spiel mit Spieler X und O vollständige Information Nullsummenspiel des einen Gewinn ist des anderen Verlust Spielablauf x x... x O x... x O O Komplexität Mögliche Spielverläufe: 9*8*7*...*2*1 = 9! das entspricht Legale Wege gibt es sogar nur Ohne Rotation und Spiegelung gibt es sogar nur 765 unterschiedliche Spielsituationen. x Damit ist die Komplexität von Tic-Tac-Toe relativ klein und die Lösung sehr einfach. Dr. Marco Block-Berlitz 3

4 Tic-Tac-Toe - Bewertungsfunktion Wir benötigen eine Bewertungsfunktion, die besagt, welcher Spieler gewonnen hat oder ob eine Partie unentschieden endete. Bewertungsfunktion x O O O O x x x x O O x x O O x x O x x O O Spieler O gewinnt Unentschieden Spieler X gewinnt Suchbaum X am Zug Spielbewertungen O am Zug? X am Zug Dr. Marco Block-Berlitz 4

5 Tic-Tac-Toe lokale Betrachtung für Spieler O Betrachten wir die folgende Spielsituation für den Spieler O X am Zug ? O am Zug X am Zug Spieler O wird sich für den vielversprechendsten Zug entscheiden und wählt das Minimum der zur Verfügung stehenden Möglichkeiten.. X am Zug 0 O am Zug X am Zug Dr. Marco Block-Berlitz 5

6 Tic-Tac-Toe lokale Betrachtung für Spieler X Betrachten wir die folgende Spielsituation für den Spieler X O am Zug ? X am Zug O am Zug Auch Spieler X wird sich für den vielversprechendsten Zug entscheiden und wählt in diesem Fall das Maximum der zur Verfügung stehenden Möglichkeiten.. O am Zug 1 X am Zug O am Zug Dr. Marco Block-Berlitz 6

7 Tic-Tac-Toe MinMax-Strategie Wenn wir davon ausgehen, dass jeder Spieler immer den für sich aktuell besten Zug spielt, dann können wir die MinMax-Strategie (Claude Elwood Shannon 1950) formulieren: Maximieren X am Zug 0 Hauptvariante Minimieren O am Zug X am Zug Formal läßt sich MinMax, wie folgt beschreiben: Dr. Marco Block-Berlitz 7

8 Tic-Tac-Toe MinMax-Strategie Formal läßt sich MinMax, wie folgt beschreiben: Pseudocode: maxknoten(n) if n ist terminaler Zustand return eval(n) w = - für jedes Kind m of n v = minknoten(m) if v > w then w = v return w minknoten(n) if n ist terminaler Zustand return eval(n) w = für jedes Kind m of n v = maxknoten(m) if v < w then w = v return w Dr. Marco Block-Berlitz 8

9 Tic-Tac-Toe MinMax-Strategie data Baum a = Knoten a [Baum a] Haskell [3]: maximiere :: (Ord n) => (Baum n) -> n maximiere (Knoten x []) = x maximiere (Knoten x c) = maximum (map minimiere c) minimiere :: (Ord n) => (Baum n) -> n minimiere (Knoten x []) = x minimiere (Knoten x c) = minimum (map maximiere c) Dr. Marco Block-Berlitz 9

10 Unbesiegbares Programm Mit Hilfe der MinMax-Strategie können wir für Spiele, mit den folgenden Eigenschaften... alternierendes Zwei-Spieler-Spiel mit Spieler X und O vollständige Information Nullsummenspiel Geringe Komplexität... ein Programm schreiben, das unbesiegbar ist, wenn das Spiel ausgeglichen ist. John Forbes Nash 1994 Nobelpreis für Wirtschaftswissenschaften Spieltheorie: Nash-Equilibrium Dr. Marco Block-Berlitz 10

11 Suchraumkomplexität von Spielen Das Spiel Dame (checkers) gilt seit 2007 als weakly solved. Chinook ist nicht zu besiegen. Im Schach sind Maschinen den menschlichen Großmeistern seit den 1990 ern ebenwürdig. Bestes Programm: Rybka Go ist die neue Drosophila melanogaster der Künstlichen Intelligenz, aktuelle Programme haben aber nur Amateur-Niveau Im Vergleich dazu: Anzahl Atome der Erde (51) und Anzahl Atome im Weltall (78) Dr. Marco Block-Berlitz 11

12 Was bedeutet eine hohe Komplexität? Angenommen ein Spiel hat einen konstanten Verzweigungsfaktor von 30 (30 Aktionsmöglichkeiten pro Stellung) und eine durchschnittliche Tiefe von 50 Zügen. Der entsprechende Suchbaum hätte Knoten. Angenommen wir hätten Computer, die jeweils eine Milliarde Suchschritte pro Sekunde schaffen, und man könnte die Arbeit ohne Verluste auf alle Rechner verteilen, dann beläuft sich die Rechenzeit auf ca. Dies ist zum Glück nur mal so lange wie unser Universum alt ist. Wie kann es dann sein, dass ein Schachcomputer gegen einen menschlichen Weltmeister gewinnt? Dr. Marco Block-Berlitz 12

13 Suchtiefe begrenzen Die einzige Möglichkeit trotz einer hohen Komplexität eine vernünftige Zugauswahl zu treffen, besteht darin, die Suchtiefe zu begrenzen. t fest Dr. Marco Block-Berlitz 13

14 Allgemeine Bewertungsfunktion Es werden unterschiedliche Bewertungskriterien als Funktionen beschrieben und diese gewichtet aussummiert. Das funktioniert auf Grund der Tatsache, da es sich um ein Nullsummenspiel handelt. Diese Funktionen werden unabhängig voneinander bestimmt, jeweils für Schwarz und für Weiß. Die Differenz ergibt den Funktionswert. Dr. Marco Block-Berlitz 14

15 Bewertungsfunktion im Schach Aus der Schachliteratur sind viele Muster bekannt, diese können nun lokalisiert und entsprechend bewertet werden. BishopPair Knight_Outpost Supported_Knight_Outpost Connected_Rooks Opposite_Bishops Opening_King_Advance King_Proximity Blocked_Knight Draw_Value No_Material Bishop_XRay Rook_Pos Pos_Base Pos_Queenside Bishop_Mobility Queen_Mobility Knight_SMobility Rook_SMobility King_SMobility Threat Overloaded_Penalty Q_King_Attack_Opponent NoQ_King_attack_Opponent NoQueen_File_Safty Attack_Value Unsupported_Pawn Passed_Pawn_Control Doubled_Pawn Odd_Bishop_Pawn_Pos King_Passed_Pawn_Supported Passed_Pawn_Rook_Supported Blocked_EPawn Pawn_Advance King_Passed_Pawn_Defence Pawn_Defence Mega_Weak_Pawn Castle_Bonus Bishop_Outpost Supported_Bishop_Outpost Seventh_Rank_Rooks Early_Queen_Movement Mid_King_Advance Trapped_Step Useless_Piece Near_Draw_Value Mating_Positions Ending_King_Pos Knight_Pos Pos_Kingside Knight_Mobility Rook_Mobility King_Mobility Bishop_SMobility Queen_SMobility Piece_Values Opponents_Threat Q_King_Attack_Computer NoQ_King_Attack_Computer Queen_File_Safty Piece_Trade_Bonus Pawn_Trade_Bonus Adjacent_Pawn Unstoppable_Pawn Weak_Pawn Blocked_Pawn Passed_Pawn_Rook_Attack Blocked_DPawn Pawn_Advance Pawn_Advance2 Pawn_Pos Isolated_Pawn Weak_Pawn_Attack_Value... und viele mehr! Dr. Marco Block-Berlitz 15

16 MinMax-Strategie mit Bewertungsfunktion Die MinMax-Strategie läßt sich auch mit beschränkter Tiefe und einer Bewertungsfunktion problemlos ausführen, um den besten Zug zu bestimmen. Maximieren X am Zug 1 Minimieren O am Zug X am Zug Bewertungsfunktion Dr. Marco Block-Berlitz 16

17 MinMax-Strategie und Alpha-Beta-Pruning Es gibt jedoch Situationen im Spielbaum, bei denen einzelne Zweige nicht mehr betrachtet werden müssen, da sie ein Maximum/Minimum am Elternknoten nicht mehr verändern. Das Alpha-Beta-Pruning nutzt dies aus um unnötige Äste im Baum abzuschneiden. Minimieren Maximieren Dr. Marco Block-Berlitz 17

18 Alpha-Beta-Pruning Pseudocode: alpha-beta-maxknoten(n, tiefe, α, β): if (tiefe==0) return eval(n) für jedes Kind m of n wert = alpha-beta-minknoten(m, tiefe-1, α, β) if wert β return β if wert>α α=wert return α Beta-Cutoff alpha-beta-minknoten(n, tiefe, α, β): if (tiefe==0) return eval(n) für jedes Kind m of n wert = alpha-beta-maxknoten(m, tiefe-1, α, β)} if α wert return α if β>wert beta=wert return β Alpha-Cutoff Dr. Marco Block-Berlitz 18

19 Alpha-Beta-Pruning Pseudocode: alpha-beta(n, tiefe, α, β): if (tiefe==0) return eval(n) für jedes Kind m of n wert = -alpha-beta(m, tiefe-1if wert β -β, -α) return β if wert>α α=wert return α Wir können durch vertauschen und negieren der Parameter alpha und beta, beide Funktionen vertauschen. Dr. Marco Block-Berlitz 19

20 Alpha-Beta-Pruning 0 [-, ] hat blau sicher [α, β] Blau will maximieren Rot will minimieren hat rot sicher 0 1 [-, ] 5 [0, ] 1 [0, ] 1 [-, ] 1 [0, ] [0, 1] < α (= 0) 1-1 α-cutoff > β (= 1) β-cutoff Dr. Marco Block-Berlitz 20

21 Alpha-Beta-Pruning Haskell [3]: data Baum a = Knoten a [Baum a] maximiere = maximum. maximiere maximiere (Knoten x c) = mapmin (map minimiere c) minimiere = minimum. minimiere minimiere (Knoten x c) = mapmax (map maximiere c) liefert True, wenn min. ein Element die Bedingung erfüllt mapmin, mapmax :: (Ord a) => [[a]] -> [a] mapmin (h:t) = (minimum h) : (verwerfekleinere (minimum h) t) mapmax (h:t) = (maximum h) : (verwerfegroessere (maximum h) t) verwerfekleinere :: (Ord a) => a -> [[a]] -> [a] verwerfekleinere n [] = [] verwerfekleinere n (h:t) any (n > ) h = verwerfekleinere n t otherwise = (minimum h) : (verwerfekleinere (minimum h) t) verwerfegroessere :: (Ord a) => a -> [[a]] -> [a] verwerfegroessere n [] = [] verwerfegroessere n (h:t) any (n < ) h = verwerfegroessere n t otherwise = (maximum h) : (verwerfegroessere (maximum h) t) Dr. Marco Block-Berlitz 21

22 Repräsentation und Zuggenerator Zu einer guten Suche wird eine brauchbare Stellungsrepräsentation mit schnellem Zuggenerator benötigt. 8x8-Spielbrett Bitboards ToPiecesBoard BIT-Wort >> 1 = Dr. Marco Block-Berlitz 22

23 Optimierungen der Suche Es gibt zahlreiche Möglichkeiten, die Suchtiefe von Schachprogrammen zu erhöhen und sie damit entsprechend spielstärker zu machen. Transpositionstabellen Eröffnungsbuch Endspieldatenbank und Iterative Tiefensuche Nullmoves t=1 t=2 t=3 t=4 Desweiteren kommen folgende Optimierungen zum Historieheuristik, Ruhesuche,... Einsatz: Zugsortierungen, Hauptvarianten, Killer- und Dr. Marco Block-Berlitz 23

24 Mensch versus Maschine Es gab bereits viele Matches zwischen Maschinen und ein paar legendäre aufgelistet menschlichen Weltmeistern. Hier sind 1996 Kasparov vs Deep Blue Kasparov vs Deep(er) Blue Kasparov vs X3D Fritz Kramnik vs Deep Fritz 2 4 G. Kasparov (2851) Das aktuell stärkste Programm ist Rybka (geschätzt 3200 Elo), es bleibt abzuwarten wie die Weltelite im Schach gegen dieses Programm abschneiden wird. V. Topalov (2813) W. Anand (2788) M. Carlsen (2772) L. Aronian (2768) W.Kramnik (2759) P. Leko (2756) Dr. Marco Block-Berlitz 24

25 Das Schachprogramm FUSc# Seit 2002 wird das Schachprogramm FUSc# an der Freien Universität Berlin entwickelt. Nach hartem Training und vielen Lines-of-Code, ist FUSc# in der Lage, auch deutsche Titelträger in Schachpartien zu bezwingen. So spielte FUSc# im Jahr 2004 gegen FideMeister Ilja Brener Remis. Alpha-Beta-Pruning Iterative Suche Diverse Pruning-Techniken Transpositionstabellen Nullmoves Eröffnung- und Endspielbücher... FM Ilja Brener 14 Jahre alt Elo: 2375 Dr. Marco Block-Berlitz 25

26 Bewertungskoeffizienten trainieren Die Bewertungskoeffizienten lassen sich automatisch anpassen [1]. So geschehen bei FUSc# auf dem Schachserver von Chessbase. Nach jeder Partie analysiert das Programm die Stellen der Partie, bei denen er falsch bewertet hatte und korrigiert die entsprechenden Parameter. Koeffizienten lassen sich mit Reinforcement Learning justieren und optimieren Eine untrainierte FUSc#-Version erreichte nach 120 Partien mehr als 2000 Elo-Punkte. Dr. Marco Block-Berlitz 26

27 Mehrspielervarianten Um Min-Max Max für mehrere Spieler anwenden zu können, müssen einige Anpassungen vorgenommen werden: Für jede Ebene muss gespeichert werden, welcher Spieler an der Reihe ist Die Bewertungsfunktion darf nicht mehr einen Wert zurückliefern, sondern muss einen Nutzenvektor erstellen, welche die Bewertungen für alle Spieler aus ihrer Sicht enthalten Es existieren nun jedoch mehrere Möglichkeiten die beste Alternative zu wählen. Dr. Marco Block-Berlitz 27

28 Mehrspielervarianten - maxn Eine Variante wäre, wenn sich alle Spieler optimistisch verhalten und jeweils versuchen ihren eigenen Nutzen im Nutzenvektor stets zu maximieren: Dr. Marco Block-Berlitz 28

29 Mehrspielervarianten - paranoid Im Gegensatz zu maxn können sich die Spieler aber auch pessimistisch verhalten und die Annahme treffen, dass sich alle Gegenspieler zu einer Allianz gegen sich selbst geschlossen haben. Die Annahme ist, dass sich die Gegner verbünden und vorhaben den eigenen Nutzen stets zu minimieren: Selber Suchbaum wie vorhin. Eingetragen ist nur der Nutzenwert vom suchenden Spieler A Dr. Marco Block-Berlitz 29

30 Literatur- und Abbildungsquellen [1] [2] [3] Block M., Bader M., Tapia E., Ramírez M., Gunnarsson K., Cuevas E., Zaldivar D., Rojas R.: "Using Reinforcement Learning in Chess Engines", CONCIBE SCIENCE 2008, In Journal Research in Computing Science: Special Issue in Electronics and Biomedical Engineering, Computer Science and Informatics, ISSN: , Vol.35, pp.31-40, Guadalajara/Mexico, 2008 Millington I.: Artificial Intelligence for Games, Morgan Kaufmann, Elsevier, 2006 Baur M.: Lazy Evaluation, Dezember ulm.de/~m_baur/pdf/lazy/lazy.pdf Vielen Dank für die Aufmerksamkeit... Dr. Marco Block-Berlitz 30