Hallo Welt für Fortgeschrittene

Transkript

1 Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Informatik 2 Programmiersysteme Martensstraße Erlangen

2 Vortrag SP: Gliederung Was ist Spieltheorie? Strategien Gefangenendilemma Äquilibrium Tit-For-Tat MiniMax-Theorem / Alpha-Beta-Pruning Nim / Misere Josephus-Problem Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 2

3 Was ist Spieltheorie? Die Spieltheorie ist eine Entscheidungstheorie, die Situationen untersucht, in denen das Ergebnis nicht von einem Entscheider allein bestimmt werden kann, sondern nur von mehreren Entscheidern gemeinsam. Spieltheorie ist auch in der Wirtschaft sehr wichtig D.h. Spiele werden: Analytisch beschrieben Mathematisch gelöst (Wahrscheinlichkeitsrechnung) Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 3

4 Was ist Spieltheorie? Elemente eines Spiels: Spieler Aktionen Ergebnis/ Payoff Informationen (Spaß) Ziel ist die Maximierung des eigenen Nutzens durch Treffen von Entscheidungen Menge von Möglichkeiten, die ein Spieler in seinem Zug hat: A i = {a i } Die Situation des Spielers wird am Ende des Spiels bewertet. Die Ergebnisse aller Spieler zusammen bilden den Payoff-Vektor: π(s 1,..., s n ) Informationen über andere Spieler Unbedeutend für die Spieltheorie Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 4

5 Strategien Was ist Strategie? Strategie Strategie- Menge Strategie- Profil Eine Regel, die angibt, was ein Spieler zu einem bestimmten Zeitpunkt tut Alle möglichen Strategien für einen bestimmten Spieler: S i = {s i } Eine geordnete Menge, die eine Strategie für jeden Spieler im Spiel enthält: S = (s i,..., s n ) Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 5

6 Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 6 Strategien Best Response Die beste Antwort eines Spielers i auf die Strategien der anderen Spieler s -i ist die Strategie s i *, die ihm das beste Ergebnis einbringt: * ' ' * ), ( ), ( i i i i i i s s s s s s > π π Dominante Strategie: (immer die Best Response ) Eine Strategie s i * ist eine Dominante Strategie, wenn sie die beste Antwort eines Spielers zu allen anderen Strategien der anderen Spieler ist: * ' ' * ), ( ), ( i i i i i i i s s s s s s s > π π

7 Strategien: Beispiel Plagiatscheck Plagiatscheck (Gefangenendilemma) Plagiatscheck in AuD vor langer Zeit sehr gnädig 10 Punkte pro Aufgabenblatt Bei Plagiatsverdacht unabhängiges Verhör beider Studenten Gestehen beide, werden jedem 8 Punkte abgezogen Gesteht nur einer, bekommt dieser volle Punktzahl, der andere 0 Punkte Gesteht keiner bekommen beide Studenten im Schnitt 1 Punkt abgezogen Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 7

8 Strategien: Beispiel Plagiatscheck Student 2 Schweigen Gestehen Student 1 Schweigen (-1, -1) (-10, 0) Gestehen (0, -10) (-8, -8) Was ist die Best Response für S2? S1 Schweigt Gestehen S1 Gesteht Gestehen Da das Spiel symmetrisch ist, gilt das selbe auch für S1 Gestehen ist die Dominante Strategie In der Wirtschaft hat man dieses Dilemma bei Kartellbildung Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 8

9 Äquilibrium (Gleichgewicht) Wenn also beide Spieler gestehen ( Dominante Strategie), bildet dies ein Äquilibrium (in diesem Fall dominantes Äq. NASH-Äquilibrium) Äquilibrium(Gleichgewicht) Ein Äquilibrium ist ein Strategie-Profil, das für jeden der n Spieler eine beste Strategie enthält: s* = (s* 1,..., s* n ) NASH-Äquilibrium Ein Nash-Äquilibrium ist ein Strategie-Profil, bei dem kein Spieler Grund hat von seiner eigenen Strategie abzuweichen, sofern auch die anderen Spieler nicht abweichen ( jedes dom. Äq.). i * * ' * ', π ( si, s i ) π ( si, s i ), si Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 9

10 Wiederholtes Gefangendilemma AuD Plagiatscheck Die zwei Studenten geben jede Woche Plagiataufgaben ab. Immer die Dominante Strategie zu wählen bringt zwar für das jeweilige Spiel den maximalen Gewinn. Aber vielleicht lässt sich kooperativ mehr gewinnen. Welche Strategie könnte man noch verfolgen? Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 10

11 Tit-For-Tat Tit-For-Tat (Wie du mir, so ich dir) Spieler handelt in erstem Zug kooperativ Danach imitieren des vorherigen Zugs des Gegners Eigenschaften Klarheit (Es ist klar, was in jeder Runde zu tun ist) Freundlichkeit (Zwei TFT-Spieler kooperieren IMMER) Provozierbarkeit (Bestraft Unkooperativität) Nachsichtigkeit (Bei Bestrafung ist im nächsten Zug alles vergessen) Es stellt sich heraus, das TFT wirklich einer der gewinnbringendsten Strategien überhaupt ist. Noch freundlichere Varianten: Tit-For-Two-Tats (Bestrafung für 2 unkooperative Spielzüge des Gegners) Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 11

12 MiniMax: Null-Summen-Spiele Löst Null-Summen-Spiele mit perfekter Information Null-Summen-Spiel Die Summe aller Werte im Payoff-Vektor ist 0. Bei einem Zwei-Spieler-Spiel, bedeutet dies, dass ein Spieler versucht einen möglichst großen Payoff zu erreichen(maximierung). Der anderer versucht das Ergebnis des ersten Spielers zu minimieren. Das Spiel ist für keinen der Spieler ein Gewinn/Verlust. Perfekte Information Alle bereits getroffenen Entscheidungen und Voraussetzungen sind bekannt Beispiel: 4Gewinnt, Nim, Schach, Solitair Gegenbeispiele: Schere-Stein-Papier, Poker, Skat Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 12

13 MiniMax Spielbaum: Zeitlicher Verlauf der Entscheidungen Darstellung Kante Entscheidung Knoten Enthält Spieler Blatt Enthält Ergebnis S1 dec 11 dec 12 S2 S2 dec 21 dec 22 dec 21 dec 22 a b a b Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 13

14 MiniMax Funktionsweise Ziel Ansatz Umsetzung Laufzeit O(b d ) Optimale Strategie für den jeweiligen Spieler Zwei Spielertypen: Max-Spieler: Versucht Payoff-Vektor zu maximieren Min-Spieler: Versucht Payoff-Vektor zu minimieren Tiefensuche auf Spielbaum; Ergebnisse werden aus den Blättern nach oben gereicht. Der jeweilige Spielertyp wählt jeweils entweder Maximum oder Minimum aus. b=verzweigungsgrad=wahlmöglichkeiten d=suchtiefe= 2x Spielrunden Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 14

15 MiniMax int minimax(int depth, int type, int alpha, int beta ){ if (depth == 0) return evaluate (); // evaluate computes the result of the game int moves = getpossiblemovecount(); if (moves == 0) return evaluate (); for (int i = 0; i < moves; ++i ){ domove(i); score = minimax(depth-1, type * -1, alpha, beta); undomove(i); if (type == 1) alpha = max(score, alpha); else beta = min(score, beta); } if (type == 1)return alpha ; else return beta; } Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 15

16 Alpha-Beta-Pruning Tuning von MiniMax Problem Überlegung Idee MiniMax findet ein optimales Ergebnis, ist jedoch sehr aufwändig. Der gesamte Baum muss traversiert werden. Kann eine Tiefensuche früher abgebrochen werden? Einführung zweier Werte α (für Max-Spieler) und β (für Min-Spieler), die den aktuell bestmöglichen Payoff eines Spielers zwischenspeichern. So kann die Traversierung eines Asts frühzeitig abgebrochen werden, wenn für α oder β kein besseres Ergebnis erzielt werden kann. Laufzeit Worst Case: O(b d ) Average-Case: O(b 3/4d ) b= Verzweigungsgrad=Wahlmöglichkeiten d=suchtiefe=2xspielrunden Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 16

17 Alpha-Beta-Pruning (Max-Spieler) S1 α = 3 (Min-Spieler) S2 β = 3 S2 α >= β Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 17

18 Alpha-Beta-Pruning int minimax(int depth, int type, int alpha=int_min, int beta=int_max ){ if (depth == 0) return evaluate (); // evaluate computes the result of the game int moves = getpossiblemovecount(); if (moves == 0) return evaluate (); for (int i = 0; i < moves; ++i ){ domove(i); score = minimax(depth-1, type * -1, alpha, beta); undomove(i); if (type == 1) alpha = max(score, alpha); else beta = min(score, beta); if(alpha >= beta) break; } if (type == 1)return alpha ; else return beta; } Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 18

19 Alpha-Beta-Pruning (Erweiterungen/Optimierungen) Vorsortierung der Züge Vielversprechende Ergebnisse zuerst evaluieren, um dann möglichst viel wegwerfen zu können Killer Heuristik: Heueristik um Killer-Züge(Besonders gute Züge) zu entdecken und diese zu erst prüfen Iterative Tiefensuche Ergebnis der vorherigen Iterationen verwenden, um in höherer Suchtiefe Züge vor zu sortieren. Ruhesuche Bei großen Spielbäumen nicht bis zu einer festen suchtiefe iterieren, sondern über eine Bewertungsfunktion solange tiefer suchen, bis der Spielzug als annähernd konstant bewertet wird (Ruhe eingekehrt ist) z.b. könnte sonst das Schlagen eines gedeckten Bauers mit der Dame wegen zu geringer suchtiefe als vorteilhaft bewertet werden. Aspiration Windows: Ab einer gewissen suchtiefe kann bei der Tiefensuche angenommen werden, dass die Berechnung in höherer Tiefe einen ähnliches Ergebnis annimmt, wie vorher, daher kann das Ergebnis mit dem vorherigen Ergebnisswert initialisiert werden. Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 19

20 Alpha-Beta-Pruning Was bringen die Optimierungen? Algorithmus Bewertungen Cutoffs Anteil der Cutoffs Rechenzeit MiniMax ,00 % 134,87 s AlphaBeta ,50 % 9,88 s AlphaBeta + Zugsortierung ,28 % 0,99 s Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 20

21 Nim: Regeln / Spielsituationen Regeln Es gibt N verschiedene Haufen von Objekten (z.b. Streichhölzer). In jeder Runde muss ein Spieler mindestens ein Objekt von genau einem Haufen entfernen. Der Spieler, der kein Objekt mehr ziehen kann, hat verloren. Allgemein: Winning Position Eine Winning Position ist eine Spielsituation, die bei perfekter eigener Spielweise immer zum Sieg führt. Allgemein: Losing Position Eine Losing Position ist eine Spielsituation, die bei perfektem Spiel des Gegners immer zur Niederlage führen muss. Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 21

22 Nim: Strategie Verständlicher Ansatz Gegeben seien k Haufen von Objekten, wobei sich in jedem Haufen jeweils n 1, n 2,..., n k Objekte befinden. Interpretation der n i als binäre Zahlen Losing Position: Gerade Anzahl von 1 in jeder Spalte Winning Position: Ungerade Anzahl in einer Spalte Aus mehreren Spalten, mit ungerader 1-Zahl, kann man durch Entfernen immer eine gerade Zahl von 1 produzieren. Aus jeder Winning Position entsteht also eine Losing Position. Haben alle Spalten eine gerade 1-Zahl, so muss mindestens eine 1 weggenommen werden und somit entsteht aus jeder Losing Position eine Winning Position. Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 22

23 Nim: Beispiele Winning Position n 0 = 3 (0 1 1) 2 n 1 = 7 (1 1 1) 2 n 2 = 2 (0 1 0) 2 Nim-Summe =6 (1 1 0) 2 Loosing Position n 0 =3 (0 1 1) 2 n 1 =1 (0 0 1) 2 n 2 =2 (0 1 0) 2 Nim-Summe =0 (0 0 0) 2 Rechnerisch am besten XOR pro Bit(Spaltenweise) Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 23

24 Nim: Varianten Misére Regeln Gewinn- Strategie Das selbe Spielprinzip, dieses Mal verliert jedoch der Spieler, der den letzten Stein nehmen muss. Bei der normalen Variante wird darauf abgezielt, dass am Ende eine gerade Anzahl an Haufen zurückbleibt. Deshalb können wir darauf schließen, dass der Algorithmus der selbe ist wie beim Grundspiel. Der einzige Unterschied ist, dass sobald es zu einer Situation kommt, bei der nach dem Zug in jedem Haufen nur noch 1 Objekt liegen würde, der Zug so gewählt werden muss, dass nach ihm eine ungerade Anzahl an Haufen übrig bleibt. Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 24

25 Josephus-Problem Problemstellung Flavius Josephus lebt zur Zeit der Römer und wird gerade von diesen angegriffen: Flavius Josephus und 9 weitere Dorfbewohner flüchten sich in eine Höhle Um der Sklaverei zu entgehen, beschließen sie Selbstmord zu begehen Dazu stellen sie sich in einem Kreis auf, wobei jeder Zweite ermordet wird An welcher Position muss Josephus stehen, um als Letzter übrig zu bleiben und nicht zu sterben? Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 25

26 Josephus-Problem Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 26

27 Josephus-Problem Naive Lösung Jedes zweite Element wird entfernt, solange bis nur noch eines übrig ist. Laufzeit: O(n) Bessere Lösung Wir berechnen solange rekursiv den Index, der bei der vorherigen Runde an der gerade betrachteten Stelle liegt, bis nur noch einer übrig bleibt. Laufzeit: O(log(n)) Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 27

28 Josephus-Problem Gerade Anzahl Nachfolger: 2x Basisfall 1 ist trivial: Ungerade Anzahl Nachfolger: 2x +1 Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 28

29 Josephus-Problem Damit ergeben sich folgende Rekurrenzgleichungen J(1) = 1 J(2n) = 2J(n) -1 J(2n + 1) = 2J(n) int josephus(int n){ if(n == 1) return 1; if((n%2) == 0) return 2 * josephus(n / 2) - 1; if((n%2) == 1) return 2 * josephus((n - 1) / 2) + 1; } Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 29

30 Josephus-Problem Geht es noch schneller? Zahlenreihenvergleich n j(n) Hier fällt auf, dass es anscheinend eine aufsteigende Reihe ist, die bei jeder Zweierpotenz mit 1 beginnt. m m n = 2 + l und 0 l 2 f ( n) = 2l + 1 (Beweis per vollständiger Induktion) int josephus(int n) { int m = log2(n); int l = n pow(2,m); return 2*l + 1; } Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 30

31 Quellen Frederik Simon Spieltheorie, 18. Juli 2012 Tit-For-Tat MiniMax-Theorem Josephus-Problem Nash-Gleichgewicht Alpha-Beta-Suche Hallo Welt für Fortgeschrittene Spieltheorie Axel Jena Folie 31