NICHTKOOPERATIVE SPIELTHEORIE EINFÜHRUNG. Minimaxlösungen & Gleichgewichte

Transkript

1 NICHTKOOPERATIVE SPIELTHEORIE EINFÜHRUNG Minimaxlösungen & Gleichgewichte

2 Spieltheorie Einführungsbeispiel Gefangenendilemma (Prisoner s Dilemma) Nicht kooperierende Spielteilnehmer Spieler Gefangener B schweigt redet Aktionen Gefangener A schweigt redet 1 Jahr 1 Jahr 0 Jahre 3 Jahre 3 Jahre 0 Jahre 2 Jahre 2 Jahre Verlust 2

3 Minimax Szenario Minimax Strategie Gefangener A kennt Verlust von B nicht oder B möchte A größtmöglichen Schaden zufügen Gefangener wählt sichere Strategie reden gibt im schlimmsten Fall 2 Jahre und ist damit besser als schweigen Gefangener A schweigt redet Gefangener B schweigt 1 Jahr?? Jahre 0 Jahre?? Jahre redet 3 Jahre?? Jahre 2 Jahre?? Jahre 3

4 Nash Gleichgewicht Nash Gleichgewicht Stabiler Punkt: beide reden Weicht einer der Spieler von diesem Punkt ab, erhöht sich Verlust Gefangener B schweigt redet Gefangener A schweigt redet 1 Jahr 1 Jahr 0 Jahre 3 Jahre 3 Jahre 0 Jahre 2 Jahre 2 Jahre 4

5 Stackelberg Lösung Stackelberg Lösung Zuerst wählt A, anschließend B B hat Kenntnis über Aktion von A B wählt für jede Aktion von A sein Optimum Gefangener B schweigt redet Gefangener A schweigt redet 1 Jahr 1 Jahr 0 Jahre 3 Jahre 3 Jahre 0 Jahre 2 Jahre 2 Jahre 5

6 Stackelberg Lösung Stackelberg Lösung A sichert sich gegen die Reaktionen von B ab schweigt A würde B reden und A bekommt 3 Jahre redet A würde B reden und A bekommt 2 Jahre Gefangener B schweigt redet Gefangener A schweigt redet 1 Jahr 1 Jahr 0 Jahre 3 Jahre 3 Jahre 0 Jahre 2 Jahre 2 Jahre 6

7 Nullsummenspiel Normalform eines Spieles definiert durch Spieler P 1,, P n Aktionsräume A 1,, A n Verlustfunktionen V 1,, V n mit V i A 1 A n R Aktionsräume im Folgenden endlich Bei n = 2 darstellbar als Matrixspiel Nullsummenspiel n = 2, V 1 = V 2 wenn Gegner höchstmöglichen Schaden zufügen will wenn Zielkriterium des Gegners nicht bekannt 7

8 Nullsummenspiele Security Level für Spieler P 1 V 1 = min a 1 A 1 max a 2 A 2 V 1 (a 1, a 2 ) Security Level für Spieler P 2 V 2 = min a 2 A 2 max a 1 A 1 V 2 (a 1, a 2 ) = max a 2 A 2 Beispiel V 1 = 2 bei Zeile 3 V 2 = 1 bei Spalte 1 P1 min V 1 (a 1, a 2 ) a 1 A 1 P2 (4, -4) (-1, 1) (-2, 2) (-1, 1) (-2, 2) (3, -3) (1, -1) (2, -2) (1, -1) 8

9 Nullsummenspiel Security (Minimax) Strategie für Spieler P 1 a 1 = argmin a 1 A 1 max V 1 (a 1, a 2 ) a 2 A 2 Security (Minimax) Strategie für Spieler P 2 a 2 = argmin a 2 A 2 Beispiel a 1 = 3, a 2 = 1 V 1 a 1, a 2 = 1 Es gilt 9 max V 2 (a 1, a 2 ) a 1 A 1 V 1 V 1 (a 1, a 2 ) V 2 Keine Stabilität garantiert P1 P2 (4, -4) (-1, 1) (-2, 2) (-1, 1) (-2, 2) (3, -3) (1, -1) (2, -2) (1, -1)

10 Nullsummenspiel Equilibrium (stabile Punkte) 10 (a 1, a 2 ) ist Nash-Equilibrium wenn a 1 = argmin a 1 A 1 V 1 (a 1, a 2 ) a 2 = argmin a 2 A 2 V 2 (a 1, a 2 ) P1 Kein Equilibrium P2 (4, -4) (-1, 1) (-2, 2) (-1, 1) (-2, 2) (3, -3) (1, -1) (2, -2) (1, -1) P1 Equilibrium P2 (4, -4) (3, -3) (-2, 2) (-1, 1) (3, -3) (3, -3) (1, -1) (2, -2) (1, -1) V 1 = 2, V 2 = 1, V 1 a 1, a 2 = 1 V 1 = 2, V 2 = 2, V 1 a 1, a 2 = 2

11 Nullsummenspiel Resultat (für Nullsummenspiel) Äquivalenz der folgenden Aussagen V 1 = V 1 a 1, a 2 = V 2 Mindestens ein Nash-Equilibrium (a 1, a 2 ) existiert Gegeben V 1 = V 1 a 1, a 2 = V 2 (a 1, a 2 ) ist ein Nash-Equilibrium, genau dann wenn a 1 und a 2 Minimax Strategien für P 1 bzw. P 2 sind Einfache Möglichkeit Nash-Equilibria zu berechnen 11

12 Nullsummenspiel Folgerung: Equilibria sind austauschbar Sind (a 1, a 2 ) und (b 1, b 2 ) Equilibria, dann sind auch (a 1, b 2 ) und (b 1, a 2 ) Equilibria in einem Nullsummenspiel Mehrere Gleichgewichte Jeder Spieler wählt beliebiges Equilibrium Kann unterschiedliches sein Resultat ist immer ein Nash-Equilibrium Multiple Gleichgewichte in Nullsummenspielen sind unproblematisch Gibt es Spiele mit garantiertem Equilibrium? 12

13 Nullsummenspiel Gemischte Strategien Spieler wählen s i S i Verteilungen über Basisaktionen a i A i mit S i = A i R +, s i a i da i = 1 A i Minimierung erwarteter Verlust Beispiel Spieler 1 spielt s 1 = 1 3, 2 3, 0 Spieler 2 spielt s 2 = 0, 1 4, 3 4 Erwarteter Verlust Spieler 1: P1 P2 (4, -4) (-1, 1) (-2, 2) (-1, 1) (-2, 2) (3, -3) (1, -1) (2, -2) (1, -1) U(s 1, s 2 ) = E V 1 (a 1, a 2 = =

14 Nullsummenspiel Minimax Theorem In einem Nullsummenspiel mit gemischten Strategien gilt: V 1 = min max U 1 s 1, s 2 s 1 S 1 s 2 S 2 = max min U 1 (s 1, s 2 ) = V 2 s 2 S 2 s 1 S 1 Folgerung: Es existiert mindestens ein Nash Equilibrium 14

15 Nullsummenspiel Zusammenfassung (Nullsummenspiel) Minimax Strategie sichert maximalen Verlust Minimax Strategien führen immer zu Nash-Equilibria, wenn diese existieren Nash-Equilibria existieren bei Verwendung gemischter Strategien 15

16 Statische Zweispieler-Spiele Verallgmeinerung der Nullsummenspiele V 1 = V 2 wird nicht vorrausgesetzt Minimax Lösung Garantiert weiterhin einen maximalen Verlust Resultiert im Allgemeinen nicht in einem Nash- Gleichgewicht (selbst wenn eines existiert) 16

17 Statische Zweispieler-Spiele Nash-Gleichgewichte Existenz ist nicht garantiert (analog zu Nullsummenspiel) Existenz ist nicht äquivalent zu V 1 = V 1 a 1, a 2 = V 2 Kombinationen verschiedene Equilibria sind im Allgemeinen keine Equilibria Können nicht durch die Berechnung von Minimax Strategien ermittelt werden Kann man verschiedene Eigenschaften garantieren oder hinreichende Kriterien für diese ermitteln? 17

18 Statische Zweispieler-Spiele Existenz von Nash-Gleichgewicht Jedes N-Personen Spiel in Normalform mit endlichen Aktionsräumen besitzt ein Nash-Gleichgewicht in gemischten Strategien Eindeutigkeit von Nash-Gleichgewichten Satz von Rosen Konvexität in kombinierter Verlustfunktion garantiert eindeutiges Equilibrium 18

19 Spiele in extensiver Form Bisher: Gleichzeitiges Spielen Information über tatsächlicher Zug des Gegners nicht für eigene Aktion nutzbar Ziel der Modellierung: Nacheinander Ausspielen der Aktionen Aktionen sind Folgespielern bekannt Normalform ungeeignete Darstellung 19

20 Spiele in extensiver Form Extensive Form n Spieler P 1,, P n Baumstruktur mit gelabelten Kanten T - Menge der Terminalknoten K - Menge der inneren Knoten A - Menge der Label auf Kanten L R n disjunkte Labelmengen A 1,, A n mit A = n Kostenfunktionen V i T R n disjunkte Knotenmengen K 1,, K n mit K = n i=1 A i n i=1 k i disjunkte Informationsmengen I i 1,, I i k i mit Ki = K i k i j=1 Alle Knoten einer Informationsmenge I i j besitzen identische Verzweigungslabel Strategiemengen S i I i 1,, I i k i Ai mit i = 1,, n L M R L R L R 0,-1-2,1 3,2 0,3 2,1-1,1 I i j P1 P2 20

21 Spiele in extensiver Form Nash Gleichgewicht Extensive Formen können in Normalformen transformiert werden Anzahl der Aktionen in Normalform für Spieler erhöhen sich auf bis zu A i k i Minimax Lösungen möglich Baumstruktur Max für jeden Teilbaum Min über Teilbäume L L R M R L R L R 0,-1-2,1 3,2 0,3 2,1-1,1 P1 P2 21

22 Spiele in extensiver Form Spezialfall (für zwei Spieler) I i j = 1 für j = 1,, k i und i = 1,2 Minimax und Nash zu pessimistisch für Startspieler P 1 Startspieler kennt Reaktion auf seine Züge Best Response Menge für a 1 A 1 φ a 1 = a A 2 V 2 a 1, a V 2 a 1, a 2, a 2 A 2 22

23 Spiele in extensiver Form Best Response (Beispiel) φ L = L, φ M = L, φ R = L, R, Stackelberg-Lösung für Spieler P 1 a 1 = argmin a 1 A 1 max a 2 φ a 1 V 1 a 1, a 2 Für P 1 garantiert besser als Nash-Lösung Minimax-Lösung L L R M R L R L R P1 P2 0,-1-2,1 3,2 0,3 2,1-1,1 23

24 Spiele in extensiver Form Stackelberg Lösung Besser für Spieler auf deren Aktionen reagiert wird Rekursiv auf n Spieler erweiterbar Existenz der Lösung gesichert Multiple Lösung unproblematisch Startspieler diktiert, welche angespielt wird 24