Vorlesung: Nicht-kooperative Spieltheorie Teil 4: 2-Personen-Nullsummenspiele Dr. Thomas Krieger Wintertrimester 2009 Dr. Thomas Krieger Vorlesung: Nicht-kooperative Spieltheorie 1
Definition 2-Personen-Nullsummenspiele Definition 20 Ein 2-Personen-Normalformspiel G = ({1, 2}, (S 1, S 2 ), (u 1, u 2 )) heisst Zweipersonen-Nullsummenspiel, wenn für alle s 1 S 1 s 2 S 2 gilt: u 1 (s) + u 2 (s) = 0. Um ein Zweipersonen-Nullsummenspiel beschreiben zu können, reicht es aus, u 1 : S 1 S 2 R anzugeben. Anstelle von ({1, 2}, (S 1, S 2 ), (u 1, u 2 )) wird deshalb einfach ((S 1, S 2 ), u 1 ) geschrieben. Die obige Definition macht für beliebige 2-Personen-Normalformspiel Sinn, d.h., S i < muss hier nicht gefordert werden. Dr. Thomas Krieger Vorlesung: Nicht-kooperative Spieltheorie 2
Nash-Gleichgewichte in Nullsummenspielen Die Definition kann auch auf mehrere Spieler ausgedehnt werden, z.b. gilt in einem 3-Personen-Nullsummenspiel u 1 (s) + u 2 (s) + u 3 (s) = 0. Von Bedeutung ist das folgende Lemma 21 Es sei G = ((S 1, S 2 ), u 1 ) ein 2-Personen-Nullsummenspiel. Dann sind äquivalent: (s1, s 2 ) S ist ein Nash-Gleichgewicht von G. Für alle s 1 S 1 s 2 S 2 gilt: u 1 (s 1, s 2 ) u 1 (s 1, s 2 ) u 1 (s 1, s 2 ). Dr. Thomas Krieger Vorlesung: Nicht-kooperative Spieltheorie 3
Das Konzept des Sattelpunktes Wir definieren daher: Definition 22 Ein Strategientupel (s1, s 2 ) S heißt Sattelpunkt des 2-Personen-Nullsummenspieles G = ((S 1, S 2 ), u 1 ), falls gilt: u 1 (s 1, s 2 ) = max s 1 S 1 u 1 (s 1, s 2 ) = min s 2 S 2 u 1 (s 1, s 2). 10 y 5 Es sei S 1 = S 2 = [ 10, 10] u 1 (s 1, s 2 ) := s 2 1 s2 2. Dann ist s 1 = s 2 = 0 der Sattelpunkt, siehe auch: 5 10 100 50 U H x,yl 0 50 100 10 0 5 0 x 5 10 Dr. Thomas Krieger Vorlesung: Nicht-kooperative Spieltheorie 4
Sattelpunkte in reinen Strategien (1) Wir gehen davon aus, dass das 2-Personen-Nullsummenspiel G = ((S 1, S 2 ), u 1 ) mittels einer Matrix A gegeben ist, also a i,j := u 1 (i, j) für alle (i, j) S 1 S 2. Wir definieren den sogenannten Zeilen- Spaltenwert: v Z (A) := max i v S (A) := min j min a ij j max a ij. i (Interpretation der beiden Werte? -> garantierte Auszahlung) Für eine beliebige Matrix A gilt: v Z (A) v S (A). Dr. Thomas Krieger Vorlesung: Nicht-kooperative Spieltheorie 5
Sattelpunkte in reinen Strategien (2) Lemma 23 Für eine beliebiges Matrixspiel A sind äquivalent: Es gibt einen Sattelpunkt in reinen Strategien. v Z (A) = v S (A). Diese Zahl wird Wert des Matrixspiels A genannt. Beweis siehe Vorlesung Operations Research. Beispiele siehe Tafel. Obiges Lemma liefert Entscheidungskriterium, ob ein Sattelpunkt in reinen Strategien existiert oder nicht gegebenenfalls eine Berechnungsvorschrift. Dr. Thomas Krieger Vorlesung: Nicht-kooperative Spieltheorie 6
Sattelpunkte in gemischten Strategien (1) Gilt nun v Z (A) < v S (A), dann gibt es nach Lemma 23 keinen Sattelpunkt in reinen Strategien wir suchen nach einem Sattelpunkt in gemischten Strategien. Wir definieren analog zu Folie 5 den Zeilen- Spaltenwert des Matrixspiels A durch ṽ Z (A) = max q 1 Q 1 ṽ S (A) = min q 2 Q 2 min q 2 Q 2 q T 1 A q 2 max q1 T A q 2. q 1 Q 1 (Interpretation der beiden Werte? -> garantierte erwartete Auszahlung). ṽ Z (A) ṽ S (A) sind wohl-definiert. Wieder gilt: ṽ Z (A) ṽ S (A). Dr. Thomas Krieger Vorlesung: Nicht-kooperative Spieltheorie 7
Sattelpunkte in gemischten Strategien (2) Minimax-Theorem 24 (von Neumann, 1928) Sei A ein beliebiges Matrixspiel. Dann gilt ṽ Z (A) = ṽ S (A). Diese Zahl heisst Wert des Spiels. Welche Beziehung besteht nun zwischen einem Sattelpunkt eines Nullsummenspiels dem Minimax-Theorem? Theorem 25 Für ein beliebiges Matrixspiel A sind äquivalent: Es gibt einen Sattelpunkt in gemischten Strategien. ṽ Z (A) = ṽ S (A). Dr. Thomas Krieger Vorlesung: Nicht-kooperative Spieltheorie 8
Bemerkungen Beweise dieser Aussagen finden Sie in der Vorlesung Operations Research. Theorem 24 25 zusammen liefern die Existenz eines Sattelpunktes in gemischten Strategien (vgl. auch Satz von Nash). Welche 2-Personen-Nullsummenspiele haben wir in der Vorlesung/Übung bisher behandelt? Welche hatten Sattelpunkte in reinen Strategien? Dr. Thomas Krieger Vorlesung: Nicht-kooperative Spieltheorie 9
Wichtige Eigenschaften (1) Matrixspiele haben viele bemerkenswerte Eigenschaften, von denen hier nur drei genannt werden. Lemma 27 Für jedes Matrixspiel A gilt: 1 Rechteckeigenschaft: Sind (q 1, q 2 ) ( q 1, q 2 ) Sattelpunkte, so sind auch (q 1, q 2 ) ( q 1, q 2 ) Sattelpunkte. 2 Auszahlungsäquivalenz: Es gilt u 1 (q 1, q 2 ) = u 1( q 1, q 2 ) = u 1(q 1, q 2 ) = u 1( q 1, q 2 ). 3 Die Menge der Sattelpunkt-Strategien eines jeden Spielers ist konvex. = Beweis siehe Literatur. Dr. Thomas Krieger Vorlesung: Nicht-kooperative Spieltheorie 10
Wichtige Eigenschaften (2) D.h., insbesondere, dass bei 2-Personen-Nullsummenspielen keine Gleichgewichtsauswahltheorie benötigt wird: Jede Kombination von Sattelpunkt-Strategien liefert wieder einen Sattelpunkt die zugehörigen Auszahlungen sind gleich. ein Matrixspiel genau einen Sattelpunkt oder überabzählbar viele Sattelpunkte besitzt. Dr. Thomas Krieger Vorlesung: Nicht-kooperative Spieltheorie 11
Lösungsmethoden Zur Lösung von Matrixspielen gibt es eine Fülle von Lösungsmethoden, z.b.: ein graphisches Verfahren zur Lösung von 2 m bzw. n 2 Spielen (siehe später) Lineare Optimierung (siehe Vorlesung Operations Research ) Matrizenmethode von Shapley-Snow (wird hier nicht behandelt) Methode des fingierten Spiels nach Brown-Robinson (siehe später) u.a. Dr. Thomas Krieger Vorlesung: Nicht-kooperative Spieltheorie 12
Lösungsverfahren für 2 n - Nullsummenspiele (1) Wir diskutieren das Verfahren an einem Beispiel betrachten dazu die Matrix ( ) 4 4 1 A =. 4 4 2 Der Spielwert des Spieles ist gegeben durch v = ṽ Z (A) = max q 1 min q 2 wobei e j der j-te Einheitsvektor ist. q T 1 A q 2 = max q 1 min j q T 1 A e j, Dr. Thomas Krieger Vorlesung: Nicht-kooperative Spieltheorie 13
4 4 1 M = : Lösungsverfahren für 2 n - Nullsummenspiele 4 4 2 (2) Entsprechend den Sätzen 4.10 4.12 ist der Spielwert des Spieles gegeben durch Nun ist jedes p von der Form (p 1, 1 p 1 ) mit 0 p 1 1. Wir v(m) =v Z (M) = max min H(p; j): p schreiben j Nun ist jedes p von der Form (p 1 ; 1 p 1 ) mit 0» p 1» 1. Wir schreiben π 1 (p 1 ) = 4p 1 4(1 p 1 ) = 8p 1 4 ß 1 (p 1 )=4p 1 4(1 p 1 )=8p 1 4 ß 2 (p 1 )= 4p 1 + 4(1 p 1 )= 8p 1 +4 ß 3 (p 1 )=p 1 2(1 p 1 )=3p 1 2: π 2 (p 1 ) = 4p 1 + 4(1 p 1 ) = 8p 1 + 4 π 3 (p 1 ) = p 1 2(1 p 1 ) = 3p 1 2. In Figur 6.1 sind diese Geraden graphisch dargestellt. 4 ß2 ß 1 Graphische Darstellung der Geraden: 0-2 ß 3 1 p 1-4 Dr. Thomas Krieger Vorlesung: Nicht-kooperative Spieltheorie 14
Lösungsverfahren für 2 n - Nullsummenspiele (3) Aus Grafik folgt: das Maximum des Minimums liegt beim Schnittpunkt von π 2 π 3, also bei p1 = 6/11. Somit gilt v Z (A) = π 2 (6/11) = π 3 (6/11) = 4/11. Weiter sehen wir π 1 (p1 ) > min π j (p1 ), j d.h., (mit dem Antwortsatz), daß Spalte 1 inaktiv für jede optimale Strategie des Spaltenspielers ist. Somit können wir der Spalte 1 die Wahrscheinlichkeit null zuordnen, es verbleibt ein 2 2-Spiel. Die optimale Strategie des Spaltenspielers stellt sich damit als (0, 3/11, 8/11) heraus. Entsprechende Verfahren gelten natürlich für 2 n - Spiele m 2 - Spiele mit m, n 3. Dr. Thomas Krieger Vorlesung: Nicht-kooperative Spieltheorie 15
Methode des fingierten Spiels (1) Wir diskutieren das Verfahren wieder an einem Beispiel: Dazu betrachten wir als Beispiel das Matrixspiel mit 3 2 3 A = 0 5 2. 5 0 7 Grlegende Idee: Versuche die Strategie des Gegners zu erkennen richte danach deine eigene Entscheidung aus. Angenommen, Spieler 2 wählt in den ersten 10 Partien (Achtung: Partien gibt es im Ausgangsspiel nicht! -> One-Shot-Game) folgende Häufigkeiten: Spieler 2 Erste reine Strategie Zweite reine Strategie Dritte reine Strategie Häufigkeit in den ersten 10 Partien 5 2 3 Spieler 1 Erste reine Strategie Zweite reine Strategie Dritte reine Strategie Häufigkeit in den ersten Dr. Thomas Krieger Vorlesung: Nicht-kooperative Spieltheorie 16
Methode des fingierten Spiels (2) Verfährt nun Spieler 2 weiterhin nach Strategie ( 5 10, 2 10, 3 ), 10 so hat Spieler 1 folgende Gewinnerwartung: 1 10 1 10 1 10 (5 3 2 ( 2) + 3 ( 3)) = 2 10 (5 0 + 2 5 + 3 ( 2)) = 4 10 (5 ( 5) + 2 0 + 3 7) = 4 10 = Spieler 1 wählt in der nächsten Re also seine 2-te reine Strategie. Dr. Thomas Krieger Vorlesung: Nicht-kooperative Spieltheorie 17
Methode des fingierten Spiels (3) Angenommen, Spieler 1 wählt in den ersten 10 Partien folgende Häufigkeiten: Spieler 2 Erste reine Strategie Zweite reine Strategie Dritte reine Strategie Häufigkeit in den ersten 10 Partien 5 2 3 Spieler 1 Erste reine Strategie Zweite reine Strategie Dritte reine Strategie Häufigkeit in den ersten 10 Partien 6 1 3 = Spieler 2 wird nun in der nächsten Partie seine 2-te reine Strategie wählen. Verfährt der Computer weiterhin auf diese Art, so führt dies schließlich zu einer Gewinnerwartung, die Näherungsweise dem Wert des Spiels entspricht. Dr. Thomas Krieger Vorlesung: Nicht-kooperative Spieltheorie 18
Häufigkeit in den ersten 10 Partien 2-Personen-Nullsummenspiele 5 2 3 Methode des fingierten Spiels (4) Spieler 1 Erste reine Strategie Zweite reine Strategie Dritte reine Strategie Häufigkeit in den ersten 6 1 3 Für 10 Partien unser Beispiel gilt: Partie Sp 1 Sp 2 Zeilenhäufigkeit Zeilensumme Spaltenhäufigkeit Spaltensumme 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 0 0 3-2 -3 1 0 0 3 0-5 2 1 3 2 0 0 6-4 -6 1 0 1 0-2 2 3 3 3 2 0 1 1-4 1 1 0 2-3 -4 9 4 3 2 2 0 2-4 -4 8 1 1 2-5 1 9 5 3 1 2 0 3-9 -4 15 2 1 2-2 1 4 100 56 16 28 28-32 -4 54 17 29 41 27-67 200 109 39 52 67-23 -41 107 24 69 66-18 -52 Es sei Z k die minimale Komponente der k-ten Zeilensumme S k die maximale Komponente der k-ten Spaltensumme. Ist v der Wert des Spiels, so gilt für alle k = 1, 2,... Z k k v S k k. Dr. Thomas Krieger Vorlesung: Nicht-kooperative Spieltheorie 19
Methode des fingierten Spiels (5) Für den Wert des Spiels können wir daher abschätzen (gibt die Tabelle nicht her): 0.13 = 12 90 v 66 200 = 0.33. Es sei x(k) bzw. y(k) die k-te Näherung an eine optimale Strategie, dann gilt z.b. ( 109 x(200) = 200, 39 200, 52 ) ( 107 y(200) = 200 200, 24 200, 69 ) 200 Die Lösung des Spiels ist ( 1 x = 2, 3 14, 2 ) y = 17 mit v = 0.0714. ( 17 35, 11 70, 5 ) 14 Dr. Thomas Krieger Vorlesung: Nicht-kooperative Spieltheorie 20
Methode des fingierten Spiels (6) Grsätzlich gilt: Ist das Matrixspiel eindeutig lösbar, dann konvergiert (x(k), y(k)) k N gegen den Sattelpunkt. Ist das Matrixspiel nicht eindeutig lösbar, so kann es passieren, dass (x(k), y(k)) k N nicht konvergiert. In diesem Fall gilt jedoch, dass jede konvergente Teilfolge gegen einen Sattelpunkt des Spiels konvergiert. Das Verfahren kann nicht verwendet werden, um Nash-Gleichgewichte in Bimatrix-Spielen zu bestimmen (siehe das Beispiel in Owen). Dr. Thomas Krieger Vorlesung: Nicht-kooperative Spieltheorie 21
Literatur 2-Personen-Nullsummenspiele R. Avenhaus: Vorlesungen über Nicht-kooperative Spieltheorie, Vorlesungsskript, Universität der Beswehr München, Frühjahr 1999. W. Krabs: Spieltheorie: Dynamische Behandlung von Spielen. Vieweg-Teubner-Verlag, 2005. P. Morris: Introduction to Game Theory. Springer-Verlag, Heidelberg, 1994. M. Dresher: Strategische Spiele - Theorie Praxis. Verlag Industrielle Organisation, Zürich, 1961. G. Schrage, R. Baumann: Strategiespiele: Computerorientierte Einführung in Algorithmen der Spieltheorie. R. Oldenbourg Verlag, München Wien, 1984. G. Owen: Spieltheorie. Springer-Verlag, Heidelberg, 1971. Dr. Thomas Krieger Vorlesung: Nicht-kooperative Spieltheorie 22