Kapitel 4: Gemischte Strategien. Literatur: Tadelis Chapter 6

Transkript

1 Kapitel 4: Gemischte Strategien Literatur: Tadelis Chapter 6

2 Idee In vielen Spielen gibt es kein Nash Gleichgewicht in reinen Strategien (und auch kein Gleichgewicht in dominanten Strategien) Darüber hinaus sind bei vielen Spielen alle Strategieprofile rationalisierbare Gleichgewichte und iterative-eliminierungs Gleichgewichte Unsere bisherigen Gleichgewichtskonzepte sind dann wenig hilfreich 2/1

3 Beispiel: Matching Pennies Die Spieler legen ihre Münze verdeckt auf den Tisch Jeder Spieler entscheidet, ob Kopf (K) oder Zahl (Z) bei seiner Münze oben liegt Bei gleichen Aktionen gewinnt Spieler 1, sonst Spieler 2 Anmerkung: Das Spiel kann auch als Elfmeterschießen zwischen einem Torwart und einem Schützen interpretiert werden (gleiches Eck=Torwart gewinnt, unterschiedliche Ecken=Schütze gewinnt) Spieler 1 Spieler 2 K Z K 1, 1 1,1 Z 1,1 1, 1 3/1

4 Gemischte Strategien Wenn man gemischte Strategien zulässt gibt es in den meisten Spielen ein Nash Gleichgewicht Bei gemischten Strategien randomisiert ein Spieler zwischen reinen Strategien 4/1

5 Weiteres Beispiel Betrachten Sie das Spiel Schere-Stein-Papier Spieler 1 Spieler 2 Schere Stein Papier Schere 0, 0 1, 1 1, 1 Stein 1, 1 0, 0 1, 1 Papier 1, 1 1, 1 0, 0 Gibt es hier ein Nash Gleichgewicht in reinen Strategien? Ein Gleichgewicht in dominanten Strategien? Sind alle Strategieprofile rationalisierbare Gleichgewichte und iterative-eliminierungs Gleichgewichte? 5/1

6 Kapitel 4.1: Strategien, Beliefs und Erwartete Auszahlung

7 Definition Gemischte Strategie Definition 1 Die endliche Menge reiner Strategien von Spieler i wird mit S i = {s i1,s i2,...,s im } bezeichnet. Wir definieren S i als den Simplex von S i, welcher der Menge aller Wahrscheinlichkeitsverteilungen über S i entspricht. Eine gemischte Strategie für Spieler i ist ein Element σ i S i, so dass σ i = {σ i (s i1 ),σ i (s i2 ),...,σ i (s im )} eine Wahrscheinlichkeitsverteilung über S i ist, wobei σ i (s i ) die Wahrscheinlichkeit ist, dass Spieler i die Strategie s i spielt. 7/1

8 Anmerkungen Eine gemischte Strategie ist also einfach eine Wahrscheinlichkeitsverteilung über die Menge reiner Strategien Da σ i ( ) eine Wahrscheinlichkeitsverteilung ist, sind die Wahrscheinlichkeiten σi (s i ) für alle Strategien s i S i nicht negativ, σ i (s i ) 0, und die Wahrscheinlichkeiten summieren sich auf eins, s i S i σ i (s i ) = 1 Eine reine Strategie kann als gemischte Strategie mit degenerierter Wahrscheinlichkeitsverteilung (die gesamte Wahrscheinlichkeitsmasse liegt nur auf einer Strategie) interpretiert werden 8/1

9 Simplex Matching Pennies Beim Spiel Matching Pennies ist die Menge reiner Strategien S i = {K,Z} Der Simplex ist dann S i = {σ i (K),σ i (Z) : σ i (K),σ i (Z) 0, σ i (K)+σ i (Z) = 1} Grafisch sieht der Simplex wie folgt aus: 9/1

10 Simplex Schere-Stein-Papier Beim Spiel Schere-Stein-Papier ist die Menge reiner Strategien S i = {Schere,Stein,Papier} Der Simplex ist dann S i = {σ i (Schere),σ i (Stein),σ i (Papier) : σ i (Schere),σ i (Stein),σ i (Papier) 0, Grafisch sieht der Simplex wie folgt aus: σ i (Schere)+σ i (Stein)+σ i (Papier) = 1} 10/1

11 Definition Support Bei einer gemischten Strategie muss der Spieler nicht zwangsläufig alle reinen Strategien mit positiven Wahrscheinlichkeit wählen Extremfall reine Strategie: nur eine reine Strategie wird mit positiver Wahrscheinlichkeit gewählt Definition 2 Gegeben eine gemischte Strategie σ i ( ) von Spieler i, eine reine Strategie s i S i ist im Support von σ i ( ) wenn diese mit positiver Wahrscheinlichkeit von Spieler i gespielt wird, d.h. σ i (s i ) > 0 ist. 11/1

12 Beispiel Im Spiel Schere-Stein-Papier verfolgt Spieler 2 folgende Strategie: Stein und Papier mit gleicher Wahrscheinlichkeit, aber niemals Schere Dann ist σ 2 (Schere) = 0, σ 2 (Stein) = σ 2 (Papier) = 0,5 Im Support von σ 2 ( ) ist daher Stein und Papier, aber nicht Schere 12/1

13 Kontinuierliche Strategien Bei einigen interessanten Spielen ist die Menge der reinen Strategien nicht endlich Wir wollen auch für solche Spiele definieren, was eine gemischte Strategie ist Definition 3 Gegeben die Menge der reinen Strategien S i ist ein Intervall. Eine gemischte Strategie für Spieler i ist eine kumulierte Wahrscheinlichkeitsverteilung F i : S i [0,1], wobei F i (x) = Prob(s i x) ist. Falls F i ( ) differenzierbar mit Dichte f i ( ) ist, dann ist die Strategie s i S i im Support von F i ( ) falls f i (s i ) > 0 ist. 13/1

14 Beispiel Mengenwettbewerb Spieler 1 kann eine Produktionsmenge zwischen 0 und 100 wählen, S 1 = [0,100] Er hat folgende Strategie: niemals weniger als 30 oder mehr als 50 produzieren; die Produktionsmenge zwischen 30 und 50 wird durch eine Gleichverteilung ausgewählt Dann ist die Verteilungsfunktion 0 für s 1 < 30, s F 1 (s 1 ) = 1 30 für s 20 1 [30,50], 1 für s 1 > 50 Und die Dichte 0 für s 1 < 30, 1 f 1 (s 1 ) = für s 20 1 [30,50], 0 für s 1 > 50 14/1

15 Erwartete Auszahlung Die erwartete Auszahlung von Spieler i wenn er die reine Strategie s i S i wählt und die anderen Spieler die gemischte Strategie σ i S i ist v i (s i,σ i ) = s i S i σ i (s i )v i (s i,s i ) Wenn Spieler i die gemischte Strategie σ i S i wählt ist seine erwartete Auszahlung v i (σ i,σ i ) = s i S i σ i (s i )v i (s i,σ i ) = σ i (s i )σ i (s i )v i (s i,s i ) s i S i s i S i Anmerkung: bei kontinuierlichen Strategien können mit Hilfe von Integralen erwartete Auszahlungen berechnet werden 15/1

16 Beispiel Im Spiel Schere-Stein-Papier spielt Spieler 2 die gemischte Strategie σ 2 (Schere) = 0, σ 2 (Stein) = σ 2 (Papier) = 0,5 Wir können dann die erwarteten Auszahlungen von Spieler 1 bei seinen reinen Strategien ausrechnen: v 1 (Schere,σ 2 ) = 0 0+0,5 ( 1)+0,5 1 = 0 v 1 (Stein,σ 2 ) = 0 1+0,5 0+0,5 ( 1) = 0,5 v 1 (Papier,σ 2 ) = 0 ( 1)+0,5 1+0,5 0 = 0,5 16/1

17 Kapitel 4.2: Nash Gleichgewicht in Gemischten Strategien

18 Allgemeine Definition Nash Gleichgewicht Wir können nun das Konzept des Nash Gleichgewichts verallgemeinern Definition 4 Das gemischte Strategienprofil σ = (σ 1,σ 2,...,σ n) ist ein Nash Gleichgewicht, falls für jeden Spieler i N die Strategie σ i eine beste Antwort auf σ i ist: v i (σ i,σ i) v i (σ i,σ i) für alle σ i S i. Es wird also wieder verlangt, dass in einem Nash Gleichgewicht die Strategien der Spieler gegenseitig beste Antworten sind 18/1

19 Interpretation Wie auch im Falle reiner Strategien können wir das Konzept des Nash Gleichgewichts auch mit Hilfe von beliefs interpretieren: Rationalität verlangt, dass jeder Spieler eine beste Antwort wählt, gegeben seine beliefs Im Nash Gleichgewicht müssen die beliefs korrekt sein 19/1

20 Definition Beliefs bei Gemischten Strategien Definition 5 Ein belief von Spieler i ist gegeben durch eine Wahrscheinlichkeitsverteilung π i S i über die Strategien der anderen Spieler. Wir bezeichnen mit π i (s i ) die Wahrscheinlichkeit welche Spieler i dem Strategieprofil der anderen Spieler s i S i zuweist. Beispiel: Wenn Spieler 1 glaubt, dass Spieler 2 mit Wahrscheinlichkeit 0,5 Schere spielen wird, dann ist π 1 (s 2 = Schere) = 0,5 20/1

21 Ergebnis Wir betrachten einen Spieler i, welcher eine echt gemischte Strategie σ i im Nash Gleichgewicht wählt Alle reinen Strategien, welche er mit positiven Wahrscheinlichkeit wählt, müssen die gleiche erwartete Auszahlung liefern Grund: Falls das nicht der Fall ist, kann Spieler i seine erwartete Auszahlung steigern, indem er reine Strategien mit hohen Auszahlungen häufiger spielt und reine Strategien mit niedrigen Auszahlungen seltener Dies widerspricht aber der Voraussetzung, dass im Nash Gleichgewicht v i (σ i,σ i ) v i(σ i,σ i ) für alle σ i S i gilt 21/1

22 Ergebnis Formal Proposition 1 σ sei ein Nash Gleichgewicht. Dann gilt für jeden Spieler i N, dass alle seine reinen Strategien im Support von σ i die gleiche erwartete Auszahlung liefern: v i (s i,σ i) = v i (σ i,σ i) für alle s i Support(σ i ). Ein Spieler, welcher eine gemischte Strategie spielt, muss im Nash Gleichgewicht also indifferent zwischen allen reinen Strategien sein, welche er mit positiver Wahrscheinlichkeit auswählt Dieses Ergebnis ist sehr nützlich, um gemischte Gleichgewichte zu bestimmen 22/1

23 Matching Pennies Wir betrachten das Spiel Matching Pennies Spieler 1 Spieler 2 K Z K 1, 1 1,1 Z 1,1 1, 1 Wir wissen bereits, dass es kein Nash Gleichgewicht in reinen Strategien gibt Gibt es ein Nash Gleichgewicht in gemischten Strategien? 23/1

24 Analyse Wir bezeichnen die Wahrscheinlichkeit, dass Spieler 1 Kopf spielt, mit p Dann spielt Spieler 1 mit Wahrscheinlichkeit 1 p Zahl Wir bezeichnen die Wahrscheinlichkeit, dass Spieler 2 Kopf spielt, mit q Dann spielt Spieler 2 mit Wahrscheinlichkeit 1 q Zahl Man kann das auch formaler ausdrücken: p := σ 1 (K), q := σ 2 (K), weshalb σ 1 (Z) = 1 p, σ 2 (Z) = 1 q ist 24/1

25 Die erwarteten Auszahlungen für Spieler 1 sind: v 1 (K,σ 2 ) = q 1+(1 q) ( 1) = 2q 1 v 1 (Z,σ 2 ) = q ( 1)+(1 q) 1 = 1 2q Für q > 1/2 ist v 1 (K,σ 2 ) > v 1 (Z,σ 2 ) Dann ist die beste Antwort von Spieler 1 die reine Strategie K Für q < 1/2 ist v 1 (K,σ 2 ) < v 1 (Z,σ 2 ) Dann ist die beste Antwort von Spieler 1 die reine Strategie Z Nur für q = 1/2 ist v 1 (K,σ 2 ) = v 1 (Z,σ 2 ) Nur dann ist Spieler 1 indifferent zwischen seinen beiden reinen Strategien Und damit bereit eine gemischte Strategie zu spielen (vgl. Proposition 1)

26 Analog erhalten wir die erwarteten Auszahlungen für Spieler 2: v 2 (K,σ 1 ) = p ( 1)+(1 p) 1) = 1 2p v 2 (Z,σ 1 ) = p 1+(1 p) ( 1) = 2p 1 Für p > 1/2 ist v 2 (K,σ 2 ) < v 2 (Z,σ 2 ) Dann ist die beste Antwort von Spieler 1 die reine Strategie Z Für p < 1/2 ist v 2 (K,σ 2 ) > v 2 (Z,σ 2 ) Dann ist die beste Antwort von Spieler 1 die reine Strategie K Nur für p = 1/2 ist v 2 (K,σ 2 ) = v 2 (Z,σ 2 ) Nur dann ist Spieler 2 indifferent zwischen seinen beiden reinen Strategien Und damit bereit eine gemischte Strategie zu spielen (vgl. Proposition 1)

27 Nash Gleichgewicht Das Nash Gleichgewicht in gemischten Strategien ist also p = q = 1/2 Oder etwas formaler ausgedrückt σ 1(K) = σ 1(Z) = σ 2(K) = σ 2(Z) = 1/2 Dann kann keiner der Spieler seine erwartete Auszahlung steigern, indem er eine andere Strategie wählt, gegeben das der andere Spieler die Gleichgewichtsstrategie spielt Die Strategien der Spieler sind gegenseitig beste Antworten 27/1

28 Interpretation Damit Spieler 1 indifferent ist zwischen seinen reinen Strategien (und damit bereit zu mischen), muss Spieler 2 eine bestimmte Strategie verfolgen Die Indifferenzbedingung von Spieler 1 legt also die Gleichgewichtsstrategie von Spieler 2 fest! Gleiches gilt für die Indifferenz von Spieler 2 und die Gleichgewichtsstrategie von Spieler 1 28/1

29 Frage 4.1 Bestimmen Sie das Nash Gleichgewicht im Spiel Kampf der Geschlechter Antwort: Alex Chris O F O 2,1 0,0 F 0,0 1,2 29/1

30 Erweitertes Elfmeterspiel Der Schütze kann links oder rechts auf das Tor zielen Wenn der Schütze links zielt schießt er mit einer Wahrscheinlichkeit von 0,2 daneben, wenn er rechts zielt mit Wahrscheinlichkeit 0 Wenn der Schütze nicht daneben zielt macht er mit Sicherheit ein Tor wenn der Torhüter die andere Richtung wählt mit Wahrscheinlichkeit 0,5 ein Tor wenn der Torhüter die gleiche Richtung wählt Die Auszahlung des Schützen ist 1 wenn er ein Tor erzielt und -1 wenn er keines erzielt Für den Torhüter sind die Auszahlungen umgekehrt 30/1

31 Fragen 4.2 Stellen Sie das Spiel in Matrixform dar Hinweis: In den Zellen der Matrix sollten die erwarteten Auszahlungen der Spieler stehen In welche Richtung sollte der Schütze zielen, wenn der Torhüter jede Richtung mit Wahrscheinlichkeit 0,5 wählt? Bestimmen Sie außerdem das Nash Gleichgewicht 31/1

32 Lösung Wenn der Schütze nach links zielt und der Torhüter auch links wählt, dann gibt es ein Tor mit Wahrscheinlichkeit 0,8 0,5 = 0,4 Die erwartete Auszahlung des Schützen ist dann 0,4 1+0,6 ( 1) = 0,2 Die erwartete Auszahlung des Torhüters ist dann 0,6 1+0,4 ( 1) = 0,2 Wenn der Schütze nach links zielt und der Torhüter rechts wählt, dann gibt es ein Tor mit Wahrscheinlichkeit 0,8 1 = 0,8 Die erwartete Auszahlung des Schützen ist dann 0,8 1+0,2 ( 1) = 0,6 Die erwartete Auszahlung des Torhüters ist dann 0,2 1+0,8 ( 1) = 0,6 32/1

33 Wenn der Schütze nach rechts zielt und der Torhüter links wählt, dann gibt es ein Tor mit Wahrscheinlichkeit 1 Die erwartete Auszahlung des Schützen ist dann ( 1) = 1 Die erwartete Auszahlung des Torhüters ist dann ( 1) = 1 Wenn der Schütze nach rechts zielt und der Torhüter auch rechts wählt, dann gibt es ein Tor mit Wahrscheinlichkeit 1 0,5 = 0,5 Die erwartete Auszahlung des Schützen ist dann 0,5 1+0,5 ( 1) = 0 Die erwartete Auszahlung des Torhüters ist dann 0,5 1+0,5 ( 1) = 0

34 Spiel in Matrixform Spieler T L R Spieler S L 0,2;0,2 0,6; 0,6 R 1; 1 0;0 34/1

35 Erwartete Auszahlungen Wir bezeichnen die Wahrscheinlichkeit, mit welcher der Schütze links wählt, mit p Wir bezeichnen die Wahrscheinlichkeit, mit welcher der Torhüter links wählt, mit q Formal: p := σ S (L), q := σ T (L), weshalb σ S (R) = 1 p, σ T (R) = 1 q ist Die erwartete Auszahlungen sind dann v S (L,σ T ) = q ( 0,2)+(1 q) 0,6 = 0,6 0,8q v S (R,σ T ) = q 1+(1 q) 0 = q v T (L,σ S ) = p 0,2+(1 p) ( 1) = 1+1,2p v T (R,σ S ) = p ( 0,6)+(1 p) 0 = 0,6p 35/1

36 Beste Antwort Wenn der Torhüter die Strategie σ T (L) = σ T (R) = 0,5 wählt, d.h. q = 0,5 ist, dann sind die erwarteten Auszahlungen des Schützen v S (L,σ T ) = q ( 0,2)+(1 q) 0,6 = 0,2 v S (R,σ T ) = q 1+(1 q) 0 = 0,5 Die beste Antwort des Schützen ist daher die Strategie rechts Interpretation: Da der Torwart beide Richtungen mit gleicher Wahrscheinlichkeit wählt, ist es für den Schützen besser, die Richtung zu wählen, bei der er seltener daneben schießt, d.h. rechts 36/1

37 Nash Gleichgewicht Aus der Matrix erkennen wir direkt, dass es kein Nash Gleichgewicht in reinen Strategien gibt Wir suchen daher nach einem Nash Gleichgewicht in gemischten Strategien Wir setzen v S (L,σ T ) = v S (R,σ T ) 0,6 0,8q = q q = 1/3 Wir setzen v T (L,σ S ) = v T (R,σ S ) 1+1,2p = 0,6p p = 5/9 Das Nash Gleichgewicht ist also σs (L) = 5/9, σ S (R) = 4/9, σt (L) = 1/3, σ T(R) = 2/3 Interpretation: Damit der Schütze indifferent ist, muss der Torhüter öfter rechts als links wählen; damit der Torhüter indifferent ist, muss der Schütze seltener links als rechts wählen 37/1

38 Schere-Stein-Papier Wir betrachten das Spiel Schere-Stein-Papier Spieler 1 Spieler 2 Schere Stein Papier Schere 0, 0 1, 1 1, 1 Stein 1, 1 0, 0 1, 1 Papier 1, 1 1, 1 0, 0 Wir wissen bereits, dass es kein Nash Gleichgewicht in reinen Strategien gibt Gibt es ein Nash Gleichgewicht in (echt) gemischten Strategien? 38/1

39 Analyse Beobachtung 1: Es gibt kein Nash Gleichgewicht bei dem ein Spieler eine reine Strategie im Nash Gleichgewicht hat und der andere Spieler mischt Grund: Wenn Spieler i eine reine Strategie spielt, dann ist die beste Antwort von Spieler j i eine reine Strategie Wir wissen aber, dass es kein Nash Gleichgewicht in reinen Strategien gibt 39/1

40 Beobachtung 2: Es gibt kein Nash Gleichgewicht bei dem mindestens ein Spieler nur zwischen zwei Strategie im Nash Gleichgewicht mischt Grund: Nehmen wir der Konkretheit halber an, dass Spieler i niemals Schere spielt und nur zwischen Stein und Papier mischt Dann erzielt Spieler j i eine höhere Auszahlung wenn er Papier statt Stein spielt (egal ob Spieler i Stein oder Papier spielt) Spieler j wird also niemals Stein im Nash Gleichgewicht spielen Wenn aber Spieler j niemals Stein spielt, dann erzielt Spieler i eine höhere Auszahlung wenn er Schere statt Papier spielt (egal ob Spieler j Schere oder Papier spielt) Spieler i wird also niemals Papier im Nash Gleichgewicht spielen Wir haben einen Widerspruch Analog für andere Strategiepaare

41 Wir wissen also nun, dass es nur ein Nash Gleichgewicht geben kann bei dem beide Spieler zwischen allen drei reinen Strategien mischen Dann können wir die erwarteten Auszahlungen von Spieler j berechnen: v j (Schere,σ i ) = σ i (Schere) 0+σ i (Stein) ( 1)+σ i (Papier) 1 v j (Stein,σ i ) = σ i (Schere) 1+σ i (Stein) 0+σ i (Papier) ( 1) v j (Papier,σ i ) = σ i (Schere) ( 1)+σ i (Stein) 1+σ i (Papier) 0 Aus Proposition 1 folgt v j (Schere,σ i ) = v j (Stein,σ i ) = v j (Papier,σ i ) Zusätzlich muss gelten: σ i (Schere)+σ i (Stein)+σ i (Papier) = 1

42 Daraus erhält man die Lösung: σ i (Schere) = σ i (Stein) = σ i (Papier) = 1/3 für i N Da dies die einzige Lösung des Gleichungssystems ist, ist dies das einzige Nash Gleichgewicht

43 Frage 4.3 Bestimmen Sie alle Nash Gleichgewichte für das folgende Spiel Spieler 1 Spieler 2 C R M 0,0 3,5 D 4,4 0,3 43/1

44 Kapitel 4.3: Bemerkungen

45 Bemerkungen Gleichgewichte in gemischten Strategien können auch bei den anderen Lösungskonzepten berücksichtigt werden Wir konzentrieren uns aber in dieser Vorlesung auf Nash Gleichgewichte in gemischten Strategien In einer großen Klasse von Spielen existiert stets (mindestens ein) Nash Gleichgewicht Theorem 1 Jedes n-spieler Spiel in Normalform mit endlichen Mengen reiner Strategien S i für alle Spieler i N hat ein Nash Gleichgewicht in gemischten Strategien. Gemischte Strategien können echt gemischte Strategien oder reine Strategien sein 45/1

46 Transformation der Auszahlungen Bei Gleichgewichtskonzepten mit reinen Strategien kann man die Auszahlungen von jedem Spieler i mittels einer beliebigen steigenden Funktion f i (v i ( )) transformieren, ohne dass sich etwas an den Gleichgewichten ändert Idee: Es kommt nur auf den Vergleich der Auszahlungen (größer, gleich oder kleiner) an, nicht auf die Abstände oder Absolutwerte Bei Gleichgewichtskonzepten mit gemischten Strategien spielen erwartete Auszahlungen eine Rolle, weshalb nur lineare Transformation möglich sind: f i (v i ( )) = α i +β i v i ( ), wobei β i > 0 ist 46/1

47 Frage 4.4 Nehmen Sie das Spiel von Frag 4.3 und führen sie folgende Tranformationen durch: f 1 (v 1 ( )) = 2+2v i ( ) und f 2 (v 2 ( )) = 3+3v i ( ) Stellen Sie das transformierte Spiel in Tabellenform dar und bestimmen Sie wieder alle Nash Gleichgewichte Antworten: 47/1

48 Zusammenfassung Durch gemischte Strategien erweitern sich die Handlungsmöglichkeiten der Spieler Dadurch vergrößert sich auch die Menge der beliefs In Spielen, bei denen die Spieler gegensätzliche Interessen haben (z.b. Matching Pennies ), gibt es keine Nash Gleichgewicht in reinen Strategien, aber ein Nash Gleichgewicht in gemischten Strategien In einer großen Klasse von Spielen existiert stets (mindestens ein) Nash Gleichgewicht 48/1

49 Übungsaufgaben Wir behandeln folgende Übungsaufgaben aus dem Buch: 6.4, 6.5, 6.6, 6.7, /1