Mikroökonomik B 4.3 Wiederholte Spiele

Transkript

1 Mikroökonomik B 4.3 Wiederholte Spiele Dennis L. Gärtner 6. Juli 1 / 41

2 Übersicht Annahmen: Dynamisches Spiel: Spieler treffen Entscheidungen sequentiell. Vollständige Information: Präferenzen der Spieler über Ergebnisse sind allgemein bekannt. Perfekte Information: Ziehende Spieler kennen gesamte Geschichte des Spiels. Konzepte: Endlich wiederholte Spiele. Unendlich wiederholte Spiele. Das One-Deviation Principle. Anwendungen/Beispiele: Das Gefangenen-Dilemma Wiederholtes Duopol 2 / 41

3 Literaturangaben Gibbons: Kapitel 2.3 Osborne (2004): Kapitel 14, 15 Mas-Collel et al.: Kapitel 12, App. A Weiterführende Literatur: George J. Mailath und Larry Samuelson (2006): Repeated Games and Reputations: Long-Run Relationships, Oxford University Press. 3 / 41

4 Motivation Erinnern wir uns an das Gefangenendilemma: Prisoner 1 cooperate defect Prisoner 2 cooperate defect 1, 1 0, 9 9, 0 6, 6 Frage: Kann Kooperation erreicht werden wenn Spiel wiederholt gespielt wird? Idee: Spieler können Kooperationsanreize schaffen, indem sie Aktionen auf die Geschichte des Spiels (insbesondere: vergangene Aktionen des andern) konditionieren. Zum Beispiel: 4 / 41

5 Motivation Beispiele, wie in wiederholten Spielen Kooperationsanreize geschafft werden könnten: Grim-Trigger -Strategien: Starte mit Kooperation, und fahre mit Kooperation dann (und nur dann) fort, wenn beide Spieler in der Vergangenheit kooperiert haben. Tit-for-Tat -Strategien ( Wie-Du-mir-so-ich-Dir ): Starte mit Kooperation, und tue anschliessend das, was der andere Spieler in der letzten Runde getan hat. Werden sehen: Substanzielle Unterschiede zwischen endlich und unendlich wiederholten Spielen! 5 / 41

6 Endlich Wiederholte Spiele Beispiel: 2-Mal wiederholtes Gefangenendilemma Nehmen wir an, das Gefangenendilemma wird zwei Mal wiederholt: 1 c d 2 2 c d d c 1 c d 2 2 c d d c ( 1 6, 1 6) ( 9 6, 0 6) ( 6 6, 6 6) ( 0 6, 9 6) Wiederholungsfrage: Wie viele Strategien hat jeder Spieler? Behauptung: Im einzigen Tsp-Nash-GG spielen Spieler in beiden Runden defect. Warum? Rollen wir per Rückwärtsinduktion das Spiel von hinten auf... 6 / 41

7 1 c d 2 2 c d d c 1 c d 2 2 c d d c ( 1 6, 1 6) ( 9 6, 0 6) ( 6 6, 6 6) ( 0 6, 9 6) Für jedes beliebige Ergebnis der ersten Runde ist (d, d) das einzige Nash-GG in jedem der Teilspiele der zweiten Runde. Damit können wir das gesamte Spiel reduzieren auf die einmalige Variante, wobei zu jedem Ergebnis der ersten Runde Payoffs von ( 6, 6) hinzuaddiert werden. 7 / 41

8 Endlich Wiederholte Spiele: Allgemeiner Allgemeiner: Sei Γ ein ssf mit Spielern 1,...,N, Aktionsmengen A i und Auszahlungsfunktionen u i. Definition: Endlich Wiederholtes Spiel Wir bezeichnen mit Γ(T) das endlich wiederholte Spiel in welchem Γ T Mal hintereinander gespielt wirdund in welchem die Payoffs über Ergebnisse durch die diskontierte Summe der Payoffs in jeder Wiederholung gegeben ist: u i (a 1,... a T ) = u i (a 1 )+δu i (a 2 )+δ 2 u i (a 3 )+ +δ T 1 u i (a T ), wobei a t A 1 A N die Aktionen aller Spieler in der t-ten Runde von Γ(T) bezeichnet. Terminologie:Γ = Stufenspiel, t {1,...,T} = Stufe. Wiederholungsfrage: Warum ist das N-Runden-Verhandlungsspiel kein wiederholtes Spiel? 8 / 41

9 Gleichgewichte in endlich wiederholten Spielen Resultat: Gleichgewichte in endlich wiederholten Spielen Falls das Stufenspiel Γ ein eindeutiges Nash-GG besitzt, dann hat für beliebige endliche T das wiederholte Spiel Γ(T) ein eindeutiges teilspielperfektes Nash-GG: Das Nash-GG von Γ wird in jeder Runde gespielt. Warum? Per Rückwärtsinduktion: Sei a (a 1,..., a N ) das Nash-GG von Γ. a ist das eindeutige Nash-GG der letzten Stufe T. Aktionen der vorletzten Runde T 1 haben also keinen Einfluss auf künftige Payoffs; (a, a ) ist also auch das eindeutige Nash-GG des Teilspiels beginnend in T 1.. Bem.: Resultat gilt auch für Stufenspiele in extensiver Form mit eindeutigem teilspielperfektem Nash-GG. 9 / 41

10 Gleichgewichte in endlich wiederholten Spielen Also... In endlich wiederholten Spielen mit eindeutigem Stufenspiel-GG ist nur wiederholtes Spielen des Nash-GG möglich. Warum? Etwas anderes zu spielen ist in t = T nicht glaubwürdig t = T 1 t = 1 Das Konditionieren künftiger auf vergangene Aktionen ist unglaubwürding! Offene Fragen Was ist mit Stufenspielen mit multiplen Nash-GG? Was ist mit unendlich wiederholten Spielen? 10 / 41

11 Kooperation in endlich wiederholten Spielen: Ein Beispiel Nehmen wir an das folgende Stufenspiel wird 2 Mal gespielt: P2 c d d Stufenspiel hat zwei P1 c d d 1, 1 0, 9 9, 9 9, 0 6, 6 9, 9 9, 9 9, 9 4, 4 Nash-GG: (d, d) und (d, d ). Idee: Spiele gutes GG in t = 2 wenn (und nur wenn) in t = 1 kooperiert wurde. Behauptung: Für δ gross genug (Spieler sind hinreichend geduldig ) ist folgendes Strategieprofil ein Tsp-Nash-GG: In t = 1 spielt jeder Spieler i c. In t = 2 spielt jeder Spieler i d falls beide Spieler in t = 1 c gespielt haben, und d für jede andere Geschichte des Spiels. 11 / 41

12 Kooperation in endlich wiederholten Spielen: Ein Beispiel Strategien sind offensichtlich GG im t = 2-Teilspiel. Um für t = 1 zu prüfen: Addieren wir GG-Payoffs aus t = 2 zur P1 strategischen Form für t = 1: c d d P2 c d d 1 4δ, 1 4δ 0 6δ, 9 6δ 9 6δ, 9 6δ 9 6δ, 0 6δ 6 6δ, 6 6δ 9 6δ, 9 6δ c ist somit beste Antwort auf c g.d.w. 1 4δ 0 6δ δ 1/2 9 6δ, 9 6δ 9 6δ, 9 6δ 4 6δ, 4 6δ Strategien sind also ein GG für hinreichend geduldige Spieler. Allerdings: Setzt Spielen eines Pareto-dominierten GG in t = 2 voraus? 12 / 41

13 Zusammenfassung: Kooperation in endlich wiederholten Spielen Einsicht: In endlich wiederholten Spielen kann nur das Vorhandensein multipler Nash-GG im Stufenspiel Drohungen glaubwürdig machen, welche künftiges Verhalten auf heutiges heutiges Verhalten konditionieren. Grund: Alles andere als Nash (etwa Grim-Trigger oder Tit-for-Tat ) ist in letzter Runde unglaubwürdig Rückwärtsinduktion Aber: Resultate basieren auf... eindeutigem Vorhandensein einer letzten Runde sehr rationale Spieler, was Rückwärtsinduktion anbelangt. unendlich wiederholte Spiele 13 / 41

14 Unendlich wiederholte Spiele Sei Γ ein ssf mit Spielern 1,...,N, Aktionsmengen A i und Auszahlungsfunktionen u i. Definition: Unendlich wiederholtes Spiel Wir bezeichnen mit Γ( ) das unendlich wiederholte Spiel in welchem Γ unendlich oft hintereinander gespielt wird, in welchem Ergebnisse unendliche Aktionsfolgen (a 1, a 2,...) sind, wobei a t A 1 A N das Aktionsprofil der Spieler in Stufe t = 1, 2,... angibt, und in welchem die Payoffs über Ergebnisse durch die diskontierte Summe der Payoffs in jeder Wiederholung gegeben ist: u i (a 1,...a T ) = u i (a 1 )+δu i (a 2 )+δ 2 u i (a 3 )+, wobei δ < 1 der (Spielern gemeine) Diskontfaktor ist. 14 / 41

15 Unendlich wiederholte Spiele Anmerkungen Falls Sie die Idee einer unendlichen Wiederholung nicht mögen: Interpretieren Sie δ als die Wahrscheinlichkeit, dass das Spiel in jeder Stufe endet. Wichtig ist hier die Unbestimmtheit einer letzten Runde. Alle Teilspiele eines unendlich wiederholten Spiels sind identisch zum ganzen Spiel selbst (zeichnen sich jedoch durch andere vorangehende Geschichten aus). 15 / 41

16 Das unendlich wiederholte Gefangenendilemma Betrachten wir das unendlich wiederholte Gefangenendilemma: cooperate defect cooperate defect 1, 1 0, 9 9, 0 6, 6 Ein Tsp-Nash-GG: beide spielen d in jeder Runde. Aber: -Wiederholung eröffnet zusätzlich Möglichkeit anderer (besserer!) GG. Zum Beispiel: Beide Spieler spielen Grim-Trigger : Grim-Trigger-Strategie: Spiele c in t = 1. Danach, in jeder Stufe t > 1, spiele c g.d.w. beide Spieler in allen t 1 vorangehenden Runden c gespielt haben. Wenn beide Spieler GT spielen Kooperation (c, c) in jeder Runde! Nett, aber ist dieses Strategieprofil teilspielperfekt? 16 / 41

17 Grim-Trigger -Strategien Ist es ein Tsp-Nash-GG, wenn beide Grim-Trigger Spielen? Nehmen wir an P2 spielt GT. Was ist P1 s beste Antwort in jedem Teilspiel? 1. Betrachten wir ein beliebiges Tsp, in dem irgendein Spieler vorher d gespielt hat: P2 spielt in aller Zukunft d. Beste Antwort für P1 ist, das selbe zu tun! 17 / 41

18 Grim-Trigger -Strategien 2. Betrachten wir ein beliebiges Tsp, in dem kein Spieler vorher d gespielt hat: Sich an GT zu halten gibt P1 Payoff 1 in jeder Runde. Beste alternative Strategie: in erster Runde des Tsp d spielen (Payoff 0) und d auch in allen weiteren Runden (Payoff 6). GT ist beste Antwort g.d.w. 1+( 1) δ +( 1) δ 2 + }{{} 0+( 6) δ +( 6) δ2 + }{{} 1/(1 δ) 6δ/(1 δ) δ 1/6 18 / 41

19 GG im -wiederholten Gefangenenendilemma Also: für δ nahe genug bei 1 (für geduldige Spieler ) sind folgende Strategieprofile Tsp-Nash-GG: Jeder Spieler spielt in jeder Runde d. GG-Payoff von 6 in jeder Runde. Jeder Spieler spielt GT. GG-Payoff von 1 in jeder Runde. Gibt es weitere? Ja, z.b.: Jeder Spieler spielt d in ungeraden Runde t = 1, 3, 5,..., und c in geraden Runde sofern kein Spieler vorher d in einer geraden Runde gespielt hat. GG-Payoffs 6, 1, 6, 1,... Im GG alterniert P1 zwischen c und d ; P2 spielt im GG immer c. Weicht einer hiervon ab, spielen beide in aller Zukunft d. P1: 1, 0, 1, 0,...; P2: 1, 9, 1, 9, / 41

20 Charakterisierung aller Tsp-Nash-GG Es scheint viele Tsp-Nash-GG zu geben im -Gefangenendilemma! Können wir alle beschreiben? Allgemein schwierig, aber möglich für Limit δ 1. Brauchen zwei Definitionen: 20 / 41

21 Durchschnittliche Payoffs Definition: Durchschnittliche Payoffs Für eine beliebige Sequenz von Stufenspiel-Aktionsprofilen (a 1, a 2,...) sei Spieler i s durchschnittlicher Payoff definiert als u i = 1 ( ) u i (a 1 )+δu i (a 2 )+δ 2 u i (a 3 ) δ Bemerkung: Für eine Sequenz konstanter Aktionen (a, a,...) gilt u i = u i (a). 21 / 41

22 Erreichbare durchschnittliche Payoffs Definition: Erreichbare ( Feasible ) Durchschnittl. Payoffs Wir nennen ein Profil (u 1,...,u N ) durchschnittlicher Payoffs erreichbar ( feasible ), falls eine Sequenz von Stufenspiel- Aktionsprofilen (a 1, a 2,...) existiert, sodass für alle i = 1,...,N gilt: u i (a i ) = u i. Bemerkung: Entspricht der konvexifizierten Menge möglicher Payoffprofile im Stufenspiel. 22 / 41

23 Erreichbare -Payoffs im Gefangenendilemma Erreichbare durchschnittliche Payoffs im Gefangenendilemma: u 2 0 (c, d) (c, c) 5 (d, d) (d, c) Intuitiv: Menge erreichbarer durchschnittlicher Payoffs sammelt Payoffprofile, welche für beliebige Sequenz von Aktionsprofilen (a 1, a 2,...) resultieren können. Durchschnittl. Payoffs für Tsp-Nash-GG-Strategieprofile? u 1 23 / 41

24 Das Folk Theorem Resultat: Das Folk Theorem Sei Γ ein ssf mit vollständiger Info; (u 1,...,u N ) das Payoffprofil eines Nash-GG von Γ; (u 1,...,u N ) ein beliebiges erreichbares durchschnittliches Payoffprofil von Γ( ). Dann gilt: Falls u i > u i für alle i = 1,...,N und falls δ < 1 gross genug, so existiert ein teilspielperfektes Nash-GG von Γ( ), welches (u 1,...,u N ) als durchschnittliche Payoffs liefert. 24 / 41

25 Das Folk Theorem im Gefangenendilemma u 2 0 (c, d) (c, c) 5 (d, d) (NE) (d, c) Intuition: Jeder Spieler muss mindestens den Payoff des Stufenspiel-Nash-GG erhalten. Warum? Da er immer darauf zurückfallen kann, in jeder Runde seine Stufenspiel-Nash-GG-Strategie zu spielen (woraufhin es optimal für den anderen ist, das selbe zu tun). u 1 25 / 41

26 Zusammenfassung: Kooperation in unendlich wiederholten Spielen Allgemeine Einsicht: Für unendlich wiederholte Spiele kann Kooperation (also: durchschnittliche Payoffs über Nash) auch in Spielen mit eindeutigem Nash-GG des Stufenspiels erreicht werden. Intuition: Trigger-Strategien u.ä. werden glaubwürdig, da es keine definitive letzte Runde gibt. Allerdings: Sehr viele mögliche Gleichgewichte keine klare Vorhersage. Selektionskriterien wie Effizienz bzw. Pareto-Dominanz. 26 / 41

27 Das One-Deviation -Prinzip in wiederholten Spielen Das Problem: Identifizierung von Tsp-Nash-GG in wiederholten Spielen (endlich wie auch unendlich) kann mühsam sein, da wir in allen Teilspielen (sehr viele und z.t. sehr lang ) alle möglichen Abweichungsmöglichkeiten überprüfen müssen! Lösung / Vereinfachung: Das One-Deviation -Prinzip. 27 / 41

28 Das One-Deviation -Prinzip in wiederholten Spielen Definition: One-Deviation -Eigenschaft Ein Strategieprofil eines wiederholten Spiels erfüllt die One-Deviation -Eigenschaft, wenn für jedes Teilspiel gilt: Kein Spieler i kann seinen Payoff erhöhen, indem er am Anfang des Teilspiels eine andere Aktion wählt (Strategien der anderen Spieler sowie den Rest der Strategie von Spieler i halten wir dabei fest). 28 / 41

29 Das One-Deviation -Prinzip in wiederholten Spielen Resultat: One-Deviation -Prinzip Ein Strategieprofil eines wiederholten Spiels (endlich oder undendlich) ist dann und nur dann ein teilspielperfektes Nash- GG, wenn es die One-Deviation -Eigenschaft erfüllt. Beispiel: Um zu zeigen, dass Grim-Trigger im Gefangenendilemma oben eine gegenseitig beste Antwort darstellt, müssen wir nur zeigen, dass es in jedem beliebigen Teilspiel (schwach) besser ist als einmal am Anfang abzuweichen und dann wieder zu Grim-Trigger zurückzukehren. 29 / 41

30 Intuition für das One-Deviation -Prinzip Betrachten Sie das folgende Ein-Spieler-, 2-Züge-Spiel: 1 C D 1 1 E F G H Teilspiel C Teilspiel D Um zu überprüfen, dass CFH ein Tsp-Nash-GG ist, müssen wir nicht alle anderen 7(!) Strategien überprüfen ( DFH, CEG, CEH, CFG,... ), sondern nur: CFH gegen DFH, F gegen E in Teilspiel C, und H gegen G in Teilspiel D. 30 / 41

31 Intuition für das One-Deviation -Prinzip Anmerkungen: Gegeben Strategien der anderen ist Bestimmung der besten Antwort wie ein Ein-Spieler-Spiel! Obwohl Argument auf Rückwärtsinduktion zu basieren scheint, kann gezeigt werden, dass es auch für unendliche Spiel gilt (mit δ < 1). 31 / 41

32 Anwendung des One-Deviation -Prinzips: Ein Beispiel Betrachten Sie folgende Strategien im -wiederholten Gefangenendilemma: Tit-For-Tat : Spieler spielen c in der ersten Runde. In allen folgenden Runden wählen Spieler jene Aktion, welche der andere Spieler in der Runde vorher gewählt hat. Wir müssen vier Klassen von Teilspielen unterscheiden, charakterisiert durch ihre Aktionen entlang des Gleichgewichtspfads: Fall 1: t = 1, t > 1 & a t 1 = (c, c) Fall 2: t > 1 & a t 1 = (c, d) Fall 3: t > 1 & a t 1 = (d, c) Fall 4: t > 1 & a t 1 = (d, d) Wenden wir jeweils das OD-Prinzip an / 41

33 Anwendung des One-Deviation -Prinzips: Ein Beispiel Fall 1: t = 1, t > 1 & a t 1 = (c, c) GG-Pfad: (c, c),(c, c),(c, c),... OPD P1: (d, c),(c, d),(d, c),... Damit Tit-for-Tat P1 besser stellt als seine profitabelste One-Period-Deviation brauchen wir daher 1(1+δ + ) 0(1+δ 2 + ) 9(δ +δ 3 + ) 1 δ 9 1 δ 1 δ 2 δ 1/8 Analoges vorgehen in den verbleibenden Fällen ergibt: Fall 2: t > 1 und a t 1 = (c, d) GG-Pfad: (d, c),(c, d),(d, c),... } δ 1/8 OPD P1: (c, c),(c, c),(c, c), / 41

34 Anwendung des One-Deviation -Prinzips: Ein Beispiel Fall 3: t > 1 und a t 1 = (d, c) GG-Pfad: (c, d),(d, c),(c, d),... } OPD P1: (d, d),(d, d),(d, d),... δ 1/2 Fall 4: t > 1 und a t 1 = (d, d) GG-Pfad: (d, d),(d, d),(d, d),... OPD P1: (c, d),(d, c),(c, d),... } δ 1/2 Tit-for-Tat ist kein Tsp-Nash-GG, für beliebiges δ. Anmerkungen: Es ist allerdings ein Tsp-Nash-GG für δ = 1/8 wenn wir die Stufenspiel-Auszahlungen der Spieler für (d, d) von 6 auf 8 anpassen (es müssen nur Fälle 3 & 4 neu evaluiert werden). Tit-for-Tat scheint in experimentellen Spielen eine gute Strategie zu sein (siehe Osborne 14.9)! 34 / 41

35 Beispiel: Kollusion zwischen Cournot-Duopolisten Betrachten Sie eine unendlich wiederholte Interaktion zwischen zwei Cournot-Duopolisten mit Grenzkosten c und Nachfrage P(Q) = a Q. Was wir über das Stufenspiel wissen... Im eindeutigen Nash-GG setzen Spieler qi C = (a c)/3 und machen Gewinne πi C = (a c) 2 /9. Gewinnsumme wäre maximiert wenn Firmen q 1, q 2 setzen sodass q 1 + q 2 = q M, wobei q M = (a c)/2 Monopolmenge bezeichnet. Ergibt Gewinnsumme π M = (a c) 2 /4. Insbesondere: beide Firmen würden besser fahren, wenn sie sich auf q 1 = q 2 = q M /2 koordinieren könnten (gibt π M /2 für beide). 35 / 41

36 Beispiel: Kollusion zwischen Cournot-Duopolisten Wiederholung Endliche Wiederholung: Im einzigen Tsp-Nash-GG setzen Firmen in jeder Runde q C. Unendliche Wiederholung: Möglich, darauf zu koordinieren ( kolludieren ), dass jede Firma q M /2 setzt! Betrachten wir hierzu folgende Grim-Trigger-Strategie: Jede Firma produziere q M /2 in der ersten Runde, sowie in jeder späteren Runde sofern beide Firmen in der Vergangenheit immer q M /2 produziert haben. Für jede andere Geschichte setzt jede Firma q C. 36 / 41

37 Beispiel: Kollusion zwischen Cournot-Duopolisten Wenden wir das ODP an: Fall 1: Teilspiele in welchen eine Firma in Vergangenheit q i qi M /2 gespielt hat. Gegeben, dass Firma 2 Grim-Trigger spielt (also q C in jeder Runde) ist es für Firma 1 optimal, das selbe zu tun. Fall 2: Teilspiele in welchen keine Firma in Vergangenheit q i qi M /2 gespielt hat. GG-Payoff (beide spielen Trigger) von π M /2 in jeder Runde. In bester One-Period-Deviation setzt Firma 1 q D = argmax q1 (a q 1 q M /2)q 1 in der ersten Runde des Teilspiels, und q C danach (gegeben, dass Spieler 2 q C setzt). 37 / 41

38 Beispiel: Kollusion zwischen Cournot-Duopolisten Berechnung der besten One-Period-Deviation ergibt q D 1 = 3(a c)/8 und πd 1 = 9(a c)2 /64. Firmen finden es optimal nicht vom GG-Pfad abzuweichen, wenn 1 2 πm +δ 1 2 πm + π D +δπ C +δ 2 π C δ 1 2 πm π D + δ 1 δ πc δ πd 1 2 πm π D π C = / 41

39 Erweiterung: Ungeduldige Cournot-Duopolisten Was wenn δ < 9/17? Gibt es bessere Tsp-Nash-GG als in jeder Runde q C zu produzieren? Duopolisten könnten obige Trigger-Strategien mit einer gemässigten Kollusionsmenge q (q C, q M /2) (statt q M /2) erwägen. Dies gibt einen geringeren GG-Gewinn von π E = q (a c 2q ) (statt π M /2); einen kleineren Abweichungsgewinn in der ersten Tsp-Periode von π D = (a q c) 2 /4. Für beliebiges(q,δ) werden es Firmen optimal finden, sich an die Strategie zu halten, falls π E +δπ E + π D +δπ C +δ 2 π C + 39 / 41

40 Erweiterung: Ungeduldige Cournot-Duopolisten 1 1 δ πe π D + δ 1 δ πc q 9 5δ 3(9 δ) (a c) q (δ), wobei q (δ) in δ abnimmt, für δ = 9/17 den Wert q M /2 annimmt, und sich für δ 0 der Menge q C annähert. 40 / 41

41 Erweiterung: Ungeduldige Cournot-Duopolisten Illustration: Minimale durch GT stützbare kollusive Menge: q q C 1 2 qm q (δ) δ 41 / 41