6. Wiederholte Spiele

Transkript

1 6. Wiederholte Spiele 6.1. Grundlegende Konzepte Es gibt zwei wesentliche Gründe, wiederholte Spiele zu betrachten. Zum einen finden die ökonomischen und sozialen Interaktionen, die wir als Spiele modellieren, in der Realität häufig nicht nur einmalig sondern zwischen den selben Individuen wiederholt statt. Zum anderen gibt es wichtige Phänomene, die wir in einem einmaligen Spiel [one shot game] nicht abbilden können. Dazu gehören beispielsweise Reputationseffekte: Eine Spielerin erwirbt eine Reputation [reputation] durch bestimmte wiederholte Handlungen und Verhaltensweisen, und in späteren Interaktionen beeinflusst diese Reputation das Verhalten der anderen oder jedenfalls ihre Vermutungen darüber, wie sich die Spielerin verhalten wird. Ein anderes Phänomen, dessen Bedeutung besonders in der experimentellen Spieltheorie betont wird, ist das der Reziprozität [reciprocity], die sich im Volksmund als wie Du mir so ich Dir wiederfindet. Damit dies Sinn ergibt, müssen ebenfalls mehrere aufeinander folgende Interaktionen stattfinden. Um nochmals den Volksmund zu Wort kommen zu lassen: Man trifft sich im Leben immer zweimal. Der entscheidende Punkt ist, dass Spielerinnen in wiederholten Spielen ihr Verhalten in verschiedenen Wiederholungen nicht unabhängig festlegen, sondern Interdependenzen zwischen den Strategien bestehen, die in den einzelnen Wiederholungen gewählt werden. Ohne diese Interdependenzen, wäre die bloße Tatsache, dass in der Realität Spiele auch wiederholt gespielt werden, kein zwingender Grund, sich eigens mit wiederholten Spielen zu befassen. Man denke etwa an das Wiederholte Werfen einer Münze: Dabei reicht es völlig aus, sich klar zu machen, dass bei einem einmaligen Münzwurf (vorausgesetzt es handelt sich um eine faire Münze) Kopf und Zahl jeweils mit Wahrscheinlichkeit 1 2 auftreten, denn dies ändert sich nicht dadurch, dass die Münze vorher bereits mehrfach geworfen wurde. Dass viele Menschen das nicht recht glauben und nach einer Serie von Münzwürfen die Kopf ergeben haben erwarten, beim nächsten Wurf sei die Wahrscheinlichkeit für Zahl höher, zeigt sogar, dass es von Nachteil sein kann, die Wiederholungen explizit in Betracht zu ziehen, wenn sie de facto keine Rolle spielen. 1 Wir wollen uns das eben Gesagte am Beispiel des Cournot Duopols klar machen, mit dem sich der Kreis zum ersten Kapitel schließt und das wir im folgenden auch noch 1 Das hat nichts damit zu tun, dass man natürlich sinnvolle statistische Aussagen über eine gewisse Zahl von Münzwürfen etwa im Sinne des Gesetzes der großen Zahl treffen kann. Derartige Aussagen betreffen ja gerade nicht einen einzelnen der wiederholten Münzwürfe, sondern ihre Gesamtheit. 147

2 6. Wiederholte Spiele 148 formal als wiederholtes Spiel analysieren werden. Beispiel (Cournot Duopol) Rufen wir uns noch einmal die ökonomische Story des Cournot Modells aus Beispiel bzw. der Anwendung in Abschnitt in Erinnerung: Zwei Unternehmen konkurrieren auf einem Markt. Beide produzieren ein homogenes Gut und entscheiden über ihre Angebotsmenge. Ihr Ziel ist die Maximierung ihres Gewinns. Typischerweise existieren Unternehmen länger als eine Periode, so dass sie sich in einem wiederholten Spiel befinden. 2 Die Frage ist nun, ob sich dadurch die Ergebnisse unserer Analyse ändern. Wir hatten gesehen, dass im einmaligen Spiel die Kartelllösung, in der beide die halbe Monopolmenge produzieren nicht stabil ist, da beide Firmen einen Anreiz haben, abzuweichen (z. B. auf die Menge im Cournot Nash Gleichgewicht). Im Wiederholten Spiel ist das nun nicht mehr so offensichtlich: Nehmen wir an, beide Firmen haben eine Kartellabsprache getroffen. Firma 1 überlegt nun in einer Periode, ob sie entgegen der Absprache ihre Menge aus dem Cournot Nash Gleichgewicht anbieten will. Natürlich bedeutet das in dieser Periode eine höhere Auszahlung, allerdings muss sie auch in Betracht ziehen, dass sie ohne abzuweichen in den Folgeperioden möglicherweise immer noch den Kartellgewinn machen würde, während nach ihrem Abweichen auch Firma 2 die Menge aus dem Cournot Nash Gleichgewicht anbieten dürfte, was für Firma 1 zum Cournot Gewinn führen würde, der geringer ist als der Gewinn im Kartell. Wir werden sehen, dass sich die Intuition, dass Wiederholungen das Kartell stabilisieren können, in der formalen Analyse des wiederholten Cournot Duopols genau dann bestätigen, wenn das Spiel unendlich oft gespielt wird und der Diskontfaktor groß genug ist Unendlich versus endlich oft wiederholte Spiele Modelle wiederholter Spiele lassen sich untergliedern in solche, die unendlich oft wiederholte Spiele betrachten, und solche, in denen die Zahl von Wiederholungen endlich ist. Auf den ersten Blick würde man endlich oft wiederholte Spiele für die realistischere und sinnvollere Modellierung halten. Bei näherer Betrachtung stellt sich allerdings heraus, dass der entscheidende Unterschied zwischen beiden Modellierungsansätzen darin liegt, dass es in endlich oft wiederholten Spielen eine letzte Periode gibt, in der es Common knowledge ist, dass es sich um die letzte Periode handelt. Das ist dann der Fall, wenn in einem Modell eines endlich oft wiederholten Spiels die genaue Zahl der Wiederholungen feststeht und Common knowledge ist. Dies ist in vielen Situationen eine unrealistische Annahme. Häufiger ist der Fall, dass zwar schlussendlich nur eine endliche Zahl von Wiederholungen gespielt werden wird, 2 Wenn wir dazu noch annehmen, dass sich über die betrachteten Perioden der Markt nicht ändert, d. h., dass sich weder die Nachfragefunktion verändert noch zusätzliche Unternehmen als Konkurrenten in den Markt eintreten. Universität des Saarlandes

3 149 Spieltheorie Sommersemester 2007 aber die Spielerinnen wissen zu Beginn nicht, wie groß diese Zahl sein wird. Eine solche Situation, in der die Zahl der Wiederholungen unsicher ist, lässt sich durch ein unendlich oft wiederholtes Spiel modellieren (vgl. auch die Diskussion in Rubinstein (1991, S. 917f.)). Formal entspricht ein wiederholtes Spiel, bei dem nach jeder Periode eine bestimmte Wahrscheinlichkeit τ dafür besteht, dass nach dieser Periode keine weitere Wiederholung folgt (für das also die Wahrscheinlichkeit, dass es tatsächlich unendlich oft wiederholt wird beliebig klein ist), einem unendlich oft wiederholten Spiel, in dem die Auszahlung der jeweils nächsten Periode mit dem Diskontfaktor δ abdiskontiert werden. Aus diesem Grunde, und weil es der historischen Entwicklung entspricht, werden wir im folgenden zuerst (in Abschnitt 6.2) unendlich oft wiederholte Spiele betrachten und erst danach (in Abschnitt 6.3) endlich oft wiederholte Spiele. Vorher behandeln wir die Modellelemente, die beiden Modellen gemeinsam sind Notation und Sprechweisen Wir gehen von einem Spiel Γ = ( I, {S i } i I, {π i } i I ) in Normalform aus, das wiederholt gespielt wird. Dieses Spiel bezeichnen wir als Stufenspiel [stage game]. Das T-fach wiederholte Spiel bezeichnen wir mit Γ T und das unendlich oft wiederholte Spiel mit Γ. Unendlich oft wiederholte Spiele werden oft auch Superspiele [supergames] genannt. Nach jeder Runde beobachten alle Spielerinnen, was in dieser Runde passiert ist. Wir werden hier nur wiederholte Spiele mit vollständiger und vollkommener Information betrachten, d. h., wir nehmen an, dass alle Spielerinnen die komplette Strategiekombination in jeder Runde beobachten. 3 Nach t Wiederholungen ergibt sich damit eine Geschichte [history] h(t) = (h 1,h 2,...,h t ), wobei jede einzelne Komponente des Vektors h(t) eine Strategiekombination ist. Die Menge aller möglichen Geschichten zum Zeitpunkt t bezeichnen wir mit H(t). Wenn wir nur reine Strategien betrachten ist t H(t) = S, r=1 lassen wir auch gemischte Strategien zu, ist t H(t) = Σ r=1 und wenn wir sogar korrelierte Strategien betrachten (vgl. Fußnote 3, S. 31) ist t H(t) = Σ, r=1 3 Diese Annahme ist recht anspruchsvoll, insbesondere dann, wenn wir gemischte Strategien zulassen. In diesem Fall wird in einer Runde ja nicht die gesamte Strategie aus dem tatsächlichen Spielablauf ersichtlich, sondern nur eine reine Strategie jeder Spielerin, die gemäß der von ihr gewählten gemischten Strategie gezogen wurde. In der Literatur werden auch weniger strenge Annahmen diskutiert bis hin zum restriktivsten Fall, dass jede Spielerin lediglich ihre eigene Strategie sowie ihre eigene Auszahlung erfährt. Jörg Naeve

4 6. Wiederholte Spiele 150 wobei Σ := { } x [0, 1] S x(s) = 1 s S die Menge aller korrelierten Strategien im Spiel Γ ist. In die Entscheidung einer Spielerin für ihre Strategie (im Stufenspiel) in der (t + 1)-ten Runde können alle Informationen einfließen, über die sie zu diesem Zeitpunkt verfügt. Dies ist (neben den Daten des Spiels Γ und der Zahl der Wiederholungen, die insgesamt gespielt werden) die Geschichte h(t). Um dies abzubilden, definieren wir eine reine Strategie s T i bzw s i von Spielerin i I im wiederholten Spiel Γ T als eine Familie von Abbildungen {s r i } r {1,2,...,T } mit s r i : H(r 1) S i r {1, 2,...,T }, dabei definieren wir H(0) als beliebige einelementige Menge, so dass jede Spielerin in der ersten Runde eine ihrer Strategien in S i wählt. Analog definieren wir in Γ die reinen Strategien als Familie {s r i } r N, mit s r i : H(r 1) S i r N. Statt nun gemischte Strategien als Wahrscheinlichkeitsverteilung über den soeben definierten reinen Strategien zu definieren, betrachten wir wie im Falle von Extensivformspielen Verhaltensstrategien, die für jede Geschichte angeben, welche gemischte Strategie eine Spielerin spielt (und dann analog für korrelierte Strategien, falls wir diese zulassen wollen). Formal heißt das, wir betrachten für Spielerin i I im wiederholten Spiel Γ T eine Familie von Abbildungen {σ r i } r {1,2,...,T } mit σ r i : H(r 1) Σ i r {1, 2,...,T } ; bzw. in Γ die Familie {σ r i } r N, mit σ r i : H(r 1) Σ i r N. Gegeben eine Kombination von Strategien für das wiederholte Spiel Γ T bzw. Γ liegen die Strategien für jede einzelne Wiederholung des Stufenspiels fest. Damit ergibt eine Kombination von Strategien des Wiederholten Spiels letztendlich für jede Spielerin i I einen Vektor π i = (π i1,π i 2,...,π i T ) R T bzw. eine Folge π i = π i t t N R N = R. Was wir benötigen ist eine Bewertung, die wir mit V i bezeichnen werden, eines solchen Vektors bzw. einer solchen Folge, die die Auszahlung des wiederholten Spiels ist. Im Universität des Saarlandes

5 151 Spieltheorie Sommersemester 2007 endlich oft wiederholten Spiel ist dies unproblematisch: Wir können einfach die Koordinaten des Vektors π i aufsummieren. Für unendlich oft wiederholte Spiele ergäbe dies im allgemeinen eine unendliche Reihe, die nicht konvergiert. Daher betrachten wir hier stets den Fall, dass zukünftige Auszahlungen mit dem (konstanten) Diskontfaktor δ (0, 1) abdiskontiert werden. 4 Dies lässt sich natürlich auch im endlich oft wiederholten Spiel tun. Im endlich oft wiederholten Spiel können wir die Auszahlung im wiederholten Spiel also als V i = T δ (1 t) π i t t=1 schreiben, wobei im nicht abdiskontierten Fall δ = 1 und sonst δ (0, 1) ist. Im unendlich oft wiederholten Spiel mit Diskontfaktor δ (0, 1) ist die Auszahlung V i = δ (1 t) π i t. t=1 Der nicht abdiskontierte Fall δ = 1 ist hier ausgeschlossen, da in diesem Fall die Reihe im allgemeinen nicht konvergiert. Für δ (0, 1) hingegen ist die Konvergenz sicher gestellt, solange die Auszahlungen im Stufenspiel Γ beschränkt sind. Dies ist aber in den von uns betrachteten Spielen mit endlichen Strategiemengen stets der Fall. Damit können wir alle Gleichgewichtsdefinitionen auf wiederholte Spiele übertragen, indem wir an Stelle der Auszahlung π in einem einmaligen Spiel die Auszahlung V des Wiederholten Spiels verwenden. Da jede Strategiekombination im wiederholten Spiel das Verhalten in jeder Wiederholung des Stufenspiels festlegt, können wir davon sprechen, dass eine bestimmte Strategiekombination im Stufenspiel durch ein Gleichgewicht im wiederholten Spiel gestützt wird. Dabei sind unterschiedlich anspruchsvolle Definitionen denkbar, was das bedeutet: Im einfachsten Fall würde es uns reichen, dass es ein Gleichgewicht des wiederholten Spiels gibt, in dem im ersten Stufenspiel die fragliche Strategiekombination gespielt wird; die schärfste Anforderung wäre zu verlangen, dass im Gleichgewicht des wiederholten Spiels die fragliche Strategiekombination in jeder Wiederholung des Stufenspiels gespielt wird (und womöglich noch, dass das Gleichgewicht des wiederholten Spiels eindeutig ist) Kooperative Analyse eines Normalformspiels Sei Γ = ( I, {S i } i I, {π i } i I ) ein Stufenspiel. Nach unserer Analyse aus Kapitel 2 können wir beurteilen, wie über dieses Spiel aus nichtkooperativer Perspektive zu sagen ist. Wir 4 In der Literatur finden sich auch alternative Bewertungen von Folgen von Auszahlungen. Angesichts der ökonomischen Interpretation, die unendlich wiederholte Spiele als Modell für prinzipiell nur endlich oft wiederholte Spiele verwendet, in denen allerdings in jeder Periode unklar ist, ob das Spiel in dieser Periode endet oder fortgesetzt wird, was formal äquivalent zum Abdiskontieren der Auszahlungen ist, erscheint diese größere Allgemeinheit aber unnötig. Jörg Naeve

6 6. Wiederholte Spiele 152 könnten etwa die Menge der Nash Gleichgewichte angeben oder Γ auf Gleichgewichte in dominanten Strategien untersuchen. In Vorbereitung auf die sogenannten Folk Theoreme [folk theorems] in den folgenden beiden Abschnitten, wollen wir uns kurz mit der alternativen kooperativen Sichtweise des Spiels Γ auseinandersetzen. Im Γ = ( ) I, {S i } i I, {π i } i I können die Spielerinnen in einem kooperativen Rahmen bindende Absprachen darüber treffen, welche Strategiekombinationen sie wählen. Je nachdem, ob ihnen reine, gemischte oder korrelierte Strategien zur Verfügung stehen können sie sich also auf einen Punkt aus S, Σ oder Σ einigen. In der kooperativen Analyse betrachten wir dabei ) in der Regel die Menge der resultierenden Auszahlungsvektoren π (S), π (Σ) bzw. π ( Σ. Die Menge der erreichbaren Auszahlungsvektoren können wir (wenigstens für den Fall von I = {1, 2}) grafisch darstellen, wie in Beispiel 2 gezeigt. Beispiel (Kooperative Analyse des Geschlechterkampfes) Die Auszahlungs(bi)matrix des Geschlechterkampfes (vgl. Beispiel 12) lautet T M B M T F 1, 2 0, 0 B F 0, 0 2, 1. In Abbildung 6.1 sind zunächst die Auszahlungen dargestellt, die sich aus den vier Kombinationen reiner Strategien ergeben. Deren konvexe Hülle entspricht der Menge π ) ( Σ aller Auszahlungsvektoren, die durch korrelierte Strategien erreichbar sind. Dies ist leicht einsichtig, wenn man sich klar macht, dass die Auszahlungsfunktion linear ist und daher das Bild einer Konvexkombination reiner Strategiekombinationen (dies ist eine korrelierte Strategie, die ja nicht anderes als eine Wahrscheinlichkeitsverteilung über S ist) die entsprechende Konvexkombination der Bilder der reinen Strategiekombinationen ist. Etwas schwieriger nachvollziehbar ist, wie die Menge π (Σ) aussieht. In der Abbildung ist angedeutet, wie die obere Begrenzungslinie dieser Menge als Einhüllende von Geraden (drei davon sind grün eingezeichnet) entsteht, die sich dadurch ergeben, dass eine Spielerin eine fixierte gemischte Strategie spielt (die eingezeichneten Geraden entsprechen den Strategien ( 1, ( 3 4 4), 1, ( 1 2 2) und 3, 1 4 4) ) und die andere ihre Mischung variiert. Eine detaillierte Diskussion bietet Bacharach (1976, Abschnitt 5.2, S ). Ein wichtiger Bezugspunkt in der Menge der erreichbaren Auszahlungsvektoren ist der Punkt der Maximin Auszahlungen der Spielerinnen v Γ (vgl. Gleichung (2.20) in Unterabschnitt 2.5.2). Jede Spielerin kann sich ihre Maximin Auszahlung sichern und wird daher keine Vereinbarung mit den anderen Spielerinnen treffen, die ihr weniger als diese Auszahlung liefert. Definition 6.1 (individuell ) rationale Auszahlungen) Die erreichbaren Auszahlungsvektoren x π ( Σ, die jeder Spielerin mindestens ihre Maximin Auszahlung geben Universität des Saarlandes

7 153 Spieltheorie Sommersemester 2007 π 2 π (T F,T M ) ) π ( Σ π (B F,B M ) v π (Σ) π (B F,T M ) = π (T F,B M ) Abbildung 6.1.: Kooperativ erreichbare Auszahlungsvektoren im Geschlechterkampf π 1 heißen individuell rational [individually rational]. Die Menge aller individuell rationalen Auszahlungsvektoren, die in der kooperativen Spieltheorie auch Imputationen [imputations] genannt werden ist also die Menge I := { ) } x π ( Σ v x. (Zur Erinnerung v x heißt, v i x i für alle i I.) Für unser Beispiel des Geschlechterkampfes ist v = ( 2 3, 2 3). Auch eine Minimax Strategie (oder bei mehr als zwei Spielerinnen eine korrelierte Minimax Strategiekombination aller Spielerinnen außer einer gerade betrachteten) ist für alle Spiele, d. h. auch solche, die keine Nullsummenspiele sind, im Kontext des wiederholten Spielen sinnvoll interpretierbar: Wollen die anderen Spielerinnen in folgenden Runden eine Spielerin wegen möglichen Fehlverhaltens in einer Runde bestrafen, können sie sie durch Wahl ihrer Minimax Strategie(kombination) daran hindern, mehr als die entsprechende Auszahlung zu bekommen. Den Vektor der Minimax Auszahlungen im Spiel Γ hatten wir mit v (Γ) bezeichnet (vgl. Gleichung (2.21) in Unterabschnitt 2.5.2). Generell ist die Maximin Auszahlung einer Spielerin geringer als die Minimax Auszahlung, d. h. v v. Im Beispiel des Geschlechterkampfes fallen beide allerdings für beide Spielerinnen zusammen. Jörg Naeve

8 6. Wiederholte Spiele Unendlich oft wiederholte Spiele Wir werden die folgenden Ausführungen anhand des Cournot Duopols illustrieren. daher beginnen wir damit, uns dieses Modell in Erinnerung zu rufen. Um im Rahmen unserer Ausführungen zu bleiben, betrachten wir die Version des Cournot Duopols als Gefangenendilemma, die wir in der Anwendung entwickelt haben (vgl. Abbildung 2.23). Beispiel (Cournot Duopol) Die beiden Firmen im Cournot Duopol entscheiden sich, entweder die Menge des Cournot Nash Gleichgewichtx i oder die halbe Monopolmenge x K i anzubieten. Die vereinfachte Auszahlungsmatrix lautet dann x K 2 x 2 x K 1 18, 18 15, 20 x 1 20, 15 16, 16. Man erkennt die Struktur des Gefangenendilemmas: Beide Firmen haben eine strikt dominante Strategie, nämlich x i, es gibt ein eindeutiges Nash Gleichgewicht in strikt dominanten Strategien, das aber Pareto dominiert ist. Die Menge aller erreichbaren Auszahlungsvektoren im Cournot Duopol ist in Abbildung 6.2 dargestellt. π 2 20 π ( ) x K 1,x π ( x K 1,x K 2 ) π (x 1,x 2) = v π ( x 1,x K 2 ) Abbildung 6.2.: Kooperativ erreichbare Auszahlungsvektoren im Cournot Duopol π 1 Wir werden nun zwei Beispiele für Strategien in einem unendlich oft wiederholten Spiel Universität des Saarlandes

9 155 Spieltheorie Sommersemester 2007 betrachten, die wir im Kontext des unendlich oft wiederholten Cournot Duopols betrachten. Es handelt sich dabei um die beiden vielleicht bekanntesten Strategietypen in wiederholten Spielen, insbesondere für das wiederholte Gefangenendilemma (vgl. Axelrod (1984)). Beide sind verhältnismäßig einfache Strategien. Beispiel (Grim Trigger) Diese Strategie, die oft auch nur Triggerstrategie genannt wird, geht zurück auf James Friedman und lässt sich wie folgt beschreiben. In der ersten Runde spiele K. In jeder folgenden Runde spiele K, solange die andere Firma in allen Vorrunden K gespielt hat, spiele D, falls der Gegner mindestens einmal D gespielt hat. Dies ist eine Bestrafungsstrategie ohne Vergebung: Wenn die andere Firma nur ein einziges Mal vom Kartell abweicht, wird sie für immer mit D bestraft. An dieser Stelle kommt die Minimax Strategie ins Spiel: Wenn ich meine Mitspielerin bestrafen möchte, ist dies am wirkungsvollsten, wenn ich sie auf die niedrigste Auszahlung drücke, die mir möglich ist, d. h. wenn ich eine Minimax Strategie spiele. Beispiel (Tit for tat) Die Strategie Tit for tat geht auf Anatol Rapoport zurück. Sie ähnelt der Triggerstrategie, mit dem wesentlichen Unterschied, dass sie nach einmaliger Abweichung nicht für immer auf Bestrafung umschaltet. In der 1. Runde spiele K. In jeder folgenden Runde spiele K, falls der Gegner in der Vorrunde K gespielt hat, spiele D, falls der Gegner in der Vorrunde D gespielt hat. Tit for tat sagt also: Imitiere die Aktion des Gegners der Vorperiode. Dies ist ein Bestrafungsmechanismus mit Vergebung: Weicht die andere Firma Gegner einmal ab und spielt D, wird sie in der nächsten Runde mit D bestraft. Spielt sie jedoch danach wieder K, so schreibt Tit for tat auch wieder K vor. Ein Nash Gleichgewicht im wiederholten Spiel ist eine Strategiekombination, bei der sich kein Spieler durch einseitiges Abweichen verbessern kann. Da die Strategien im wiederholten Spiel recht kompliziert werden können, ist es nicht immer leicht, zu überprüfen, ob eine gegebene Strategiekombination ein Nash Gleichgewicht ist. Der folgende Satz liefert aber sofort mögliche Nash Gleichgewichte des wiederholten Spiels. Jörg Naeve

10 6. Wiederholte Spiele 156 Satz 6.2 Hat das Stufenspiel Γ ein Nash Gleichgewicht (s 1,s 2), so ist die Strategiekombination, bei der in jeder Runde (unabhängig von der Geschichte) (s 1,s 2) gespielt wird, ein Nash Gleichgewicht des wiederholten Spiels. (Dies gilt sowohl für unendlich als auch für endlich oft wiederholte Spiele.) Beweis: Diesen Satz kann man sich sehr leicht klar machen. Da die Strategie der anderen Spielerin unabhängig von der Geschichte ist, können wir uns darauf beschränken, die Wirkung möglichen einseitigen Abweichens in einer Periode zu betrachten. Im Stufenspiel ist aber (s 1,s 2) ein Nash Gleichgewicht, d. h., ein profitables einseitiges Abweichen ist unmöglich. An diesem Beweis erkennt man sofort, dass für ein Stufenspiel mit multiplen Nash Gleichgewichten auch jede Abfolge von Nash Gleichgewichten (auch unterschiedlicher in unterschiedlichen Perioden) ein Nash Gleichgewicht des wiederholten Spiels ist. Im obigen Beispiel des wiederholten Cournot Duopols ist also die Strategiekombination ((x 1,x 2), (x 1,x 2), (x 1,x 2),...) ein Nash Gleichgewicht. Die spannende Frage lautet, ob es im wiederholten Spiel noch andere Gleichgewichte gibt, als Kombinationen von Gleichgewichten des Stufenspiels. Erst eine positive Antwort auf diese Frage würde die Beschäftigung mit wiederholten Spielen lohnend erscheinen lassen. Beispiel (Triggerstrategien im wiederholten Cournot Duopol) Wenn beide Firmen eine Triggerstrategie verwenden, spielen beide in jeder Periode x K i, d. h. sie bilden ein Kartell. Ist dies aber ein Nash Gleichgewicht im wiederholten Spiel? Die Frage lautet, ob es sich für eine Spielerin lohnt, in einer Periode t abzuweichen und x 2 zu spielen? Aufgrund der Symmetrie des Spiels, reicht es, dies für eine Spielerin zu tun. Wir nehmen also an, Spielerin 1 spielt die Triggerstrategie. Für Spielerin 2 vergleichen wir ihre Auszahlungen bei der Triggerstrategie mit denen, die sie bekommt, wenn sie in Periode t abweicht, indem sie x 2 spielt. Dies bedeutet, dass 1 gemäß der Triggerstrategie in allen Folgeperioden x spielen wird. Daher nehmen wir an, dass 2 von Periode t + 1 an darauf mit ihrer besten Antwort x 2 reagiert. Dies bedeutet, dass sie die optimale Abweichung wählt, m. a. W., wenn sich diese Abweichung nicht lohnt, dann gibt es keine lohnende Abweichung. Wir fassen die resultierenden Strategien im Stufenspiel und die Periodenauszahlungen, die sich aus der Auszahlungsmatrix ergeben, in zwei Tabellen zusammen. Zunächst die Situation, in der sowohl Spielerin 1 als auch 2 bei der Triggerstrategie bleiben. Universität des Saarlandes

11 157 Spieltheorie Sommersemester 2007 Spielerin 1 Spielerin 2 Periode t 1 t t + 1 t s 1 t x K 1 x K 1... x K 1 x K 1 x K 1 x K 1... π 1 t s 2 t x K 2 x K 2... x K 2 x K 2 x K 2 x K 2... π 2 t Wenn Spielerin 2 in Periode t abweicht, ergibt sich folgende Situation. Periode t 1 t t + 1 t Spielerin 1 Spielerin 2 s 1 t x K 1 x K 1... x K 1 x K 1 x 1 x 1... π 1 t s 2 t x K 2 x K 2... x K 2 x 2 x 2 x 2... π 2 t Wenn wir nun die abdiskontierte Auszahlung für Spielerin 2 im wiederholten Spiel beginnend in Periode t für die beiden Situationen vergleichen ergibt sich folgendes Bild (in den Perioden davor, stimmen die Auszahlungen in beiden Fällen überein). 1. Bei der Triggerstrategie: V Trigger 2 = 18 + δ 18 + δ (6.1) δ V Trigger 2 = δ 18 + δ δ (6.2) Die Differenz der beiden Gleichungen 6.1 und 6.2 ergibt (1 δ) V Trigger 2 = 18 V Trigger 2 = 2. Beim Abweichen in Periode t : V Abweichen 18 (1 δ). (6.3) 2 = 20 + δ 16 + δ (6.4) δ V2 Abweichen = δ 20 + δ δ (6.5) Die Differenz der beiden Gleichungen (6.4) und (6.5) ergibt Das Abweichen lohnt sich, falls (1 δ) V Abweichen 2 = (1 δ) 20 + δ 16 V Abweichen 2 = 20 + δ 16 (1 δ). (6.6) V Trigger 2 V Abweichen 2 18 (1 δ) 20 + δ 16 (1 δ). Auflösen nach δ ergibt δ 2 5 = 0, 5. Jörg Naeve

12 6. Wiederholte Spiele 158 Im Ergebnis wird es sich für eine Spielerin lohnen, einseitig davon abzuweichen, die Triggerstrategie zu spielen, falls der Diskontfaktor kleiner als 0, 5 ist. Andersherum formuliert, solange der Diskontfaktor groß genug ist, nämlich δ 0, 5, bildet ein Paar von Triggerstrategien ein Nash Gleichgewicht des wiederholten Cournot Duopols. In diesem Fall wird im wiederholten Spiel von beiden Spielern immer die Kartellmenge gespielt, das Kartell ist also stabil. Die Bedeutung des Diskontfaktors hat eine klare ökonomische Interpretation: Ein großer Diskontfaktor bedeutet, dass die Zukunft nur geringfügig abdiskontiert wird. D. h., die Zukunft ist wichtig, die Spieler sind geduldig. In diesem Fall haben zukünftige Zahlungen ein hohes Gewicht. Ein Spieler wird die zukünftigen Kartellgewinne nicht wegen eines einmaligen höheren Gewinns durch Abweichen aufs Spiel setzen. Anders bei niedrigem Diskontfaktor: In diesem Fall sind die Spieler ungeduldig, die Zukunft wird nur gering bewertet. Der höhere Gewinn durch einmaliges Abweichen ist dann mehr wert als die zukünftigen Kartellgewinne, so dass es sich lohnt, von der Triggerstrategie abzuweichen. Beispiel ( ) Nehmen wir nun an, beide Spielerinnen spielten eine Tit for tat Strategie. Lohnt es sich für Spielerin 2, in einer Periode t abzuweichen und x 2 zu spielen? Ohne Abweichen ergibt sich das selbe Bild wie in der Analyse der Triggerstrategien. Spielerin 1 Spielerin 2 Periode t 1 t t + 1 t s 1 t x K 1 x K 1... x K 1 x K 1 x K 1 x K 1... π 1 t s 2 t x K 2 x K 2... x K 2 x K 2 x K 2 x K 2... π 2 t Weicht Spielerin 2 in Periode t von der Tit for tat Strategie ab, heißt dies, dass sie in Periode t statt x K 2 die Cournot Menge x 2 wählt, um dadurch in dieser Periode ihren Gewinn zu steigern. Die Frage ist, ob es danach optimal ist, auch in den Folgeperioden x 2 zu spielen. In diesem Falle ergäbe sich exakt das selbe Ergebnis wie für die Triggerstrategien. Wir analysieren hier den Fall, dass Spielerin 2 nur in Periode t die Cournot Menge spielt, um danach wieder zur halben Monopolmenge x K 2 zurückzukehren. Wenn Spielerin 2 in Periode t abweicht, ergibt sich unter dieser Annahme folgende Situation. Universität des Saarlandes

13 159 Spieltheorie Sommersemester 2007 Spielerin 1 Spielerin 2 Periode t 1 t t + 1 t s 1 t x K 1 x K 1... x K 1 x K 1 x 1 x K 1... π 1 t s 2 t x K 2 x K 2... x K 2 x 2 x K 2 x K 2... π 2 t Die Auszahlungen unterscheiden sich nur in den beiden Perioden t und t + 1. Damit ist die Differenz der Auszahlungen V Abweichen Tit for tat 2 V2 = 2 3δ. Das Abweichen lohnt sich, falls diese Differnz positiv ist, also 2 3δ 0 δ 2 = 0, 6. 3 Im Ergebnis wird es sich für eine Spielerin lohnen, einseitig davon abzuweichen, die Tit for tat Strategie zu spielen, falls der Diskontfaktor kleiner als 0, 6 ist. Andersherum formuliert, solange der Diskontfaktor groß genug ist, nämlich δ 0, 6, bildet ein Paar von Tit for tat Strategien ein Nash Gleichgewicht des wiederholten Cournot Duopols. In diesem Fall wird im wiederholten Spiel von beiden Spielern immer die Kartellmenge gespielt, das Kartell ist also stabil. Im Vergleich zur Triggerstrategie ist Tit for tat weniger leicht als Gleichgewicht zu stützen, da ein profitables Abweichen in einer Periode in der Zukunft weniger gravierende Konsequenzen hat. Weniger leicht zu stützen heißt, es ist ein höherer Diskontfaktor also ein größeres Gewicht auf zukünftige Auszahlungen nötig Folk Theoreme Wie man sieht, können in unendlich oft wiederholten Spielen im Nash Gleichgewicht pro Periode andere Kombinationen von Auszahlungen erreicht werden als im Stufenspiel. Frage Können alle möglichen Kombinationen von Auszahlungen in einem Nash Gleichgewicht erreicht werden? Nein, nur solche, die individuell rational sind. Individuell rationale Auszahlungen Wenn Spieler 1 in jeder Periode D spielt, kann er sich eine Auszahlung von mindestens 5 (im Durchschnitt) in jeder Periode garantieren (D ist die Maximin Strategie). In einem Nash Gleichgewicht muss jeder Spieler im Durchschnitt mindestens eine Auszahlung in Höhe seiner Maximin Auszahlung bekommen. Jörg Naeve

14 6. Wiederholte Spiele 160 Auszahlungen, die mindestens so groß sind wie die Maximin Auszahlung, heißen individuell rational. Beispiel Cournot Duopol K D K 8, 8 2, 10 D 10, 2 5, 5 Satz 6.3 ( Folk Theorem ) In einem unendlich oft wiederholten Spiel kann jede Kombination von individuell rationalen Auszahlungen als durchschnittliche Auszahlungen in einem Nash Gleichgewicht erreicht werden, wenn der Diskontfaktor groß genug ist. Satz 6.4 Für jedes Paar von individuell rationalen Auszahlungen gibt es einen Diskontfaktor δ 0 [0, 1], so dass für jedes δ δ 0 ein Nash Gleichgewicht existiert, in dem diese Auszahlungen im Durchschnitt pro Periode erreicht werden. Teilspiel perfektes Nash Gleichgewicht in unendlich oft wiederholten Spielen Bestrafungen (z.b. bei der Trigger Strategie) sind teuer: Der bestrafende Spieler muss selbst eine Einbuße hinnehmen. Frage Ist die Strafandrohung glaubwürdig? Beachte: Im Nash Gleichgewicht wird die Drohung niemals ausgeführt! (Z.B. Tit for tat: Beide spielen K für immer.) Wie ist ein Teilspiel in einem wiederholten Spiel definiert? In einem wiederholten Spiel beginnt nach jeder Geschichte ein Teilspiel. Eine Geschichte h t dokumentiert den Spielverlauf bis Periode t. Eine Fortsetzungsgeschichte von h t ist eine Geschichte, die h t als die ersten t 1 Strategiekombinationen hat. Definition Ein teilspielperfektes Nash Gleichgewicht für ein wiederholtes Spiel ist eine Strategiekombination, die nach jeder Geschichte h t ein Nash Gleichgewicht für die Fortsetzungsgeschichte vorschreibt, für alle t 1. Daraus folgt: Eine Strategiekombination, die in jeder Runde ein Nash Gleichgewicht des Universität des Saarlandes

15 161 Spieltheorie Sommersemester 2007 Stufenspiels vorschreibt, ist ein teilspielperfektes Nash Gleichgewicht für das wiederholte Spiel. Satz 6.5 Sei (s 1,s 2) ein Nash Gleichgewicht des Stufenspiels mit Auszahlungen π i (s 1,s 2), i = 1, 2. Dann gibt es für jeden Auszahlungsvektor π i π i (s 1,s 2), i = 1, 2 einen Diskontfaktor δ 0 (0, 1), so dass für alle δ δ 0 die Auszahlungen π i (s 1,s 2), i = 1, 2 in einem teilspielperfekten Nash Gleichgewicht des unendlich oft wiederholten Spiels erreicht werden können Endlich oft wiederholte Spiele Beispiel Das Cournot Duopolspiel wird 10 mal wiederholt. Rückwärtige Induktion In der zehnten Runde (dem letzten Teilspiel) ist x i für beide Spielerinnen eine dominante Strategie, da es keine weitere Runde gibt und daher keine Bestrafung mehr erfolgen kann. In der neunten Runde antizipieren die Spielerinnen, dass in der zehnten Runde (x 1,x 2) gespielt wird. Wiederum ist x i eine dominante Strategie für beide Spielerinnen. Kooperation x K i lohnt sich nicht. In Runde t antizipieren die Spielerinnen, dass in Runde t + 1 das Strategienpaar (x 1,x 2) gespielt wird. Daher ist x i eine dominante Strategie für jede Spielerin. Somit wird in jeder Runde (x 1,x 2) gespielt! Das ist das einzige teilspielperfekte Nash Gleichgewicht des endlich oft wiederholten Spiels. Satz 6.6 Hat das Stufenspiel ein eindeutiges Nash Gleichgewicht, in dem die Auszahlungen gleich den Maximin Auszahlungen sind, dann ist die einzig mögliche Kombination von Auszahlungen in jeder Runde des endlich oft wiederholten Spiels gegeben durch diese Maximin Auszahlungen. Jörg Naeve

16 6. Wiederholte Spiele 162 Satz 6.7 Hat das Stufenspiel ein Nash Gleichgewicht (s 1,s 2) mit Auszahlungen, die größer sind als die Maximin Auszahlungen m i, dann kann jede Kombination von Auszahlungen mit π i m i für i = 1, 2 in einem Nash Gleichgewicht des endlich oft wiederholten Spiels erreicht werden, vorausgesetzt der Diskontfaktor ist nahe eins und die Zahl der Wiederholungen des Spiels ist hinreichend groß. Beispiel Das Gefangenendilemma wird modifiziert, indem wir eine strikt dominierte Strategie für jeden Spieler hinzufügen. N C A N 1, 1 1, 3 4, 4 C 3, 1 0, 0 3, 4 A 4, 4 4, 3 4, 4 Dadurch wird das Gleichgewicht nicht verändert, aber die Maximin Auszahlungen ( 3, 3) der Spieler sind geringer als die gleichgewichtigen Auszahlungen im Stufenspiel (0, 0). Wenn das Spiel zweimal wiederholt wird, dann kann (N,N) in der ersten Periode als Nash Gleichgewicht implementiert werden: Strategie für jeden Spieler: Spiele in der ersten Periode N. Spiele in der zweiten Periode C, falls in der ersten Periode (N,N) gespielt wurde, und A sonst. Bildet diese Strategiekombination ein Nash Gleichgewicht? Angenommen, Spieler 2 hält sich an diese Strategie könnte sich Spieler 1 durch Abweichen verbessern? Bei der angegebenen Strategie erhält er die Auszahlung π 1 (N,N) + π 1 (C,C) = = 1. Weicht Spieler 1 ab, könnte er bestenfalls C in beiden Runden spielen. Seine Auszahlung wäre π 1 (C,N) + π 1 (C,A) = 3 3 = 0. Fazit: Abweichen lohnt nicht. Um das gewünschte Verhalten eines Spielers in der ersten Periode zu induzieren, droht man in der zweiten Periode mit einem schlechteren Ergebnis als dem Nash Gleichgewicht. In der ursprünglichen Version des Gefangenendilemmas war das nicht möglich. Universität des Saarlandes

17 163 Spieltheorie Sommersemester 2007 Aber Dieses Nash Gleichgewicht ist nicht teilspielperfekt: Spieler 2 muss, um Spieler 1 zu bestrafen, eine für ihn suboptimale Aktion wählen. Frage gibt es teilspielperfekte Nash Gleichgewichte des wiederholten Spiels, die andere Auszahlungen als die im Nash Gleichgewicht des Stufenspiels induzieren? Antwort Satz 6.8 Hat das Stufenspiel ein eindeutiges Nash Gleichgewicht, so hat jedes endlich oft wiederholte Spiel ein eindeutiges teilspielperfektes Nash Gleichgewicht: Das Gleichgewicht des Stufenspiels wird in jeder Runde gespielt. Dies folgt aus der rückwärtigen Induktion. Konsequenz: Spiele, die nur ein Nash Gleichgewicht haben, bieten keine Möglichkeit, glaubwürdig zu drohen, wenn das Spiel endlich oft wiederholt wird. Wenn es jedoch im Stufenspiel mehr als ein Nash Gleichgewicht gibt, bei denen sich die Auszahlungen unterscheiden, dann könnte eine glaubwürdige Drohung darin bestehen, in den letzten Runde das schlechte Nash Gleichgewicht zu spielen. Jörg Naeve

18 6. Wiederholte Spiele 164 Universität des Saarlandes