Spieltheorie. Kapitel 6 Evolutionär stabile Strategien

Transkript

1 Kapitel 6

2 2 Agenda Einführung Klassische Entscheidungstheorie Nash-Gleichgewichte in reinen Strategien Nash-Gleichgewichte in gemischten Strategien Anwendungen des Nash-Konzepts Alternative Gleichgewichtskonzepte Einführung des Konzepts Existenz von evolutionär stabilen Strategien Umgebungen evolutionär stabiler Strategien Populationsdynamik Spiele in Extensivform (Teilspiel-)perfekte Gleichgewichte Perfekt Bayesianische Gleichgewichte Wiederholte Spiele

3 3 Evolution und Grundidee bei Evolutionsmodellen Menschen bzw. deren Gene pflanzen sich in Generationen fort Jede Generation besteht aus (unendlich) vielen Genen Für jedes Gen wird Erfolg ( Fitness ) bestimmt Anzahl der Nachkommen des Gens abhängig von Fitness Zentrale Frage: Welches Gen setzt sich (langfristig) durch? In der Gene sind Strategien von Spielern Generation besteht aus unendlich großer Population von Strategien Fitness mit zufälligem Partner ermittelt Zentrale Frage: Welche Strategie ist langfristig keiner anderen Strategie unterlegen? Nutzen von spieltheoretischer Evolutionsbetrachtung Vorhersagen für dynamische Systeme Anwendung in Biologie

4 4 Vereinfachende Annahmen I Hier: Unser Ziel ist Verständnis des Konzepts, nicht Lösung komplexer Fragestellungen Nur symmetrische Spiele mit 2 Spielern, d.h. G = {Σ 1, Σ 2 ; π 1,, π 2 ; {1, 2}} mit Σ 1 = Σ 2 = Σ und π 1 (σ 1, σ 2 ) = π 2 (σ 2, σ 1 ) = π... oder verständlich: Spieler 1 Spieler 2 x y x a, a b, c y c, b d, d

5 Stephan Schosser 5 Vereinfachende Annahmen II Warum ist Einschränkung auf symmetrische Spiele sinnvoll? Auszahlungsmatrix als Matrix darstellbar! a b! a c A 1 = = A A 2 = = A T c d b d Gemischte Strategien als Vektoren darstellbar m S = {x R m + x i =1} s 1 = (x 1... x m ) = x s 2 = (y 1... y m ) = y T Damit: Auszahlung ist Produkt aus Vektoren und Matritzen π 1 (s 1, s 2 ) = x A y = Sp. 1 Wichtig: xay ist Auszahlung des Spielers mit Strategie x an, wenn Mitspieler y wählt! Spiel jetzt vereinfacht G = (A, Σ) statt G = {Σ 1, Σ 2 ; π 1,, π 2 ; {1, 2}} i=1 i j x i a ij y j x Sp. 2 y x a, a b, c y c, b d, d

6 6 Evolutionär Stabile Strategie Zurück zur Ausgangsüberlegung Interesse an Strategien, die sich langfristig gegenüber anderen durchsetzen... oder anders Interesse an Strategie x, die in Population mit wenigen y Spielern höhere Auszahlung als y erreicht x * nennen wir Evolutionär Stabile Strategie (ESS) Anforderung lässt sich überführen in Formal x * heißt evolutionär stabile Strategie (ESS), wenn gilt (a) x: x Ax xax (b) y x mit x Ax = yax : x Ay > yay Nebenbemerkung: In der Forschung oft Überprüfung/Ergänzung durch Simulationen

7 7 Alternative Interpretation ESS besser als jede beliebige Mutanten-Strategie solange Anteil der Mutanten klein genug Formal: y x * : x * A ((1 ε)x * + εy) > ya((1 ε)x * + εy) für ε klein genug Geht ε gegen 0, so erhält man x * Ax * yax *... also die ursprüngliche Beschreibung evolutionärer Strategien Damit lassen sich mit ESS auch biologische Prozesse interpretierbar Zwei Individuen treffen zufällig aufeinander Individuen interagieren in Spiel mit 2 Spielern Individuen reproduzieren sich dann asexuell (jeder erzeugt Nachkommen) Individiuen können auch gemischte Strategien wählen Nachkommen wählen Strategie des Erzeugers

8 8 Taube/Falke-Spiel (oder Hawk/Dove Game) Die Story: Population von Tieren besetzt Lebensraum Jedes Tier hat ein bestimmtes Territorium / Herrschaftsgebiet Tier kann eigenes Herrschaftsgebiet ausdehnen durch Angriff anderer oder mit eigenem Herrschaftsgebiet zufrieden sein Zusätzliches Herrschaftsgebiet hat Wert V > 0 Verletzung im Kampf führt zu Verwundungskosten C > 0 (und V < C) Die Spieler: n Tiere (Stopp: Nicht so wichtig - Wird bewegen uns im Kontext von ESS!) Die Strategien: Produktionsmenge Σ {H (Angreifen, Falke), D (nicht Angreifen, Taube)} Die Auszahlung (V C) / 2 V A = 0 V / 2 '

9 9 Taube/Falke Spiel Traditionelle Betrachtung Darstellung als Auszahlungsmatrix Spieler 2 (V C) / 2 V A = 0 V / 2 ' Spieler 1 H (q) D (1-q) H (p) (V-C)/2, (V-C)/2 V, 0 D (1-p) 0, V V/2, V/2 Zwei Nash-Gleichgewichte in reinen Strategien: (D, H) und (H, D) Ein Nash-Gleichgewicht in gemischten Strategien: (V-C)/2 q + V (1-q) = V/2 (1-q) (V-C)/2 q = V/2 (q-1) C/2 q = V/2 q = V/C Nash-Gleichgewicht: ((V/C, 1-V/C); (V/C, 1-V/C))

10 10 Taube/Falke Spiel Evolutionär Stabile Strategien I Frage: Ist gemischtes Gleichgewicht ESS? (V C) / 2 V A = 0 V / 2 Ermittlung: Gilt für alle x: x * Ax * xax * mit x * = (V/C 1-V/C)? (x * x)ax * 0 (x * x)ax * V = C p 1 V (V C) / 2 V (1 p) C ' V / C 0 V / 2 ' ' 1 V / C V = C p V C p V / C ' ( ) (V C) / 2 + (1 V / C) V ' ' (V / 2) (1 V / C) ' V = C p V C p (V ' 2 VC) / 2C +V V 2 / C ' ' (V V 2 / C) / 2 ' = 1 V 2C C p V C p ' V 2 VC + 2CV 2V 2 ' VC V 2 ' = 1 2C (V C p)(v 2 VC + 2CV 2V 2 ) ( V C p)(vc V 2 ) ' '

11 11 Taube/Falke Spiel Evolutionär Stabile Strategien II Frage: Ist gemischtes Gleichgewicht ESS? A = Ermittlung: Gilt für alle x: x * Ax * xax * mit x * = (V/C 1-V/C)? (x * x)ax * 0 (x * x)ax * = 1 2C (V C p)(v 2 VC + 2CV 2V 2 ) ( V C p)(vc V 2 ) ' = 1 2C (V C p)(2v 2 2VC + 2CV 2V 2 ) ' = 0 (V C) / 2 V 0 V / 2 ' Ergebnis: Egal welchen Wert p annimmt: x * Ax * = xax * ist immer erfüllt! Randbemerkung: Ergebnis nicht überraschend, da x * = (V/C 1-V/C) gemischtes Gleichgewicht Logisch?

12 12 Taube/Falke Spiel Evolutionär Stabile Strategien III Frage: Ist gemischtes Gleichgewicht ESS? Da für alle x: x * Ax * = xax * mit x * = (V/C 1-V/C) gilt,... noch zu zeigen, dass y x : x Ay > yay mit y = (p 1-p) yay x * Ay < 0 yay x * Ay = (y x * )Ay = (y x * )Ay ( yax * x * Ax * ) =0 = (y x * )Ay (y x * )Ax * = (y x * )A(y x * ) = ( p V C (p V C ) ) (V C) / 2 V 0 V / 2 = p V 2 ' ((V C) / 2 V +V / 2) C 2 = C 2 p V ' < 0 p V C C Damit ist q = p = V/C eine evolutionär stabile Strategie! A = ' ( p V C (p V C ) )T (V C) / 2 V 0 V / 2 '

14 14 Existenz von Evolutionär Stabilen Strategien I Bisher Jedes Spiel besitzt mindestens ein Nash-Gleichgewicht Jetzt Existiert auch für jedes beliebige Spiel eine evolutionär stabile Strategie Gegeben sei! A = Hier gilt: xax = yax = 1, wegen ( p 1 p ) ' q 1 q = p +1 p p +1 p ' ( ) q 1 q ' = 1 1 ( ) q 1 q ' =1

15 15 Existenz von Evolutionär Stabilen Strategien II Es gilt: xax = yax = 1 Jetzt Prüfung der Bedingungen für (ESS) x: x Ax xax Immer erfüllt, da xax = yax = 1 y x mit x Ax = yax : x Ay > yay Nie erfüllt, da xax = yax = 1 Es gibt also keine evolutionär stabilen Strategien, für A damit kann es nicht für jedes Spiel eine ESS geben!! A =

16 16 Eindeutigkeit von evolutionär stabilen Strategien Wenn x * vollständig gemischt ist, gilt immer für Bedingung (a): x: x Ax = xax, da bei Mischung Abweichen zu anderem Verhältnis Damit muss immer Bedingung (b) gelten: y x mit x Ax = yax : x Ay > yay D.h. keine andere Strategie y kann evolutionär stabil sein. Ist eine gemischte Strategie eine evolutionär stabile Strategie, ist diese immer die einzige evolutionär stabile Strategie! Anwendung auf Taube/Falke-Spiel Die gefunden evolutionär stabile Strategie (q = p = V/C) ist die einzige im Spiel

17 17 Umfangreiches Beispiel I Gegeben sei folgende symmetrische Auszahlungsmatrix X (q) Y (1-q) X (p) 0,0 3,1 Y (1-p) 1,3 2,2 Ermittlung der Nash-Gleichgewichte in reinen Strategien: {(X,Y), (Y,X)} Ermittlung der Nash-Gleichgewichte in gemischten Strategien: Spieler i π i (X, ) = p 0 + (1-p) 3 = 3 3p π i (Y, ) = p 1 + (1-p) 2 = 2 p π i (X, ) = π i (Y, ) 3 3p = 2 p p = 1/2 Nash-Gleichgewicht in gemischten Strategien: ((1/2, 1/2), (1/2, 1/2)) keine Randlösungen: offensichtlich keine Indifferenz an den Rändern

18 18 Umfangreiches Beispiel II Prüfung auf evolutionär stabile Strategien Bestimmung der Auszahlungsmatrix! A = X (q) Y (1-q) X (p) 0,0 3,1 Y (1-p) 1,3 2,2 sind immer Nash-Gleichgewichtsstrategien Kandidaten für evolutionär stabile Strategien (X, Y); (Y, X); ((1/2, 1/2), (1/2, 1/2)) Weiteres Vorgehen: Prüfung der Bedingungen für evolutionär stabile Strategien, d.h. (a) x: x Ax xax (b) y x mit x Ax = yax : x Ay > yay

19 19 Umfangreiches Beispiel III Kandidat: x * (1) = (1 0) Bedingung (a): x: x Ax xax Es gilt: x Ax < xax, da sonst x = x *! A = Bedingung (a) für evolutionär stabile Strategie nicht erfüllt.

20 20 Umfangreiches Beispiel IV Bedingung (b): y x mit x Ax = yax : x Ay > yay Nicht zu prüfen, da Bedingung (a) nicht erfüllt! A = Kandidat x * (1) = (1 0) ist keine evolutionär stabile Strategie

21 21 Umfangreiches Beispiel V Kandidat: x * (2) = (0 1) Bedingung (a): x: x Ax xax! A = Es gilt: x Ax < xax, da sonst x = x * Bedingung (a) für evolutionär stabile Strategie nicht erfüllt.

22 22 Umfangreiches Beispiel VI Bedingung (b): y x mit x Ax = yax : x Ay > yay Nicht zu prüfen, da Bedingung (a) nicht erfüllt! A = Kandidat x * (2) = (0 1) ist keine evolutionär stabile Strategie

23 23 Umfangreiches Beispiel VII Kandidat: x * (3) = (0,5 0,5) Bedingung (a): x: x Ax xax Es gilt: x Ax = xax! A = Bedingung (a) für evolutionär stabile Strategie erfüllt.

24 24 Umfangreiches Beispiel VIII Bedingung (b): y x mit x Ax = yax : x Ay > yay! A =

25 25 Umfangreiches Beispiel IX Bedingung (b): y x mit x Ax = yax : x Ay > yay (forts.) Einsetzten in Ungleichung: Ungleichung erfüllt für Kandidat x * (3) = (0,5 0,5) ist evolutionär stabile Strategie! A =

26 26 Formales Beispiel I Lässt sich ein Spiel ohne evolutionär stabile Strategie konstruieren? Bedingungen evolutionär stabiler Strategien (ESS) (a) x: x Ax xax (b) y x mit x Ax = yax : x Ay > yay Finde ein A, das Bedingung (b) widerspricht. Widerspruchsbedingung: x : x Ay yay mit x * = (q 1-q) Allgemeine Auszahlungsmatrix: Eingesetzt in Widerspruchsbedingung

27 27 Formales Beispiel II Auflösen der Widerspruchsbedingung Da p q, ist die Ungleichung nur (mit Gleichheit) erfüllt für Erfüllt für a 1 = a 2 und a 3 = a 4

28 28 Formales Beispiel III Bisher: Bedingungen evolutionär stabiler Strategien (a) x: x Ax xax (b) y x mit x Ax = yax : x Ay > yay Bedingung (b) nicht erfüllt mit Dabei gilt x Ay = yay Damit auch: x Ax = xax Gesuchtes 2-Personen-Normalformspiel ohne evolutionär stabile Strategie

30 30 Umgebungen evolutionär stabiler Strategien I Gegeben sei ein symmetrisches Koordinationsspiel mit Auszahlungsmatrix! 2 0 A = 0 4 Im Spiel existieren zwei Nash-Gleichgewichte x 1 = (1, 0) und x 2 = (0, 1) Beide Nash-Gleichgewichte sind auch evolutionär stabil: x 1 = (1, 0)! 2 0! 1! 2 x 1 Ax 1 = (1 0) = (1 0) = ! 2 0! 1! 2 xax 1 = (q 1-q) = (q 1-q) = 2q x 1 Ax 1 > xax x 1 = (0, 1)! 2 0! 0! 0 x 1 Ax 1 = (0 1) = (0 1) = ! 2 0! 0! 0 xax 1 = (q 1-q) = (q 1-q) = 4 4q x 1 Ax 1 > xax

31 31 Umgebungen evolutionär stabiler Strategien II Zentrale Frage: Gibt es eine Umgebung, d.h. eine Teilmenge von Strategien gegen die sich die Gleichgewichtsstrategie immer durchsetzt Bedingungen von evolutionär stabilen Strategien (a) x: x Ax xax (b) y x mit x Ax = yax : x Ay > yay D.h. wir konzentrieren uns auf Bedingung (b) Eine Strategie x * setzt sich gegen y durch, wenn gilt x Ay > yay bzw. x Ay yay > 0 In unserem Beispiel: x 1 = (1, 0): (1 0)Ay yay > 0 x 2 = (0, 1): (0 1)Ay yay > 0

32 32 Umgebungen evolutionär stabiler Strategien II x 1 = (1, 0): (1 0)Ay yay > 0 ( ) 1 0! ! q 1 q q 1 q ( ) = 2q (1-q) (4-4q)(1-q) = (6q-4)(1-q) = 6q 4 6q 2 +4q=-6q q 4!! q 1 q = 1 q q 1 ( )! 2q 4 4q Visualisierung Für q ]2/3, 1[ gilt x 1 Ay > yay und Umgebung des ESS: U(x 1 ) = {(q, 1-q) [0,1] 2 q > 2/3}

33 33 Umgebungen evolutionär stabiler Strategien III x 2 = (0, 1): (0 1)Ay yay > 0 ( 0 1 )! ! q 1 q q 1 q ( )! ! q 1 q = q q ( )! 2q 4 4q = -2q 2 + (4-4q)q = -6q 2 + 4q Visualisierung Für q ]0, 2/3 [ gilt x 2 Ay > yay und Umgebung des ESS: U(x 2 ) = {(q, 1-q) [0,1] 2 q < 2/3}

35 35 Populationsdynamik (diskret) I Bisher Statische Betrachtung evolutionärer (End-)Zustände Jetzt Betrachtung dynamischer Anpassungsprozesse (Replikatordynamik) Neue Annahmen Individuen spielen immer reine Strategien (keine gemischten mehr) Verschiedene Individuen können simultan verschiedene Strategien wählen Betrachtung polymorpher Populationen ersetzt gemischte Strategie (d.h. Anteil der Spieler mit reiner Strategie i wird beschrieben) Strategieverteilung: x = (x 1,, x k ) Zeitpunktbetrachtung: Strategieverteilung zum Zeitpunkt t: x t

36 36 Populationsdynamik (diskret) II Anpassungshypothese Anpassung der relativen Strategiewahlen ist: x k,t+1 = x k,t (Ax t ) k x t Ax t (Ax t ) k ist durchschnittliche Auszahlung der reinen Strategie σ k x t Ax t ist durchschnittliche Auszahlung die Population erreicht Eigenschaften der Anpassung ( to beat the average ) Überdurchschnittlich erfolgreiche Strategien vermehren sich Unterdurchschnittlich erfolgreiche Strategien verringern sich Anmerkungen Sämtliche Elemente der Auszahlungsmatrix a ij müssen größer 0 sein sonst Gefahr negativer Populationsanteile oder Nenner = 0 Population bleibt immer gleich groß: x k,t+1 = k k x k,t (Ax t ) k x t Ax t = x t Ax t x t Ax t =1

37 Stephan Schosser 37 Populationsdynamik (stetig) II Anpassungshypothese aus diskretem Fall ableitbar: (Ax x k,t+1 x k,t = x t ) k x t Ax t k,t x t Ax t Geht Dauer der Anpassungsperiode gegen 0, so gilt: x k (t) = x k (t) (Ax(t)) x(t)ax(t) k mit x k (t) ist Anteil von σ k zum Zeitpunkt t x(t)ax(t) Da nur Richtung der Anpassung (und nicht Betrag) relevant: x k (t) = x k ((Ax) k xax) Anmerkungen Verzicht auf Nenner: negative Elemente in Auszahlungsmatrix möglich Jede Nash-Gleichgewichtsstrategie ist stationärer Zustand, d.h. im Nash-Gleichgewicht gilt x = x k = 0 mit x k > 0 wenn σ k gespielt Wählt gesamte Population eine Strategie ist dies ein stationärer Zustand Verlassen des Zustands nicht mehr möglich

38 38 Beziehung zwischen ESS und Replikatordynamik Evolutionär stabile Strategie Erlaubt reine und gemischte Strategien Im Gleichgewicht spielen alle eine dieser Strategien Replikatordynamik Erlaubt nur reine Strategien Mischung durch Zusammensetzung der Population Allgemein gilt Ist x * eine evolutionär stabile Strategie, so ist x * ein asymptotisch stabiles Gleichgewicht (Grenzwert des Zeitpfades) der Replikatordynamik Die Umkehrung gilt nicht

39 39 ESS und Replikatordynamik Beispiel I Allgemeine Form von symmetrischen Spielen mit 2 Spielern und 2 Strategien! a b A = c d Anpassungsgleichung x k (t) = x k ((Ax) k xax) p = p((ax) 1 xax) ap + b(1 p) = p ap + b(1 p) ( p 1 p ) ' cp + d(1 p) '' = p ap + b(1 p) p(ap + b(1 p)) (1 p)(cp + d(1 p)) ( ) = p(1 p)[b d + p(a c + d b)] Folglich hat jedes dieser Spiele zwei stationäre Zustände p = 0 p = 1 p = 0

40 40 ESS und Replikatordynamik Beispiel II Anpassungsgleichung mit zwei Spielern p = p(1 p)[b d + p(a c + d b)]! A = a c b d Dominante Strategien (z.b. a > c und b > d) Es gilt p ]0,1[: p = p(1 p)[b d + p(a c + d b)] = p(1 p)[ p(a c)+ (1 p)(b d )] > 0 >0 >0 D.h. p wächst im Intervall ]0,1[ Einziges asymptotisch stabiles dynamisches Gleichgewicht in p = 1

41 41 ESS und Replikatordynamik Beispiel III Anpassungsgleichung mit zwei Spielern p = p(1 p)[b d + p(a c + d b)]! A = a c b d Dominante Strategien (z.b. a > c und b > d) Illustration (a = 5, b = 4, c = 1, d = 2) dp/dt p

42 42 ESS und Replikatordynamik Beispiel IV Anpassungsgleichung mit zwei Spielern p = p(1 p)[b d + p(a c + d b)]! A = a c b d Koordinationsspiele (z.b. a > c und d > b) Es gilt p ]0,1[: p = p(1 p)[b d + p(a c + d b)] > 0 Eckige Klammer > 0, wenn >0 p * d b > a c + d b >0 >0 <0 >0 >0 D.h. dp/dt hat Nullstelle im Intervall ]0,1[ und dp/dt fällt (steigt) für p < (>) p * p * ist instabil System tendiert zu den beiden Extremen zwei asymptotisch stabile dynamisches Gleichgewichte in p * =0 und p * =1

43 43 ESS und Replikatordynamik Beispiel V Anpassungsgleichung mit zwei Spielern p = p(1 p)[b d + p(a c + d b)]! A = a c b d Koordinationsspiele (z.b. a > c und d > b) Illustration (a = 2, b = 0, c = 0, d = 4) dp/dt p

44 44 ESS und Replikatordynamik Beispiel VI Anpassungsgleichung mit zwei Spielern p = p(1 p)[b d + p(a c + d b)]! A = a c b d Taube/Falke Spiele (z.b. a < c und d < b) Es gilt p ]0,1[: p = p(1 p)[b d + p(a c + d b)] > 0 Eckige Klammer > 0, wenn <0 p * d b > a c + d b <0 <0 >0 <0 <0 D.h. dp/dt hat Nullstelle im Intervall ]0,1[ und dp/dt fällt (steigt) für p > (<) p * p * ist stabil System tendiert von den beiden Extremen zu p* ein asymptotisch stabiles dynamisches Gleichgewicht in p *

45 ESS und Replikatordynamik Beispiel VII Anpassungsgleichung mit zwei Spielern p = p(1 p)[b d + p(a c + d b)]! A = a c b d Koordinationsspiele (z.b. a < c und d < b) Illustration (a = 1, b = 3, c = 2, d = 0) dp/dt p