Bimatrix-Spiele. Sarah Hidlmayer

Transkript

1 Bimatrix-Spiele Sarah Hidlmayer Literatur: Josef Hofbauer and Karl Sigmund: Evolutionary Games and Population Dynamics (Ch. 11), Cambridge.

2 Bimatrix-Spiele 1 Dynamik für Bimatrix-Spiele 2 Partnerschaftsspiele und Nullsummenspiele 3 Volumenerhaltung 4 Nash-Pareto-Paare 5 Spiel-Dynamik und Nash-Pareto-Paare

3 Ziel des Vortrags Es gibt Alternativen für die Dynamik von asymmetrischen Spielen. Wir werden neu skalierte Partnerschaftsspiele und Nullsummenspiele betrachten. Die normale Replikatordynamik ist volumenerhaltend, wohingegen eine Modifikation kleiner wird. Abschließend werden wir Nash-Pareto-Strategien behandeln, die einen Ersatz für gemischte ESS im asymmetrischen Fall liefern.

4 Dynamik für Bimatrix-Spiele Gleichungen für Replikatordynamik im asymmetrischen Spiel (Vergleich mit symmetrischem Spiel) ẋ i = x i ((Ay) i x Ay) ẏ j = y j ((Bx) j y Bx) (1) Miteinbeziehen der Normalisierung durch den Erwartungswert des Erfolgs: ẋ i = x i (Ay) i x Ay x Ay ẏ j = y i (Bx) j y Bx y Bx (2) Motiviert durch das diskrete Zeit-Modell Frequenz x i der E i -Spieler in der nächsten Generation proportional zu den x i (Ax) i

5 Dynamik für Bimatrix-Spiele x i = 1 Multiplikationsrate von einer Generation zur nächsten durch den Erwartungswert des Erfolgs normalisieren: x i = x i (Ay) i x Ay y j = y j (Bx) j y Bx (3)

6 Dynamik für Bimatrix-Spiele (2) folgt aus linearer Approximation x i x i ẋ i (2) kann nicht zu (1) reduziert werden (außer für Partnerschaftsspiele). Werden sehen: Unterschiedliches qualitatives Verhalten von (1) und (2) (2) und (3) auf S n S m wohldefiniert, vorausgesetzt a ij und b ji positiv Diese Einschränkung wird für (1) nicht gebraucht.

7 Dynamik für Bimatrix-Spiele Grund: unterschiedliche Erwartungswerte des Erfolgs In (3) werden die a ij als Multiplikationsraten von einer zur nächsten Generation verstanden. In (1) hingegen messen die a ij nur die Veränderungen der Fitness, die durch das Spiel verursacht werden.

8 Dynamik für Bimatrix-Spiele Besseres Verständnis: Große Konstante C hinzufügen, die allgemeine Hintergrundfitness von Individuen zu den a ij und b ji in (2) und (3) misst. Einfach zu sehen: (1) Grenzwert von (2) für C Dies deutet an, dass die Dynamik von (1) etwas einfacher sein sollte als die der beiden anderen Gleichungen.

9 Partnerschaftsspiele und Nullsummenspiele (1) nicht nur einfacher als die anderen beiden Gleichungen, auch immun gegenüber Reskalierungen des Erfolgs bei der Addition beliebiger Konstanten zu den Spalten der Erfolgsmatrizen A und B. Allgemeiner nennt man ein Spiel (A, B ) eine Reskalierung von (A, B), wenn Konstanten c j und d i und α > 0, β > 0 existieren, sodass: a ij = αa ij + c j, b ji = βb ji + d i. Wir schreiben dann: (A, B) (A, B ).

10 Partnerschaftsspiele und Nullsummenspiele Reskalierungen sind von besonderem Interesse für Partnerschaftsspiele, wo der Gewinn gleichmäßig zwischen den zwei Spielern aufgeteilt wird. für Nullsummenspiele, wo der Gewinn des Einen der Verlust des Anderen ist.

11 Partnerschaftsspiele und Nullsummenspiele (A, B) reskaliertes Partnerschaftsspiel, wenn (A, B) (C, C t ) reskaliertes Nullsummenspiel, wenn (A, B) ( C, C t ) für eine passende n m - Matrix C.

12 Partnerschaftsspiele und Nullsummenspiele Genauer: (A, B) c-partnerschafts-/nullsummenspiel (mit c > 0 bzw. c < 0), wenn passende c ij, c j und d i existieren, sodass für alle i und j: a ij = c ij + c j, bji = cc ij + d i.

13 Partnerschaftsspiele und Nullsummenspiele c-partnerschaftsspiele entsprechen bestimmten Gradienten-Systemen. Tangentialraum in Punkt (x, y) int S n S m besteht aus Vektoren (ξ, η) mit ξ R n 0 und η Rm 0. Definiere inneres Produkt im Tangentialraum: (ξ, η), (ξ, η ) (x,y) = ξ i ξ i x i + 1 c η j η j y j Zugehörigen Gradienten nennt man c-gradient.

14 Partnerschaftsspiele und Nullsummenspiele Die folgenden Aussagen sind äquivalent: (A, B) ist ein c-partnerschaftsspiel. (1) ist ein c-gradient. cξ Aη = η Bξ Für alle i, k zwischen 1 und n und für alle j, l zwischen 1 und m gilt: c(a ij a il a kj + a kl ) = b ji b li b jk + b lk (4)

15 Partnerschaftsspiele und Nullsummenspiele Außerdem gilt: Wenn (A.B) Partnerschaftsspiel, dann x Cy durchschnittlicher Gewinn, der bei jeder Runde anwächst. Wenn (A, B) c-partnerschaftsspiel, dann (2) Gradient. In einem Nullsummenspiel konvergiert die durchschnittliche Zeit pro innerer Runde gegen (p, q). Kampf der Geschlechter ist reskaliertes Nullsummenspiel. (A, B) nur dann c-nullsummenspiel, wenn (4) erfüllt.

16 Partnerschaftsspiele und Nullsummenspiele (4) kann interpretiert werden als Population von Spielern, die gemischte Strategien spielen. Annahme: N gemischte Strategien p i S n in Position I mit Frequenz x i (i = 1,.., N) gespielt werden M gemischte Strategien q j S m in Position II mit Frequenz y j (j = 1,..., M) gespielt werden. Hauptstrategie in I: p = x i p i Hauptstrategie in II: q = y j q j

17 Partnerschaftsspiele und Nullsummenspiele Da Gewinn für p i : p i Aq und für q j : q j Bp, ist Replikatorgleichung für Spiel mit gemischten Strategien: ẋ i = x i ((Ay) i x Ay) ẏ j = y j ((Bx) j y Bx) wobei a ij = p i Aq j und b ji = q j Bp i.

18 Partnerschaftsspiele und Nullsummenspiele Also A = PAQ t, B = QBP t mit P stochastische N n - Matrix mit Zeilen p i, Q stochastische M m - Matrix mit Zeilen q j. (Jede Zeile einer nichtnegativen Matrix addiert sich zu 1.)

19 Partnerschaftsspiele und Nullsummenspiele Es gilt folgendes: Wenn (A, B) c-partnerschafts-/c-nullsummenspiel, dann sind alle Spiele mit gemischten Strategien (PAQ t, QBP t ) für alle stochastischen N n - Matrizen P und alle stochastischen M m - Matrizen Q. (A, B) nur dann c-partnerschafts-/nullsummenspiel, wenn Spiele mit gemischten Strategien (PAQ t, QBP t ) c-partnerschafts-/nullsummenspiele sind für alle 2 n-matrizen P mit Zeilen aus Basisvektoren e i und e k aus R n und alle 2 m-matrizen Q mit Zeilen aus Basisvektoren f j und f l aus R m.

20 Partnerschaftsspiele und Nullsummenspiele Außerdem: Dynamisches Verhalten der modifizierten Replikatorgleichung (2) für allgemeine reskalierte Nullsummenspiele nicht bekannt. Generell: Spiel weder reskaliertes Nullsummenspiel noch reskaliertes Partnerschaftsspiel.

21 Volumenerhaltung In höheren Dimensionen braucht die Replikatorengleichung (1) keine Geschwindigkeitskonstante, aber sie wird immer noch Volumen erhalten. Liouville-Formel: ẋ = f (x) auf offener Menge U in R n G als Teilmenge von U mit Volumen V Volumen V (t) von G(t) = {y = x(t), x G}: V (t) = divf (x)d(x 1,..., x n ) G(t)

22 Volumenerhaltung Teile Vektorfelder (1) und (2) durch positive Funktion P = n i=1 x i m j=1 y j. Nenne diese (I) und (II). Berechne ihre Divergenzen. Divergenz von (I) in int R n R m : div(i) = 1 (x Ay + y Bx) (5) P

23 Volumenerhaltung Divergenz div 0 innerhalb des Zustandsraumes int S n S m Eigenwerte der Jacobimatrix subtrahieren, die orthogonal zu S n und S m x i = (1 x i )x Ay x Ay und y Bx beiden Eigenwerte für (1) Berücksichtige Faktor 1 P aus (5) folgt, dass Replikatordynamik (1) divergenzfrei: div 0 (I) = 0 Aus Liouvilles Formel ergibt sich, dass (I) Volumen erhält.

24 Volumenerhaltung Analoge Berechnung für Modifikation (II) von (2): div(ii) = 1 n (Ay) 2 m i x i P (x Ay) 2 + (Bx) 2 j y j (y Bx) 2 i=1 j=1 Beide zu S n und S m orthogonale Eigenwerte -1. Also: div 0 (II) = div(ii) + 2 P

25 Volumenerhaltung div 0 (II) < 0 auf int S n S m, Liouvilles Formel (2) verkleinert Volumen Verkürzungsrate entspricht Varianz der Vektorfelder, strebt gegen 0 nahe inneren stationären Punkten. Spiegelt Fakt wieder, dass (1) und (2) gleiche Linearisierung in der Nähe von stationären Punkten haben.

26 Volumenerhaltung Wir wollen dieses Ergebnis nun benutzen, um die Diskussion von 2-Strategien-Spielen (n = m = 2) zu komplettieren. Fehlt: Verhalten der modifizierten Replikatorgleichung (2) für reskalierte Nullsummenspiele. Betrachte Kampf der Geschlechter: ( ) ( ) α b + β c + γ δ A =, B = a + α β γ d + δ mit a, b, c, d > 0 und α, β, γ, δ 0. Für (1) können wir die Konstanten α, β, γ, δ streichen und inneres Nash-Gleichgewicht ausrechnen:

27 Volumenerhaltung p = q = d c + d b a + b Für (2) zeigt Formel von div 0 (II), dass P 1 Dulac-Funktion und zyklische Runden unmöglich. Bereich abnehmend Innerer stationärer Punkt (p, q) global asymptotisch stabil. Obwohl gemischte Strategie (p, q) kein ESS, ist es Attraktor für (2).

28 Nash-Pareto-Paare Gesehen: Im Kampf der Geschlechter mit der Dynamik (2) ist gemischtes Nash-Gleichgewicht stabil. Gemischte Strategien bei evolutionären Bestimmungen von Relevanz, obwohl sie nicht evolutionär stabil sein können. Dies spricht das Problem des geschwächten Begriffs des ESS an, der sehr eng für asymmetrische Wettbewerbe ist, sodass es gemischte Strategien enthalten kann.

29 Nash-Pareto-Paare Annahme: 2 Populationen befinden sich in Lage (p, q) S n S m. Dieser wird zweifellos nicht stabil sein, wenn Status (x, y) in der Nähe von (p, q) existiert, sodass beide Populationen durchschnittlichen Gewinn erhöhen können, indem sie zu ihm wechseln.

30 Nash-Pareto-Paare Paar von Strategien (p, q) Nash-Pareto-Paar für ein asymmetrisches Spiel mit Gewinnen A und B, wenn: Gleichgewichtsbedingung: p Aq x Aq und q Bp y Bp für alle (x, y) S n S m (p, q) Nash-Gleichgewicht-Paar Stabilitätsbedingung: Für alle Zustände (x, y) S n S m, für die Gleichheit in (I) gilt, gilt: Wenn x Ay > p Ay, dann y Bx < q Bx. Wenn y Bx > q Bx, dann x Ay < p Ay. Unmöglich, dass beide Spieler zum gleichen Zeitpunkt einen Vorteil durch Abweichung vom Gleichgewicht (p, q) erhalten können.

31 Nash-Pareto-Paare Dies deckt sich mit dem Konzept der Pareto-Optimalität oder Effizienz in der klassischen Spieltheorie. Beachte: In der Stabilitätsbedingung essentiell, beiden Populationen zu erlauben, gleichzeitig abzuweichen. Wenn p durch x ersetzt wird und y gleich zu q bleibt Stabilitätsbedingung leer. Merke: Nash-Gleichgewicht des Geschlechterkampf-Spiels ist Nash-Pareto-Paar. Für A = B = 0 ist jeder Zustand Nash-Pareto. Wir wollen nun Nash-Pareto-Paare charakterisieren.

32 Nash-Pareto-Paare (p, q) int S n S m nur dann Nash-Pareto-Paar des Bimatrix-Spiels (A, B), falls Konstante c existiert, sodass (x p) Ay + c(y q) Bx = 0 für alle (x, y) S n S m, d.h. nur wenn das Spiel reskaliertes Nullsummenspiel ist. Solch ein Nash-Pareto-Paar ist stabil für die Replikatordynamik (1). Gleichgewichts- und Stabilitätsbedingung (rein qualitative Behauptungen, die nur Ungleichungen enthalten) bedeuten, dass Gewinnmatrizen gleich sind.

33 Nash-Pareto-Paare Es ist sehr aufschlussreich, dies mit dem Gedanken der evolutionären Stabilität für symmetrische Probleme zu vergleichen. Bereits gesehen: p int S n nur dann evolutionär stabil, wenn P(x) = x p i i strikt globale Lyapunov-Funktion: Ṗ(x) > 0 für x p.

34 Nash-Pareto-Paare Für asymmetrische Wettstreite zeigt Letzteres: (p, q) int S n S m nur dann Nash-Pareto-Paar, wenn: P(x, y) = x p i cq i y j j globale Lyapunov-Funktion (und Bewegungskonstante) für Replikatorgleichung (1): Ṗ(x, y) 0 für (x, y) nahe (p, q). P(x, y) strikte Lyapunov-Funktion für (1) (p, q) striktes Nash-Gleichgewicht. p und q reine Strategien.

35 Nash-Pareto-Paare Symmetrische Spiele: Evolutionärer, stabiler Zustand allgemein robust gegenüber kleinen Störungen in den Gewinnen. Bei asymmetrischen Fällen ist dies anders. Ein Nash-Pareto-Paar (p, q) für ein Bimatrix-Spiel (A, B) heißt robust, wenn jedes Spiel (Ã, B) in einer passenden Umgebung von (A, B) ein Nash-Pareto-Paar ( p, q) nahe (p, q) hat. Robustes Nash-Pareto-Paar Mix aus maximal 2 Strategien pro Population. Also: Wenn (p, q) komplett gemischt und robust, dann n, m 2.

36 Nash-Pareto-Paare 2 Möglichkeiten für robustes Nash-Pareto-Paar: Es besteht aus reinen Strategien (und ist somit ein striktes Nash-Gleichgewicht). Es ist das Nash-Gleichgewicht eines Unterspiels des Typs: ( ) ( ) α b + β c + γ δ A = B = a + α β γ d + δ Außerdem: Wenn ein inneres Gleichgewicht isoliert und stabil für (1) ist, dann ist es ein Nash-Pareto-Paar.

37 Spiel-Dynamik und Nash-Pareto-Paare Wir haben bereits die ESS Bedingungen in spieldynamischen Bezeichnungen interpretiert. Wir wollen dies nun auch für Nash-Pareto-Paare tun: In welcher Art und Weise sind diese immun gegen mutierte Strategien? Dazu: Annahme: Beide Populationen homogen, p- und q-spieler. Lassen nun kleine Anzahl an x- und y-spielern einfallen. (Jeweilige Häufigkeiten, mit denen sie auftreten: x und y.)

38 Spiel-Dynamik und Nash-Pareto-Paare Dynamik (1) dieses Spiels: auf [0, 1] [0, 1] mit ẋ = x(1 x)(b (a + b)y) ẏ = y(1 y)(d (c + d)x) a = (p x) Ay, b = (x p) Aq, c = (q y) Bx, d = (y q) Bq. (p, q) nur dann Nash-Gleichgewicht, wenn b < 0 und d < 0 für alle x und y.

39 Spiel-Dynamik und Nash-Pareto-Paare Stabil gegenüber (x, y) im Sinne davon, dass die Ecke (p, q) nur dann ein Attraktor ist, wenn b < 0 und d < 0 d.h. nur dann, wenn: p Aq > x Aq und q Bp > y Bp für alle x p und y q Exakte Definition eines strikten Nash-Gleichgewichts für ein asymmetrisches Spiel.

40 Spiel-Dynamik und Nash-Pareto-Paare Keine zweite Bedingung im Sinne von ESS, da wenn b = 0, d.h. wenn p Aq = x Aq für x p dann entsteht Linie aus stationären Punkten. p kann von x-mutanten aufgrund stochastischer Schwankungen überfallen werden. Gleichung im strikten Fall nicht vereinbar mit evolutionärer Stabilität.

41 Spiel-Dynamik und Nash-Pareto-Paare Andererseits: Einführung eines y-mutanten, der a > 0 und d < 0 erfüllt also wenn gilt: p Ay > x Ay und q By > y Bp in eine Population von Spielern in Position II. Zurückführen zu einem Punkt, der näher an (p, q) ist.

42 Spiel-Dynamik und Nash-Pareto-Paare Somit kann das folgende Konzept eines schwachen ESS immer noch eine evolutionäre Stabilität garantieren: b 0 mit a > 0 wenn b = 0 und d 0 mit c > 0 wenn d = 0: p Aq x Aq für alle x, bei Gleichheit : p Ay > x Ay q Bp y Bp für alle y, bei Gleichheit : q Bx > y Bx p und q pure Strategien

43 Spiel-Dynamik und Nash-Pareto-Paare Für gemischte Strategien p und q gelten Gleichheiten b = 0 (p Aq = x Aq) und d = 0 (q Bp = y Bp) für viele x, y und Ränder mit stationären Punkten sind nicht vermeidbar. Müssen verhindern: a < 0 (x Ay > p Ay) und c < 0 (y Bx > q Bx) für einige (x, y). (x, y) würde (p, q) überfallen.

44 Spiel-Dynamik und Nash-Pareto-Paare Asymmetrie des Spiels Zwischenmöglichkeit (Die im symmetrischen Fall keine Analogie hat.) Dies ist genau unser Konzept des Nash-Pareto-Paars: b 0 und d 0, wenn b = 0 und d = 0, dann ac < 0.

45 Spiel-Dynamik und Nash-Pareto-Paare Abschließend: Evolution wird Distanz der Abweichung eines Nash-Pareto-Paars (p, q) nicht durch eine Mutation bedingt erhöhen. Hängt von aktueller Dynamik und Stärke des stochastischen Effekts ab, ob diese Distanz gegen 0 strebt und der Mutant emiliniert wird. Dies wird zuletzt für die modifizierten Replikator-Dynamiken (2) vermutet.

46 Fazit Wir haben eine alternative Dynamik kennengelernt, uns mit Partnerschafts- und Nullsummenspielen beschäftigt, verschiedene Volumenbetrachtungen angestellt und Nash-Pareto-Strategien behandelt.