12. Vorlesung Spieltheorie in der Nachrichtentechnik

Transkript

1 12. Vorlesung Spieltheorie in der Nachrichtentechnik Vorlesung: Eduard Jorswieck Übung: Rami Mochaourab Sommersemester 2010

2 Evolutionäre Spieltheorie Hines (1987): Game theory s greatest success to date may well prove to be the insights it has provided, no to human behavior with all of its richness of motivation and possibility, rationality, and impulsiveness, but to the behavior observed in simpler biological systems, in part through the concept of the Evolutionary Stable Strategy (ESS). [...] The marriage of game theory and biology has proven fruitful. W. G. S. Hines, Evolutionary stable strategies: A review of basic theory, Theoretical Population Biology, vol. 31, pp , Die Evolutionäre Spieltheorie ist auf keinen Fall auf die Beschreibung biologischer Phänomene beschränkt, sie durchdringt in zunehmender Weise auch Gebiete der Spieltheorie, die zwar bewußt handelnde, aber nicht immer vollständig rationale Spieler zum Gegenstand haben. 1

3 In der einfachsten Version des Hawk-Dove-Spiels betrachtet man eine Population von Tieren, in der jedes Mitglied der Population mit einem anderen Mitglied zufällig zusammentrifft, um ein nicht-kooperatives 2- Personen-Spiel zu spielen. H D H (V C)/2,(V C)/2 V,0 D 0,V V/2,V/2 Der Wert der Resource, die verteidigt wird, sei V. Eine ernsthafte Verletzung vermindert den Wert um den Betrag C. Trifft H auf D erhält er seinen Wert. Trifft D auf D wird geteilt. Trifft H auf H so wird nach dem Kampf geteilt. 2

4 Hier werden Auszahlungen als Fitness eines Spielers (gemessen an der erwarteten Zahl der Nachkommen) interpretiert. Die zentrale Frage, die sich im Rahmen der evolutionären Spieltheorie stellt, ist die natürliche Selektion der Verhaltensweisen in Populationen. Wird sich im Hawk-Dove-Spiel die Falken- oder die Taubenstrategie durchsetzen? Von Maynard Smith wurde gezeigt, dass die gemischte Strategie x = [p,1 p] mit p = V/C evolutionär stabil im folgendem Sinne ist: Wenn alle Mitglieder der Population x spielen, kann es keinen Mutanten geben, der gegen x eine höhere Fitness als x selbst erzielt, x kann in jede Population eindringen, die eine andere (gegen x beste Antwort) Strategie als x spielt. 3

5 Definition 1. x heißt evolutionär stabile Strategie (ESS), wenn gilt i) für alle x : x Ax xax, ii) für alle y x mit x Ax = yax : x Ay > yay. Proposition 1. x ist eine ESS genau dann, wenn die folgende Ungleichung bei genügend kleinem ǫ > 0 erfüllt ist x A((1 ǫ)x +ǫy) > ya((1 ǫ)x +ǫy). (1) Beweis Tafel 4

6 Einordnung der ESS is unsere Vorstellungen von biologischen, evolutorischen Prozessen: Wir nehmen an, dass die Population unendlich groß ist, die Spieler der Population treffen zufällig paarweise aufeinander, um ein 2-Personenspiel zu spielen, die Reproduktion der Individuen ist asexuell, d.h. ein Individuum alleine ist in der Lage, Nachkommen zu zeugen, die Individuen können gemischte Strategien wählen; alle Nachkommen wählen die gleiche Strategie wie ihr Erzeuger. Einige Beispiele: A = ( ) 2 0, oder A =

7 Struktureigenschaften von ESS: Lemma 1. Jede Strategiekombination in ESS ist ein isolierter Punkt in der Menge der symmetrischen Nash-Gleichgewichte. Proposition 2. Die Menge der ESS ist höchstens endlich. Proposition 3. Ist eine ESS x vollständig gemischt, d.h., gilt C(x ) = Σ, dann gibt es keine andere ESS. Proposition 4. Jede Strategiekombination (x,x), wobei x eine ESS ist, ist ein perfektes Gleichgewicht. 6

8 Mutation und Selektion Wie betrachtetn eine endliche Population von Spielern, die ihre Strategien von einer Periode zur nächsten ändern können. Die Strategieanpassung erfolgt nach drei Kriterien: Inertia (Trägheit) Myopia (Kurzsichtigkeit) Mutation Das Mutationsprinzip spielt eine wichtige Rolle bei den so genannten evolutorischen Algorithmen, die man sehr knapp als naturanaloge Optimierungsverfahren interpretieren kann, die bei der Lösung von komplexen Optimierungsproblemen Prinzipien der Evolution verwenden. 7

9 Das Grundmodell der evolutorischen Strategieanpassung Eine endliche Population von Spielern I = {1,...,n}. (n gerade) Die Strategieanpassung passiert in diskreter Zeit. In jeder Periode treffen jeweils zwei Spieler zufällig aufeinenander und spielen ein symmetrisches m m Spiel in Normalform: G = {Σ,H,I}. Am Beginn der Periode wählen die Spieler ihre Strategien, die während der Periode konstant bleiben. Der Zustand z der Population in einer Periode beschreibt, wieviele Spieler σ i Σ wählen mit z Z = {(z 1,...,z m ) z i (0,1,...,n), i z i = n}. 8

10 Aus einem Zustand z Z kann ein Spieler die empirische Strategieverteilung ableiten, der er sich gegenüber sieht, wenn er an seiner Strategie σ i festhält: α(z,i) = [α 1 (z,i),...,α m (z,i)] mit α j (z,i) = { zj j i n 1 j = i. n 1 z i 1 Die durchschnittliche Auszahlung bei Strategie σ k Σ ist u i (k,z) = E α(z,i) [H(σ k,σ k )]. (2) Die Beste-Antwort-Strategie ist β i (z) = {σ k Σ j {1,...,m} : u i (k,z) u i (j,z)}. 9

11 Integration von Trägheit und Kurzsichtigkeit in die Anpassung: Gegeben z Z, ein Spieler, der Strategie σ i in Periode t gewählt hat, wählt in Periode t+1 i) σ i falls σ i β i (z), ii) σ k mit Wkt. η (0,1) und σ i mit Wkt. (1 η), wenn σ k β i (z) für k i und σ i / β i (z). iii) Die Spieler wählen die Strategieanpassung unabhängig voneinander. Integration von Mutationen: Nachdem der Selektionsprozess in einer Periode beendet ist, kann jeder Spieler (unabhängig voneinander) mit Wkt. m j ǫ zur Strategie σ j mutieren, mit m j ǫ > 0, (m j ǫ (0,1), j m j = 1) 10

12 Dynamik der Strategiewahl Die Zustände der Population {z t } sind ein stochastischer Prozess. Wegen der Annahmen oben liegt hier eine Markov-Kette vor. Die Übergangsmatrix der Markov-Kette ist gegeben durch Γ(ǫ) = {γ ǫ zz } z,z Z mit γ ǫ zz = z Z p zz q ǫ z z. 11

13 Wahrscheinlichkeit für z Z in t: µ t (ǫ) = µ 0 (Γ(ǫ)) t. Proposition 5. Gegeben sei Γ(ǫ) mit ǫ > 0, dann existiert eine eindeutige ergodische Verteilung µ (ǫ) mit der Eigenschaft µ (ǫ) = µ (ǫ)γ(ǫ) und µ 0 µ (ǫ) : µ t (ǫ) = µ 0 (Γ(ǫ)) t µ (ǫ) (t ). Definition 2. Die langfristige Grenzverteilung ist µ = lim ǫ 0 µ (ǫ). Definition 3. Die Menge der langfristigen Gleichgewichte ist gegeben als C = {z Z µ z > 0}. 12

14 Proposition 6. [Kondori und Rob 1995] Gegeben sei ein symmetrisches 2 2 Koordinationsspiel mit den Eigenschaften H(σ 1,σ 2 ) = H(σ 2,σ 1 ) = 0, H(σ 1,σ 1 ) < H(σ 2,σ 2 ) und H(σ 2,σ 2 ) H(σ 1,σ 1 )+H(σ 2,σ 2 ) 1 n 1 dann ist z = (0,n) das einzige langfristige Gleichgewicht. Eine vollständige Lösung des Gleichgewichtsauswahlproblems für alle Spiele durch Betrachtung eines stochastischen Adaptionsprozesses, basierend auf Selektion und Mutation, über den hier dargestellten Ansatz hinaus ist gegenwärtig noch nicht bekannt. (Bernighaus, Erhart, Güth, Strategische Spiele, Springer 2006) 13

15 Non scholae sed vitae discimus und Das Leben ist ein Spiel. Man kann keine größeren Gewinne machen, ohne Verluste zu riskieren (Christine von Schweden). 14