Seminar A - Spieltheorie und Multiagent Reinforcement Learning in Team Spielen

Transkript

1 Seminar A - Spieltheorie und Multiagent Reinforcement Learning in Team Spielen Michael Gross mdgrosse@sbox.tugraz.at 20. Januar Spieltheorie 1.1 Matrix Game Definition 1.1 Ein Matrix Game, Strategic Game, Spiel in strategischer Form oder Spiel in Normalform ist ein Tupel n, A 1..n, R 1..n ). n ist die Anzahl Spieler, A i ist die Menge von Aktionen Strategien), aus der Spieler i auswählen kann. R i : A 1 A 2... A n R ist die payoff Funktion. A = A 1... A n, a A a = a 1, a 2,..., a n )) wird als Strategieprofil bezeichnet. a sind die gewählten Aktionen aller Spieler mit ausnahme von Spieler i. Da diese Spiele in Form einer n dimensionalen Matrix geschrieben werden können, werden sie auch als Matrix Spiele bezeichnet. Das wohl bekannteste Beispiel ist das Gefangenendilemma. Abbildung 1: Gefangenendilemma Beispiel 1.1 Zwei Komplizen werden verhört. Wenn beide schweigen, dann müssen sie für jeweils ein Jahr ins Gefängnis. Wenn einer schweigt und der 1

2 andere gegen ihn aussagt, dann wird der Schweigende für 10 Jahre eingesperrt und der Aussagende kommt frei. Wenn beide gegeneinander aussagen, dann müssen beide für jeweils 6 Jahre ins Gefängnis. Abbildung 1 zeigt dieses Spiel in Matrixform. Definition 1.2 Ein Spiel wird als strictly collaborative oder als Team Spiel bezeichnet, wenn alle Agenten die selbe payoff Funktion haben. Definition 1.3 Ein Spiel wird als strictly competitive, zero-sum game oder Nullsummenspiel bezeichnet, wenn die Summe der payoff aller Agenten null ist. Bei einem zweispieler Nullsummenspielt bedeutet das, dass R 1 = R 2. Abbildung 2: Stein-Papier-Schere Spiel Beispiel 1.2 Ein bekanntes zweispieler Nullsummenspiel ist Stein-Papier- Schere. Abbildung 2 zeigt die Matrixschreibweise des Spiels. R 1 und R 2 ist dabei: R 1 = = R 2 1) Definition 1.4 Ein Matrixspiel, das kein Nullsummenspiel ist, wird als general-sum game bezeichnet. 1.2 Strategie Ein Spieler muss eine Strategie finden, die seinen payoff maximiert. Beim Gefangenendilemma Beispiel 1.1) ist die beste Strategie eine Aussage zu machen, egal welche Strategie der andere Spieler wählt. Beim Stein-Papier- Schere Spiel Beispiel 1.2) gibt es keine allgemein gültige beste Strategie, sie hängt von der Wahl des anderen Spielers ab. Definition 1.5 Eine Strategie, die die Aktionen deterministisch auswählt wird reinen Strategie, pure strategy oder deterministische Strategie genannt. 2

3 Wenn die Aktionen mit Hilfe einer Wahrscheinlichkeitsverteilung über den verfügbaren Aktionen ausgewählt werden, spricht man von einer gemischten Strategie, mixed strategy oder randomized strategy. a i p i, a i A i, p i : A i R 2) a p, a A = A 1 A n, p : A R 3) Bei einer gemischten Strategie kann der payoff von Spieler i als Erwartungswert angegeben werden: u i ist eine stetige, quasi-konkave Funktion. r i = E a p [R i a)] = u i p i, p ) 4) Definition 1.6 BR i a ) ist die beste Antwort best response) des Spielers i auf die Strategien a der restlichen Spieler. Bzw. für gemischte Strategie BR i p ). 1.3 Nash Equilibrium Definition 1.7 Ein Strategieprofil p ist ein Nash Equilibrium oder Nash Gleichgewicht, wenn kein Spieler durch Änderung seiner Strategie p i einen besseren payoff erreichen kann. p i, i = 1... ne a p [R i a)] E a p[i:p i ] [R i a)] 5) Das kann auch so geschrieben werden: i : BR i p ) = arg maxu i p i, p ) 6) p i P i Beispiel 1.3 Beim Gefangenendilemma siehe Beispiel 1.1) ist Aussage, Aussage) ein Nash Gleichgewicht, weil keine Spieler seine Situation duch wahl einer anderen Strategie Aktion) verbessern kann. Das wird auch Pure Strategy Nash Equilibrium genannt. Beispiel 1.4 Beim Stein-Papier-Schere Spiel siehe Beispiel 1.2) gibt es kein Pure Strategy Nash Equilibrium. Ein Spieler der Verlierer) kann seine Situation immer durch die Wahl einer anderen Aktion verbessern. Wenn es auch kein Pure Strategy Nash Equilibrium gibt, so gibt es doch ein Mixed Strategy Nash Equilibrium. Wenn beide Spieler aus allen drei möglichen Aktionen mit gleicher Wahrscheinlichkeit auswählen, dann ist der Erwartungswert für beide Spieler maximal und kann nicht durch einseitige Änderung der Strategie erhöht werden. 3

4 Abbildung 3: Falke/Taube Spiel Beispiel 1.5 Ein weiteres bekanntes Spiel ist das Falke/Taube Spiel Abbildung 3). Zwei Spieler, die um eine wertvolle Resource mit dem Wert V konkurieren können aus jeweils zwei Strategien auswählen: Entweder sie verhalten sich kämpferisch Falke) oder friedfertig Taube). Wenn ein Spieler kämpferisch ist und einer friedfertig, dann gewinnt immer der Falke. Wenn beide Tauben sind, dann teilen sie sich die Resource. Wenn beide Falken sind, dann kämpfen sie gegeneinander. Der Spieler, der den Kampf verliert muß dafür mit C bezahlen. Wenn C > V dann besitzt das Spiel drei Nash Gleichgewichte: Zwei pure, nämlich Falke, Taube) und Taube, Falke) und ein gemischtes P [Falke] = V/C, P [Falke] = V/C). Beispiel 1.6 Zwei Spieler wählen jeweils eine Zahl. Der Spieler mit der größten Zahl hat gewonnen. Diese Spiel hat überhaupt kein Nash Gleichgewicht. Egal was ein Spieler wählt, der andere kann immer eine noch größere Zahl wählen. 1.4 Existenz des Nash Equilibirum Satz 1.1 Jedes endliche Matrix Spiel hat ein gemischtes Nash Equilibrium. Dieser Satz wurde 1950 von John Nash in [4] bewiesen. Er benutzte dazu den Kakutani Fixpunktsatz [2], der eine Verallgemeinerung des Brouwer Fixpunkt Satz ist. Definition 1.8 Eine Teilmenge C eines reellen Vektorraumes R n heißt konvex, wenn für jedes Paar von Vektoren x, y C alle Vektoren der Form λx + 1 λ) y, 0 λ 1 die Verbindungsstrecke) ebenfalls zu C gehören. Definition 1.9 Eine Menge A R n ist kompakt, wenn sie abgeschlossen und beschränkt ist. Definition 1.10 Der Graph einer Korrespondenz mengenwertigen Funktion) r : X Y ist die Menge {x, y) y r x)}. 4

5 Definition 1.11 Eine Korrespondenz hat einen geschlossenen Graph, wenn der Graph der Korrespondenz eine geschlossene Menge ist. Satz 1.2 Kakutani Fixpunktsatz: Eine Korrespondenz r : X X hat einen Fixpunkt x X sodass x r x), wenn: X R n kompakt, konvex und nicht leer. r x) ist nicht leer für alle x. r x) ist konvex für alle x. r hat einen geschlossenen Graph. Lemma 1.1 Eine gemischtes Strategieprofil p ist ein Nash Gleichgewicht dann und nur dann, wenn es ein Fixpunkt in der BR Korrespondenz ist, also p BR p ). Das folgt direkt aus der Definition des Nash Equilibrium 6), also die beste Antwort auf Spieler, die ein Nash Gleichgewicht spielen, ist ebenfalls das Nash Gleichgewicht zu spielen, weil man sonst sicher verliert. Beweis Es müssen die einzelnen Bedingungen für den Kakutani Fixpunktsatz überprüft werden. Die Menge ist dabei P, die Menge der möglichen gemischten Strategien und die Korrespondenz ist BR. P ist jedenfalls nicht leer. Weiters kann p P auch als p = p 1, p 2,... p n ) geschrieben werden. Um die Konvexität zu zeigen muss q = λp + 1 λ) p wieder in P sein. Das ist dann der Fall, wenn q i eine gültige Wahrscheinlichkeitsverteilung auf A i ist, was natürlich der Fall ist. j q j) i = j [ λp j) i + 1 λ) p j) i ] = 1 7) P ist auch kompakt: P ist beschränkt. Sei p m = p m 1, pm 2,..., pm n ) eine Reihe, die gegen p = p 1, p 2,..., p n) konvergiert. Dann ist p P, weil p i eine gültige Wahrscheinlichkeitsverteilung ist, d.h. die Wahrscheinlichkeiten sich zu eins aufsummieren der Grenzwert der Summe ist die Summe der Grenzwerte). Daraus folgt, dass P abgeschlossen ist. BR p ) kann nicht leer sein, weil es immer eine Strategie gibt, die der Spieler wählen kann. Sei p und q ein BR auf eine Strategie. Es muss gezeigt werden, daß jede Linearkombination der beiden Strategien wieder eine BR ist. p und q müssen den gleichen payoff haben, also u i pi, p = ui qi, p für alle i. Aus der Eigenschaft von BR folgt, dass u i λpi + 1 λ) q i, p ui pi, p ) 8) 5

6 Da u i aber quasi-konkav ist: u i λpi + 1 λ) q i, p min{ui pi, p, ui qi, p } 9) = u i pi, p ) 10) = u i qi, p ) 11) Dann muss die Linearkombination aber auch ein BR sein. Angenommen p m ist eine Reihe von Strategieprofilen und p m BR p m ). Die Reihen konvergieren zu p und p. Dann ist für alle p i : m u i p i, p m ui p i, p m ) 12) Da u i stetig ist gilt auch: u i p i, p ui p i, p ) 13) für alle p i. Das bedeutet, daß der Grenzwert der Folge auch in BR i p ) ist und somit der Graph von BR geschlossen ist. Literatur [1] ISI glossary of statistical terms. [2] S. Kakutani. A Generalization of Brouwer s Fixed Point Theorem. Duke Journal of Mathematics, Vol [3] C. E. Lemke and J. T. Howson, Jr. 1964), Equilibrium points of bimatrix games. Journal of the Society for Industrial and Applied Mathematics 12, [4] J. Nash. Equilibrium points in n-person games. In Proceedings of the National Academy of Sciences, volume 36, pages 48 49,