Multiagent Interactions

Transkript

1 Multiagent Interactions Ein Vortrag von: Rhena Möller und Svenja Heitländer Für das Seminar Multiagentensysteme SS09

2 Inhalt Einleitung Was ist Interaktion und wie funktioniert sie? Anwendungen Utility & Preferences Multiagent Encounters Dominante Strategien & Nash Equlibrium Konkurrenz- & Nullsummen-Interaktionen Prisoner's Dilemma Axelrod's Tournament Stag Hunt The Game of Chicken Abhängigkeiten in Multiagentensystemen

3 Einleitung There is no such thing as a single agent system!

4 Einleitung Typische Struktur eines Multiagentensystems Agenten interagieren miteinander Agenten agieren in einer Umwelt Ein Agent kann nur Teile dieser Umwelt beeinflussen Die Bereiche können sich auch überlagern

5 Utility & Preferences Agent I Agent J Vereinfachung auf 2 Agenten Jeder von ihnen hat eigene Präferenzen und Wünsche Sie handeln eigennützig

6 Utility & Preferences Menge Ω = {ω1, ω2,...} von Zuständen/Ausgängen der Umwelt Die Präferenzen der beiden Agenten werden durch eine Nutzwertfunktion beschrieben ui : Ω R uj : Ω R

7 Utility & Preferences für für Präferenz Präferenz gilt: gilt: für für strenge strenge Präferenz Präferenz gilt: gilt: Präferenzordnung ω c i ω' i ω' für für ui(ω) ui(ω ) ω _ i ω' i ω' für für ui(ω) > ui(ω ) Reflexivität: Transitivität: Vergleichbarkeit: für alle ωєω gilt: ω c i ω wenn ω c i ω' und ω' c i ω'', dann ω c i ω'' für alle ωєω und ω'єω gilt entweder ω' c i ω oder ω c i ω'

8 Multiagent Encounters Agenten wählen gleichzeitig und ohne Wissen über den anderen Aktionen Zwei Aktionen: C (kooperieren) und D (defektieren) Menge Ac = {C,D} dieser Aktionen Daraus ergibt sich die Umweltfunktion τ: τ: Ac x Ac Ω Agent I's Aktion Agent J's Aktion

9 Multiagent Encounters Beispiele Empfindliche Umgebung τ(d,d) = ω 1, τ(d,c) = ω 2, τ(c,d) = ω 3, τ(c,c) = ω 4 Unempfindliche Umgebung τ(d,d) = ω 1, τ(d,c) = ω 1, τ(c,d) = ω 1, τ(c,c) = ω 1 Und hier? τ(d,d) = ω 1, τ(d,c) = ω 2, τ(c,d) = ω 1, τ(c,c) = ω 2 => Nur empfindlich gegenüber J

10 Multiagent Encounters Nutzwertfunktionen Kombination aus Umweltfunktion & Nutzwertfunktion Empfindliche Umgebung τ(d,d) = ω 1, τ(d,c) = ω 2, τ(c,d) = ω 3, τ(c,c) = ω 4 u i (ω 1 ) = 1, u i (ω 2 ) = 1, u i (ω 3 ) = 4, u i (ω 4 ) = 4 u j (ω 1 ) = 1, u j (ω 2 ) = 4, u j (ω 3 ) = 1, u j (ω 4 ) = 4 anders geschrieben u i (D,D) i (D,D) = 1, 1, u i (D, i (D, C) C) = 1, 1, u i (C, i (C, D) D) = 4, 4, u i (C, i (C, C) C) = 4 u j (D,D) j (D,D) = 1, 1, u j (D, j (D, C) C) = 4, 4, u j (C, j (C, D) D) = 1, 1, u j (C, j (C, C) C) = 4

11 Multiagent Encounters Auszahlungsmatrix u i (D,D) = 4, u i (D, C) = 4, u i (C, D) = 1, u i (C, C) = 1 u j (D,D) = 4, u j (D, C) = 1, u j (C, D) = 4, u j (C, C) = 1 Agent I's Präferenzen für das Beispiel D,D c i D,C _ i C,D c i C,C J defektiert J kooperiert I defektiert I kooperiert

12 Dominante Strategien & Nash Equlibrium Was tu ich denn nun? Dominante Strategien Ω 1 dominiert Ω 2 für Agent I wenn gilt: ω1 ω1 c i ω2 i ω2 ω1 Ω1, ω1 Ω1, ω2 Ω2 ω2 Ω2 Für strenge Dominanz gilt: ω1 ω1 _ i ω2 i ω2 ω1 Ω1, ω1 Ω1, ω2 Ω2 ω2 Ω2

13 Dominante Strategien & Nash Equlibrium Beispiel Ω = {ω1, ω2, ω3, ω4} Ω1 = {ω1, ω2} Ω2 = {ω3, ω4} ω1 c i ω2 c i ω3 c i ω4 Ω1 dominiert Ω2 In der Spieletheorie werden Aktionen als Strategien bezeichnet Für Dominanz bei Strategien gilt: s* s* = Menge Menge aller aller Ausgänge, Ausgänge, die die bei bei Strategie Strategie s s auftreten auftreten können können ss 1 1 dominiert dominiert ss 2, 2, wenn wenn ss 1 * 1 * ss 2 * 2 * dominiert dominiert Ein rationaler Agent wählt also in so einer Situation immer s 1, da er so garantiert ein besseres Ergebnis erzielt als mit s 2

14 Dominante Strategien & Nash Equlibrium Nash Equilibrium in nicht-kooperativen Spielen ein Zustand eines strategischen Gleichgewichts ein einzelner Agent kann für sich keinen Vorteil erzielen, indem er einseitig von seiner Strategie abweicht. Unter Unter der der Annahme, Annahme, dass dass Agent Agent I I ss 1 1 spielt, spielt, bleibt bleibt Agent Agent J J keine keine bessere bessere Wahl Wahl als als ss 2 2 zu zu spielen. spielen. Unter Unter der der Annahme, Annahme, dass dass Agent Agent J J ss 2 2 spielt, spielt, bleibt bleibt Agent Agent I I keine keine bessere bessere Wahl Wahl als als ss 1 1 zu zu spielen. spielen.

15 Dominante Strategien & Nash Equlibrium Beispiel Agent J Links Mitte Rechts Oben Agent I Mitte Unten Das Das Nash Nash Equilibrium Equilibrium ist ist hier hier die die Strategie Strategie (Oben/Links) (Oben/Links) gegeben Agent J spielt Rechts: Für Agent I ist oben optimal gegeben Agent J spielt Mitte: oben und mitte ist optimal gegeben Agent J spielt Links: oben ist optimal gegeben Für Agent I spielt Oben: Für Agent J ist Links optimal gegeben Agent I spielt Mitte: Rechts ist optimal gegeben Agent I spielt Unten: Rechts ist optimal

16 Dominante Strategien & Nash Equlibrium Was könnten die Probleme sein?

17 Dominante Strategien & Nash Equlibrium Aber: Noch nicht die Antwort auf die Frage, was in einem Szenario zu tun ist! Nicht jedes Szenario hat ein Nash Equilibrium Einige Szenarien haben mehr als ein Nash Equilibrium Trotzdem Trotzdem ein ein sehr sehr wichtiges wichtiges Konzept Konzept für für die die Analyse Analyse von von Multiagentensystemen!

18 Konkurrenz- & Nullsummeninteraktion Konkurrenz ω _ i ω genau dann, wenn ω _ j ω Interessen genau entgegengesetzt Ein Agent kann einen höheren Nutzwert nur auf Kosten des Anderen erzielen

19 Konkurrenz- & Nullsummeninteraktion Nullsummen-Interaktion Spezialfall der Konkurrenzinteraktion u i (ω)+ u j (ω) = 0 ω Ω bösartigste Art der Interaktion, da Kooperation ausgeschlossen ist Beispiel J defektiert J kooperiert I defektiert I kooperiert

20 Prisoner's Dilemma Gestehen oder nicht? Gesteht nur einer wird er freigelassen und der andere bekommt 20 Jahre Gestehen beide, beide 5 Jahre Gesteht keiner, beide 1 Jahr

21 Prisoner's Dilemma Was würdest du tun?

22 Prisoner's Dilemma kooperieren: schweigen Auszahlungswerte: 20 Jahre -> 0 (ziemlich schlecht) 5 Jahre -> 2 (schlecht) 1 Jahr -> 3 (etwas besser) frei -> 5 (gut) Präferenzordnung i: D,C _ i C,C _ i D,D _ i C,D j: C,D _ j C,C _ j D,D _ j D,C defektieren: gestehen i D i C schweigen: bestes garantiertes Ergebnis= PayOff 0 gestehen: bestes garantiertes Ergebnis= PayOff 2 Logischer Agent würde Gestehen j D j C

23 Prisoner's Dilemma Fällt jemanden ein Beispiel für eine reale Situation ein?

24 Prisoner's Dilemma iteriert Endlos: logisch wäre im 1.Zug zu kooperieren ein Fehlschlag ließe sich über die Wiederholungen ausgleichen Endlich: 100 mal => Runde 100 = Prisoner's Dilemma => Runde 99 = Prisoner's Dilemma => Runde 98 = Prisoner's Dilemma =>... kein Unterschied, womit defektieren in jeder Runde rational wäre

25 Prisoner's Dilemma iteriert damit Kooperation rationales Verhalten ist muß der vorherige Zug des Gegeners bekannt sein Hat jemand eine Idee für eine Strategie?

26 Axelrod's Tournament 1980 Politikwissenschaftler, Psychologen, Wirtschaftswissenschaftler und Spieltheoretiker sollten ein Programm für das iterierte Prisoner's dilemma einreichen Spielregeln: Jeder gegen jeden, 5 Spiele zu 200 Runden Gewinner: insgesamt größter PayOff

27 Axelrod's Tournament Strategien ALL-D Hauptsache dagegen RANDOM Mal so mal so TIT-FOR-TAT Wie du mir so ich dir Runde r=1 kooperieren Runde t>1 tu was der Gegner vorher (r-1) getan hat (simpelste Strategie mit nur 5 Zeilen Fortran Code)

28 Axelrod's Tournament Strategien TESTER Erstmal die Lage sondieren r=1: defektieren if (Gegner defektieren) do (TIT-FOR-TAT) if (Gegnger cooperate) do (Schleife 2xkooperieren und 1xdefektieren) JOSS meistens wie du mir so ich dir wie TIT-FOR-TAT, ersetzt in 10% der Fälle kooperieren mit defektieren

29 Axelrod's Tournament Wer hat gewonnen? Wer hat gewonnen?

30 Axelrod's Tournament TIT-FOR-TAT Wer hat gewonnen? Schlussfolgerung: aus rationalem Verhalten folgt Kooperation doch: TFT gewann da es hauptsächlich gegen kooperierende Strategien spielte gegen ALL-D verlor TFT

31 Axelrod's Tournament Strategien Axelrod's 4 Regeln für den Erfolg Nicht Neidisch sein Nicht als erster defektieren Gerecht sein Nicht zu schlau sein

32 The stag hunt "trust dilemma" kooperieren: tauche mit lächerlicher Fisur in der Schule auf defektieren: kneife i: C,C _ i D,C _ i D,D _ i C,D j: C,C _ j C,D _ j D,D _ j D,C j D j C i D i C

33 The game of chicken denn sie wissen nicht, was sie tun Rebell ohne Grund Symbolfigur für den aufmüpfigen, unangepaßten Jugendlichen

34 The game of chicken mit Vollgas auf eine Klippe zufahren kooperieren: kneifen defektieren: weiterfahren D,C _ i C,C _ i C,D _ i D,D j D j C i D i C

35 Abhängigkeiten in Multiagentensystemen Unbhängigkeit der Agenten Einseitig Ein Agent abhängig von anderem aber nich andersrum Gegenseitig beide voneinander abhängig Reziprok voneinander abhängig aber evtl unterschiedliche Ziele

36 Fragen?

37 Danke für eure Aufmerksamkeit!