Multiagent Interactions

Transkript

1 Veranstaltung: Agentensysteme SS0 Veranstalter: Alexa Breuing Julia Tolksdorf Vortragende: Florian Follmer Thomas Schöpping

2 Übersicht Motivation Definitionen Spieltheoretische Ansätze Beispiel: Prisoner s Dilemma Weitere Symmetrische 2x2 Interaktionen Implementierung (GDL) Abhängigkeitsrelationen 2

3 Motivation Mehrere Agenten müssen sich organisieren können Umwelt beeinflussen Einflussbereiche können sich überschneiden What should I do? (M.Wooldridge) 3

4 Definitionen 2 Agenten A i, A j Nutzen (Utility) ui : ℝ, u j : ℝ,, ui ui i Reflexivität : i,,,,,, i i i Transitivität,,, Vergleichbarkeit, : i i Agenten haben zwei Aktionen C: cooperate D: defect 4

5 Nutzen Ich habe ,00 zu verschenken Max besitzt bereits ,00 Emma besitzt 0,00 Ich sollte das Geld Emma schenken 5

6 Definitionen Statusänderungsfunktion : Ac Ac Bsp.: C, C =, C, D = 2, D,C = 3, D, D = 4 Kurzschreibweise (Beispiel) : ui D, D =, ui D,C =, ui C, D =4, ui C, C =4 C, C i C, D i D, C i D, D 6

7 Pay off Matrix ui D, D =, ui D, C =,ui C, D =4, ui C, C =4 u j D, D =, u j D, C =4, u j C, D =, u j C, C =4 i defects j defects j cooperates i cooperates

8 Spieltheoretische Ansätze Dominante Strategien Nash-Gleichgewicht Mixed Strategies Pareto-Effizienz Maximierung des Gesamtertrags Wettbewerbs- und 0-Summen-Interaktionen 8

9 Dominante Strategien si ist für A i immer die beste Strategie si ist dabei unabhängig von s j Beispiel: i defects j defects j cooperates i cooperates

10 Nash Gleichgewicht Unter der Annahme, A i benutzt Strategie si : Für A j gibt es keine bessere Strategie als s j Unter der Annahme, A j benutzt Strategie s j : Für A i gibt es keine bessere Strategie als si Kein einzelner Agent kann durch eine andere Strategie einen Vorteil erzielen. Es kann beliebig viele Nash-Gleichgewichte geben. 0

11 Mixed Strategies Es gibt keine beste Strategie zufällige Wahl der Strategie Auswahl der Strategie über die Wahrscheinlichkeit der Gegnerstrategie Every game in which every player has a finite set of possible strategies has a Nash equilibrium in mixed strategies. J. F. Nash Jr.

12 Pareto Effizienz Es gibt keinen Zustand für den gilt: Ich erziele ein besseres Ergebnis. Kein anderer Spieler wird dadurch benachteiligt. 2

13 Maximierung des Gesamtertrags Vorbedingung: Agenten arbeiten zusammen, nicht gegeneinander Die Summe der Ergebnisse aller Agenten soll möglichst groß sein. sw = u i i Ag 3

14 Wettbewerb & 0 Summen Wettbewerb-Interaktionen Es gibt Gewinner und Verlierer formal: i,, j Kopf oder Zahl 0-Summen-Interaktionen Die Summe der Ergebnisse ist 0 formal: ui u j =0 Schere Stein Papier 4

15 0 Summen Beispiel Schere Stein Papier i spielt j spielt Stein Papier Schere Stein Papier Schere

16 Prisoner's Dilemma Zwei Gefangene sind eines Verbrechens angeklagt. Sie können nicht miteinander kommunizieren. Wenn einer von beiden gesteht {(D,C),(C,D)} : Wenn beide gestehen {(D,D)} : Er wird frei gelassen und sein Kamerad muss für 3 Jahre ins Gefängnis. Beide müssen für je 2 Jahre ins Gefängnis. Wenn keiner gesteht {(C,C)} : Beide müssen für je Jahr ins Gefängnis. 6

17 Prisoner's Dilemma ui D, D =2,ui D, C =5, ui C, D =0, ui C, C =3 u j D, D =2, u j D, C =0, u j C, D =5,u j C, C =3 i defects j defects j cooperates i cooperates

18 Kontroversen Die auf den ersten Blick schlechte Strategie ist dennoch die bessere Strategie. Was wäre, wenn die Gefangenen Zwillinge wären? Der Mensch handelt meist irrational. 8

19 Shadow of the future Unendliches Wiederholen des Prisoner's Dilemma Es zählt das Gesamtergebnis, nicht ein einzelnes Spiel Beide sollten kooperieren. 9

20 Axelrod's Turnier RANDOM ALL-D TIT-FOR-TAT In der ersten Runde: C Sonst: Strategie des Gegners in der Vorrunde TESTER Sequenz: C C D C C D Falls sich der Gegner rächt : TIT-FOR-TAT JOSS Wie TESTER, aber 0% der C werden D bei TIT-FOR-TAT 20

21 Axelrod's Regeln Du sollst nicht neidisch sein. Du sollst nicht als erster D wählen. Du sollst C und D erwidern. Du sollst nicht zu clever sein. 2

22 Program Equilibria 22

23 Weitere 2x2 Interaktionen 23

24 Implementierung (GDL) Fakten, die immer gelten Initiale Fakten Regeln, um einen Zug durchzuführen Regeln, wann es einen Gewinner gibt Regeln, wann ein Spiel zu Ende ist 24

25 Abhängigkeitsrelationen Independence Unilateral Einseitige Abhängigkeit zwischen Agenten Mutual Alle Agenten sind unabhängig voneinander Agenten sind abhängig, haben aber das gleiche Ziel Reciprocal dependence Agenten sind abhängig, haben aber verschiedene Ziele Wird von Mutual impliziert 25

26 Mind Map 26

27 Klausurfragen Was ist eine dominante Strategie? Wann ist ein Nash-Gleichgewicht gegeben? Wann ist ein Zustand pareto-effizient? Was ist das Dilemma des Gefangenen? 27

28 Diskussion Weitere Ansätze für Axelrod's Turnier? Wer würde gewinnen? 28