Kapitel PS: IV IV. Interaktion in Multiagentensystemen Multiagentensysteme Interaktion Protokoll Auktion Verhanlung PS: IV-1 Interation LETTMANN 2007-2009
Bemerkungen: Dieses Kapitel orientiert sih an: Mihael Woolrige. An Introution to MultiAgent Systems Kap. 6, 7 Leture Slies PS: IV-2 Interation LETTMANN 2007-2009
Multiagentensysteme Aequay Hypothesis: Agent-oriente approahes an signifiantly enhane our ability to moel, esign an buil omplex, istribute software systems. [Jennings, 2000] PS: IV-3 Interation LETTMANN 2007-2009
Multiagentensysteme Aequay Hypothesis: Agent-oriente approahes an signifiantly enhane our ability to moel, esign an buil omplex, istribute software systems. [Jennings, 2000] Agentenorientierte Ansätze verwenen Systeme von mehreren (gleihartigen oer spezialisierten) Agenten, ie ie Problemstellung gemeinsam lösen. Multiagentensysteme Agenten interagieren niht nur mit er Umgebung, sonern auh untereinaner vom Informationsaustaush über Aufforerungen zu bestimmten Hanlungen für Kooperation oer Koorination bis zu Verhanlungen über ein Vorgehen. Interaktionen finen auf em Knowlege Level statt. Interaktionen müssen flexibel sein: Entsheiungen zur Laufzeit über Interaktionen, Fähigkeit zu unvorhergesehenen Interaktionen. PS: IV-4 Interation LETTMANN 2007-2009
Multiagentensysteme Charakteristika un Herausforerungen [Syara (1998)] Charateristis Inomplete information or apabilities (limite viewpoint). No system global ontrol. Deentralize ata. Asynhronous omputation. Challenges 1. How to eompose problems an alloate tasks to iniviual agents? 2. How to oorinate agent ontrol an ommuniations? 3. How to make multiple agents at in a oherent manner? 4. How to make iniviual agents reason about other agents an the state of oorination? 5. How to reonile onfliting goals between oorinating agents? 6. How to engineer pratial multiagent systems? PS: IV-5 Interation LETTMANN 2007-2009
Multiagentensysteme Organisation (Jennings, 2000) Agent Environment Sihtbarkeitsbereih / Einflussbereih Team Interaktion Hierarhie PS: IV-6 Interation LETTMANN 2007-2009
Multiagentensysteme Zusammenfassung Multiagentensysteme enthalten eine Menge von Agenten mit folgenen Eigenshaften: Die Agenten sin fähig in einer Umgebung zu agieren. Die Agenten haben untershielihe Einflussbereihe. Die Agenten interagieren urh Kommunikation. Die Agenten sin urh weitere (organisatorishe) Beziehungen verbunen. Ein formales Moell muss Agenten un Umgebung aäquat beshreiben. Die Agenten wählen gleihzeitig Aktionen, ie sie ausführen wollen. Die Umgebung liefert ein Ergebnis, as auf er Kombination er Aktionen beruht. Annahme: Die Agenten haneln rational (un wissen, ass auh alle aneren Agenten rational haneln). PS: IV-7 Interation LETTMANN 2007-2009
Interaktion Formales Moell für Präferenzen Gegeben seien Agenten A 1,...,A n mit n 2. Die Umgebung wir beshrieben urh eine Menge S von Zustänen, ie ie Ergebnisse er Aktionen er Agenten beshreiben. Der initiale Zustan sei s 0. S = {s 0,s 1,...} Jeer Agent A i verfügt über eine Menge A i von Aktionsmöglihkeiten, um mit er Umgebung zu interagieren. A i = {a i,1,...,a i,mi } Die Veränerungen er Umgebung aufgrun er Aktionen er Agenten weren beshrieben urh ie Zustanstransformation transition. PS: IV-8 Interation LETTMANN 2007-2009
Interaktion Formales Moell für Präferenzen (Fortsetzung) Die Agenten haben jeweils eigene Präferenzen un Ziele, wie ie Umgebung aussehen soll. Die Präferenzen weren urh Nutzenfunktionen argestellt: utility i : S R Die Nutzenfunktionen inuzieren Präferenzornungen auf er Menge er Zustäne, z.b. für A i : s i s gw. utility i (s) utility i (s ) s i s gw. utility i (s) > utility i (s ) s i s beeutet, ass A i Zustan s minestens ebenso präferiert wie Zustan s. PS: IV-9 Interation LETTMANN 2007-2009
Interaktion Formales Moell für Präferenzen (Fortsetzung) Problemvereinfahung zur Untersuhung von kooperativem Verhalten: Nur eine Entsheiung er Agenten für ihre Aktion wir moelliert ausgehen vom Anfangszustan s 0. Die Veränerungen er Umgebung aufgrun er Aktionen er Agenten weren beshrieben urh ie Zustanstransformation transition. transition : A 1... A n S Für jeen Agenten kann eine Nutzenfunktionen über A 1... A n efiniert weren urh utility i (a 1,...,a n ):=utility i (transition(a 1,...,a n )). Wir betrahten nur zwei Agenten, ie beie nur über ie Aktionen für ooperate un für efet (= o not ooperate) verfügen, also A 1 = A 2 = {, }. PS: IV-10 Interation LETTMANN 2007-2009
Interaktion Nutzen ist niht gelliher Vorteil Utility Money (Trotzem ist Gel eine brauhbare Analogie.) PS: IV-11 Interation LETTMANN 2007-2009
Interaktion Beispiel Die Aktionen beier Agenten A x un A y beeinflussen ie Umgebung,.h. transition(, ), transition(, ), transition(, ), transition(, ) sin paarweise vershieen. Seien weiter ie folgenen Nutzen festgelegt: utility x (transition(, )) = 4, utility x (transition(, )) = 4, utility x (transition(, )) = 1, utility x (transition(, )) = 1, utility y (transition(, )) = 4, utility y (transition(, )) = 1, utility y (transition(, )) = 4, utility y (transition(, )) = 1. PS: IV-12 Interation LETTMANN 2007-2009
Interaktion Beispiel Die Aktionen beier Agenten A x un A y beeinflussen ie Umgebung,.h. transition(, ), transition(, ), transition(, ), transition(, ) sin paarweise vershieen. Seien weiter ie folgenen Nutzen festgelegt: utility x (transition(, )) = 4, utility x (transition(, )) = 4, utility x (transition(, )) = 1, utility x (transition(, )) = 1, utility y (transition(, )) = 4, utility y (transition(, )) = 1, utility y (transition(, )) = 4, utility y (transition(, )) = 1. Damit sin ie Präferenzen er Aktionen für ie Agenten utility x (, ) utility x (, ) > utility x (, ) utility x (, ) utility y (, ) utility y (, ) > utility y (, ) utility y (, ) PS: IV-13 Interation LETTMANN 2007-2009
Interaktion Beispiel Die Aktionen beier Agenten A x un A y beeinflussen ie Umgebung,.h. transition(, ), transition(, ), transition(, ), transition(, ) sin paarweise vershieen. Seien weiter ie folgenen Nutzen festgelegt: utility x (transition(, )) = 4, utility x (transition(, )) = 4, utility x (transition(, )) = 1, utility x (transition(, )) = 1, utility y (transition(, )) = 4, utility y (transition(, )) = 1, utility y (transition(, )) = 4, utility y (transition(, )) = 1. Damit sin ie Präferenzen er Aktionen für ie Agenten utility x (, ) utility x (, ) > utility x (, ) utility x (, ) utility y (, ) utility y (, ) > utility y (, ) utility y (, ) Zusammenfassung er Situation in einer Payoff Matrix: y wählt y wählt x wählt 4 4 4 1 x wählt 1 4 1 1 Welhe Aktion ist für A x sinnvoll un warum? PS: IV-14 Interation LETTMANN 2007-2009
Interaktion Einbettung in ie Spieltheorie W Max-Player D W L Min-Player W D W W D L Max-Player D L W L W L L D Min-Player Max-Strategy Min-Strategy L W L D W W L W Max-Player W = win L = loss Siht D = raw}max-player Eine reine Strategie s i von Spieler i ist eine Festlegung er je nah Situation zu wählenen Aktion. Spiel in Normalform: Alle Spieler legen ihre Strategien zeitgleih un ohne Kenntnis er Wahl er aneren Spieler fest. (Im Prinzip besteht as Spiel also nur aus einem eigenen Zug un einem es Gegners, ie zeitgleih ausgeführt weren, nämlih er Wahl er Strategie.) PS: IV-15 Interation LETTMANN 2007-2009
Bemerkungen: Eine Strategie ist ein mentales Konzept, as en vershieenen Situationen Aktionen zuornet. Eine Aktion hat reale Auswirkungen. Der Art er Auswahl einer Aktion urh en Agenten entspriht in er Spieltheorie ie Auswertung einer festgelegten Strategie. PS: IV-16 Interation LETTMANN 2007-2009
Interaktion Formales Moell in er Spieltheorie n Spieler (n 2) spielen ein Spiel. Jeer Spieler i verfügt über eine enlihe Menge von Strategien St i. Eine Auswahl st =(st 1,...,st n ) von Strategien urh ie Agenten bezeihnen wir als Strategieprofil. Ein Strategieprofil st bilet ein Gleihgewiht, wenn es aus en besten Strategien er Spieler besteht. Vereinfahte Shreibweise: st ( i) bezeihnet as Tupel, in em ie i-te Komponente fehlt. (st, st ( i) ) ist as Tupel, as aus st ( i) urh Einfügen von st als i-te Komponente entsteht. PS: IV-17 Interation LETTMANN 2007-2009
Interaktion Dominante Strategien Für einen Agenten A i wir eine Strategie st i urh eine Strategie st i streng ominiert, wenn für alle Strategieprofile st ( i) gilt utility i (st i, st ( i) ) > utility i (st i, st ( i) ). Für einen Agenten A i wir eine Strategie st i streng ominiert, wenn st i urh eine Strategie st i streng ominiert wir. Für einen Agenten A i ist eine Strategie st i streng ominant, wenn st i alle aneren Strategien von A i streng ominiert. Es maht für einen rationalen Agenten keinen Sinn, eine streng ominierte Strategie zu verfolgen. 1, 1 1, 0 1, 1 1, 0 1, 1 1, 0 0, 1 0, 0 0, 1 0, 0 0, 1 0, 0 PS: IV-18 Interation LETTMANN 2007-2009
Interaktion Dominante Strategien (Fortsetzung) Für einen Agenten A i wir eine Strategie st i urh eine Strategie st i shwah ominiert, wenn für alle Strategieprofile st ( i) gilt utility i (st i, st ( i)) utility i (st i, st ( i) ) un für ein Strategieprofile s ( i) sogar gilt utility i (st i, st ( i)) > utility i (st i, st ( i) ). Für einen Agenten A i wir eine Strategie st i shwah ominiert, wenn st i urh eine Strategie st i shwah ominiert wir. Für einen Agenten A i ist eine Strategie st i shwah ominant, wenn st i alle aneren Strategien von A i shwah ominiert. Es maht für einen rationalen Agenten keinen Sinn, eine shwah ominierte Strategie zu verfolgen. 1, 1 0, 0 1, 1 0, 0 1, 1 0, 0 0, 0 0, 0 0, 0 0, 0 0, 0 0, 0 PS: IV-19 Interation LETTMANN 2007-2009
Interaktion Dominante Strategien Für einen Agenten A i wir eine Strategie st i urh eine Strategie st i sehr shwah ominiert, wenn für alle Strategieprofile st ( i) gilt utility i (st i, st ( i) ) utility i (st i, st ( i) ). Für einen Agenten A i wir eine Strategie st i sehr shwah ominiert, wenn st i urh eine Strategie st i sehr shwah ominiert wir. Für einen Agenten A i ist eine Strategie st i sehr shwah ominant, wenn st i alle aneren Strategien von A i sehr shwah ominiert. Es kann für einen rationalen Agenten Sinn mahen, eine sehr shwah ominierte Strategie zu verfolgen. 0, 1 0, 0 0, 1 0, 0 0, 1 0, 0 0, 0 0, 0 0, 0 0, 0 0, 0 0, 0 PS: IV-20 Interation LETTMANN 2007-2009
Interaktion Dominanzgleihgewiht Ein Strategieprofil st bilet ein strenges/shwahes/sehr shwahes Dominanz-Gleihgewiht, wenn für jeen Agenten A i ie Strategie st i streng/shwah/sehr shwah ominant ist. 1, 1 1, 0 1, 1 1, 0 1, 1 1, 0 1, 1 1, 0 0, 1 0, 0 0, 1 0, 0 0, 1 0, 0 0, 1 0, 0 Ein Strategieprofil st bilet ein strenges/shwahes/sehr shwahes iteriertes Dominanz-Gleihgewiht, wenn es Ergebnis eines shrittweisen Löshungsprozess ist, bei em in jeem Shritt eine streng/shwah/sehr shwah ominierte Strategie eines Agenten gelösht wir. 1, 1 0, 0 1, 1 0, 0 1, 1 0, 0 1, 1 0, 0 0, 0 0, 0 0, 0 0, 0 0, 0 0, 0 0, 0 0, 0 PS: IV-21 Interation LETTMANN 2007-2009
Interaktion Dominanzgleihgewiht (Fortsetzung) Dominanz-Gleihgewihte gibt es nur in wenigen Fällen. 1, 1 0, 0 0, 0 1, 1 Strenge Dominanz-Gleihgewihte sin eineutig. Shwahe/sehr shwahe iterierte Dominanz-Gleihgewihte sin niht eineutig. 1, 0 2, 0 1, 0 2, 0 1, 0 2, 0 0, 1 1, 0 0, 1 1, 0 0, 1 1, 0 e 0, 0 1, 1 e 0, 0 1, 1 e 0, 0 1, 1 PS: IV-22 Interation LETTMANN 2007-2009
Interaktion Nash-Gleihgewiht Für ein Strategieprofil st ( i) heißt ie Strategie st i von Spieler i Nash-Strategie, falls für alle seine Strategien st i gilt utility i (st i, st ( i) ) utility i (st i, st ( i) ). Ein Strategieprofil st bilet ein Nash-Gleihgewiht (Nash Equilibrium), wenn für jeen Agenten A i un jee seiner Strategien st i gilt utility i (st i, st ( i) ) utility i (st i, st ( i) ). 1, 0 1, 0 1, 0 1, 0 1, 0 1, 0 1, 0 1, 0 0, 1 0, 0 0, 1 0, 0 0, 1 0, 0 0, 1 0, 0 PS: IV-23 Interation LETTMANN 2007-2009
Interaktion Nash-Gleihgewiht In einem Nash-Gleihgewiht st kann A i unter er Annahme, ass ie übrigen Agenten weiter as Profil st ( i) verfolgen, nihts Besseres tun, als ie Strategie st i zu verfolgen. Kein Agent hat einen Anreiz, einseitig von einem Nash Equilibrium abzuweihen. Niht jees Szenario hat ein Nash Equilibrium, manhe haben agegen sogar mehr als ein Nash Equilibrium. 1, 0 0, 1 1, 1 1, 0 1, 1 0, 0 0, 1 1, 0 0, 1 0, 0 0, 0 0, 0 PS: IV-24 Interation LETTMANN 2007-2009
Interaktion Nash-Gleihgewiht (Fortsetzung) Bestimmung eines Nash-Equilibrium Bestimme für jees st ( i) zu jeem Profil st für jeen Agenten A i L i := {(st i, st ( i) ) utility i (st i, st ( i) )=max st A i utility i (st i, st ( i) )} Nash-Equilibria sin ie Elemente von L 1... L n 1, 1 0, 0 1, 1 0, 0 1, 1 0, 0 0, 0 0, 0 0, 0 0, 0 0, 0 0, 0 1, 1 0, 0 1, 1 0, 0 1, 1 0, 0 0, 0 0, 0 0, 0 0, 0 0, 0 0, 0 PS: IV-25 Interation LETTMANN 2007-2009
Bemerkungen: Die in Spalte 3 markierten Strategien sin ie Nash-Strategien er Spieler. PS: IV-26 Interation LETTMANN 2007-2009
Interaktion Strenges Nash-Gleihgewiht Für ein Strategieprofil st ( i) heißt ie Strategie st i von Spieler i strenge Nash-Strategie, falls für alle seine Strategien st i gilt utility i (st i, st ( i) ) > utility i (st i, st ( i) ). Ein Strategieprofil st bilet ein strenges Nash-Gleihgewiht, wenn für jeen Agenten A i un jee seiner Strategien st i gilt utility i (st i, st ( i) ) > utility i (st i, st ( i) ). 1, 1 1, 0 1, 1 1, 0 1, 1 1, 0 1, 1 1, 0 0, 1 0, 0 0, 1 0, 0 0, 1 0, 0 0, 1 0, 0 PS: IV-27 Interation LETTMANN 2007-2009
Interaktion Weitere Optima Ein Strategieprofil st ist globales Optimum (er Nutzensumme), falls für alle Strategieprofile st gilt utility i (st) utility i (st ). i i Ein Strategieprofil st ist (starkes) Pareto-Optimum, falls für alle Strategieprofile st mit utility i (st ) > utility i (st) für ein i auf er aneren Seite immer ein j existiert mit utility j (st) > utility j (st ). (Jee Verbesserung eines Spielers beeutet eine Vershlehterung eines aneren Spielers.) PS: IV-28 Interation LETTMANN 2007-2009
Interaktion Dominanz un Nash-Gleihgewiht Jee shwah ominante Strategie eines Spielers kommt in einem Nash-Gleihgewiht vor. Ein strenge/shwahe Dominanz-Gleihgewiht ist immer auh ein strenges/(shwahes)nash-gleihgewiht. Hat ein Spieler eine streng ominante Strategie, spielt er sie in jeem Nash-Gleihgewiht. Haben beie Spieler eine streng ominante Strategie, gibt es genau ein Nash-Gleihgewiht. Ein Nash-Gleihgewiht ist niht unbeingt ein Pareto-Optimum (Prisoner-Dilemma). Ein globales Optimum er Nutzensumme ist immer auh ein Pareto-Optimum. PS: IV-29 Interation LETTMANN 2007-2009
Interaktion Wettbewerb un Nullsummenspiele Wir sprehen von einem Nullsummenspiel, wenn für ie urh ie Strategieprofile st festgelegten Ausgänge eines Spiels un ie Nutzen er beteiligten Spieler gilt utility 1 (st)+...+ utility n (st) =0 Ein strenger Wettbewerb zwishen zwei Spielern A x un A y besteht, wenn sie alle möglihen Spielausgänge st 1 un st 2 genau entgegengesetzt präferieren: st 1 x st 2 gw. st 2 y st 1 Nullsummenspiele mit Nutzen ungleih 0 sin Beispiele für strenge Wettbewerbsituationen, sie bieten also keinen Raum für Kooperation. Nullsummenspiele sin in er Wirklihkeit sehr selten, aber ie Beteiligten tenieren oft azu, ein Szenario als Nullsummenspiel zu betrahten. PS: IV-30 Interation LETTMANN 2007-2009
Interaktion Beispiel Gefangenenilemma: Globales Optimum vs. Dominanz-Gleihgewiht Zwei Männer weren beshuligt, gemeinsam ein Verbrehen begangen zu haben. Die Höhststrafe für as Verbrehen beträgt rei Jahre Gefängnis. Beie Gefangenen wissen, ass sie ein Jahr Straferlass bekommen, wenn Sie gestehen (efet). Sie wissen aber auh ass aufgrun er mangelhaften Beweislage nur eine Verurteilung zu einem Jahr wegen eines minershweren Vergehens erfolgt, wenn beie shweigen (ooperate). Beien Gefangenen wir aher ein Hanel angeboten, worüber auh beie informiert sin. Wenn er gesteht un somit seinen Partner belastet, kommt er ohne Strafe avon. Der anere muss ann ie vollen rei Jahre absitzen. Nun weren ie Gefangenen einzeln nah ihrer Entsheiung gefragt. Weer vor noh währen er Beenkzeit hatten ie beien ie Möglihkeit, sih untereinaner abzusprehen. PS: IV-31 Interation LETTMANN 2007-2009
Interaktion Beispiel Gefangenenilemma (Fortsetzung) Zusammenfassung er Situation in einer Payoff Matrix (Nutzen): (Höherer Nutzen bei geringerer Strafe!) y wählt y wählt x wählt 1 1 3 0 x wählt 0 3 2 2 Daraus ergeben sih ie folgenen Präferenzen: utility x (, ) > utility x (, ) > utility x (, ) > utility x (, ) utility y (, ) > utility y (, ) > utility y (, ) > utility y (, ) Problem: Die für beie Spieler beste Situation (, ) ist instabil, a jeer er beien urh Abweihen von er Strategie seinen Nutzen vergrößern kann. Welhe Aktion ist für einen Gefangenen sinnvoll un warum? PS: IV-32 Interation LETTMANN 2007-2009
Interaktion Beispiel Gefangenenilemma (Fortsetzung) Für jeen er Gefangenen einzeln ist ie vernünftige Entsheiung ie Strategie!!! Wenn er gesteht (efet), hat er einen garantierten Nutzen von -2 unabhängig avon, ob er anere shweigt oer gesteht. Wenn er shweigt (ooperate), hat er nur einen garantierten Nutzen von -3, resultieren aus em Fall, ass er anere gesteht. Vermeiung es Suker s Payoff Die Strategie ist für jeen Spieler streng ominant in iesem Szenario. (, ) ist strenges Dominanz-Gleihgewiht un amit auh Nash-Gleihgewiht. Jees Profil außer (, ) ist Pareto-optimal. (, ) ist globales Optimum er Nutzensumme un amit auh Nash-Gleihgewiht. Intuition: Natürlih sollten ie Agenten beie kooperieren un amit beie einen höheren Nutzen erreihen. PS: IV-33 Interation LETTMANN 2007-2009
Interaktion Beispiel Gefangenenilemma: Allgemeine Form Payoff Matrix: y wählt y wählt x wählt R R S T x wählt T S P P T steht für Temptation to efet, R für Rewar for mutual ooperation, P für Punishment for mutual efetion un S für Suker s payoff. Für eine Prisoner s Dilemma Situation muss folgene Beingung gelten T>R>P>S PS: IV-34 Interation LETTMANN 2007-2009
Interaktion Problem er Interaktion in MAS Kooperation sheint in Gesellshaften von eigennützigen Agenten niht vorzukommen. Beispiele aus er realen Welt: Abrüstung (Warum sollte ih meine Waffen niht behalten?) Sportwettkämpfe mit Gewihtsklassen Rarennen Allmene Das Gefangenenilemma ist allgegenwärtig! Können wir Kooperation wieerherstellen? PS: IV-35 Interation LETTMANN 2007-2009
Interaktion Beispiel Iteriertes Gefangenenilemma Das Szenario wir immer wieer gespielt. Wenn man weiß, ass man immer wieer auf enselben Gegner trifft, vershwinet er Anreiz niht zu kooperieren (efet). Anfangsverluste können urh große Anzahl von Spielen amortisiert weren. Es lohnt sih, Kooperationsbereitshaft zu zeigen. (Beingung hierfür: 2R >T+ S) Unenlih viele Spiele: Die vernünftige Entsheiung ist ie für ie Kooperation, wenn man as Szenario unenlih oft urhspielt. Feste bekannte Anzahl von Spielen: Die vernünftige Entsheiung ist ie für ie Niht-Kooperation, wenn man as Szenario enlih oft urhspielt. (Bakwars Inution) PS: IV-36 Interation LETTMANN 2007-2009
Interaktion Beispiel Iteriertes Gefangenenilemma Das Szenario wir immer wieer gespielt. Wenn man weiß, ass man immer wieer auf enselben Gegner trifft, vershwinet er Anreiz niht zu kooperieren (efet). Anfangsverluste können urh große Anzahl von Spielen amortisiert weren. Es lohnt sih, Kooperationsbereitshaft zu zeigen. (Beingung hierfür: 2R >T+ S) Unenlih viele Spiele: Die vernünftige Entsheiung ist ie für ie Kooperation, wenn man as Szenario unenlih oft urhspielt. Feste bekannte Anzahl von Spielen: Die vernünftige Entsheiung ist ie für ie Niht-Kooperation, wenn man as Szenario enlih oft urhspielt. (Bakwars Inution) PS: IV-37 Interation LETTMANN 2007-2009
Interaktion Beispiel Iteriertes Gefangenenilemma (Fortsetzung) Axelro s Wettbewerb (1984) Das Szenario es iterierten Gefangenenilemma wir gegen jeen Gegner urhgespielt. Jeer Spieler spielt 5 Partien gegen jeen aneren Spieler. Jee Partie besteht aus 200 Runen es Szenarios Gefangenenilemma. Der Spieler kennt ie Züge es Gegners aus en vorherigen Runen einer Partie. Sieger ist er Spieler, er en höhsten Payoff erreiht. Alle Spieler sin als Computerprogramme realisiert. PS: IV-38 Interation LETTMANN 2007-2009
Interaktion Beispiel Iteriertes Gefangenenilemma (Fortsetzung) Axelro s Wettbewerb (1984) Das Szenario es iterierten Gefangenenilemma wir gegen jeen Gegner urhgespielt. Jeer Spieler spielt 5 Partien gegen jeen aneren Spieler. Jee Partie besteht aus 200 Runen es Szenarios Gefangenenilemma. Der Spieler kennt ie Züge es Gegners aus en vorherigen Runen einer Partie. Sieger ist er Spieler, er en höhsten Payoff erreiht. Alle Spieler sin als Computerprogramme realisiert. Welhe Strategie sollte man wählen? Ist ie Gewinnerstrategie streng/shwah ominant? PS: IV-39 Interation LETTMANN 2007-2009
Interaktion Beispiel Iteriertes Gefangenenilemma (Fortsetzung) Beispiele für Strategien Strategie ALL-D: Wähle immer ie Aktion, also ie Niht-Kooperation (Hawk-Strategy). Strategie RANDOM: Wähle immer ie nähste Aktion zufällig aus. Strategie TIT-FOR-TAT: Spiele in er ersten Rune kooperativ (), in en nähsten Runen wähle jeweils en Zug es Gegners aus er letzten Rune. Strategie TESTER: Spiele in er ersten Rune niht kooperativ (). Wenn er Gegner ebenfalls niht kooperativ spielt (), ann folge er Strategie TIT-FOR-TAT. Wenn er Gegner kooperativ spielt (), ann spiele ie nähsten zwei Runen kooperativ (), anah ie nähste Rune niht kooperativ (). Strategie JOSS: Ähnlih er Strategie TIT-FOR-TAT, allerings wir in 10% er Fälle niht kooperativ () gespielt, anstelle von Kooperation (). Welhe Strategie ersheint am erfolgversprehensten? PS: IV-40 Interation LETTMANN 2007-2009
Interaktion Beispiel Iteriertes Gefangenenilemma (Fortsetzung) Beispiele für Strategien Strategie ALL-D: Wähle immer ie Aktion, also ie Niht-Kooperation (Hawk-Strategy). Strategie RANDOM: Wähle immer ie nähste Aktion zufällig aus. Strategie TIT-FOR-TAT: Spiele in er ersten Rune kooperativ (), in en nähsten Runen wähle jeweils en Zug es Gegners aus er letzten Rune. Strategie TESTER: Spiele in er ersten Rune niht kooperativ (). Wenn er Gegner ebenfalls niht kooperativ spielt (), ann folge er Strategie TIT-FOR-TAT. Wenn er Gegner kooperativ spielt (), ann spiele ie nähsten zwei Runen kooperativ (), anah ie nähste Rune niht kooperativ (). Strategie JOSS: Ähnlih er Strategie TIT-FOR-TAT, allerings wir in 10% er Fälle niht kooperativ () gespielt, anstelle von Kooperation (). Welhe Strategie ersheint am erfolgversprehensten? PS: IV-41 Interation LETTMANN 2007-2009
Interaktion Beispiel Iteriertes Gefangenenilemma (Fortsetzung) Axelro s Vorshläge für gute Strategien Sei niht neiish! Es ist niht nötig, en Gegner zu besiegen, um selbst gut abzushneien. Sei nett! Es ist besser kooperativ zu beginnen un sih für Kooperation erkenntlih zu zeigen. Übe maßvolle Vergeltung! Bestrafung () sollte unmittelbar erfolgen un vergleihbarem Maß wie as Fehlverhalten () es Gegners. Sei niht nahtragen! Kooperation () urh en Gegner sollte mit eigener Kooperation belohnt weren, egal, was vorher war. Sei niht zu lever! Wenn er Gegner as Verhalten niht euten kann, ist es so, als würe Strategie RANDOM gespielt. PS: IV-42 Interation LETTMANN 2007-2009
Interaktion Beispiel Iteriertes Gefangenenilemma (Fortsetzung) Axelro s Vorshläge für gute Strategien Sei niht neiish! Es ist niht nötig, en Gegner zu besiegen, um selbst gut abzushneien. Sei nett! Es ist besser kooperativ zu beginnen un sih für Kooperation erkenntlih zu zeigen. Übe maßvolle Vergeltung! Bestrafung () sollte unmittelbar erfolgen un vergleihbarem Maß wie as Fehlverhalten () es Gegners. Sei niht nahtragen! Kooperation () urh en Gegner sollte mit eigener Kooperation belohnt weren, egal, was vorher war. Sei niht zu lever! Wenn er Gegner as Verhalten niht euten kann, ist es so, als würe Strategie RANDOM gespielt. PS: IV-43 Interation LETTMANN 2007-2009
Interaktion Beispiel Battle of the Bismark Sea: Iteriertes Dominanz-Gleihgewiht Im Süpazifik hat im Jahr 1943 er japanishe General Imamura en Auftrag erhalten, japanishe Truppen über ie Bismark See nah Neuguinea zu transportieren, Der amerikanishe General Kenney will en Truppentransport bombarieren. Imamura hat ie Wahl zwishen einer kürzeren nörlihen Route un einer längeren sülihen Route nah Neuguinea. Kenney muss sih entsheien, wohin er seine Flugzeuge shikt, um nah en Japanern Ausshau zu halten. Wenn Kenney seine Flugzeuge zu er falshen Route shikt, kann er sie zwar zurükrufen, aber ie Anzahl er Tage, ie für Bombarierungen zur Verfügung stehen, ist aurh verringert woren. Das Szenario ist um ein Nullsummenspiel (Nutzen/Shaen = Anzahl Tage mit Bombarierung). PS: IV-44 Interation LETTMANN 2007-2009
Interaktion Beispiel Battle of the Bismark Sea (Fortsetzung) Zusammenfassung er Situation in einer Payoff Matrix: Imamura wählt Nor Imamura wählt Sü Kenney wählt Nor 2 2 2 2 Kenney wählt Sü 1 1 3 3 Kein Spieler hat eine ominante Strategie. Es gibt kein strenges/shwahes Dominanz-Equilibrium. Durh Eliminieren streng ominierter Strategien kann kein Equilibrium gefunen weren. Durh Eliminieren shwah ominierter Strategien kann ein shwahes iteriertes Dominanz-Gleihgewiht in (Nor, Nor) gefunen weren. Jees Strategieprofil is globales Optimum un amit Pareto-Optimum. ( Nullsummenspiel) PS: IV-45 Interation LETTMANN 2007-2009
Interaktion Beispiel Stag Hunt: Vershieene Nash-Gleihgewihte Zwei Männer gehen auf ie Jag. Jeer er beien kann sih entsheien einen Hirshen zu jagen oer aber einen Hasen. Diese Wahl wir unabhängig voneinaner getroffen, ohne ie Wahl es aneren zu kennen. Wer auf Hirshjag geht, brauht ie Unterstützung es aneren. Einen Hasen kann jeer er Jäger allein zur Streke bringen, er Hase ist aber weniger wert als ein Hirsh. Wenn er eine Spieler glaubt, ass er anere auf Hasenjag geht (), ann sollte er ies auh tun. Wenn er eine Spieler glaubt, ass er anere auf Hrshjag geht (), so sollte er ebenfalls auf Hirshjag gehen. Der beste Fall ist also, ass beie Spieler kooperieren. Stag Hunt ist ein Beispiel für ein Koorinationsspiel (Coorination Game). PS: IV-46 Interation LETTMANN 2007-2009
Bemerkungen: y wählt y wählt x wählt A a C x wählt B b D Ein Koorinationsspiel liegt vor, wenn ie Nash Equilibria in Profilen mit gleiher Strategieauswahl liegen. Für ie angegebene Payoff-Matrix muss also A>Bun D>C für Spieler x sowie a>un >bfür Spieler y gelten. Für reine Koorinationsspiele muss zusätzlih gelte B = C =0= =. In Anti-Koorinationsspielen für zwei Personen liegen ie Nash Equilibria in en Felern mit vershieener Strategiewahl. PS: IV-47 Interation LETTMANN 2007-2009
Interaktion Beispiel Stag Hunt (Fortsetzung) Zusammenfassung er Situation in einer Payoff Matrix: y wählt y wählt x wählt 3 3 0 2 x wählt 2 0 2 2 Daraus ergeben sih ie folgenen Präferenzen: utility x (, ) > utility x (, ) utility x (, ) > utility x (, ) utility y (, ) > utility y (, ) utility y (, ) > utility y (, ) Stag Hunt hat zwei Nash-Equilibria in en Felern mit gleiher Strategiewahl, also er oberen linken (, ) un er unteren rehten Zelle (, ) er Payoff Matrix. PS: IV-48 Interation LETTMANN 2007-2009
Interaktion Beispiel Stag Hunt: Allgemeine Form Payoff Matrix: y wählt y wählt x wählt R R S T x wählt T S P P Für eine Stag Hunt Situation müssen folgene Beingung gelten R>T R>P P>S Da kein Wissen über ie Vorlieben es Gegeners vorhanen ist, müssen seine beien Strategien als gleihwahrsheinlih angesehen weren. Daher sollte man wählen, wenn folgene Beingung gilt: T + P>R+ S Man nennt (, ) risikoominantes Nash Gleihgewiht un (, ) payoff-ominantes Nash Gleihgewiht. PS: IV-49 Interation LETTMANN 2007-2009
Interaktion Beispiel Game of Chiken: Vershieene Nash-Gleihgewihte Zwei Männer fahren mit em Auto mit hoher Geshwinigkeit in einem Kollisionskurs aufeinaner zu. Einer er beien muss ausweihen, sonst sterben beie bei em Zusammenstoß. Der Fahrer, er zuerst ausweiht, währen er anere auf Kurs bleibt, wir als Feigling verlaht. Wenn er eine Spieler glaubt, ass er anere mutiger ist, ann wir er ausweihen (). Wenn er eine Spieler glaubt, ass er anere weniger mutig ist, ann wir er auf Kurs bleiben (). Der shlehteste Fall ist also, ass beie Spieler glauben, ass er jeweils anere weniger mutig ist. Game of Chiken (auh Hawk-Dove Game) ist ein Beispiel für ein Anti-Koorinationsspiel (Anti-Coorination Game). PS: IV-50 Interation LETTMANN 2007-2009
Interaktion Beispiel Game of Chiken (Fortsetzung) Zusammenfassung er Situation in einer Payoff Matrix: y wählt y wählt x wählt 2 2 1 3 x wählt 3 1 0 0 Daraus ergeben sih ie folgenen Präferenzen: utility x (, ) > utility x (, ) > utility x (, ) > utility x (, ) utility y (, ) > utility y (, ) > utility y (, ) > utility y (, ) Game of Chiken hat zwei Nash-Equilibria bei ungleiher Strategieauswahl, also er oberen rehten (, ) un er unteren linken Zelle (, ) er Payoff Matrix. Beierseitige Niht-Kooperation ist am meisten gefürhtet, währen im Gefangenenilemma er Suker s Payoff vermieen weren soll. PS: IV-51 Interation LETTMANN 2007-2009
Interaktion Beispiel Game of Chiken: Allgemeine Form Payoff Matrix: y wählt y wählt x wählt R R S T x wählt T S P P Für eine Game of Chiken Situation muss folgene Beingung gelten T>R>S>P In er Literatur finet man in er Regel folgene Version: Payoff Matrix: y wählt Hawk y wählt Dove x wählt Hawk X X W L x wählt Dove L W T T Für eine Hawk-Dove Situation muss folgene Beingung gelten W>T>L>X PS: IV-52 Interation LETTMANN 2007-2009
Interaktion Symmetrishe 2 2 Interaktionen 2 Spieler, jeweils 2 möglihe Aktionen, symmetrishes Szenario (.h. für Spieler gleih, Payoff-Matrix es einen ist Transponierte er Payoff-Matrix es aneren Spielers) un totale Ornung er Payoffs. Allgemeine Payoff-Matrix y wählt y wählt x wählt A A C B x wählt B C D D 4! = 24 möglihe Szenarien urh Anornung von A, B, C, D. PS: IV-53 Interation LETTMANN 2007-2009
Interaktion Symmetrishe 2 2 Interaktionen (Fortsetzung) Besonere Szenarien Nr. Präferenzen Koorination Kommentar 1 A>C>B>D Kooperation ominiert 2 A>C>D>B Kooperation ominiert 4 A>B>D>C Stag Hunt 13 B>A>C>D Game of Chiken 14 B>A>D>C Prisoner s Dilemma 23 D>B>A>C Niht-Kooperation ominiert 24 D>B>C>A Niht-Kooperation ominiert PS: IV-54 Interation LETTMANN 2007-2009
Kapitel PS: IV IV. Interaktion in Multiagentensystemen Multiagentensysteme Interaktion Protokoll Auktion Verhanlung PS: IV-1 Interation LETTMANN 2007-2009
Bemerkungen: Dieses Kapitel orientiert sih an em Buh An Introution to MultiAgent Systems von Mihael Woolrige. Leture Slies Woolrige folgt abei en Ausführungen von J.S. Rosenshein un G. Zlotkin in ihrem Buh Rules of Enounter: Designing Conventions for Automate Negotiation among Computers (MIT Press, 1994). PS: IV-2 Interation LETTMANN 2007-2009
Protokoll Vereinbarungen zur Kooperation Voraussetzung: Agenten haneln eigennützig. Wie können Agenten unter ieser Annahme Vereinbarungen zur Kooperation treffen? Extremfall: In Nullsummenspielen ist keine Vereinbarung zur Kooperation möglih. PS: IV-3 Interation LETTMANN 2007-2009
Protokoll Vereinbarungen zur Kooperation Voraussetzung: Agenten haneln eigennützig. Wie können Agenten unter ieser Annahme Vereinbarungen zur Kooperation treffen? Extremfall: In Nullsummenspielen ist keine Vereinbarung zur Kooperation möglih. Die meisten Szenarien bieten Möglihkeiten zur Vereinbarung von Kooperation zu beierseitigem Vorteil. Fähigkeiten zur Verhanlung un Argumentation sin wihtige Möglihkeiten von Agenten für as Erreihen von Vereinbarungen. PS: IV-4 Interation LETTMANN 2007-2009
Protokoll Protokolle un Strategien Verhanlungen folgen einem bestimmten Protokoll (Mehanismus). Das Protokoll efiniert ie Regeln einer Begegnung (Rules of Enounter) zwishen Agenten. Die Protokolle weren so gestaltet, ass sie bestimmte wünshenswerte Eigenshaften haben. Es sei ein bestimmtes Protokoll gegeben. Wie kann eine passene Strategie gestaltet weren, ie er Agent zur Verhanlung nutzen kann? PS: IV-5 Interation LETTMANN 2007-2009
Protokoll Eigenshaften Konvergenz / garantierter Erfolg Eine Verhanlung sollte zu einer Einigung führen. (Iniviuelle) Rationalität Es sollte im Interesse er Agenten sein, sih an Verhanlungen zu beteiligen (kein negativer Payoff). Maximierung es Gesamtnutzen (Soial Welfare) Das Ergebnis sollte ie Nutzensumme er Verhanlungspartner maximieren. (Pareto) Effizienz Die Ergebnisse sollten (zuminest) Pareto optimal sein. Stabilität Agenten sollten keinen Anreiz haben, von einer bestimmten Strategie abzuweihen (Nash-Gleihgewiht). PS: IV-6 Interation LETTMANN 2007-2009
Verhanlung Eigenshaften Konvergenz / garantierter Erfolg Eine Verhanlung sollte zu einer Einigung führen. (Iniviuelle) Rationalität Es sollte im Interesse er Agenten sein, sih an Verhanlungen zu beteiligen (kein negativer Payoff). Maximierung es Gesamtnutzen (Soial Welfare) Das Ergebnis sollte ie Nutzensumme er Verhanlungspartner maximieren. (Pareto) Effizienz Die Ergebnisse sollten (zuminest) Pareto optimal sein. Stabilität Agenten sollten keinen Anreiz haben, von einer bestimmten Strategie abzuweihen (Nash-Gleihgewiht). PS: IV-7 Interation LETTMANN 2007-2009
Protokoll Eigenshaften (Fortsetzung) Fairness Die Ergebnisse sollten geeignete Fairness-Beingungen erfüllen (Gleihbehanlung, kein Nei). Symmetrie Kein Agent sollte von vornherein einen Nahteil haben. Einfahheit Eine passene Strategie sollte einfah zu ermitteln sein. Die Belastung urh Rehenzeit un Kommunikation sollte klein sein. Verteilung (Robustheit) Protokolle sollten keinen Single Point of Failure aufweisen, z.b. nur einen einzelnen Shiesrihter, also tolerant gegenüber em Ausfall einzelner Agenten sein. Verifizierbarkeit Es sollte nahprüfbar sein, ass ie Agenten ie Regeln von Verhanlungen befolgen. PS: IV-8 Interation LETTMANN 2007-2009
Verhanlung Eigenshaften (Fortsetzung) Fairness Die Ergebnisse sollten geeignete Fairness-Beingungen erfüllen (Gleihbehanlung, kein Nei). Symmetrie Kein Agent sollte von vornherein einen Nahteil haben. Einfahheit Eine passene Strategie sollte einfah zu ermitteln sein. Die Belastung urh Rehenzeit un Kommunikation sollte klein sein. Verteilung (Robustheit) Protokolle sollten keinen Single Point of Failure aufweisen, z.b. nur einen einzelnen Shiesrihter, also tolerant gegenüber em Ausfall einzelner Agenten sein. Verifizierbarkeit Es sollte nahprüfbar sein, ass ie Agenten ie Regeln von Verhanlungen befolgen. PS: IV-9 Interation LETTMANN 2007-2009
Auktion Szenario Eine Auktion finet statt mit einem Agenten als Auktionator (Verkäufer) un eine Reihe von Agenten als Bietern (Käufer). Das Ziel er Auktion ist aus Siht es Auktionators ie Zuornung einer Ware zu einem er Bieter. In en meisten Szenarien versuht er Auktionator en Preis zu maximieren, währen ie Bieter en Preis minimieren wollen. sehr einfahe Form er Interaktion PS: IV-10 Interation LETTMANN 2007-2009
Auktion Szenario Eine Auktion finet statt mit einem Agenten als Auktionator (Verkäufer) un eine Reihe von Agenten als Bietern (Käufer). Das Ziel er Auktion ist aus Siht es Auktionators ie Zuornung einer Ware zu einem er Bieter. In en meisten Szenarien versuht er Auktionator en Preis zu maximieren, währen ie Bieter en Preis minimieren wollen. sehr einfahe Form er Interaktion Parameter einer Auktion: Ware: privater Wert, bekannter Wert, korrelierter Wert Festlegung es Preises: erster Preis (first prie), zweiter Preis (seon prie), n-ter Preis Gebotsabgabe: offene Gebote (open ry), geheime Abgabe (seale bis) Bieten: Einzelgebote (One-Shot Aution), ansteigen (asening), absteigen (esening) PS: IV-11 Interation LETTMANN 2007-2009
Bemerkungen: Weitere Charakteristika von Auktionen: einseitig/zweiseitig: Auktion, Ausshreibung vs. Börse PS: IV-12 Interation LETTMANN 2007-2009
Auktion Nahteile Absprahen er Bieter Die Bieter einigen sih zuvor auf eine Zusammenarbeit. Sie plazieren im Vergleih zum Wert er Ware zu nierige Gebote un teilen en erzielten Gewinn. Abhilfe: Bieter bleiben anonym, kennen sih niht. Aber iese Lösung wierspriht er Iee es Open Cry. Lügen es Auktionators Der Auktionator kann über Vorliegen (Shills) oer Höhe konkurrierener Gebote ie Unwahrheit sagen un so en erzielten Preis in ie Höhe treiben. Abhilfe: Verwenung geeigneter Auktionsformen, (igitale) Signierung von Geboten zur Verifikation. PS: IV-13 Interation LETTMANN 2007-2009
Auktion Englishe Auktion: open ry, first prie, asening Der Auktionator startet mit einem Minestgebot für ie Ware. Wenn nieman zu iesem Preis bietet, wir ie Ware zu iesem Preis em Auktionator zugeshlagen. Gebote er Agenten müssen höher sein als as bisher höhste Gebot. Wenn nieman mehr bietet, erfolgt er Zushlag an en Höhstbietenen zu essen Gebotspreis. Eine ominante Strategie für einen Agenten ist es, einen kleinen Betrag über em bisher höhsten Gebot zu bieten, bis er geshätzte Wert erreiht ist, un sih ann von er Auktion zurükzuziehen. Englishe Auktionen sin gut für Käufer (Einsparung gegen Wert). PS: IV-14 Interation LETTMANN 2007-2009
Auktion Englishe Auktion: open ry, first prie, asening Der Auktionator startet mit einem Minestgebot für ie Ware. Wenn nieman zu iesem Preis bietet, wir ie Ware zu iesem Preis em Auktionator zugeshlagen. Gebote er Agenten müssen höher sein als as bisher höhste Gebot. Wenn nieman mehr bietet, erfolgt er Zushlag an en Höhstbietenen zu essen Gebotspreis. Eine ominante Strategie für einen Agenten ist es, einen kleinen Betrag über em bisher höhsten Gebot zu bieten, bis er geshätzte Wert erreiht ist, un sih ann von er Auktion zurükzuziehen. Englishe Auktionen sin gut für Käufer (Einsparung gegen Wert). Nahteile: Fluh es Gewinners (Winner s Curse): Soll er Gewinner sih freuen, weil er ie Ware zu einem günstigeren Preis bekommen hat als ie eigene Einshätzung oer sollte er bekümmert sein, weil kein anerer Agent ie Ware so hoh bewertet hat wie er selbst? Bieter können Absprahen treffen, er Auktionator kann urh Lokvögel (Shills) en Preis hohtreiben. PS: IV-15 Interation LETTMANN 2007-2009
Auktion Hollänishe Auktion: open ry, first prie, esening Der Auktionator startet mit einem unrealistish hohen Gebot für ie Ware. Wenn nieman zu iesem Preis bietet, bietet er Auktionator ie Ware zu einem nierigeren Gebotspreis an, bis ein Agent as Gebot akzeptiert. Der Zushlag an en Bieter zu essen Gebotspreis. Weren keine Gebote abgegeben, verbleibt ie Ware beim Auktionator zum zuletzt genannten Preis. Intuitive Strategie: Wenn er (für en Bieter) wirklihe Wert erreiht wir, warte etwas un biete ann. Im allgemeinen gibt keine ominante Strategie. Hollänishe Auktionen sin gut für Verkäufer (höhstes erzielbares Gebot). PS: IV-16 Interation LETTMANN 2007-2009
Auktion Hollänishe Auktion: open ry, first prie, esening Der Auktionator startet mit einem unrealistish hohen Gebot für ie Ware. Wenn nieman zu iesem Preis bietet, bietet er Auktionator ie Ware zu einem nierigeren Gebotspreis an, bis ein Agent as Gebot akzeptiert. Der Zushlag an en Bieter zu essen Gebotspreis. Weren keine Gebote abgegeben, verbleibt ie Ware beim Auktionator zum zuletzt genannten Preis. Intuitive Strategie: Wenn er (für en Bieter) wirklihe Wert erreiht wir, warte etwas un biete ann. Im allgemeinen gibt keine ominante Strategie. Hollänishe Auktionen sin gut für Verkäufer (höhstes erzielbares Gebot). Nahteile: Fluh es Gewinners Bieter können Absprahen treffen. PS: IV-17 Interation LETTMANN 2007-2009
Auktion First-Prie Seale-Bi: seale bis, first-prie, one-shot Die Bieter geben ihre Angebote so ab, ass er Auktionator sie lesen kann, aber keiner er Mitbieter. Der Auktionator vergleiht ie Gebote un erteilt en Zushlag em Bieter mit em höhsten Gebot zu essen Preis. Beste Strategie ist es, etwas weniger zu bieten als er Wert er Ware ist. Es gibt keine allgemeine Methoe, um festzustellen, wieviel weniger man bieten sollte. PS: IV-18 Interation LETTMANN 2007-2009
Auktion First-Prie Seale-Bi: seale bis, first-prie, one-shot Die Bieter geben ihre Angebote so ab, ass er Auktionator sie lesen kann, aber keiner er Mitbieter. Der Auktionator vergleiht ie Gebote un erteilt en Zushlag em Bieter mit em höhsten Gebot zu essen Preis. Beste Strategie ist es, etwas weniger zu bieten als er Wert er Ware ist. Es gibt keine allgemeine Methoe, um festzustellen, wieviel weniger man bieten sollte. Nahteile: Bieter versuhen nieriger zu bieten als er tatsählihe Wert er Ware: es genügt, nur wenig über em zweithöhsten Gebot zu liegen. Absprahen auf Seiten er Bieter. PS: IV-19 Interation LETTMANN 2007-2009
Auktion Vikrey Auktion: seale bis, seon prie, one shot Die Bieter geben ihre Angebote so ab, ass er Auktionator sie lesen kann, aber keiner er Mitbieter. Der Auktionator vergleiht ie Gebote un erteilt en Zushlag em Bieter mit em höhsten Gebot, aber er zahlt nur en Preis es zweithöhsten Gebotes. Wenn er Wert er Ware niht bekannt ist, ist ie ominante Strategie ie, en Preis er eigenen Bewertung für ie Ware zu bieten. PS: IV-20 Interation LETTMANN 2007-2009
Auktion Vikrey Auktion: seale bis, seon prie, one shot Die Bieter geben ihre Angebote so ab, ass er Auktionator sie lesen kann, aber keiner er Mitbieter. Der Auktionator vergleiht ie Gebote un erteilt en Zushlag em Bieter mit em höhsten Gebot, aber er zahlt nur en Preis es zweithöhsten Gebotes. Wenn er Wert er Ware niht bekannt ist, ist ie ominante Strategie ie, en Preis er eigenen Bewertung für ie Ware zu bieten. Nahteile: Unintuitiver Ablauf, niht einfah verstänlih. Absprahen auf Seiten er Bieter un Lügen auf Seiten es Auktionators. PS: IV-21 Interation LETTMANN 2007-2009
Auktion Ergebnisse für Güter mit privaten Werten Alle vier Typen von Auktionen führen zu Pareto-optimalen Ergebnissen, wenn sih Bieter rational verhalten un weer Bieter noh Auktionator betrügen. Bieter x erhält Zushlag zum Preis p. Höhere Zahlung als p stellt Auktionator besser, aber Bieter shlehter. Nierigere Zahlung als p stellt Bieter besser, aber Auktionator shlehter. Zushlag an aneren Bieter y stellt y besser, aber x shlehter. PS: IV-22 Interation LETTMANN 2007-2009
Auktion Ergebnisse für Güter mit privaten Werten (Fortsetzung) Bieter-Verhalten Ein Agent verhält sih risikoneutral, wenn er ein Gebot wählt, ass seinen erwarteten Nutzen maximiert. Ein Agent verhält sih risikoavers, wenn er bereit ist, ein höheres Gebot zu mahen, um seine Chane auf en Gewinn er Auktion zu erhöhen, un eine urh ie höhere Zahlung bewirkte Reuzierung seines erwarteten Nutzens in Kauf nimmt. PS: IV-23 Interation LETTMANN 2007-2009
Auktion Ergebnisse für Güter mit privaten Werten (Fortsetzung) Bieter-Verhalten Ein Agent verhält sih risikoneutral, wenn er ein Gebot wählt, ass seinen erwarteten Nutzen maximiert. Ein Agent verhält sih risikoavers, wenn er bereit ist, ein höheres Gebot zu mahen, um seine Chane auf en Gewinn er Auktion zu erhöhen, un eine urh ie höhere Zahlung bewirkte Reuzierung seines erwarteten Nutzens in Kauf nimmt. Erlöse es Auktionators: Bei risikoneutralen Bietern kann er Auktionator bei allen vier Auktionstypen en gleihen Erlös erwarten. Bei risikoaversen Bietern sollte er Auktionator eine Hollänishe Auktion oer eine First-Prie Seale-Bi Auktion wählen. Ein risikoaverser Auktionator sollte eine Vikrey Auktion oer eine Englishe Auktion wählen. PS: IV-24 Interation LETTMANN 2007-2009
Kapitel PS: IV IV. Interaktion in Multiagentensystemen Multiagentensysteme Interaktion Protokoll Auktion Verhanlung PS: IV-25 Interation LETTMANN 2007-2009
Verhanlung Informelle Definition Unter einer Verhanlung (Negotiation) in einem Multiagentensystem versteht man en Prozess er Suhe von Agenten nah einer gemeinsamen Übereinkunft oer Abmahung. PS: IV-26 Interation LETTMANN 2007-2009
Verhanlung Informelle Definition Unter einer Verhanlung (Negotiation) in einem Multiagentensystem versteht man en Prozess er Suhe von Agenten nah einer gemeinsamen Übereinkunft oer Abmahung. Der Rahmen einer Verhanlung (zwishen Agenten mit Nutzenfunktionen) ist urh folgene Komponenten festgelegt: Verhanlungsmenge Die Verhanlungsmenge ist ie Menge aller möglihen Abmahungen, ie ie Agenten vorshlagen können. Verhanlungsprotokoll (Regeln für ie Verhanlung) Das Verhanlungsprotokoll legt fest, welhe Vorshläge für einen Agenten als nähstes möglih sin unter Berüksihtigung es bisherigen Verlaufs er Verhanlung. Strategiemenge Jee Strategie legt eine regelkonforme iniviuelle Vorgehensweise eines einzelnen Agenten zum Erreihen seines besten Payoff fest. Strategien sin in er Regel privat, also en jeweiligen Verhanlungspartnern eines Agenten niht bekannt. Abshlussregel Die Abshlussregel legt fest, ob/wann ein Abshluss zustane gekommen ist un wie ieser Abshluss aussieht. PS: IV-27 Interation LETTMANN 2007-2009
Verhanlung Ursahen er Komplexität Anzahl er Verhanlungsgegenstäne: einzelne: z.b. Rabatt beim Verkauf einer Ware mehrere: z.b. Preis un Ausstattung beim Neuwagenkauf Was stellt ein Zugestännis eines Agenten ar? Anzahl er Verhanlungspartner: One-to-one: Zwei Agenten verhaneln miteinaner (bilateral). Many-to-one: Ein Agent verhanelt mit mehreren aneren (z.b. Auktion). Many-to-many: Viele Agent verhaneln gleihzeitig miteinaner (verteilt un multilateral). Wie geht man mit einer großen Anzahl gleihzeitiger Verhanlungen um? Wir betrahten nur en einfahen Fall: ein Verhanlungsgegenstan, zwei Agenten PS: IV-28 Interation LETTMANN 2007-2009
Verhanlung Einsatzbereihe Aufgabenorientierte Bereihe (Task Oriente Domains) Agenten erhalten Aufgaben, ie sie zu erleigen haben. Neuverteilung er Aufgaben (Task Reistribution) Zustansorientierte Bereihe (State Oriente Domains) Agenten erhalten Ziele (Teilbeshreibungen von Zustänen), ie erreiht weren müssen. Erstellen gemeinsamer Pläne un Koorinierung er Abläufe (Joint Plans an Sheules) Wertorientierte Bereihe (Worth Oriente Domains) Eine Funktion bewertet zusätzlih ie Akzeptierbarkeit von Zustänen. Joint Plans, Sheules, Goal Relaxation PS: IV-29 Interation LETTMANN 2007-2009
Verhanlung Formalisierung Task Oriente Domain Ein Task Oriente Domain wir beshrieben urh folgene Komponenten: eine Menge von Agenten, hier nur Agent x un Agent y mit Nutzenfunktionen utility x : E R un utility y : E R, eine enlihe Menge T von Aufgaben, eine Funktion ost : P(T ) R zur Beshreibung er Kosten für Erleigung einer Menge von Aufgaben urh einen Agenten. Eine Begegnung (Enounter, Partie, Spiel,...) wir beshrieben urh ie en Agenten zugeorneten Aufgabenmengen (T x,t y ) aus T. Ziel er Verhanlungen ist eine bessere Verteilung er Aufgaben. Die Verhanlungsmenge enthält Vorshläge für eine Aufgabenteilung, ie Deals. Für einen Deal (D x,d y ) ist utility x (D x,d y )=ost(t x ) ost(d x ) (analog für y). PS: IV-30 Interation LETTMANN 2007-2009
Bemerkungen: Vollstänige Information Falls ie Kosten ost(d) für D T für beie Agenten gleih sin, verfügen ie Agenten über vollstänige Information: Sie können niht nur en eigenen Nutzen eines Vorshlages berehnen, sonern auh en Nutzen es Verhanlungspartners. Dazu müssen ie Agenten aber wissen, ass ie Kostenfunktionen gleih sin. Mit aneren Worten: Vollstänige Information liegt vor, wenn jeer er Agenten niht nur ie eigene, sonern auh ie Nutzenfunktion es Verhanlungspartners kennt. Das nahfolgen vorgestellte Monotoni Conession Protool setzt vollstänige Information beier Agenten voraus. PS: IV-31 Interation LETTMANN 2007-2009
Verhanlung Einfahes bilaterales Verhanlungsprotokoll 1. Beie Agenten wählen jeweils einen Deal. 2. Die Agenten shlagen ihrem Verhanlungspartner jeweils en gewählten Deal vor. 3. Wenn eine Übereinkunft erzielt woren ist, weren ie Verhanlungen beenet, Ergebnis ist ieser Deal. 4. Wenn keine Übereinkunft erzielt woren ist, entsheiet jeer Agent, entweer ein kleines Zugestännis zu mahen oer bei seinem Vorshlag zu bleiben. Weiter mit Shritt 2. 5. Wenn keiner er Agenten ein Zugestännis maht oer eine Abbruhbeingung eintritt, weren ie Verhanlungen beenet. Es bleibt bei er anfänglihen Aufgabenverteilung. Gruniee es Monotoni Conession Protool PS: IV-32 Interation LETTMANN 2007-2009
Verhanlung Formalisierung Task Oriente Domain Es sei ie Begegnung (T x,t y ) gegeben. Die Agenten shlagen nur Deals vor mit niht-negativem Payoff für beie Agenten. Die ursprünglihe Aufgabenverteilung erhalten wir bei ergebnislosen Verhanlungen. Man spriht vom Conflit Deal (T x,t y ). Es gilt utility x (T x,t y )=0un utility y (T x,t y )=0. Ein Deal ist für einen Agenten vernünftig, wenn er en Conflit Deal shwah ominiert. Die Verhanlungsmenge enthält nur Deals, ie für ie Agenten vernünftig sin un zusätzlih Pareto optimal. PS: IV-33 Interation LETTMANN 2007-2009
Verhanlung Verhanlungsmenge Nutzen für Agent x B Pareto-optimale Deals (Negotiation Set) Nutzen es Conflit Deal für Agent x A C Iniviuell rationale Deals Möglihe Deals Conflit Deal D Nutzen es Conflit Deal für Agent y Nutzen für Agent y PS: IV-34 Interation LETTMANN 2007-2009
Verhanlung Monotoni Conession Protool Das Protokoll läuft in Runen ab. In er ersten Rune wählt jeer er Agenten einen beliebigen Vorshlag aus er Verhanlungsmenge. In jeer folgenen Rune hat jeer Agent zwei Möglihkeiten. Beshreibung für Agent x : (Dx,D x y) x Vorshlag von Agent x aus letzter Rune. Agent x maht ein Zugestännis, shlägt also (D x x,d y x ) mit utility y (D x x,d y x ) > utility y (Dx,D x y) x un utility x (D x x,d y x ) 0 vor. Agent x maht kein Zugestännis, shlägt also (D x x,d y x ):=(Dx,D x y) x vor. Eine Übereinkunft (Agreement) ist erreiht, wenn ein Agent einen Vorshlag maht, er für en aneren minestens so gut ist wie er eigene Vorshlag, also utility y (D x x,d x y ) utility y (D y x,d y y ) oer utility x (D y x,d y y ) utility x (D x x,d x y ) PS: IV-35 Interation LETTMANN 2007-2009
Ein Konflikt entsteht, wenn kein Agent in einer Rune ein Zugestännis maht. Der Conflit Deal ist ann as Ergebnis. PS: IV-36 Interation LETTMANN 2007-2009
Verhanlung Monotoni Conession Protool Das Protokoll läuft in Runen ab. In er ersten Rune wählt jeer er Agenten einen beliebigen Vorshlag aus er Verhanlungsmenge. In jeer folgenen Rune hat jeer Agent zwei Möglihkeiten. Beshreibung für Agent x : (Dx,D x y) x Vorshlag von Agent x aus letzter Rune. Agent x maht ein Zugestännis, shlägt also (D x x,d y x ) mit utility y (D x x,d y x ) > utility y (Dx,D x y) x un utility x (D x x,d y x ) 0 vor. Agent x maht kein Zugestännis, shlägt also (D x x,d y x ):=(Dx,D x y) x vor. Eine Übereinkunft (Agreement) ist erreiht, wenn ein Agent einen Vorshlag maht, er für en aneren minestens so gut ist wie er eigene Vorshlag, also utility y (D x x,d x y ) utility y (D y x,d y y ) oer utility x (D y x,d y y ) utility x (D x x,d x y ) PS: IV-37 Interation LETTMANN 2007-2009