Spieltheoretische Kooperationsverfahren Lösungskonzept des Kernels

Transkript

1 Spieltheoretische Kooperationsverfahren Lösungskonzept des s Andreas Pohlers

2 Koalitionskonfiguration Rationalitäten Weitere Überschuss Einwandspotenzial Eigenschaften Transfer Schemas by Stearns Weitere Stabile Konfiguration K-stabile Konfiguration Polynomial K-stabile Konfiguration Koalitionsalgorithmus Koalitionsverhandlungen Algorithmus Beispiel 2

3 Beispiel Koalitionsspiel mit 3 Agnet ({a,a2,a3},v) Der monetäre Nutzen einer Produktion Prod eines Agenten a wird in diesem Beispiel durch die Nutzenfunktion U bestimmt, die für jede Erfüllung einer Suchaufgabe t durch eine Objektrelation ir in p einen Betrag von 0.25 Einheiten berechnet: p a A 3

4 4

5 Wiederholung C P ( A) Eine Koalitionsstruktur für ein Spiel (A,v) ist eine Partition von A Koalitionskonfiguration (C,u) eine Koalitionsstruktur einer Auszahlungsfunktion (Nutzenverteilung) u : A a R mit der Eigenschaft (Effizienz) { C } C =,..., C n C C : v : = u ( C) = ( ) ( ) u a = a C u a i i a C i u i 5

6 Wiederholung - Rationalitäten A = { a,..., } Sei a n eine Menge von Agenten, (A,v) ein Koalitionsspiel und C ein Koalitionsstruktur für dieses Spiel. U((A,v),C) sei die Menge aller Nutzerverteilungen für das Spiel (A,v) und die Struktur C individuell rational (IR), falls jeder Agent mindestens seinen Eigenwert erhält a A: u i i v ({ a }) i 6

7 Wiederholung - Rationalitäten kollektiv rational (GR) Falls der Wert der großen Koalition A mit der Summe der Nutzenwerte für die einzelnen Agenten identisch ist: a A i u i = v( A) 7

8 Wiederholung - Rationalitäten koalitionär rational Falls sie für jede mögliche Koalition, die nicht die große Koalition ist, rational ist: C A: a C i ( C) Ein Nutzerverteilung wird lokal koalitionär rational genannt, falls sie nur für die Koalition in der vorgegebenen Koalitionsstruktur C koalitionär rational sein soll. u i v 8

9 Wiederholung - Rationalitäten Pareto-optimal falls es keine Nutzerverteilung u gibt, die jedem Agenten einen höheren Nutzen zuweist: u' U u' ( a ) u( ) i a i (( A, u), C) : i {,.., n} 9

10 Wiederholung - Rationalitäten lokal Pareto-optimal ( Pareto-optimal in L ) Eine Nutzerverteilung u U (( A, v), C) wird lokal Pareto-optimal in einer Menge L U (( A, v), C) von Nutzerverteilungen genannt, falls sie in L Paretooptimal ist: u' u' L : i ( a ) u( ) i a i {,..., n} 0

11 Wiederholung - Anmerkungen: Effiziente und individuell rationale Koalitionskonfigurationen zu einem Koalitionsspiel werden als Lösungen des Spiels bezeichnet Kollektiv rationale Konfigurationen sind für superadditive Spiele sogar Pareto-optimale Lösungen

12 (Davis & Maschler, 965) Der von (A,v) bzgl. C ist die Menge aller Konfigurationen (C,u), in denen alle Koalitionen aus C in einem Gleichgewicht sind. Das Gleichgewicht bezieht sich auf die gegenseitige Forderung nach höheren Gewinnen, in ein und der selben Koalition. 2

13 (Davis & Maschler, 965). Überschuss (Excess) einer Koalition ist hinsichtlich der Nutzenverteilung u in (C,u) ( R u) = v( R) u( a) e, R C a R 3

14 (Davis & Maschler, 965) 2. Maximale Stärke (surplus) s kl eines Agenten ak gegenüber einem anderen Agenten in der Konfiguration C, u a, a C, C C ist: ( )( ) k l a l s e kl = max R C, a R, a R ( R u), k l 4

15 (Davis & Maschler, 965) a a ( a, a C C) ( C,u' ) s kl > lk ( l) 3. Ein Agent k ist einem anderen Agenten l k l in einer Konfiguration überlegen, falls gilt s und u l > v 4. Ein Gleichgewicht zwischen zwei Agenten i und k in einer Koalition C C besteht, wenn kein Agent dem anderen in der Konfiguration (C,u) überlegen ist. In diesem Fall gilt: ( s = s ) ( s > s u = v( { a })) ( s < s u = v( { a })) kl lk kl lk l l kl a lk a k k 5

16 (Davis & Maschler, 965) Eigenschaften Die Definition einer Stabilität, nach dem für beliebige Spiele und Koalitionsstrukturen ist geeignet. Für ein 3 Agentenspiel (A,v) ist der von (A,v) für jede Koalitionsstruktur einelementig. Für jedes Spiel (A,v) und eine gegebene Koalitionsstruktur weist der je zwei symmetrischen Agenten a und a in einer Koalition C denselben Gewinn aus v( C ) zu (A(a)=u(a )). Für jedes kooperative Spiel (A,v) und jede Koalitionsstruktur C ist jede K-stabile Koalitionskonfiguration (C,u) lokal Pareto-optimal in K. 6

17 (Davis & Maschler, 965) weiters Stellt eine Nutzenverteilung zur Verfügung Liefert nicht die Koalitionsstruktur, noch stellt er eine Methode zur Bewegung einer Struktur zu anderen zur Verfügung Liefert eine Methode um die Stabilität gegebene Koalitionsstruktur und den Nutzenverteilung zu prüfen 7

18 Transfer Schemas by Stearns Verfahren für die Berechnung von stabilen Lösungen. 8

19 Transfer Schemas. für stabile Konfigurationen Sei: A = { a,..., an} ( A, v) eine Menge von Agenten ein Koalitionsspiel C eine Koalitionsstruktur zu ( A, v) Ein allgemeines für Ausgleichszahlungen α R zwischen zwei Agenten ak, al A ist eine Folge von Konfigurationen ( ) i C, u,..., C, u mit: ( ) ( ) ( ) ( i+ ) ( C, u ) u : u u i+ k i+ l i+ j ( j k, l) : = : = : = u u i k i l + α α u i j 9

20 Transfer Schemas 2. für K-stabile Konfigurationen Sei: A = { a,..., an} ( A, v) eine Menge von Agenten ein Koalitionsspiel A C eine Koalitionsstruktur zu s kl ( A, v) Sei (C,u) eine Konfiguration, die Stärke (Surplus) von Agent ak gegenüber Agent a l in dieser Konfiguration. Die Forderung d von gegenüber al ist d kl α mit kl a k = n d kl min = ( s s ) 2 0, u v ( a ) falls s kl lk l l kl lk : sonst > s 20

21 Transfer Schemas 2. für K-stabile Konfigurationen Modifiziertes für K-stabile Konfigurationen: Die Berechnung einer (ε)-approximativ K-stabilen Konfiguration (C,u) durch das o.a. terminiert gdw. der relative Fehler re(u) hinreichend klein ist, d.h.: re ( u) { sij s ji ai, a j C C} ui max : = ε, ε a A i [ 0,] 2

22 Transfer Schemas 3. polynomial K-stabile Konfigurationen Sei: A = { a,..., an} ( A, v) eine Menge von Agenten ein Koalitionsspiel C eine Koalitionsstruktur zu ( A, v) Eine K-stabile Koalitionskonfiguration (C,u) ist polynomial K-stabil gdw. Bei der Berechnung der Nutzenverteilung u nach dem K die Größe der Koalitionen für die Bestimmung von Überschüssen konstant beschränkt wird. 22

23 Koalitionsverhandlungen Für die Verhandlung in einer vorgegebenen Koalitionsumgebung wird ein geeigneter Koalitionsalgorithmus verwendet. Eigenschaften: Lokale Ausführbarkeit Anytime-Eigenschaften 23

24 Koalitionsalgorithmus Vorausgesetzt wird: Vor Beginn einer Verhandlung zwischen den Agenten Eindeutigkeit darüber besteht, Welche Art von stabilen Koalitionen angestrebt wird Welcher Koalitionsalgorithmus von allen Agenten verwendet werden soll, um eine solche Konfiguration in der betrachteten Umgebung zu liefern 24

25 Koalitionsalgorithmus Voraussetzungen: Sei A = { a,.., an} eine Menge von Agenten Konfiguration zu Beginn einer Verhandlung ( 0) ( 0) ( = ) ist S, u ( ) = { a },...,{ a } ({ }, ( v( a ) v( ))) rnr,..., 0 n a n Konstanten CSizeMax, CSizeMin sind vorgegebene Beschränkungen für die maximale bzw. minimale Größe von Koalitionen und sind allen Agenten bekannt Jeder Agent a aus A führt die folgenden Schritte in einer Verhandlungsrunde rnr Ν 0 aus : 25

26 Koalitionsalgorithmus. Kommunikation. Erhöhe den Zähler rnr 2. Bestimme den Repräsentanten der eigenen Koalition C. ist a der Repräsentant einer Koalition C -> Pkt Pkt führen alle Agenten aus 3. Falls nrn=:. Erhalte von allen Agenten in C deren monetäre Gesamtwerte lworth(a,c) in Bezug auf allen Koalitionen C der Größe CSizeMax-CSizeMin. 2. Sende diese Werte an alle Repräsentanten der anderen Koalition 26

27 Koalitionsalgorithmus 2. Koalitionsangebot. Betrachte alle Koalitionen. Bestimme ival(c,c) C' C in. Positiv -> & ausführen ( rnr ) 2. Berechne polynomial K-stabile Konfiguration 3. Evaluiere die Konfiguration, gegenüber der aktuell gültigen Konfiguration. Sende die Konfiguration als Koalitionsangebot an C falls sie für alle Agenten in C zumindest den Profit aus der vorherigen Runde rnr- sichert 2. Bilde eine sortierte Liste von Koalitionen, die von C informativ bevorzugt werden S 27

28 Koalitionsalgorithmus 3. Koalitionsentscheidung. Erhalte Koalitionsangebot von einer anderen Koalition (Repräsentanten der andern Koalitionen) 2. Akzeptiere ein Angebot, aus der Präferenzliste von C, die für alle Agenten in C am meisten Informationen und Gewinne einbringen 3. Informiere alle Koalitionen über die Koalitionsentscheidung von C 28

29 Koalitionsalgorithmus 4. Bilaterale Koalitionsbildung. Erhalte eine Menge PropAccept von Konfigurationen, die von andern Koalitionen akzeptiert wurden 2. Wähle eine Konfiguration aus PropAccept für die Runde rnr aus.. Wähle eine Konfiguration, deren Koalitionsstruktur bilateral akzeptiert wurde. Die für S vorgeschlagenen Nutzenverteilungen können jedoch unterschiedlich sein: PCC, C' = ( S, u), PCC', C = ( S, u' ) mit u u' 2. Falls es mehrere Konfigurationen gibt, deren Struktur bilateral akzeptiert wurde, wähle die Konfiguration mit der maximalen ( rnr ) ( rnr ) Gewinnspanne als neue Konfiguration. ( S,u ) 3. Wähle die Konfiguration aus, die von einem Agenten erstellt wurde, der gemäß der CompRessourceList die höchste Rechenleistung besitzt. 29

30 Koalitionsalgorithmus 4. Bilaterale Koalitionsbildung 3. Informiere alle Agenten in C über ihre Gewinne 4. Falls die Koalitionsstruktur der Runde rnr- unverändert geblieben oder die große Koalition A erreicht ist oder eine vorgegebene Verhandlungszeit überschritten wurde, ist die Verhandlung beendet. Wenn a in der Koalition mit anderen Agenten a a ist, erfüllt a seine Verpflichtungen hinsichtlich der Bezahlung und Liefert von relevanten Daten in C Anderenfalls beginne eine neue Verhandlungsrunde bei Schritt. 30

31 Koalitionsalgorithmus - Aufwand. Berechnung eines monetären Gesamtwertes: der Aufwand wird mit O() festgesetzt 2. Aufwand der Verhandlung mit dem ist insgesamt. Berechnungen polynomial : 3 ( * n ) O n mit n : = 2. Kommunikation polynomial: 2 O( n ) C C csize max n = i csize max n! ( n i) i= csize i= csize i!! min min 3

32 Koalitionsalgorithmus - Aufwand Beweis: Maximal n Verhandlungsrunden, da einmal gebildete Koalitionen nicht wieder zerstört, sondern höchstens erweitert werden In der ersten Runde berechnet jeder Agent in A jeweils ein Koalitionsangebot für alle anderen Agenten. Für jedes Angebot muss eine polynomial K-stabile Konfiguration berechnet werden. Der Berechnungsaufwand für eine Iteration des Verfahrens ist O( n C * n). Dabei wird ein Koalitionswert v ( C) = lworth( a, C) a C mit einem Aufwand von O( n) für nc Koalitionswert berechnet. Dasselbe gilt für einen Agenten für die Berechnung seiner Gesamtwerte lworth( a, C) in nc Koalitionen. 32

33 Koalitionsalgorithmus - Aufwand Fortsetzung Beweis: Verfahren konvergiert nach O(n) Iterationen. Somit ist der Berechnungsaufwand für einen Agenten pro Verhandlungsrunde insgesamt ( 2 ) ( ) O( 3 n * n, also nach O n Runden n ) O * C n C Aufwand für die Kommunikation für jede Verhandlungsrunde, ist für einen Agenten O(n). Austausch von monetären Werten, mit den anderen Agenten ist für einen Agenten nur in der ersten Runde notwendig und erfolgt mit den Aufwand von O(n). Ebenso gilt dieses für die Kommunikation im Schritt 4.3, wenn ein Agent ein Repräsentant einer Koalition ist. Insgesamt folgt somit O(n²) 33

34 Beispiel (superadditives Koalitionsspiel) 34

35 Beispiel (superadditives Koalitionsspiel) Runde. Berechnen der monetären Werte und senden an den jeweiligen Agenten 2. Bestimmt die Informationswerte eintragen in eine geordnete Präferenzliste Agent a Präfernzliste von a Agent a Agent a 2 Präfernzliste von a 3 : ival : ival : ival Präfernzliste von a ( a, a ) = 5 und ival( a, a ) 2 ( a, a ) = 4 und ival( a, a ) ( a, a ) = und ival( a, a ) : a 2 : a : a 3 2 vor a 3 vor a vor a = 2 = 5 = 4 35

36 Beispiel (superadditives Koalitionsspiel) Runde 3. Berechnet polynomial K-stabile Konfiguration - von a an a an a - von a an a an a - von a an a an a : : : : : : sind ({ a, a2}{, a3} }(, 0.5,2.25,075) ) ({ a, a }{, a }}(, 0.875,0,.25) ) 2 sind ({ a2, a3}{, a} }(, 0.5,3.25,2.375) ) ({ a, a }{, a }}(, 0.5,2.25,0.75) ) 3 2 sind ({ a3, a}{, a2} }(, 0.875,0,.25) ) ({ a, a }{, a }}(, 0.5,3.25,2.375) )

37 Beispiel (superadditives Koalitionsspiel) Runde 4. Entscheide, welches Koalitionsangebot akzeptiert wird 37

38 Beispiel (superadditives Koalitionsspiel) Runde 2 Sei a2 der Repräsentant der Koalition {a2,a3}. Die beiden Agenten a und a2 Bestimmen den informativen Wert des jeweils anderen: ival ( a { a, a }) = 5 bzw. ival( { a, a }, a ) 7, = Berechnen jeweils eine polynomial K-stabile Nutzenverteilung für die Große Koalition ({ a a, }, (,3.625,3.375) ), 2 a3 Und akzeptieren beide diese Konfiguration. Damit ist die Verhandlung beendet 38

39 MJ. Holler and G. Illing (2000) Einführung in die Spieltheorie. O. Shehory and S. Kraus (999) Feasible formation of coalitions among autonomous agents. Dr. Matthias Klusch (SS 2005) Intelligent Information Agents for Internet and Web lecture 0 G. Owen (995) Game Theory 39