Universität Paderborn Fakultät für Elektrotechnik, Mathematik und Informatik Seminarausarbeitung Michael Seidel vorgelegt bei Prof. Dr. Hans Kleine Büning
Inhalt 1. Motivation...3 2. Kommunikation...4 3. Probleme der Entscheidungsfindung...5 3.1. Konzept des Optimums...5 3.2 Komplexität...7 4. Bewertungskriterien...8 5. Verfahren zur Entscheidungsfindung...10 5.1. Abstimmung...10 5.2. Auktion...14 5.3. Verhandlung...17 6. Zusammenfassung...19 7. Literaturverzeichnis...20 2
1. Motivation Um das Thema Entscheidungsfindung zu motivieren, schauen wir uns das Umfeld an. Ich betrachte ein Multi-Agenten-System, das heisst eine Umgebung in der mehrere autonome und selbstständig agierende Agenten ein oder mehrere Ziele verfolgen. Allen Agenten gemein ist ein Interaktionsprotokoll, mit Hilfe dessen sie sich direkt oder indirekt mit anderen Agenten verständigen können. Diese Kommunikation ist die Grundlagen für die Entscheidungsfindung in MAS. Darüber hinaus wählt jeder Agent selbstständig seine Strategie mit deren Hilfe er versucht, sein persönlichen Gewinn zu maximieren, er wird also sein gegenwärtiges Ziel möglichst effizient erreichen wollen. Aus den gegebenen Fakten lässt sich folgern, dass zwischen den Agenten Interessenkonflikte entstehen können, die durch Kommunikation gelöst werden müssen. Gefordert sind nun stabile Protokolle, mit deren Hilfe die Agenten in einem solchen Konfliktfall eine gerechte und faire Lösung erarbeiten bzw. treffen können. Was man genau unter gerecht und fair versteht, wird im Kapital 4 Bewertungskriterien genauer erklärt. Kapitel 2 behandelt kurz was Kommunikation ist und erläutert an Hand eines Beispiels wie sie funktioniert. Kapitel 3 zeigt mögliche Probleme bei der Entscheidungsfindung auf, um die Notwendigkeit von Verfahren zur Entscheidungsfindung zu verdeutlichen. Kapitel 4 erläutert die Bewertungskriterien, denen alle Entscheidungsfindungsprotokolle unterliegen bzw. an denen Sie klassifiziert werden. Kapitel 5 befasst sich mit den Verfahren zur Entscheidungsfindung. Zu jedem der drei Bereiche Abstimmung, Auktion und Verhandlung werden einige wichtige Vertreter vorgestellt. Kapitel 6 fasst die Verfahren vergleichend zusammen und gibt einen kurzen Überblick über ihre Vor- und Nachteile bezüglich des Einsatzes in Multiagentensystemen. Kapitel 7 enthält weiterführende Literaturhinweise. 3
2. Kommunikation Die Kommunikation der Agenten untereinander ist ein tragendes Element innerhalb von Multi-Agenten-Systemen. Ohne sie wird die Kooperation zwischen den Agenten schwerer, insbesondere bei komplexeren Problemen, die das Mitwirken mehrerer Agenten benötigen. Um nun die gezielte Kooperation zu ermöglichen, benötigen die Agenten ein Interaktionsprotokoll, mit Hilfe dessen sie sich genormt verständigen können. Exemplarisch wird hier das Prinzip des Contract Net Protocol vorgestellt: Das Contract Net Protocol ist ein von der FIPA (Foundation for Intelligent Physical Agents) vorgeschlagenes, einfaches Interaktions-Protokoll, das als Grundlage für weitere Entwicklungen dienen soll. Das Contract Net Protocol ist Teil einer Familie deren Mitglieder verschiedene Spezialisierungen aufweisen. Es ist vor allem für die Verteilung von Aufgaben geeignet. Andere Protokolle sind z.b. stärker auf Informationsabfragen zugeschnitten. Interaktionssequenz: Um z.b. einen Auftrag zu vergeben, übermittelt der Initiator allen interessierten Agenten eine call-for-proposals Nachricht, in der alle relevanten Daten zum Auftrag enthalten sind. Alle Empfänger sind aufgefordert innerhalb einer festgesetzten deadline eine Antwort zu geben. Das kann eine not-understood, ein refuse (also die Ablehnung der Beteiligung) oder eine propose Nachricht sein. Die propose- Nachricht enthält ein Angebot zum gegebenen Auftrag. Der Initiator kann nun mittels einer reject-proposal Nachricht den Vorschlag ablehnen oder durch ein acceptproposal den Auftrag erteilen. 2003 Manuel Kugelmann Der Agent, der den Zuschlag erhalten hat, meldet mittels failure oder inform-done den Status des Auftrags zurück. [FIPA 01] Dieses Protokoll schreibt in keiner Weise vor, wie die Entscheidungsfindung und Vorschlagsgenerierung zu erfolgen hat. Es wird nur die Kommunikation zwischen den Agenten reglementiert. Weiterführende Informationen zu diesem Thema befinden sich in der Seminarausarbeitung Kommunikation in MAS von Melanie Kirchner. 4
3. Probleme der Entscheidungsfindung Sobald mehrere Kriterien (wie z.b. die Bedürfnisse mehrerer verschiedener Agenten) in eine Entscheidung einfliessen sollen, können Probleme bei der Optimierung auftreten. Da eine derartige Entscheidung der Normfall ist, gehe ich in diesem Abschnitt auf zwei wichtige Problembereiche näher ein. 3.1. Konzept des Optimums Schon bei der Festlegung des Optimums treten Probleme auf, denn eine optimale Lösung lässt sich oft nicht objektiv bestimmen. Theoretisch lässt sich hier eine einfache Optimierung vornehmen: Finde die beste Lösung. Das Problem wird als Funktion F über den Entscheidungsvariablen x 1,, x n definiert und schon lässt die das Maximum (bzw. das Minimum) bestimmen: max(f(x 1,, x n )) F (x 1,, x n ) = 0 Sobald wir aber nun ein Problem mit mehreren Kriterien betrachten, benötigen wir eine Menge von Funktionen F i mit i = 1,, n für die es eine Lösung X gibt, so dass für alle i F i (X) = 0 gilt. Dass dies schnell zu einem Widerspruch führen kann, zeigt folgendes Beispiel: Zwei Funktionen F 1, F 2 sollen minimiert werden, so dass max(f 1 ) = A = min(f 2 ) und max(f 2 ) = B = min(f 1 ) gilt. Hierbei ist aber für alle i F i (X) = 0 widersprüchlich d.h. nicht erfüllbar. Es zeigt, dass die Anwendung des Extremums nicht immer zum Erfolg führt, denn - wie in diesem Beispiel gezeigt - können dadurch nicht immer alle Kriterien optimiert werden. Betrachtet man die Pareto-effizienten Lösungen stellt man fest, dass man auch dort auf Probleme stösst. Eine Pareto-effiziente Lösung ist eine nicht dominierte Lösung. Eine Lösung wird dominiert, wenn eine Lösung existiert, die in keinem Kriterium schlechter und mindestens einem besser abschneidet. Aber wie das folgende Beispiel zeigt, führt auch dies nicht immer zu einer Lösung: Man betrachte die Kandidaten A,B und C für die gilt: Nach Kriterium 1: A > B > C Nach Kriterium 2: B > C > A Nach Kriterium 3: C > A > B Alle drei Kandidaten sind undominiert. In den Beispiel sind alle drei Lösungen Pareto-effizient, kommen folglich als Lösungen für die Entscheidungsfindung in Frage. Da wir mehrere gültige Lösungen zur Verfügung haben, wurde das Problem nicht entschieden. 5
Um das Problem des Optimums zu lösen, liegen zwei Möglichkeiten nah: Die Kriterien können zusammengefasst werden oder es wird unter ihnen abgestimmt. Das Zusammenfassen der Kriterien in einer Funktion, also die Reduktion auf ein Problem mit nur einem Kriterium, ist nicht ohne weiteres möglich. Nicht immer existiert eine solche Funktion (z.b. kann der Effekt eines Kriteriums nicht immer mit Effekten anderer ausgeglichen werden und damit wird jede Lösung dominiert) und wenn sie existiert, ist sie oftmals nur unter erheblichen Aufwand zu erlangen. Abstimmungen liefern auch nicht immer ein sinnvolles Ergebnis zurück. Die Gründe dafür werde ich bei den Abstimmungsprotokollen im Kapitel 5.1 besprechen, hier sei nur gesagt, dass Arrow dieses Problem dadurch entschied, dass er folgendes Theorem bewies, [Arrow 1963]: Arrow s Unmöglichkeitstheorem: 1. Gemeinsamkeit kein Agent wird ausgeschlossen 2. Allgemeinheit Die möglichen Präferenzen werden nicht eingeschränkt 3. Unabhängigkeit Um x und y zu vergleichen werden nur x und y betrachtet -> Erfüllt Pareto-Prinzip Unabhängigkeit von irrelevanten Alternativen 4. Nicht-diktatorisch Keine Präferenz wird bevorzugt Für E 3 gibt es keine Auswahlfunktion G, die die Anforderungen 1-4 erfüllt Damit ist jedes Auswertungsschema für eine Abstimmung in der einen oder anderen Weise eingeschränkt. 6
3.2 Komplexität Selbst wenn ein Optimum definiert werden kann, muss dieses immer noch berechnet werden. Im Folgende verwende ich die von Lawler [Lawler et al. 1993: Sequencing and scheduling: Algorithms and complexity] eingeführte und von Chen & Bulfin erweiterte three-field α β γ Notation. Da schon bei der Optimierung von Problemen mit einem Kriterium 1 y1 alle Klassen (linear, polynomiell und NP-vollständig) von Algorithmen auftreten, stehen die Chancen, selbst bei lexikographische Ordnung 1 (y1 y2), auf eine effiziente Lösung schlecht. Chen & Bulfin stellten dazu folgendes Theorem auf [Chen, C.H., and Bulfin, R.L. 1993]: Wenn das primäre Problem 1 y1 NP-vollständig ist, dann sind auch das geordnete 1 ( y1 y2) und das ungeordnete 1 y1,y2 Problem mit mehreren Kriterien NP-vollständig. Wenn nur die Optimierung des zweitrangigen Kriteriums NP-vollständig ist, gibt es einige Sonderfälle, in denen eine Lösung in polynomieller Zeit möglich ist. Ein zweites Theorem von Chen & Bulfin verbindet die Schwierigkeit der sortierten und unsortierten Optimierung direkt: Wenn 1 ( y1 y2) NP-vollständig ist, dann ist auch 1 y1,y2 NP-vollständig. Viele Probleme, die einzeln in polynomieller Zeit lösbar sind, sind in Kombination NPvollständig. Falls man eine lexikographische Sortierung auf die Kriterien anwendet, läuft zudem noch Gefahr, die strukturelle Form sekundärer Probleme zu verzerren. Die Möglichkeit ein Problem mit multiplen Kriterien zu optimieren, wird also durch die benötigte Rechenzeit eingeschränkt, selbst wenn die Form eines Optimums definiert ist. 7
4. Bewertungskriterien Die Protokolle, die zur Entscheidungsfindung eingesetzt werden, unterliegen einigen Bewertungskriterien. Diese erlauben es, die Protokolle zu bewerten bzw. sie zu klassifizieren. Im Folgenden werde ich auf einige diese Kriterien näher eingehen. Soziale Gerechtigkeit Unter der sozialen Gerechtigkeit versteht man die Summe der Gewinne bzw. Verluste aller Agenten, bei einer gegebenen Lösung. Sie misst somit den globalen Nutzen dieser Lösung. Dies ist von Vorteil, wenn mehrere Protokolle verglichen werden sollen, denn dies kann erreicht werden, indem man den Sozialen Nutzen der entstehenden Lösungen miteinander vergleicht. Pareto-Effizienz Eine Lösung ist pareto-effizient, wenn sich kein Agent mehr verbessern kann, ohne einem anderen Agenten zu schaden, das heisst, ohne den Nutzen der Lösung für den anderen Agenten zu verringern. Die Pareto-Effizienz ist genau wie die soziale Gerechtigkeit ein globales Bewertungskriterium für Entscheidungsfindungsprotokolle. Konkreter ausgedrückt, Lösungen, welche die soziale Gerechtigkeit maximieren sind eine Teilmenge von pareto-effizienten Lösungen. Individuelle Rationalität Die Teilnahme an einem Handel (unabhängig von der Form der Entscheidungsfindung) ist für einen Agenten individuell rational, wenn sein Nutzen bei einer Nichtteilnahmen geringer oder gleichgroß wäre. Anders ausgedrückt, der Agent darf keinen Verlust machen. Man spricht von einer individuell-rationalen Lösung, wenn diese individuell-rational für alle beteiligten Agenten ist. Individuelle Rationalität ist folglich zwingend erforderlich, denn Lösungen, die es nicht sind, sind nicht sinnvoll/lebensfähig. Sie würden den Agenten nicht helfen, einen Konflikt zu beseitigen. 8
Stabilität Für die Entscheidungsfindung sind stabile Protokolle erforderlich. Ein Protokoll ist nur dann stabil, wenn es keine Möglichkeiten der Manipulation von aussen zulässt und wenn es die Agenten dazu motiviert, in bestimmter Weise zu handeln. Hierbei unterscheidet man zwischen Systemen/Protokollen mit dominanten und aufeinander abgestimmten Strategien. Existiert in einem System eine dominante Strategie, bringt diese für jeden Agenten den grössten Nutzen und zwar unabhängig von der Strategie der anderen Teilnehmer. Wenn keine dominante Strategie existiert, werden anderen Stabilitätskriterien benötigt, wie beispielsweise das Nash-Gleichgewicht. Ein Nash-Gleichgewicht liegt vor, wenn die gewählte Strategie eines Agenten, die beste Antwort auf die Strategien der anderen Agenten ist. Anders ausgedrückt: Wenn alle Agenten kein Anreiz haben ihre Strategie zu ändern, sofern das kein anderer Agent tut, sich also kein Agent mehr verbessern kann, befinden sie sich im Nash-Gleichgewicht. Diese Nash-Equilibrien weisen allerdings zwei Schwachstellen auf: Zum einen existiert nicht in allen Systemen eine solche Lösung, zum andern können manche Systeme mehrere solche Lösungen haben. Trotzdem ist das Nash-Gleichgewicht ein Maß für die Stabilität des Protokollverlaufs. Recheneffizienz Protokolle mit geringerem Rechenaufwand werden Protokollen mit mehr Rechenaufwand gegenüber bevorzugt. Allerdings ist die Qualität der Lösung anhängig von dem Rechenaufwand, also muss man hier die beiden Faktoren gegeneinander abwägen (Trade-Off) und ein Kompromiss zwischen ihnen finden. Kommunikationseffizienz Äquivalent zur Recheneffizient gilt auch bei der Kommunikationseffizienz, dass Systeme mit geringerem Aufwand bevorzugt werden. Hierbei ist aber wichtig, dass die Robustheit gesichert wird, das System muss Toleranz gegenüber dem Ausfall eines einzelnen Teilnehmers bieten (Kein Single Point of Failure ) und Effizienz-Einbusse vermeiden, die durch Engpässe in der Kommunikation entstehen können ( Bottlenecks of communication ). Symmetrie / Fairness Alle Teilnehmer an einem Handel sollten gleich behandelt werden, dass heisst keiner der Agenten soll durch das Protokoll bevorzugt oder benachteiligt werden. Dieser gerechte Handel wird durch die Symmetrie bzw. die Fairness gewährleistet. 9
5. Verfahren zur Entscheidungsfindung Da die zu lösenden Konflikte im MAS vielerlei Natur sind wie beispielsweise die Aufgabenverteilung oder die Ressourcenvergabe, und sich nicht für alle diese Probleme nur eine Form des Optimums finden lässt, gibt es mehrere Formen der Entscheidungsfindung, die sich von Fall zu Fall unterschiedlich gut als Lösungsansätze anbieten. Ich will im Folgenden nun auf diese Formen eingehen. 5.1. Abstimmung Bei der direkten Abstimmung (Voting) geben alle Teilnehmer ihre Präferenzen direkt an eine zentrale Stelle an. Dort werden die Eingaben ausgewertet und es wird daraus ein Ergebnis ermittelt. Dieses Ergebnis ist dann vorgeschrieben, das bedeutet, es ist bindend für alle Teilnehmer der Abstimmung. Zwei der bekanntesten Formen sind das Binäre Protokoll und das Borda Protokoll. Binäres Protokoll Beim Binären Protokoll wird zwischen den verschiedenen Alternativen im k.o.-system entschieden. Das bedeutet, es werden zwei Alternativen ausgewählt und zur Wahl gestellt. Die Alternative mit den meisten Stimmen gewinnt und bleibt weiterhin erhalten. Die andere Alternative hingegen wird eliminiert und durch eine der noch nicht zur Wahl gestandenen Optionen ersetzt. Dadurch hat der Spielplan entscheidende Auswirkungen auf das Ergebnis, wie folgendes Beispiel zeigt: - Seien x, y, z mögliche Ergebnisse - Sei die Gruppe der Agenten in drei gleichgrosse Teilgruppen unterteilt: Gruppe 1: x > z > y Gruppe 2: y > x > z Gruppe 3: z > y > x - Betrachte folgenden drei Spielplan-Varianten: Man sieht, dass die Gestaltung des Spielplanes das Ergebnis entscheidet, also direkten Einfluss auf die Wahl hat. 10
Darüber hinaus gibt es noch weitere Probleme mit dem binären Protokoll: - Annahme: Alternative z ist nicht relevant für die Entscheidung - Durch das Hinzufügen von z als Alternative kann sich das Resultat ändern - Betrachte folgenden zwei Spielplan-Varianten: => z ist irrelevant, weil es in keinem der beiden Fälle gewinnt => Aber: Wenn z zuerst auf x trifft, gewinnt y; wenn z zuerst auf y trifft, gewinnt x Ein weiteres Problem ist das Paradoxon der Pareto-dominierten Gewinner. Bei ungünstiger Konstellation der Präferenzen kann es vorkommen, dass eine Alternative die Wahl gewinnt obwohl jeder Teilnehmer eine andere vorgezogen hat. - Seien a, b, x, y mögliche Ergebnisse - Sei die Gruppe der Agenten in drei gleichgrosse Teilgruppen unterteilt: Gruppe 1: x > y > b > a Gruppe 2: a > x > y > b Gruppe 3: b > a > x > y x a x b a b x y b y a y b y - y gewinnt die Abstimmung, obwohl jede Gruppe x gegebüber y präferiert. 11
Borda Protokoll Mit dem Borda Protokoll wird versucht, die Probleme des binären Protokolls zu umgehen. Die Teilnehmer einer Abstimmung nach dem Borda Protokoll verteilen Punkte auf die verschiedenen Alternativen (Bei n Möglichkeiten: n Punkte auf die bevorzugte, n-1 auf die zweirangige, usw.). Die Summen der Punkte werden für alle Optionen berechnet, die Alternative mit den meisten Punkten gewinnt. Betrachten wir ein Beispiel: - 7 Agenten stimmen ab und haben 4 Optionen zur Auswahl. 1 2 3 4 5 6 7 A 4 1 2 4 1 2 4 = 18 B 3 4 1 3 4 1 3 = 19 C 2 3 4 2 3 4 2 = 20 D 1 2 3 1 2 3 1 = 13 => Option C gewinnt die Wahl mit 20 Stimmen, Option D verliert mit nur 13 Stimmen. Hier kann nun das Gewinner wird Verlierer Paradoxon auftreten: - Der Verlierer der Wahl, Option D, wird entfernt. 1 2 3 4 5 6 7 A 3 1 2 3 1 2 3 = 15 B 2 3 1 2 3 1 2 = 14 C 1 2 3 1 2 3 1 = 13 Der ehemalige Gewinner C steht jetzt mit den wenigsten Stimmen an letzter Stelle, wohingegen Option A (ehemals vorletzter) nun an erster Stelle steht. 12
Koalitionsformierung Der Vorgang der Koalitionsformierung ist der Versuch, die endgültige Abstimmung dadurch zu vereinfachen, dass Gruppen von Teilnehmern mit ähnlichen Interessen zusammengefasst werden. Diese Gruppe koordiniert sich selbstständig. Innerhalb von ihr werden sowohl die Aufgaben als auch die Ressourcen zusammengelegt. Durch sinnvolle Verwaltung versucht eine solche Gruppe ihren Gewinn von aussen zu maximieren und gleichzeitig die internen Kosten zu minimieren. Der Profit, den die Gruppe erwirtschaftet, wird gerecht unter den Mitgliedern aufgeteilt. Dazu gibt es eine Reihe von Möglichkeiten wie zum Beispiel das Core - oder das Shapley Value -Verfahren. 13
5.2. Auktion Eine spezielle Form der Abstimmung sind Auktionen, bei denen meist über die Zuweisung eines Elements (z.b. Auftrag, Ressource,...) entschieden wird. Eine Auktion findet zwischen einem Auktionator und einer Menge von Bietern statt. Im Normalfall wird der Auktionator versuchen, der Preis zu maximieren, wohin gegen die Bieter versuchen die Ware zu einem minimalen Preis zu erstehen. Es gibt eine Vielzahl von unterschiedlichen Auktionstypen, die unterschiedlich dimensioniert werden, sie unterscheiden sich in der Beschreibung bzw. Bewertung der Güter, in der Bestimmung des Preises, in der Art und Weise der Gebotseinreichung und im Gebotsprozess. Die Bewertung der Güter hängt von dem Gut selbst ab. Man unterscheidet dabei zwischen dem öffentlichen bzw. objektiven Wert, dem subjektiven Wert und dem korrelierenden Wert. Waren mit objektiven Wert sind beispielsweise Geldstücke wie eine Euro-Münze. Der Wert ist für jeden Bieter identisch, man kann dadurch das Bietverhalten seiner Gegenspieler leichter einschätzen. Der subjektive Wert einer Ware ergibt sich aus der Sichtweise des Bieters, unterschiedliche Bieter können eine Ware unterschiedlich bewerten. Ein Beispiel hierfür wären Sammlerstücke wie Briefmarken, Gedenkmünzen oder ähnliches. Im Kontext der Multiagentensysteme würde sich eine solche subjektive Bewertung durch die Notwendigkeit des Gutes für den Auftrag eines Agenten ergeben. Eine Ware hat einen korrelierenden Wert für einen Bieter, wenn dieser die beiden genannten Bewertungen vereint. Ein Agent kann so sein maximales Gebot für ein Gut bestimmen, das für ihn zwar uninteressant, für die Aufträge anderer Agenten aber unerlässlich ist, so dass er beim Weiterverkauf mit einem Gewinn rechnen kann. Unter der Bestimmung des Preises versteht man die Bestimmung des Gebots, das der Gewinner der Auktion an den Auktionator zu entrichten hat. Man unterscheidet dabei zwischen dem First-price, das bedeutet der beste Bieter zahlt sein Gebot und dem Nth-price, bei dem der Bieter den Preis des N-t-höchsten Gebotes zahlt. Die Gebotseinreichung kann auf zwei Arten geschehen: Via Open Cry, alle Bieter geben ihr Gebot öffentlich ab oder aber die Gebote werden verdeckt abgegeben und danach ausgewertet, diese Form nennt man auch Sealed Bid. Der eigentliche Gebotsprozess umfasst drei Formen: Beim One-shot kann jeder Bieter nur ein Gebot abgeben, danach wird die Auktion beendet. Alternativ dazu gibt es Auktionen mit aufoder absteigenden Geboten. Diese sind dann zeitlich begrenzt d.h. sie enden nach einer zuvor festgelegten Frist. Durch alle diese möglichen Optionen bei Auktionen ergibt sich eine Vielzahl an unterschiedlichen Auktionsformen, vier verbreitete stelle ich im Folgenden vor: 14
Englische Auktion Die Englische Auktion ist die im Allgemeinen bekannteste Form. Sie ist eine first-price opencry Auktion mit aufsteigenden Geboten. Jeder Bieter kann jederzeit ein Gebot abgeben bzw. sein Gebot erhöhen. Die Auktion gewinnt, wer nach einer festgelegten Zeitspanne das höchste Gebot abgegeben hat. Der zu entrichtende Preis entspricht dem Gebot des Gewinners. Die sinnvollste Strategie bei dieser Form ist es, immer nur um kleine Beträge zu erhöhen und mit dem Bieten aufzuhören, sobald das derzeitige Gebot den subjektiven Wert der Ware erreicht hat. Das Bietverhalten anderer Teilnehmer ist ein Anhaltspunkt für ihre Strategie. Holländische Auktion Die Holländische Auktion ist wie die Englische Auktion eine first-price open-cry Auktion, nur mit dem Unterschied, dass die Gebote absteigend sind. Konkret bedeutet das, dass in der Holländischen Auktion der Auktionator kontinuierlich den Preis senkt bis ein Bieter einverstanden ist und sein Zuschlag abgibt. Die beste Strategie würde hier von den Geboten bzw. dem Bietverhalten der Mitbewerber abhängen, leider stehen diese strategische Informationen erst nach Ablauf der Auktion zur Verfügung, dann ist es aber schon zu spät um noch reagieren zu können. Also gibt es bei den Holländischen Auktionen keine Strategie. First-Price Sealed-Bid Die First-Price Sealed-Bid (kurz: FPSB) ist eine first-price sealed-bit one-shot Auktion. Die Bieter in einer FPSB Auktion geben ihr geheimes Gebot ab ohne andere Gebote zu kennen. Das höchste Gebot wird ermittelt und der Gewinner zahlt sein Gebot. Auch hier ist keine dominante Strategie verfügbar, die beste Strategie hängt wieder von dem Bietverhalten und den Geboten der anderen Teilnehmer ab. Allerdings lässt sich mittels folgender Formel ein Nash-Gleichgewicht berechnen: Pers. Höchstgebot = ((Teilnehmerzahl - 1) / Teilnehmerzahl) * (pers. Wert) Es ist also am Sinnvollsten mit dem Gebot immer knapp unter dem persönlichen Wert des zu ersteigernden Objekts zu bleiben und zwar je mehr Teilnehmer an der Aktion beteiligt sind, umso näher sollte man diesem Wert kommen. Vickrey-Auktion Die Vickrey-Auktion entspricht der FPSB Auktion, allerdings bezahlt der Gewinner hier nur den Preis des zweithöchsten Gebots. Dadurch wird spekulativem Verhalten entgegen gewirkt, vorausgesetzt man kann von einigen Rahmenbedingungen ausgehen, wie zum Beispiel dass alle Mitbieter risiko-neutral sind oder dass sie keine Möglichkeit zur Preisabsprache haben. 15
Marktsysteme Der Vollständigkeit halber erwähne ich hier auch noch die Marktsysteme. Marktsysteme sind keine eigenständige Auktionsform, es handelt sich vielmehr um eine Menge von sich ständig wiederholende Auktionen. Hierbei wird es für die Bieter möglich durch längerfristige Beobachtungen Rückschlüsse auf die gegnerischen Strategien zu ziehen und dadurch die eigene Strategie anzupassen und somit zu optimieren, was ansonsten bei Einzelauktionen in Form von beispielsweise der Holländischen Auktion nicht möglich ist. 16
5.3. Verhandlung Eine weitere Form der Entscheidungsfindung ist die Verhandlung. Verhandlungen sind ausdrucksstarke Techniken, um gegenüber Auktionen und Abstimmungen andere Formen von Einigungsprozessen zu modellieren und werden nach bestimmten Protokollen wie z.b. dem Monotonic Concession Protocol geführt. In der Regel schlägt eine Partei einen Deal (Lösungsmöglichkeit) vor und die andere antwortet darauf mit einem Gegenvorschlag. Dadurch sollte eine für beide Seiten akzeptierbare Lösung zustande kommen. Aufgabenorientierte Domänen Im Zusammenhang mit Verhandlungen kommt man leicht aus AODs zu sprechen. Ein AOD ist eine aufgabenorientierte Domäne und stelle eine Grundlage für Verhandlungen dar. Innerhalb dieser Domäne gelten ein paar Regeln: Jeder Agent kann seine Aufgaben selbstständig erfüllen, ist also autonom Der Worst-Case für Verhandlungen ist das kein Deal zustande kommt Alle beteiligten Agenten können durch Deals nur profitieren Für alle Agenten besteht die Möglichkeit zur Kooperation Monotonic Concession Protocol AODs sind die Grundvoraussetzung für Verhandlungen nach dem oben genannten Monotonic Concession Protocol, einer Verhandlung in mehreren Durchgängen. Der Ablauf sieht folgendermaßen aus: - Begonnen wird mit dem Konfliktdeal bei dem keine Zusammenarbeit stattfindet. Dadurch wird der für jeden Verhandlungspartner minimale akzeptierbare Eigennutzen festgelegt. - Beide Parteien schlagen ein Deal vor. Dabei darf der neue Vorschlag keinen geringeren Nutzen für die Gegenseite haben als die vorhergehenden Vorschläge. - Beurteilt eine Partei den anderen Vorschlag besser als ihren eigenen, kommt es zur Einigung, ansonsten beginnt eine neue Verhandlungsrunde. - Macht keine Partei einen neuen Vorschlag, endet die Verhandlung mit dem Konflikt-Deal. Die Vorteile des MCP sind unter anderem die Verifizierbarkeit und die endliche Laufzeit. Die Verhandlung ist verifizierbar, denn der Ablauf und die Einhaltung der Regeln können einfach geprüft und nachvollzogen werden. Die endliche Anzahl der Deals sorgt für die endliche Laufzeit, entweder es kommt zur Einigung oder die Verhandlung endet mit dem Konfliktdeal, sie wird aber keinesfalls unendlich lange fortgesetzt. 17
Zeuthen-Strategie Bei einer Verhandlung nach dem MCP drängen sich ein paar Fragen in den Vordergrund: 1. Welchen Vorschlag sollte ein Agent als erstes machen? 2. Wer sollte in einer beliebigen Runde der Verhandlung nachgeben? 3. Wenn ein Agent beschließt, nachzugeben: um welchen Betrag sollte er nachgeben? Die Antworten darauf hängen vor der verwendeten Strategie ab, verwendet man die Zeuthen- Strategie würde ein Agent folgendermaßen handeln: 1. Ein Agent sollte mit dem Deal beginnen, der für ihn den höchsten Nutzen hat. 2. Der Agent, der am wenigsten gewillt ist, einen Konflikt zu riskieren (d.h., der am meisten zu verlieren hat, wenn die Verhandlung scheitert) 3. So wenig wie möglich, aber genug, um die Risiko-Bilanz zu ändern (d.h., damit beim nächsten Mal der andere Agent nachgibt) Die Zeuthen-Strategie ist im Nash-Gleichgewicht, d.h., unter der Annahme, dass ein Agent sie verwendet, ist das Beste, was der andere Agent tun kann, sie auch zu verwenden. This is of particular interest to the designer of automated agents. It does away with any need for secrecy on the part of the programmer. An agent s strategy can be publicly known, and no other agent designer can exploit the information by choosing a different strategy. In fact, it is desirable that the strategy be known, to avoid inadvertent conflicts. [Rosenschein and Zlotkin, Rules of Encounter, 1994, MIT Press, p.46] 18
6. Zusammenfassung Zusammenfassend kann mal folgendes über die Eignung der einzelnen Verfahren für bestimmte Aufgaben sagen: Abstimmungen Abstimmungen eigenen sich für Entscheidungen, in denen mehrere Alternativen zur Auswahl stehen, allerdings weisen sie eine Reihe von Schwächen auf. Das Binäre Protokoll hat die Schwäche, das es intolerant gegenüber irrelevanten Alternativen ist, ausserdem bestimmt die Abstimmungsreihenfolge das Ergebnis der Abstimmung. Auch Pareto-dominierte Lösungen sind hierbei möglich, aber nicht unbedingt wünschenswert. Das Borda Protokoll ist wie das Binäre Protokoll anfällig gegenüber irrelevanten Alternativen. Im Extremfall kann sich durch Hinzufügen oder Wegnehmen einer Option die Reihenfolge aller verbleibenden umkehren ( Gewinner wird Verlierer -Paradoxon). Auktionen Die verschiedenen Auktionsformen eignen sich sehr gut für die Verteilung von Ressourcen und Aufgaben, bei reinen Entscheidungsfindungen hingegen sind sie nicht gut anwendbar, da sie dort nur den Wunsch des Höchstbietenden berücksichtigen würden, eine Mehrheitsentscheidung meistens aber sinnvoller ist. Von allen Auktionsformen ist vor allem die Vickrey Auktion im Bereich der künstlichen Intelligenz vorteilhaft, da sie ein symmetrisches, einfaches und effizientes Verfahren ist. Der Anreiz für strategisches Verhalten ist minimal. Im Bereich der MAS bedeutet dies eine leichte Implementierung und hohe Recheneffizienz, da die Agenten kaum bzw. nicht spekulieren. Verhandlungen Verhandlungen finden sich oft in der Anwendungsorientierten Domäne (AOD), also hauptsächlich bei der Verteilung von Aufgaben. Hier bieten sie sehr mächtige Techniken, um andere Formen von Einigungsprozessen zu modellieren, die aber trotzdem leicht automatisiert werden können, was wiederum im Bereich der MAS von großem Vorteil ist. Fazit Als Abschluss lässt sich sagen, dass jede Form der Einigung ihre Vor- und Nachteile hat und somit abhängig von der Situation mehr oder weniger geeignet ist. Im MAS empfiehlt sich also eine kontextabhängige Auswahl aus (mehr oder weniger) allen Verfahren. Damit verfügt man dann über eine fundierte Grundlage zur Entscheidungsfindung für die meisten Probleme wie beispielsweise der Aufgabenverteilung, der Zuweisung von Ressourcen und Planung der nächsten Aktionen. 19
7. Literaturverzeichnis Arrow, K.J. 1963 Social choice and individual values Wiley, New York, 2nd edition Chen, C.H., and Bulfin, R.L. 1993 Complexity of single machine, multi-criteria scheduling problems European Journal of Operational Research 70:115 125. Della Croce, F. and Tsoukiàs, A. and Moraïtis, P. 2002 Why is it difficult to make decisions under multiple criteria? Proceedings AIPS Toulouse April 2002, Eds.: B.Drabble, J.Koehler, I.Refanidis Foundation for Intelligent Physical Agents 2001 FIPA Contract Net Interaction Protocol Specification XC00029E, FIPA TC C Siemens 2001 Vorlesung Autonome Intelligente Systeme Teil1: Intelligente Agenten 2. GRUNDLEGENDE KONZEPTE multimedia.informatik.uni-augsburg.de/lehre/ ws02/ias/folien/ais-vorlesung2.pdf Siemens 2001 Vorlesung Autonome Intelligente Systeme Teil 2: Multiagentensysteme 6. VERHANDLUNGSMODELLE multimedia.informatik.uni-augsburg.de/lehre/ ws02/ias/folien/ais-vorlesung6.pdf Weiss, Gerhard 1999 Multiagent Systems MIT Press, Cambridge 20