Eine Modulare Lösung zur Kombinatorischen Explosion in Multiagent Reinforcement Learning

Transkript

1 Eine Modulare Lösung zur Kombinatorischen Explosion in Multiagent Reinforcement Learning Universität Paderborn Fakultät für Elektrotechnik, Informatik und Mathematik Institut für Informatik Paderborn Zusammenfassung Um Gemeinschaftsaufgaben mit Multiagent Reinforcement Learning zu lösen, ist die Koordination erforderlich [3]. Der monolithische Algorithmus hat eine schlechte Skalierbarkeit wegen der kombinatorischen Explosion. Ono [8] hat die modulare Architektur von Whitehead [9] verändert und in MARL angewandt. Die Simulation von Ono zeigt, dass diese modulare Lösung eine bessere Leistung hat. Die Agenten können während des Trainierens die koordinierten Eigenschaften erhalten. Am Anfang dieser Seminararbeit wird das Pursuit-Problem vorgestellt. Nach den Grundlagen wird der originale monolithische Algorithmus präsentiert. Dann zeigt die modulare Lösung, wie das Beispielsproblem effizient und koordiniert gelöst werden kann. Am Ende werden eine Erweiterung des modularen Algorithmus und eine andere Methode gegen die kombinatorische Explosion präsentiert. 1 Einführung 1.1 Motivation Bei Multiagent Reinforcement Learning (MARL) ist die Koordination erforderlich, um die Gemeinschaftsaufgaben (joint tasks) effizient zu lösen. Eine monolithische Methode wurde bei Ono & Rahmani [5], Yanco & Stein angewandt [11]. Der Zustandsraum eines Agenten besteht nicht nur aus seinem eigenen Sensoren, sondern auch den Zuständen und Information von anderen Agenten. Eine kombinatorische Explosion taucht auf, wenn es mehrere Agenten gibt (curse of dimensionality). Deswegen hat diese monolithische Lösung eine schwache Skalierbarkeit. Whitehead hat in [7] eine modulare Methode beschrieben, um das Problem mit Multizielen zu behandeln. Ono hat die modulare Architektur von Whitehead modifiziert und im MARL angewandt [4]. Diese Seminararbeit basiert auf der Arbeit von Ono, um eine modulare Methode gegen die kombinatorische Explosion zu forschen. Anhand eines Pursuit-Beispielproblems wird der modulare Algorithmus vorgestellt und analysiert. 1.2 Beispielproblem: Prey/Predator In dieser Arbeit wird eine veränderte Version des Pursuit-Problems [1] als Beispiel benutzt. Es ist definiert in [4]: Es gibt ein N*N Gitter, eine einzige Beute (Prey) und vier Jäger (Predator), die randomisiert auf dem Gitter platziert werden. Das Ziel der Jäger ist die randomisiert

2 70 fliehende Beute zu fangen. In jedem diskreten Zeitschritt wählen Beute und Jäger selbständig ihre nächste Aktion, ohne Kommunikation, und führen diese aus. Jeder Agent hat fünf Möglichkeiten zur Auswahl: Nord, Ost, Süd, West und an der Position bleiben. Die Beute kann nicht mit dem Jäger auf derselben Position stehen. Dennoch können mehrere Jäger eine Stelle gemeinsam benutzen. Falls die Beute und Jäger versuchen dieselbe Position zu besetzen, werden alle an den alten Positionen bleiben. Die Jäger haben ein limitiertes Sichtfeld mit Tiefe d, wobei 2d + 1 < n gilt. Er kann die relative Position anderen Agenten innerhalb des Sichtfelds genau feststellen und den Typ (Beute oder Jäger) erkennen. Die Entscheidung der nächsten Aktion trifft er mit der gesammelten Information. Die Beute ist gefangen, wenn alle ihrer Nachbarpositionen von Jägern besetzt werden. Dann werden alle Jäger und Beute erneut auf die randomisierten Positionen gestellt und der nächste Versuch beginnt. Das Endziel ist dass die Jäger die Beute so oft und schnell wie möglich fangen können. Abbildung 1. Das Pursuit-Problem [4] 2 Grundlagen 2.1 Die Interaktion zwischen Agent und Umgebung Reinforcement Learning ist ein Framework, auf dem der Lerner durch Interaktion lernt, um das Ziel zu erreichen. Hier heißt der Lerner Agent. Die Dinge, mit der er interagiert, heißt Umgebung [8]. Ein Agent ist ein System, das die Umgebung durch Sensoren wahrnimmt und mittels Effektoren in dieser Umgebung handelt. Umgebung ist eine Beschreibung der Eigenschaften einer Problemstellung, für die ein Agent die Lösung darstellt [6]. Die Umgebung gibt dem Agent die Belohnung zurück, einen Wert der Agent im Zeitablauf zu maximieren versucht. In jeder diskreten Schrittweite der Zeit interagieren die Agenten und die Umgebung. Im Zeitschritt t nimmt der Agent den Zustand s t S wahr, S ist die mögliche Zustandsmenge.

3 Eine Modulare Lösung zur Kombinatorischen Explosion in MARL 71 Im Zustand s t wird eine Aktion a t A(s t ) selektiert, A(s t ) ist die verfügbare Aktionsmenge im Zustand s t. Als Folge von der Aktion erhält der Agent eine Belohnung r t+1 R und der Zustand ändert sich von s t zu s t+1. Abbildung 2 zeigt diese Agent-Umgebung Interaktion. Abbildung 2. Die Interaktion zwischen Agent und Umgebung [8] In jedem Zeitschritt implementiert der Agent ein Mapping von Zuständen und Wahrscheinlichkeiten zur Auswahl jeder Aktion. Das Mapping heißt Policy und wird mit π t bezeichnet. Reinforcement Learning beschreibt das Verfahren, wie ein Agent seine Policy mit der Erfahrung ändert. Das Endziel des Agenten ist eine optimale Policy zu finden, mit der er die Summe der Belohnungen im Zeitlauf maximieren kann. 2.2 Die Markov-Eigenschaft Der Agent soll den Zustand der Umgebung wahrnehmen, um eine Entscheidung zu treffen. Ein Zustand soll die aktuellen Sensordaten enthalten, aber er kann mehr beinhalten. Die Repräsentation des Zustandes kann entweder die originalen Sensordaten sein, oder eine komplexe Struktur des Ablaufs von Sensordaten [8]. Idealerweise soll ein Zustand aller vergangen Sensordaten zusammenfassen. Normalerweise braucht dies mehr als die aktuellen Sensordaten, aber nicht mehr als die komplette Geschichte aller vergangen Sensordaten. Wenn ein Zustand erfolgreich alle relative Information beinhält, dann heißt er Markov. Eine Konfiguration des 8-Damen-Problems ist zum Beispiel Markov, weil sie alle wichtige Information über die angegriffenen Positionen enthält. Reaktion der Umwelt zu der Aktion a t hängt von der gesamten Vergangenheit ab: P r{s t+1 = s, r t+1 = r s t, a t, r t, s t 1, a t 1,, r 1, s 0, a 0 }. (1) Falls der Zustand die Markov-Eigenschaft hat, hängt die Reaktion zu der Aktion a t nur von dem Zustand zum Zeitpunkt t: P r{s t+1 = s, r t+1 = r s t, a t }. (2) Die Umgebung und der Task haben die Markov-Eigenschaft genau dann, wenn (1) und (2) gleich sind.

4 Markov Decision Process Reinforcement Learning (RL) heißt Markov Decision Process (MDP), wenn es die Markov- Eigenschaft erfüllt [8]. Falls die Zustands-und Aktionsmenge endlich sind, dann wird es als endlicher Markov Decision Process bezeichnet. Wenn ein Zustand s und eine Aktion a bekannt sind, ist die Wahrscheinlichkeit jedes nächsten Zustand s : P a ss = P r{s t+1 = s s t = s, a t = a}. (3) Wenn ein Zustand s, eine Aktion a und irgendein nächster Zustand s bekannt sind, ist die erwartende Belohnung: R a ss = E{r t+1 s t = s, a t = a, s t+1 = s }. (4) Die Maße Pss a und Ra ss sind die wichtigsten Faktoren in MDP. Ein Tupel mit der endlichen Zustands-und Aktionsmenge, Zustandsübergangsfunktion und Belohnungsfunktion kann ein MDP beschreiben. 2.4 Value Funktion Value Funktion ist die Basis für fast alle Algorithmen von Reinforcement Learning. Sie zeigt wie gut eine Aktion für einen Zustand ist. Die Bewertung ist die erwartende zukünftige Belohnung. Der Wert von dem Zustand s mit der Policy π wird mit V π (s) bezeichnet: V π (s t ) = r t + γr t+1 + γ 2 r t+2 + = γ i r t+1. (5) γ ist ein Diskontierungsfaktor, mit dem der Einfluss der zukünftigen Belohnung eingestellt werden kann. Wenn γ 0 ist, dann wird nur die sofortige Belohnung berücksichtigt. Die spätere Belohnung beeinflusst stark, wenn γ auf 1 gesetzt wird. i=0 2.5 Q-Learning Q π (s, a) ist Aktion-Wert für das Zustand-Aktion Paar (s, a). Die Q-Funktion gibt die erwartende Belohnung, wenn im Zustand s die Aktion a ausgeführt wird. Eine Policy π ist optimal genau dann, wenn für jeden Zustand s die Policy eine Aktion auswählt, die den Aktion-Wert maximiert: π (s) = a, Q π (s, a) = max [Q π (s, b)] s S. (6) b A Q-Learning ist ein wichtiger Algorithmus für Reinforcement Learning. In Q-Learning schätzt der Agent direkt die optimale Aktion-Wert Funktion, Q. Eine einfache Version des Algorithmus ist 1. Der erste Schritt des Algorithmus ist die Aktion-Wert Funktion Q zu initialisieren. Q ist die Schätzung der optimalen Aktion-Wert Funktion. Falls Kenntnisse über die Aufgabe vorhanden sind, werden die Anfangswerte damit kodiert. Andernfalls können die Anfangswerte beliebig gesetzt werden(zum Beispiel: alle 0). Dann ist die Anfangspolicy festgestellt. π(s) selektiert die Aktion, die den lokale Wert maximiert:

5 Eine Modulare Lösung zur Kombinatorischen Explosion in MARL 73 Algorithm 1 Q-Learning [7] Q setze die Anfangswerte für die Aktion-Wert Funktion (zum Beispiel: alle 0) Für jeden Zustand s S : π(s) a, wenn Q(s, a) = max b A Q(s, b) while 1 do (1) s der aktuelle Zustand (2) Mit Wahrscheinlichkeit p selektiert Policy π eine Aktion a, sonst wählt eine randomisierte Aktion aus (3) Führt Aktion a aus, y ist der nächste Zustand und r ist die Belohnung (4) Aktualisiert Q(s, a): Q(s, a) = (1 α)q(s, a) + α[r + γu(y)], U(y) = Q(y, π(y)) (5) Aktualisiert die Policy π: π(s) a, Q(s, a) = max b A Q(s, b) end while π(s) a, Q(s, a) = max Q(s, b). (7) b A Nach der Initialisierung aktualisiert der Agent mit der Schleife seine Q-Funktion und Policy π. Zuerst nimmt er den Zustand s mit dem Sensor wahr. Dann wählt er eine Aktion a und führt diese aus. Meistens soll diese Aktion nach der Policy π selektiert werden, aber manchmal wählt der Agent eine randomisierte Aktion aus. Nach der Ausführung bekommt der Agent eine sofortige Belohnung r und den nächsten Zustand y. Der Wert für diese Aktion wird mit der Belohnung und dem neuen Zustand aktualisiert. Eine Schätzung für Q (s, a) erhält der Agent durch die Kombination von der sofortigen Belohnung r und einer Schätzung für den nächsten Zustand, U(y) = max b A [Q(y, b)]. Die Summe r + γu(y) heißt 1-Schritt nachgebesserte Schätzer. Dieser Schätzer wird mit der alten Schätzung für Q(s, a) kombiniert: Q(s, a) = (1 α)q(s, a) + α[r + γu(y)], U(y) = Q(y, π(y)), (8) und α ist die Lernenrate des Agents. Am Ende wird die Policy entsprechend aktualisiert. 3 Eine monolithische Lösung des Pursuit-Problems 3.1 Koordination beim Multiagent Reinforcement Learning Wenn Reinforcement Learning für das Problem mit Multiagent angewandt wird, sieht Lernen wie eine Suche aus [10]. Für die realen Aufgaben kann der Zustandsraum extrem groß und Belohnung karg sein. Das selbständige Lernen funktioniert nicht gut für Multiagent Reinforcement Learning. Der Mechanismus der Natur zeigt, dass die intelligenten Agenten in einer koordinierten Umgebung existieren. Die Koordination kann das Lernen organisieren und leiten. Der Algorithmus für Koordination basiert auf dem Verhalten von Menschen, wie z.b. mit einander sprechen, beobachten usw. Diese Methoden transportieren die Kenntnisse und Erfahrungen von einem Agenten zum anderen. Im Zusammenhang mit trial-and-error erhält der Algorithmus mit Koordination eine bessere Leistung in Multiagent Reinforcement Learning.

6 Koordination im Pursuit-Problem Unser Pursuit-Problem im Abschnitt 1.2 ist eine Gemeinschaftaufgabe. Das Problem bei den selbständigen Jägern ist, sie einander nicht berücksichtigen können. Deswegen wird eine Koordination benötig, um das Problem effizient zu lösen. Weil die Agenten nicht mit einander kommunizieren können, wenden wir hier die Beobachtung an, um koordiniert zu sein. Jeder Jäger kann die relative Position anderen Agenten innerhalb des Sichtfelds genau feststellen und den Typ (Beute oder Jäger) erkennen. Ein nicht koordinierter Q-Learning nutzt nur die relative Position der Beute als der Zustand. Um andere Jäger zu berücksichtigen, nutzen wir hier die relative Position von der Beute und Jägern als Zustand. In jedem Zeitschritt nimmt der Jäger die Positionen von anderen Agenten und der Beute wahr, und führt eine Aktion a nach der Aktion-Wert Funktion aus: Q(s Beute, s Jaeger, a) = (1 α)q(s Beute, s Jaeger, a) + α[r + γu(y)], U(y) = Q(y, π(y)). (9) Hier kann der Algorithmus im Abschnitt 2.5 ohne weitere Änderungen angewandt werden, um das Pursuit-Problem koordiniert zu lösen. Die Erprobung in [9] zeigt, dass der koordinierte Algorithmus zwar mehr Zeit für die Anfangsphase braucht, um die Jäger zu trainieren, aber die durchschnittliche Anzahl an Schritten um die Beute zu fangen ist geringer als bei dem normalen, selbständigen Algorithmus. Diese monolithische Methode hat die Gefahr, eine kombinatorische Explosion hervorzubringen. In unserm Beispiel ist die Tiefe des Sichtfelds von Jägern d. Das Sichtfeld beträgt (2d+1) 2. Wenn ein Agent nicht innerhalb des Sichtfelds ist, dann wird er mit einem einzelnen Symbol repräsentiert. Der Zustandsraum eines Jägers besteht aus den relativen Positionen anderen Jägern und Beute. Die Komplexität des Zustandsraum ist O(2d + 1) 8. Er ist schon groß, wenn die Tiefe d klein ist. Deswegen hat dieser Algorithmus eine schlechte Skalierbarkeit. Er funktioniert nur, wenn es wenige Agenten gibt. 4 Eine Modulare Lösung des Pursuit-Problems 4.1 Eine Modulare Q-Learning Architektur Whitehead hat in [7] eine modulare Q-Learning Architektur vorgestellt. Diese Architektur wurde für das Reinforcement Learning mit mehreren Zielen entwickelt. Ono hat diese Architektur verändert und an das MARL angepasst [4]. Abbildung 3 zeigt die modulare Architektur eines Jägeragenten, der im Pursuit-Problem benutzt wird. Die Architektur enthält drei Lernen-Module und ein Mediator-Modul. Jedes Modul konzentriert sich auf das spezielle Attribut der Eingabe und führt Q-Learning aus. In jedem Zeitschritt scannt der Agent in einer speziellen Reihenfolge die Positionen innerhalb seines Sichtfelds. Diese Reihenfolge ist in Abbildung 4 und repräsentiert Manhattan Distance jeder Position zu dem Jägersagent. Das erste Modul empfängt nur die relative Position der Beute und des ersten durch Scannen gefundenen Partners. Das zweite Modul ist für die relativen Positionen von der Beute und dem zweiten gefundenen Partner verantwortlich. Die relativen Positionen der Beute und des dritten festgestellten Partners werden im Modul 3 bearbeitet. Wenn mehrere Agenten dieselbe Position besitzen, werden sie randomisiert nummeriert und

7 Eine Modulare Lösung zur Kombinatorischen Explosion in MARL 75 Abbildung 3. Die modulare Architektur für einen Jägeragent [4] Abbildung 4. Reihenfolge der Positionen innerhalb des Sichtfelds [4]

8 76 in die Module zugeordnet. Wenn die Agenten außerhalb des Sichtfelds sind, dann werden die relativen Positionen mit einem speziellen Symbol repräsentiert. Der Zustand eines Jägers ist eine Kombination von den zwei relativen Positionen. Die Größe des Zustandsraums beträgt (2d + 1) Die Q-Funktionen der Lernen-Module sind Eingaben für das Mediator-Modul. Damit selektiert der Mediator die nächste Aktion. Das Entscheidungsverfahren des Mediator-Moduls hängt sich vom Problem ab. Eine greatest mass merging Strategie ist geeignet für unser Problem [7]. Mit dieser Strategie sucht der Mediator die Aktion, die erwartenden Belohnungen von allen Modulen maximieren: max a A 3 Q i (x i, a). (10) i=1 Q i ist die Aktion-Wert Funktion von dem Lernen-Modul L i. Wenn die Jäger erfolgreich die Beute fangen, erhält jeder Jägersagent eine Belohnung. Diese Belohnung wird an die drei Lernen-Module verteilt. Die Q-Funktion des Lernen- Moduls wird mit der Belohnung aktualisiert. 4.2 Simulation des Modularen Algorithmus Nach der Arbeit von Ono [4] und dem Problem im Abschnitt 1.2 ist die Simulation so eingestellt: Am Anfang der Simulation werden eine Beute und vier Jäger randomisiert platziert. Wenn die Beute gefangen wird, endet diese Runde. Falls die Beute nach 1,500 Zeitschritten noch nicht erfolgreich gefangen wird, wird diese Runde abgebrochen. Eine Gefangennahme der Beute bringt den Jägern 1.0 Belohnung. Dementsprechend erhalten die Lernen-Module des Jägers dieselbe Belohnung. Andernfalls erhalten die Jäger Die Rate des Lernens und Diskontierungsfaktor sind auf 0.1 und 0.9 gesetzt. Anfangswerte für alle Lernen-Module werden von [0.01, 0.1] randomisiert ausgewählt. Die Tiefe des Sichtfelds ist 3. Das Ergebnis jeder Runde ist die Summe der gebrauchten Zeitschritte. Ein Resultat der Simulation ist in Abbildung 5. Am Anfang können die Jäger nicht effizient die Beute fangen. Nach circa 3,0000 Runde steigert sich die Leistung erheblich. Endlich können sie die Beute zuverlässig innerhalb wenigen Zeitschritten fangen. Die Leistung des Jägers hängt auch von der Größe des Gitters ab. Je größer das Gitter, desto langsamer erreichen die Jäger das Ziel. 4.3 Analyse Nach dem Trainieren haben die Jägeragenten einige koordinierte Eigenschaften erhalten. Mit diesem koordinierten Verhalten haben sie eine bessere Leistung als die Jägeragenten ohne das koordinierte Trainieren. Ono hat die Eigenschaften zusammengefasst, sie sind: Funktionalitätsspezifikation, Herdenverhalten und Selbstlosigkeit [4]. Alle vier Nachbarspositionen sollen von Jägern besetzt werden, um die Beute zu fangen. Diese Positionen heißen Einfangspositionen(capture positions). Am Anfang der Simulation haben die Jäger keine bestimmten Einfangspositionen. Nach circa 2,500 Runden stellen sie die speziellen Positionen fest und die Leistung verbessert sich erheblich. Dieser Prozess ist Funktionalitätsspezifikation. Neben der Spezifikation von Funktionalität haben die Jäger auch das Herdenverhalten bekommen. Das heißt, die Jäger versuchen nicht selbstständig die Beute zu fangen, sondern

9 Eine Modulare Lösung zur Kombinatorischen Explosion in MARL 77 Abbildung 5. Leistung bei dem modularen Agent [4] koordiniert zu bewegen. Um die Position der Beute festzustellen versuchen die Jäger, ihre Partner in Sicht zu halten. Auf dieser Weise können die Jäger eine größere Sicht haben und die Beute schneller lokalisieren. Falls ein Jäger die Position der Beute feststellt, bewegen sich andere Jäger schnell in die Einfangspositionen. Wenn alle Jäger die Beute lokalisieren, können sie die Beute einfacher fangen. Diese Eigenschaft heißt Herdenverhalten. Wenn ein Jäger die Beute lokalisiert und andere Agenten sich nicht innerhalb seines Sichtfelds befinden, versucht er sich nicht sofort in die Einfangsposition zu bewegen. Stattdessen bleibt er ein bisschen entfernt von der Beute, damit die anderen Jäger ihn einfacher finden können. Dies Verhalten ist Selbstlosigkeit. 5 Weitere Methoden zur Vermeidung Kombinatorischer Explosion 5.1 Die Modulare Lösung mit Fuzzy-System Gültekin und Arslan haben eine Erweiterung mit Fuzzy-System für den modularen Algorithmus gemacht [2]. Der Zustandsraum des Jägers kann als die Fuzzy-Menge in Abbildung 6 repräsentiert werden. Der Zustand von Jäger wird mit Funktionen left, middle und right berechnet. Zum Beispiel, wenn die Fuzzy-Eingabe der Beute innerhalb Bereich [2, 0] ist, befindet sich die Beute auf der rechten Seite des Jägern. Auf dieser Weise wird die Größe des Zustandsraums stark reduziert. Statt des Lernen-Moduls im Abschnitt 4.1 nutzten wir hier ein Fuzzy-Lernen-Modul. Die drei Module sind Eingaben für das Mediator-Modul. 5.2 Koordinationsgraph Ein Koordinationsgraph repräsentiert die Anforderung der Koordination eines Systems [3]. Ein Knoten im Graph repräsentiert einen Agent A i und eine Kante definiert die Abhängigkeit von zwei Agenten. Mit dem Koordinationsgraph kann ein globales Koordinationsproblem in die lokalen Probleme unterteilt werden. Die kombinatorische Explosion kann damit gelöst werden. Der Agent sammelt die Wert-Funktionen von den Nachbaren, optimiert die Entscheidung und sendet seine neue Wert-Funktion wieder an die Nachbarn. Deswegen soll der Agent kommunikationsfähig sein, um die Wert-Funktion miteinander zu tauschen. Die Wert-Funktion kann als Matrix oder Regel sein. Eine Werk-Funktion mit Regel heißt Wert-Regel.

10 78 Abbildung 6. Die Eingabe von dem Fuzzy-System [2] User Q-Learning nutzt eine Matrix als die Q-Funktion. Hier wird die Wert-Regel angewandt, um den Zustandsraum zu reduzieren. Eine globale Q-Funktion wird als die Summe aller lokalen Q-Funktionen repräsentiert. Eine Regel p 1 für Agent i in Zustand s 1 mit Agent j sieht so aus: < p i 1; s 1 ai aj : Q s1 i > (11) Der Q-Learning mit Wert-Regel läuft ähnlich wie der Algorithmus im Abschnitt 2.5. Jeder Zeitschritt sucht ein Agent im Koordinationsgraph seine Nachbarn und die relativen Regeln. Dann optimiert er die Entscheidung und aktualisiert die Regel. Der Test von [3] zeigt, dass der Q-Learning mit Koordinationsgraph eine bessere Leistung und einen kleinen Zustandsraum hat. 6 Schlussfolgerung Die zentrale Idee des modularen Algorithmus ist die globale Aufgabe in die lokalen Aufgaben zu wandeln. Eine Strategie ist erforderlich um die lokalen Ergebnisse zusammenzufassen. Eine heuristische Strategie kann dabei helfen, die optimale Lösung zu finden. Der Koordinationsgraph im Abschnitt 5.2 hat eine ähnliche Idee, um die kombinatorische Explosion zu lösen. Die beiden Methoden haben unterschiedliche Anforderungen an die Agenten. Der modulare Algorithmus benötigt die Beobachtungsfähigkeit, um andere Agenten innerhalb des Sichtfelds zu kennen und die Position festzustellen. Die Agenten im Koordinationsgraph sollen kommunikationsfähig sein, um die Information miteinander zu tauschen. Um ein MARL Problem zu lösen sollen wir die Fähigkeit und Eigenschaften des Agenten analysieren und

11 Eine Modulare Lösung zur Kombinatorischen Explosion in MARL 79 einen geeigneten Algorithmus finden. Je nach dem konkreten Problem können unterschiedliche Algorithmen zusammengesetzt werden um eine gemischte Methode zu bauen. Literatur 1. Berenji, D.H.R., Vengerov, D.: Learning, cooperation, and coordination in multi-agent systems. Technical report iis-00-10, Intelligent Inference Systems Corp., Intelligent Inference Systems Corp., 333 W. Maude Avennue, Suite 107, Sunnyvale, CA (2000) 2. Gültekin, I., Arslan, A.: Modular-fuzzy cooperation algorithm for multi-agent systems. In: Advances in Information Systems Lecture Notes in Computer Science, 2002, Volume 2457/2002. Springer Berlin / Heidelberg (2002) 3. Kok, J.R., Vlassis, N.: Multiagent q-learning by context-specific coordination graphs 4. Ono, N., Fukumoto, K.: A modular approach to multi-agent reinforcement learning. In: Weiß, G. (ed.) Distributed Artificial Intelligence Meets Machine Learning Learning in Multi-Agent Environments, Lecture Notes in Computer Science, vol Springer Berlin / Heidelberg (1997) 5. Rahmani, A., N.Ono: Co-evolution of communication in artificial organisms. In: Proceedings of the 12th International Workshop on Distributed Artificial Intelligence (1993) 6. Russell, S., Norvig, P.: Artificial Intelligence: A Modern Approach. Prentice Hall (2002) 7. Steven Whitehead, J.K., Tenenberg, J.: Learning multiple goal behavior via task decomposition and dynamic policy merging. In: Connell, J.H., Mahadevan, S. (eds.) Robot Learning. Knowledge representation, learning and expert systems, Kluwer Academic Publishers (1993) 8. Sutton, R.S., Barto, A.G.: Reinforcement Learning: An Introduction. The MIT Press (1998) 9. Tan, M.: Multi-agent inforcement learning: independent vs. cooperative agents (1993) 10. Whitehead, S.D.: A complexity analysis of cooperative mechanisms in reinforcement learning. In: AAAI 91 Proceedings of the ninth National conference on Artificial intelligence - Volume 2 (1991) 11. Yanco, H., L.A.Stein: An adaptive communication protocol for cooperating mobile robots. In: From Animals to Animats 2. The MIT Press (1992)