Seminarausarbeitung. Neuronale Netze in Multiagentensystemen

Transkript

1 Universität Paderborn Fakultät für Elektrotechnik, Mathematik und Informatik Seminarausarbeitung Neuronale Netze in Multiagentensystemen Thomas-Ivo Heinen vorgelegt bei Prof. Dr. Hans Kleine Büning

2 Inhaltsverzeichnis 1. Einleitung 3 2. Theorie und Praxis Was ist ein Neuronales Netz Definitionen Anwendungen Randbedingungen für Neuronale Netze Geschichtliche Entwicklung Die Anfänge ( ) Erste Blüte ( ) Stille Jahre ( ) Renaissance ( ) Original und Fälschung Biologisches Vorbild Vereinfachungen bei ANN Kategorien von Neuronalen Netzen Komponenten eines NN Neuron Gewichte Aggregationsfunktion Aktivierungsfunktion Ausgabefunktion Propagierungsfunktion / Lernregel Hebbsche Lernregel Delta-Regel, Widrow-Hoff-Regel Topologie Bekannte Verfahren Das Perzeptron Das Lernverfahren Backpropagation Symmetry breaking

3 Inhaltsverzeichnis Lokale Minima Lernfaktor η Weitere Netzwerke Evolutionäre Neuronale Netze Einschub: Genetische Algorithmen (GA) GA + ANN = EANN Verbindungsgewichte Topologie Neuronale Netze in MAS Aufgabenstellung der Projektgruppe KIMAS Eingaben für die Agenten Ausgaben der Agenten Der Trainingsprozess Fazit Vorteile Nachteile Schlussbemerkungen A. Glossar 31 2

4 1. Einleitung Eins der bekanntesten Schlagworte der Künstlichen Intelligenz sind die Neuronalen Netze. Als nahe liegendes Konzept zur Realisierung intelligenter Maschinen orientieren sich diese an Elementen aus der Biologie, passen sie an die Möglichkeiten der Informatik an und realisieren interessante Verfahren. So einfach sich die Idee, ein Gehirn nachzubilden, auch anhören mag, so kompliziert ist die Realisierung des Menschheitstraums intelligenter Maschinen, der schon im Mittelalter mit der Konstruktion mechanischer Menschen seinen Anfang nahm. Die bisherigen künstlichen neuronalen Netze sind einfach strukturiert, wenn man sie mit den Originalen vergleicht, die sich über Jahrmilliarden entwickelt haben. Viele der leistungsfähigen Konzepte aus der Biologie sind nicht oder nur schwer mit unseren Computern zu realisieren oder noch nicht komplett verstanden worden - somit sind Abstriche unerläßlich. Wenn man sich dem Thema der Neuronalen Netze, insbesondere der künstlichen Neuronalen Netze anfänglich nähert, so gewinnt man den Eindruck, daß dies ein gigantischer Themenkomplex ist. Das Zusammenspiel von Biologie, Informatik, Mathematik und vielen Details anderen Disziplinen ist sehr komplex. Ich gebe auf den nächsten Seiten eine Einführung in den Themenkomplex der künstlichen Neuronalen Netze (gemeinhin als ANN für artificial neural nets abgekürzt). Ausgehend von formalen Definitionen und einem Überblick über die bisherigen Anwendungen dieser Konstrukte gebe ich einen kurzen Durchlauf durch den Werdegang und vergleiche mit dem biologischen Original. Dabei werden auch die verschiedenen Parameter der Neuronalen Netze besprochen, die dieses Gebiet so variantenreich machen. Weiterhin erläutere ich einige der bekanntesten Begriffe, gehe auf aktuelle Entwicklungen ein und werde dann die Einsatzmöglichkeiten von ANN in Multiagentensystemen besprechen. Am Ende liefere ich noch einen Schnellüberblick über Vor- und Nachteile. 3

5 2. Theorie und Praxis In diesem Kapitel erläutere ich die Grundlagen künstlicher neuronaler Netze, erläutere einige Definitionsversuche, nenne konkrete Anwendungsgebiete und bespreche notwendige Randbedingungen für den Einsatz Neuronaler Netze Was ist ein Neuronales Netz Ein künstliches neuronales Netz besteht aus vielen Einheiten (Neuronen) die untereinander verbunden sind. In der sogenannten Eingabeschicht werden die zu bewertenden Daten in das Netz eingespeist, in verdeckten Schichten werden die Daten verarbeitet und die Ausgabeschicht liefert dann das Ergebnis der Berechnung. Abbildung 2.1.: Schema eines Neuronalen Netzes Die Neuronen haben Eingänge, an denen entweder die Benutzereingabe oder die Ausgabe anderer Neuronen anliegt. Die Verbindungen haben dabei verschiedene Gewichte, so daß nicht alle Ausgaben der Vorgänger gleichstark berücksichtigt werden. Im Neuron werden die Eingaben zusammengefasst (durch eine Aggregationsfunktion) und mit Hilfe einer Aktivierungsfunktion wird der Ausgabewert des Neurons berechnet. Je nach Familie des Neuronalen Netzes gibt es verschiedene Arten, die Neuronen miteinander zu verbinden. Vollständig verbundene Netze sind dabei genauso möglich wie baumartige Strukturen. 4

6 2. Theorie und Praxis 2.2. Definitionen Es gibt viele Ansätze, um ein so vielfältiges Thema wie Neuronale Netze zu definieren und die Versuche dafür erstrecken sich über die letzten 15 Jahre. Dabei sind es nicht nur Universitäten und Einzelpersonen, die sich daran versucht haben, sondern auch die amerikanische Militärforschung hat sich um ANN gekümmert und diese eingehend wissenschaftlich untersucht. Eine der Definitionen der Newsgroup comp.ai.neural-nets[1] liest sich wie folgt: An ANN is a network of many very simple processors ( units ), each possibly having a (small amount of) local memory. The units are connected by unidirectional communication channels ( connections ), which carry numeric (as opposed to symbolic) data. The units operate only on their local data and on the inputs they receive via the connections Daraus ergibt sich, daß ein Neuronales Netz (wie der Name ja auch schon suggeriert) aus vielen verschiedenen Einheiten besteht, die miteinander verbunden sind. Künstliche Neuronale Netze arbeiten auf numerischem Niveau, senden also anderen Einheiten des Netzes reine Zahlenwerte. Dabei haben die Einheiten nur eine sehr beschränkte Sichtweise auf das Gesamtnetzwerk, nämlich auf Ihre Vorgänger und auf sich selber. Alles andere im Netzwerk entzieht sich Ihrer Kenntnis. Die Definition, die das DARPA 1988[2] erarbeitet hat, weicht leicht ab: A neural network is a system composed of many simple processing elements operating in parallel whose function is determined by network structure, connection strengths, and the processing performed at computing elements or nodes Hier erscheinen zwei neue Elemente in der Definition. Erstens wird die Parallelität von Neuronalen Netzen erwähnt. Bei einem nicht vollständig verbundenen Netzwerk mit oder mehr Einheiten macht es Sinn, Berechnungen zu parallelisieren. Hier ergibt sich ein Einsatzgebiet für Parallelverarbeitung mit SMP-Systemen, Parallelrechnern oder Clustern. Zweitens werden Verbindungsstärken erwähnt. In der Tat ist es so, daß eine Einheit/ein Neuron seine Eingabewerte nicht gleichberechtigt entgegennimmt. Jedes Signal einer Vorgängerzelle wird mit einer bestimmten Gewichtung berücksichtigt - es kann sogar sein, daß ein Vorgänger total ignoriert wird. 5

7 2. Theorie und Praxis 2.3. Anwendungen Neuronale Netze sind nicht für alle Aufgaben gleichermaßen geeignet. Hauptsächlich finden sie Anwendung in den Gebieten Mustererkennung Klassifikation/Einordnung Ähnlichkeitsvergleiche Regelungsaufgaben Schätzaufgaben Die ursprüngliche Anwendung war die Mustererkennung. Neuronale Netze wurden im sogenannten Perzeptron eingesetzt, um Handschrift zu erkennen. Dabei sollten Größe der Zeichen und Lage nicht von Bedeutung sein. Für konventionelle Programme ist die Erkennung von Mustern ein problematisches Feld. Dort müssen viele Abschätzungen getroffen werden, die Eingabedaten gefiltert und aufbereitet werden usw. Neuronale Netze lernen die Zeichenerkennung experimentell selbständig - auf Kosten der Nachvollziehbarkeit. Zur gleichen Problemkategorie gehört auch die Klassifikation von (beliebigen) Eingaben. Sowohl die Sortierung von Texten nach ihrem Thema (Clustering), als auch die Auswertung von Kamerabildern und Photographien sind mit Neuronalen Netzenlösbar. Ein Beispiel hierzu ist ein Projekt aus den 80er Jahren, in dem die DARPA ein Neuronales Netz entwickelte, was Panzer auf Luftbildaufnahmen erkennen sollte. Zwar ging dieses Experiment spektakulär schief, jedoch ist die Eignung der ANN für Mustererkennung durchaus gegeben. Bei Regelungsaufgaben ist die Anpassbarkeit der Neuronalen Netze die Kerneigenschaft. Beispielsweise sind lernende Fahrstuhlsysteme in Hochhäusern [3] in der Lage, wechselnde Bedingungen automatisch zu erkennen und zu erfüllen. Bisherige Systeme dieser Art (seit den späten 80ern bekannt) wurden meist mit Fuzzy Logic realisiert. Mittlerweile sind diese Systeme teilweise durch Neuronale Netze ersetzt worden, so daß zu Hochverkehrszeiten (Feierabend, Mittagspausen usw) mehr Kapazitäten auf bestimmten Etagen zur Verfügung gestellt werden, während ansonsten die Wartezeit auf eine freie Kabine minimiert wird. Auch in anderen Regelungsaufgaben können ANN ihre Stärken ausspielen Randbedingungen für Neuronale Netze Neuronale Netze sind bei solchen Aufgaben gut platziert, bei denen es nicht auf eine hundertprozentige Richtigkeit des Ergebnisses ankommt. Da Neuronale Netze nach dem Prinzip der Fehlerminimierung arbeiten, sind Fehler der resultierenden 6

8 2. Theorie und Praxis Bewertungen nicht einfach nur wahrscheinlich sondern auch meistens (in geringem Maße) vorhanden. Ein kritisches Element bei ANN ist das Training. Daher erfordert die Entwicklung eines Neuronalen Netzes in der Regel eine große, gut gestreute Menge an Trainingsdaten. Je größer die Datenmenge, desto genauer kann das Netz lernen. Dabei ist aber darauf zu achten, daß das Netz nicht übertrainiert wird, also den Punkt des optimalen Ergebnisses überschreitet und sich zu sehr auf die Trainingsdaten anpasst. Auch eine gute Streuung der möglichen Eingabemerkmalen in der Trainingsbasis ist extrem wichtig, wie auch die DARPA einmal bitter erkennen musste. Trainingsdaten: Das Panzerproblem der DARPA Die notwendige, breite Streuung der Eingaben wird an dem Scheitern der Panzererkennung der DARPA deutlich. In den 80er Jahren wurde dazu ein großes Projekt auf Basis Neuronaler Netze gestartet. Als Basis wurden große Serien von Luft- und Geländeaufnahmen verwendet, die sowohl Gebiete mit Panzern als auch solche ohne enthielten. Die Hälfte der Photos wurde zum Training verwendet und nach Abschluß des Trainingsprozesses ordnete das System auch die ihm unbekannten Bilder richtig zu. Als nun aber eine komplett andere Serie von Photos verwendet wurde, kam es zu seltsamen Ergebnissen. Teilweise wurden offensichtliche Panzer nicht erkannt und in anderen Fällen wurden Panzer gefunden, wo definitiv keine waren. Nach einiger Recherche fand man die Ursache der Fehleinschätzungen: eine nicht gut gestreute Trainingsbasis. Es kam heraus, daß die Bilder mit Panzern bei schlechtem Wetter aufgenommen waren und die ohne Panzern bei gutem Wetter. Das Netz hatte lediglich gelernt, das Wetter (genauer: die Farbe des Himmels) zu erkennen - und nicht das, was die DARPA wollte. 7

9 3. Geschichtliche Entwicklung Neuronale Netze haben als wissenschaftliche Theorie eine vergleichsweise kurze Geschichte. Verglichen mit der Informatik und den Computern an sich sind sie jedoch ein alter Hut. Von den ersten Lernregeln und wissenschaftlichen Untersuchungen an, haben sie eine bewegte Zeit hinter sich und wären sogar fast verworfen worden. Einigen wenigen Forschern ist es jedoch zu verdanken, daß ANN mittlerweile einen festen Platz im Forschungsgebiet der Künstlichen Intelligenz innehaben Die Anfänge ( ) Mit dem Aufsatz A logical calculus of the ideas immanent in nervous activity von McCulloch und Pitts [4] tauchte schon sehr früh eine detaillierte Untersuchung der Fähigkeiten Neuronaler Netze auf. In dieser Arbeit wurde formell bewiesen, daß einfache ANN jede arithmetische oder logische Funktion berechnen konnten. Die Anwendungen, die in dieser Arbeit noch fehlten, wurden erst später dargelegt. Ein wichtiger Meilenstein war The Organization of Behaviour von Donald Hebb [5], in der die Hebbsche Lernregel (siehe 5.2.1) als Lernkonzept von Neuronen beschrieben wurde. Diese Regel ist bis heute Basis der meisten Lernverfahren Neuronaler Netze. Weitere psychologische und neuropsychologische Arbeiten ebneten den Weg für spätere Forschungen und untersuchten beispielsweise die Wissensrepräsentation bei Tieren, die ähnlich auch in künstlichen Neuronalen Netzen stattfindet Erste Blüte ( ) In den Jahren 1957/58 wurde am MIT der erste erfolgreiche Neurocomputer entwickelt (Mark I Perceptron). Dieser war in der Lage, mit einer 20*20 Sensormatrix einfache Ziffern erkennen. Die Gewichtungen in den Verbindungen wurden mit 512 Motorbetriebenen Potentiometern eingestellt. Zwar existierten von Marvin Minsky 1951 und 1955 schon einfachere Neurocomputer, diese waren aber im Rahmen von Dissertationen erstanden und kamen nicht zum praktischen Einsatz. In kurzen Abständen tauchten neue Lernmodelle für Neuronale Netze auf und Bernard Widrow gründete die erste Neurocomputing-Firma Memistor Corporation. Memistoren waren Transistorähnliche Bauteile, mit denen die einstellbaren Gewichte 8

10 3. Geschichtliche Entwicklung in Neuronalen Netzen realisiert werden konnten tauchte von Nils Nilsson auch der erste Überblick über Arbeiten in der ANN-Forschung auf. Am Ende dieser Periode glaubte man, die grundlegenden Prinzipien des Lernens entdeckt zu haben. Doch dies war eine Überschätzung, die auch von den Medien gestützt wurde. Die Erkenntnis, daß man noch lange nicht am Ziel angekommen war, führte zur Blamage der damaligen Forschung Stille Jahre ( ) Im Jahr 69 folgte der nächste Schlag, als Minsky und Papert [6] das damalige Modell des Perceptrons streng mathematisch analysierten. Dabei bewiesen Sie, daß viele wichtige Probleme von diesem Modell überhaupt nicht repräsentiert werden konnte (XOR-Problem, Paritätsproblem und andere). Die Arbeit von Minsky und Papert enthielt jedoch einen fatalen Trugschluß: Sie behaupteten, daß mächtigere Perzeptron-Modelle dieselben Beschränkungen hätten. Dies war der letzte Auslöser dafür, daß 15 Jahre fast keine Forschung mehr betrieben wurde, weil unter anderem das DARPA aufgrund dieser Ergebnisse alle Fördergelder strich. Trotz dieses Rückschlages arbeiteten einige Forscher weiter an den theoretischen Grundlagen Neuronaler Netze und legten die Grundsteine der modernen Architekturen. So erschienen 1974 das Backpropagation-Verfahren [7], man entdeckte geeignetere Aktivierungsfunktionen, die Adaptive Resonance Theory(ART), erprobte Stereosehen mit ANN. Es folgten Hopfield-Netze [8], Neocognitron [9], die Boltzmann- Maschine und viele andere akademische Weiterentwicklungen von Neuronalen Netzen Renaissance ( ) Anfang der achtziger Jahre kam die Forschung wieder in Schwung. Als Auslöser wird gemeinhin eine Arbeit von John Hopfield [10] angenommen, der schwierige Optimierungsaufgaben (Traveling Salesman Problem) mit seinen Hopfield-Netzen lösen konnte und damit andere Wissenschaftler von der Wichtigkeit neuronaler Netze überzeugen konnte wurde Backpropagation weiter verfeinert und war mit seinem viel schnelleren Lerntempo eine weitere Motivation für weitergehende Forschungen. Anwendungen wie Textvorlesen [11], das Auftauchen der ersten Neurocomputer von Siemens, Robotikanwendungen und etliche hundert Publikationen haben zu einer breiten Bewegung geführt, die das Gebiet der ANN kontinuierlich vorantreibt. 9

11 4. Original und Fälschung Dieses Kapitel beschäftigt sich mit dem Vorbild der künstlichen Neuronalen Netze: der Natur und letztlich dem Menschen. Die Unterschiede zwischen natürlichen und künstlichen Netzen sind umfangreicher als man denken würde - die Komplexität des Originals ist weit höher als die Kopie es vermutlich jemals sein wird Biologisches Vorbild Neuronen Ein (biologisches) Neuron besteht aus verschiedenen Elementen. Als Hauptteile erkennen kann man den Zellkern, das Axon, die Synapsen und die Dendriten. Abbildung 4.1.: Schematischer Aufbau eines Neurons Dendriten: Die Dendriten sind dünn und röhrenförmig. Ihre Aufgabe ist die Aufnahme von Eingangssignalen für das Neuron. Axon: Das Axon kümmert sich um die Weiterleitung der Ausgabe des Neurons. Es unterscheidet sich stark von den Dendriten, da es bis zu einem Meter lang sein kann, auch etwas andere Eigenschaften in seiner Membran hat und außerdem sehr stark am Ende verästelt. Synapsen: Die Verästelungen des Axons bilden an ihren Enden Verdickungen, die gemeinhin als Synapsen bekannt sind. Sie stellen den unmittelbaren Kontakt 10

12 4. Original und Fälschung zwischen dem Axon einer Zelle und den Dendriten der Nachfolgezellen her. Im Normalfall besitzen menschliche Neuronen zwischen und solcher Synapsen; eine Sonderform (die Purkinje-Zellen) sogar bis zu Zellkern: Der Zellkern hat neben der Energieproduktion und der Erzeugung chemischer Botenstoffe (Neurotransmitter) die Aufgabe, die eingehenden Signale zu bewerten und das Ausgangssignal zu erzeugen. Die Weiterleitung von Informationen zwischen Neuronen geschieht primär durch den Austausch von Calcium-Ionen (Ca 2+ -Ionen). Deren Freisetzung bewirkt, daß die Rezeptoren an den Dendriten der Nachfolgezelle ihre Struktur ändern, Ionen eindringen und sich so das elektrische Potential der Nachfolgezelle ändert. Wenn die Signale der Vorgängerzellen einen Schwellenwert überschreiten, entsteht an der Basis des Axons wieder ein elektrischer Impuls, der zu den Nachfolgezellen wandert. Dies ist eine stark vereinfachte Beschreibung. Es existieren in der Natur auch Verbindungen zwischen zwei Axonen oder zwei Dendriten und verschiedene Ausprägungen von Synapsen (hemmend und erregend). Über die elektrischen Nervenimpulse hinaus haben Neuronen auch eine chemische Komponente. Durch die Ausschüttung von Neurotransmittern werden die Zellen auf chemischer Basis beeinflußt. Bekannte Neurotransmitter sind zum Beispiel Serotonin (entscheidend beim Vorgang des Schlafens), Dopamin (ein Mangel führt zur Parkinsonschen Krankheit) und Taurin (macht wach, Bestandteil vieler Energydrinks). Eine zweite Klasse chemischer Botenstoffe neben den Neurotransmittern sind die sogenannten Neuropeptide, das sind Abfolgen verschiedener Aminosäuren. Die landläufig bekannten Endorphine, die für das Gefühlsleben wichtig sind, gehören zu diesen Botenstoffen genauso wie die für das Schmerzempfinden zuständigen Stoffe Vereinfachungen bei ANN Aufgrund technischer (Rechenkapazität) und theoretischer Gründe (Vollständige Untersuchbarkeit) macht man meist bei künstlichen Neuronalen Netzen viele Vereinfachungen. Zwar wird der Lernprozess dadurch biologisch unplausibel, aber die Möglichkeiten zu umfangreicher wissenschaftlicher Betrachtung machen diesen Nachteil teilweise wieder wett. Bei ANN beschränkt man sich auf einige wenige Elemente der natürlichen Vorbilder. So betrachtet man alleine die elektrische Signalweiterleitung und vernachlässigt chemische Rezeptoren. Weiterhin reduziert man die Verästelung der Nervenzellen. 11

13 4. Original und Fälschung Im Gegensatz zu bis Eingangssignalen empfangen Neuronen in künstlichen Netzen um ein vielfaches geringere Signale, meist Eingangssignale pro Neuron. Dasselbe gilt für die Ausgabesignale, wo meist auf noch geringere Werte gedrosselt wird (im Gegensatz zu bis in der Natur).[19] ANN beinhalten wesentlich geringere Neuronenzahlen. Menschen haben etwa 110 Milliarden, während künstliche Netze meist in der Größenordnung von Neuronen liegen.[19] Die Dendriten, die in der Natur baumartige Strukturen bilden, werden durch eine Menge direkter Verbindungen nachgebildet. Plausibel bleibt dies trotzdem, da man einen Baum letztlich auch durch neue, nachgeschaltete Neuronen abbilden könnte. Normalerweise werden die zeitlichen Verzögerungen nicht modelliert, es gibt aber auch Klassen von künstlichen Neuronalen Netzen, die derartige Eigenschaften berücksichtigen (z.b. die Time Delay Netze (TDNN)). Im Gegensatz zur Natur enthalten ANN nur gleichartige Neuronen. Lediglich homogene Systeme sind bisher erfolgreich theoretisiert worden. Die Lernregeln, die benutzt werden, sind meist mathematisch entwickelt und sind teils biologisch gänzlich unplausibel. Auch überwachte Lernverfahren sind teilweise nicht biologisch erklärbar Kategorien von Neuronalen Netzen Je nach technischer Realisierung unterteilt man ANN in verschiedene Kategorien, die in der Theorie sehr detailliert aufgegliedert werden. Einige der wichtigsten (toplevel) Kategorien sind hier aufgelistet. Überwachtes / Unüberwachtes Lernen: Beim überwachten Lernen gibt ein Trainer dem Netz während des Lernprozesses Hinweise, ob die gefundene Lösung passend ist oder nicht. Entweder es wird die korrekte Lösung vom Trainer genannt, es wird eine Genauigkeit der Lösung vorgegeben oder eine Beurteilung als richtig/falsch. Bei Unüberwachtem Lernen gibt es kein solches Feedback, die entsprechenden Netze lernen meist, die Eingaben in diskrete Kategorien einzuteilen. Synchrone / Asynchrone Aktivierung Bei der sogenannten synchronen Aktivierung wird der Zustand der Neuronen gleichzeitig berechnet, im Folgeschritt werden die Aktivierungen dann weitergereicht. Im Gegensatz dazu stehen die asynchron aktivierten Neuronalen Netze. Bei Ihnen werden die Neuronen nach einer bestimmten Reihenfolge 12

14 4. Original und Fälschung berechnet. Es gibt asynchrone Netze mit fester, topologischer und zufälliger Reihenfolge. Vorwärtsgerichtet / Rekurrent: Ein vorwärtsgerichtetes Netz enthält nur Verbindungen in der Richtung von Eingabe- zur Ausgabeschicht. Dagegen hat ein rekurrentes Netz auch Verbindungen in der umgekehrten Richtung, leitet also Zwischenergebnisse auch wieder an frühere Schichten zurück. Kategorisch / Quantitativ: Kategorische Netze ordnen die Nutzereingaben in verschiedene, vorgegebene Kategorien ein. Im Gegensatz dazu liefern quantitative Netze einen kontinuierlichen numerischen Ausgabewert. deterministische / stochastische Aktivierung Deterministisch aktivierte Netze benutzen eine Aktivierungsfunktion, deren Ergebnis vorher berechnet werden kann. Im Gegensatz dazu gibt es auch Netze mit stochastischen Aktivierungsfunktionen, in denen eine Zufallskomponente mit eingeht. In der Theorie gibt es viele weitere Unterteilungen ( dimensionsreduzierend, autoassoziativ,...). Anzumerken ist, daß kategorische Netzwerke in der Regel auch als Klassifikationsnetzwerke bezeichnet werden. Die unüberwachte Klassifikation ist zum Beispiel gebräuchlich bei der Textklassifikation (Clustering) nach Thema. 13

15 5. Komponenten eines NN Es gibt viele unterschiedliche Neuronale Netze mit den verschiedensten Eigenschaften. Man begegnet auf einem Streifzug durch dieses Forschungsgebiet kleinen Netzen mit drei Schichten, großen und komplexen Strukturen, Kombinationen verschiedener Netzarten, Netzen die ihre Struktur im Lernprozess verändern und vielem mehr. Letztlich gibt es aber doch nur drei Elemente in Neuronalen Netzen: Neuronen, deren Verbindungen und die zugrunde liegende Lernregel. Wie also ist eine solche Vielfalt zu erklären? Und, noch interessanter, warum haben diese verschiedenen Netze teilweise so unterschiedliche Charakteristika und Einsatzgebiete? Die Lösung ist, daß Neuronen, ihre Verbindungen und die Lernregeln einige Parameter haben, die zwar einfach zu ändern sind, die aber dann weitreichende Änderungen des Verhaltens bewirken. Zum Beispiel besteht der interne Prozess eines Neurons (von Eingaben bis Ausgabe) aus verschiedenen Schritten und mit geschickter Wahl der darin wirkenden Funktionen gibt es interessante Änderungen Neuron Abbildung 5.1.: Aufbau eines künstlichen Neurons Gewichte Die erste Komponente Neuronaler Netze sind die Gewichtungen der Eingaben eines Neurons. Diese werden beeinflusst, wenn das Netz lernt, also den Fehler der Erkennung durch das Netz zurückschickt (Fehler-Propagierung). Es gibt verschiedene 14

16 5. Komponenten eines NN Techniken, die Gewichte beim Initialisierung eines künstlichen Neuronalen Netzes zu belegen. Während man alle Gewichte auf einen festen, neutralen Wert setzen kann (führt eventuell zu Problemen, siehe 6.2.1) ist die häufigere Praxis, zufällige Werte voreinzustellen. Der Bereich der Zufallswerte wiederum ist eine Sache der Festlegung. Während die einen sie möglichst eng um einen neutralen Wert verteilen, bevorzugen andere Entwickler die Zuweisung von Werten im gesamten Wertebereich des Neurons Aggregationsfunktion Die erste Phase in der Funktionsweise eines Neurons ist die Interpretation der Eingabewerte. Diese müssen in einen einzigen Wert umgerechnet werden, damit man eine normale, reellwertige Funktion darauf anwenden kann. Diese Umrechnung der Eingabewerte in einen Eingabewert wird von der sogenannten Aggregationsfunktion realisiert. Meist wird jeder Eingabewert mit seinem Gewicht multipliziert und dann werden alle Ergebnisse hieraus aufsummiert. Gegebenenfalls kann man das Resultat noch auf einen Wertebereich skalieren. Durch die Wahl anderer Aggregationsfunktionen (z.b. Multiplikation und ähnliches) kann der Einfluß der Eingabewerte verändert werden und somit auch der Wert der Aktivierungsfunktion Aktivierungsfunktion Die Aktivierungsfunktion berechnet aus den aggregierten Eingabewerten den Aktivierungswert der Zelle, der dann weitergereicht wird. Es gibt verschiedene Arten von Aktivierungsfunktionen: binäre Schwellenwertfunktion linear sigmoid Sehr beliebt sind sigmoide (S-förmige) Funktionen. Sie ermöglichen auch bei kleinen Änderungen der Eingabewerte deutliche Veränderungen der Ausgabe, während sie große Eingabewerte nicht so stark berücksichtigen. Die meistverwendeten Funktionen sind die (sigmoide) logistische Aktivierungsfunktion 15

17 5. Komponenten eines NN Abbildung 5.2.: Logistische Aktivierungsfunktion f log (x) = e x (5.1) sowie die logistische Aktivierungsfunktion mit Temperatur-Parameter f logt (x, T ) = e x/t (5.2) die im Unterschied zur normalen logistischen Aktivierungsfunktion je nach Temperatur entweder fast linear ist oder sich der binären Schwellenwertfunktion annähert. Die dritte populäre Aktivierungsfunktion ist der Tangens hyperbolicus, der auch durch die logistische Funktion ausgedrückt werden kann: f tanh (x) = tanh(x) = ex e x e x + e x = 2 f log(2x) 1 (5.3) Eine wichtige Eigenschaft kann die Stetigkeit und Differenzierbarkeit der verwendeten Funktion sein, da das Lernverfahren Backpropagation die erste Ableitung der Aktivierungsfunktion benötigt. Alle drei oben aufgeführten Funktionen erfüllen diese Eigenschaften und sind überdies sehr bewährt und gut untersucht. Wichtige Kennzahl jeder Aktivierungsfunktion ist der sogenannte Schwellenwert Θ. Er gibt an, ab welcher ein Neuron (stark) aktiv ist. Mathematisch gesehen, ist Θ die Stelle der größten Steigung einer monoton wachsenden Aktivierungsfunktion. Es gibt außerdem die Unterscheidung deterministischen und stochastischen Aktivierungsfunktionen. Die deterministische Aktivierungsfunktion ist der Normalfall, während eine stochastische Aktivierungsfunktion in den berechneten Wert noch Zufallswerte einbezieht. Mit diesen stochastischen Zusätzen soll das Lernen natürlicher 16

18 5. Komponenten eines NN gemacht werden und man verspricht sich davon, gegebenenfalls durch die Zufallskomponente aus lokalen Minima herauszukommen Ausgabefunktion Die Ausgabefunktion wird häufig in der Literatur mit der Aktivierungsfunktion zusammengefasst und einfach wieder Aktivierungsfunktion genannt. Ihr Zweck ist es, das Ergebnis der Aktivierungsfunktion in den Ausgabewert umzurechnen. Das beinhaltet zum Beispiel die Skalierung des Ergebnisses (falls gewünscht) und andere Anpassungen. Die Ausgabefunktion getrennt zu betrachten ist meist nicht sinnvoll, da ihre Funktionalität auch einfach durch geringe Änderungen der Aktivierungsfunktion abgebildet werden kann Propagierungsfunktion / Lernregel Das dritte Grundelement in Neuronalen Netzen ist die Lernregel. Sie sorgt dafür, daß das Netz aus Fehlern lernt und sich an die Tatsachen anpasst. Dabei wird der Fehler der letzten Erkennung durch das Netz zurückgeleitet und die Gewichte und/oder Topologie des Netzes wird damit verändert. Ziel ist damit eine Fehlerminimierung der Erkennungsleistung des ANN. Auch wenn viele moderne Regeln eine Erweiterung der Hebbsche Lernregel sind, so gibt es eine breite Streuung der Ansätze und zugrundeliegenden Prinzipien Hebbsche Lernregel Die sogenannte Hebbsche Lernregel wurde schon 1949 entdeckt und gilt als universelles Lernprinzip in künstlichen Neuronalen Netzen. w ij = ηo i a j = η h(o i, w ij ) g(a j, t j ) (5.4) Hebbsche Lernregel Hier ist w ij die Änderung des Gewichts w ij zwischen dem Neuron i und dem Neuron j, η die Lernrate (eine konstante Zahl), o i die Ausgabe der Vorgängerzelle i und a j die Aktivierung der Nachfolgezelle j. Die Hebbsche Lernregel wird meist mit einer binären Aktivierungsfunktion verwendet. Da dabei jedoch nur eine Zunahme der Gewichte erfolgen kann (Ausgabewert 0 oder 1), legt man die Aktivierungen -1 und 1 fest. In dem Fall liefert die Lernregel eine Verringerung der Gewichte, wenn die Vorgängerzelle und Nachfolgezelle nicht übereinstimmen und sonst eine positive Verstärkung. 17

19 5. Komponenten eines NN Delta-Regel, Widrow-Hoff-Regel Eine Weiterentwicklung der Hebbschen Lernregel ist die Delta-Regel (auch bekannt als Widrow-Hoff-Regel), die die Differenz von tatsächlicher Aktivierung a j und erwarteter Aktivierung t j mit einbezieht. w ij = ηo i δ j = ηo i (t j a j ) = ηo i (t j o j ) (5.5) Delta- bzw Widrow-Hoff-Regel Hier ist t j der sogenannte teaching input, also die erwartete Ausgabe im Gegensatz zur erwarteten Aktivierung bei der Hebbschen Lernregel. Die Deltaregel wird nur bei linearen Aktivierungsfunktionen verwendet und ist ein Spezialfall der später erläuterten Backpropagation-Regel Topologie Letztlich ist auch die Art der Verknüpfung der einzelnen Neuronen von Interesse. So können die Neuronen schichtweise vollständig verknüpft sein, ihre Ausgabe an vorherige Schichten zurückleiten oder Verknüpfungen können Schichten übersprungen ( sogenannte shortcut connections ). Änderungen der Topologie Einige ANN verändern im Rahmen ihres Lernprozesses nicht (nur) ihre Gewichte, sondern entfernen alte Verbindungen und fügen neue hinzu - manche Netze erschaffen im Lernprozess sogar gänzlich neue Knoten. Ein Beispiel dazu ist die Cascade Correlation Learning Architecture, die ich nicht mehr im Rahmen dieser Arbeit erläutern kann. 18

20 6. Bekannte Verfahren 6.1. Das Perzeptron Das Perzeptron war quasi die erste Anwendung von künstlichen Neuronalen Netzen. Es tauchte bereits Ende der fünfziger Jahre auf und konnte einfache Handschrift erkennen (die Ziffern 0 bis 9). Abbildung 6.1.: Schema eines einstufigen/zweistufigen Perzeptron Das Schema für einstufige und zweistufige Perzeptrons ist identisch, ihr Unterschied besteht nur in der Realisierung des Ausgabeneurons. Ein einstufiges Perzeptron realisiert dieses mit einer binären Schwellenwertfunktion und trainierbaren Gewichten. Dadurch kann das einfache Perzeptron alle Funktionen realisieren, deren Ergebnisse durch eine Hyperebene beziehungsweise (im Fall von zwei Eingabeneuronen) durch eine Linie in richtig und falsch separiert werden können: Das zweischichtige Perzeptron verwendet als Ausgabeneuron eine andere Form von Neuron. Dabei sind die Gewichte von der vorigen Schicht w 36 bis w 56 fest auf 1/3 19

21 6. Bekannte Verfahren Abbildung 6.2.: Akzeptanzbereich eines einstufigen Perzeptron gesetzt und eine sigmoide Aktivierungsfunktion mit Schwellenwert Θ 6 = 0.9 wird verwendet - dadurch entsteht ein logisches UND auf die Eingaben. Somit ist die Ausgabe genau dann gleich 1, wenn (o 1,o 2 ) im dunkel markierten Bereich liegt: Abbildung 6.3.: Akzeptanzbereich eines zweistufigen Perzeptrons Man kann die Stufen eines Perzeptrons bis auf drei erhöhen. In diesem Fall realisiert man mehrere zweistufige Perzeptrons, deren Ausgaben man dann nach Bedarf mit UND, ODER, UND NICHT oder ähnlichen Operationen verknüpfen kann. Damit kann man beliebig geformte konvexe Polygone als Akzeptanzbereich des Perzeptrons erreichen und dementsprechende Funktionen repräsentieren. Forschungen haben ergeben, daß eine Erhöhung der Stufen auf vier und höher keinerlei weitere Eigenschaften mehr ergeben. Das XOR-Problem Beinahe hätte die Arbeit von Minsky und Papert [6] den Neuronalen Netzen als Forschungsgebiet den Todesstoss versetzt (siehe Kapitel zur Geschichte der ANN). Sie wiesen nach, daß nicht jede mathematische Funktion durch ein einfaches Perzeptron berechnet werden kann. Ein Beispiel dafür ist das XOR-Problem, also die Berechnung der XOR-Funktion. Abbildung 6.4.: Das XOR Problem Das einfache Perzeptron kann alle Funktionen abbilden, die einen einfachen Schnitt der Eingabemenge repräsentieren. Bei XOR gibt es jedoch keine Gerade, auf deren 20

22 6. Bekannte Verfahren einen Seite die Nullwerte und auf deren anderen Seite die Einswerte liegen. Damit ist dieses Problem nicht repräsentierbar. Die Folgerung aus dieser Erkenntnis, daß auch mehrstufige Perzeptrons diese Probleme nicht verarbeiten könnten, war aber wie wir eben gesehen haben falsch Das Lernverfahren Backpropagation Neuronale Netze sind fehlerminimierend - das heißt, sie versuchen die Anzahl der Erkennungsfehler minimieren. Dazu wird die Abweichung von der tatsächlichen Lösung rückwärts durch das Netz zurückpropagiert und das Netz wird so angepasst, daß die Erkennungsrate steigt. Man kann sich in einem einfachen Fall die Fehlerfläche zweier Gewichte w 1 und w 2 eines Neurons optisch klarmachen: Abbildung 6.5.: Fehlerfläche als Funktion der Gewichte w 1 und w 2 Es gibt also Kombinationen von Gewichten die sehr viel mehr Fehler erzeugen und solche, die fast keine Fehler mehr verursachen. Das Problem ist jetzt, die Kombinationen zu finden, bei denen der Erkennungsfehler minimal ist. In konkreten Netzwerken ist das komplizierter, wenn die Anzahl der Gewichte insgesamt weit in die Zehntausende geht. In diesem Fall braucht man ein leistungsfähiges Lernverfahren, um möglichst das globale Minimum in dieser Fehlerfläche zu finden. Eines der ersten, und der bekanntesten, Verfahren hierzu ist Backpropagation. In habe ich die Delta-Regel für lineare Aktivierungsfunktionen erklärt, die eine 21

23 6. Bekannte Verfahren unmittelbare Weiterentwicklung der Hebbschen Lernregel für binäre Schwellenwertfunktionen ist. Es wurde aber schon angesprochen, daß man eine sigmoide Aktivierungsfunktion bevorzugt, da diese kleine Änderungen besser berücksichtigt als grosse. Man möchte die Delta-Regel auf nichtlineare Funktionen erweitern, um eine einfache Lernregel für Netze mit z.b. sigmoiden Aktivierungsfunktionen zu erhalten. Der Grund dafür, daß wir nicht die alte Delta-Regel nutzen können, liegt in der Nichtlinearität der Aktivierungsfunktion. Diese erlaubt es nicht, den teaching input t j in der Formel zu ermitteln. Durch Differenzierung der Aktivierungfunktion und einige Umformungen der Standard- Delta-Regel ergibt sich w ij = δ j ηo i (6.1) δ j = { (1 o j )(t j o j ) für Neuronen der Ausgabeschicht (1 o j ) k δ kw jk sonst (6.2) für Backpropagation bei der logistischen Aktivierungsfunktion Symmetry breaking Falls das ANN mit gleichen Gewichten initialisiert wird, bekommt Backpropagation Probleme. In diesem Fall kann das System keine unterschiedlichen Gewichte in den verdeckten Schichten mehr annehmen; damit ist die Ausbildung unterschiedlicher Gewichte nicht mehr möglich. Die Lösung dieses Problems ist jedoch sehr einfach: indem man kleine, zufällige Werte als Initialgewichte angibt Lokale Minima Da Backpropagation ein lokales Lernverfahren ist, also keine Sicht auf die globale Fehlerfläche des Netzes besitzt, besteht die Gefahr, daß es in lokalen Minima stehenbleibt. Die Wahrscheinlichkeit dafür kann ziemlich groß sein, da bei wachsender Zahl der Verbindungen die Fehlerfläche immer zerklüfteter wird. Aus der Praxis hat sich jedoch ergeben, daß bei genügend niedrigem Lernfaktor η ein gutes Minimum gefunden wird. 22

24 6. Bekannte Verfahren Lernfaktor η Entscheidend für den Erfolg von Backpropagation ist die Wahl des Lernfaktors η, der die Schrittweite der Suche nach einem Minimum angibt. Zu große Werte von η resultieren in zu großen Sprüngen auf der Fehlerfläche (somit werden enge Minima nicht gefunden oder aus ihnen herausgesprungen) während zu kleine Werte wiederum in einem sehr großen Zeitaufwand des Lernens resultieren. Für dieses Problem gibt es keine allgemeingültige Lösung, jedoch wird empfohlen, mit großen η von etwa 0.9 zu beginnen und sich kleineren Werten anzunähern Weitere Netzwerke Es gibt eine große Zahl weiterer Netzwerktopologien, die auch sehr interessant sind. Zu nennen wären da zum Beispiel eine Weiterentwicklung von Backpropagation namens Backpercolation, die Lernende Vektorquantisierung (LVQ), Kohonen- Netzwerke und andere. Da die Erläuterung dieser Netztypen den Rahmen dieser Arbeit weit sprengen würde, kann ich die Lektüre Simulation Neuronaler Netze von Andreas Zell [19] sehr empfehlen. 23

25 7. Evolutionäre Neuronale Netze Evolutionäre Künstliche Neuronale Netze (abgekürzt EANN) sind ein relativ junges Teilgebiet der Neuronalen Netze. Sie tauchten anfangs der neunziger Jahre auf und kombinieren Neuronale Netze mit einer Konkurrenztechnik der Lernverfahren: den Genetischen Algorithmen Einschub: Genetische Algorithmen (GA) Genetische Algorithmen sind zwar für sich alleine schon ein Lernverfahren und treten dadurch in Konkurrenz zu Neuronalen Netzen, aber es gibt interessante Ideen, wie man diese beiden Themen kombinieren kann. GA basieren auf einem evolutionären Verfahren, um gute Lösungen für Probleme zu finden. Es werden Teile von Algorithmen oder Teillösungen kodiert und nach (pseudo-)biologischen Verfahren miteinander gekreuzt. Dabei werden Populationen von möglichen Kombinationen von Teillösungen gebildet, deren Überlebensfähigkeit bewertet wird. Dafür wird sozusagen eine Punktzahl für diese Lösung vergeben, je nachdem wie gut sie ist. Die fittesten Teillösungen werden dann an zufälligen Stellen gekreuzt und mit einer geringen Wahrscheinlichkeit mutiert. So könmnen sich nach einigen hundert Generationen immer bessere Lösungen für das Problem herausbilden, auch wenn man wenig oder nichts über den Problembereich weiß GA + ANN = EANN Die Idee, Genetische Algorithmen mit Neuronalen Netzen zu kombinieren, ist schon 1990 beschrieben worden [17]. Yao beschreibt zum Beispiel[15] drei Arten von Evolutionären Künstlichen Neuronalen Netzen: Gewichtsoptimierend Topologieoptimierend Lernregeloptimierend 24

26 7. Evolutionäre Neuronale Netze Weitere Beschreibungen finden sich in den Arbeiten von Seiffert [12] und Robbins [13]. Es gibt verschiedene Varianten von EANN. Allen gemein ist jedoch, daß bestimmte Parameter der Neuronalen Netze in eine Art Genom kodiert werden, das dann in einem Prozess von Selektion, Kreuzung und Mutation immer weiter modifiziert wird. Zwar ist schon seit längerer Zeit bekannt, daß EANN langsamer lernen als konventionelle Neuronale Netze mit Backpropagation (BPNN). Dabei sind die Lösungen von BP allerdings weniger gut als die von EANN, da sie dazu tendieren, in lokalen Minima der Fehlerfläche steckenzubleiben. Seit fast 15 Jahren wird rund um die noch wenig populären EANN intensive Forschung betrieben. Ein guter Startpunkt ist die Skriptsammlung der Vorlesung ANN- GA im Jahr 2002 der Chengchi University in China[20] 7.3. Verbindungsgewichte Bei diesen EANN bilden verschiedene gewichtete ANN die Kandidaten in der Population der Genetischen Algorithmen. Diese werden mit verschiedenen Trainingssätzen gespeist und Ihre Übereinstimmung mit den richtigen Antworten wird zu einer Fitness berechnet. Damit wird die Fitnessfunktion Genetischer Algorithmen ersetzt durch eine experimentelle Basis. Nach der Deklaration der Fitnesswerte werden die für GA üblichen Operationen wie zum Beispiel Kreuzung und Mutation durchgeführt und der Prozess beginnt mit der entstehenden neuen Population abermals Topologie Im gleichen Zuge kann man natürlich auch die Topologie mit Hilfe evolutionärer Methoden modifizieren. Beide Verfahren sind einfach zu realisieren, da die Gewichte und Verbindungen durch Adjazenzmatrizen/-listen repräsentiert werden können. Deren Kodierung und die Verarbeitung ist gut zu handhaben. Der Nachteil von GA in NN sind folglich: Wenn jeder Kandidat in der Population der Neuronalen Netze mit allen bzw vielen Trainingsdaten berechnet werden muss um die Fitness zu ermitteln, dann ist der Rechen- und Zeitaufwand enorm. Allerdings ist nicht auszuschließen, daß die Lerngeschwindigkeit einer solchen GA- ANN Kreuzung geringer ausfällt als die eines guten Neuronalen Netzes mit modernen Lernimplementationen (z.b. Quickprop als Weiterentwicklung von Backpropagation). Als Vorteil können solche Netze Lösungen finden, für die ein konventionelles Neuronales Netz lange Zeit brauchen würde oder die es eventuell nicht findet (Problem lokaler Minima). 25

27 8. Neuronale Netze in MAS Wie jedes andere Lernverfahren sind auch künstliche Neuronale Netze in Multiagentensystemen (MAS) einsetzbar. Dabei wären zwei verschiedene Arten von Einsatz denkbar. Jeder Agent hat sein eigenes kleines ANN. Jeder Agent hat ein kleines ANN, alle eines Teams teilen ein großes. Der letztere Ansatz wäre von Vorteil, um eine Art Gruppenlernen zu ermöglichen, beispielsweise um sich auf die Taktik einer zweiten Agentengruppe einzustellen. Dieses Verhalten wäre bei Menschen genauso vorhanden, nur daß diese dazu noch der Kommunikation bedürften. Die Realisierbarkeit dieser Variante wäre noch zu überprüfen, insbesondere das Überschreiben von Teilen des kollektiv Erlernten durch individuellere Muster. Natürlich muß man für einen konkreten Einsatz Neuronaler Netze einiges spezifizieren. Dazu gehören eine Aufgabenstellung, Eingaben der Agenten (Sensoren), Ausgaben (Aktoren) und die Durchführung des Trainings. Ich beziehe mich hier konkret auf die Projektgruppe, in deren Verlauf diese Seminararbeit entstanden ist Aufgabenstellung der Projektgruppe KIMAS Unsere Projektgruppe hat sich das Ziel gesetzt, Agenten in einer handelsüblichen 3D-Engine Aufgaben lösen zu lassen, die Wahl fiel hier auf Quake III wegen der Verfügbarkeit eines SDK und wegen der (relativen) Plattformunabhängigkeit. Die erste Aufgabe für unsere Agenten ist das kollektive Bauen von Gebilden wie Wänden und auch Gebäuden. Dazu wird die Quake III-Engine für die Möglichkeit des Bauens modifiziert (sie bietet solche Möglichkeiten in keinster Weise). Die Agenten sollen sich dann untereinander koordinieren, Teilaufgaben des Bauvorgangs aufteilen und im Team dieses Gebilde aufbauen. Die zweite Aufgabe ist dann wettbewerbsorientierter. Zwei Teams von Agenten sollen gegeneinander im Spielmodus Capture the Flagäntreten. In dieser Variante hat jedes Team eine Fahne, die das gegnerische Team erbeuten und zu seiner Basis bringen 26

28 8. Neuronale Netze in MAS möchte. Schafft ein Team dies, bekommt es einen Punkt. Dieser Spielmodus vereint viele Problemstellungen. So ergeben sich Teilprobleme wie Geländeerkundung, Wegfindung und Offensiv- und Defensivtaktiken. In einer späteren Phase werden auch die Baueigenschaften der ersten Aufgabe freigeschaltet, so daß kleinere Befestigungsanlagen gebaut werden können Eingaben für die Agenten Die Eingaben, die die Agenten empfangen, ergeben sich durch die umgebende 3D- Umgebung der Quake III-Engine. Diese bietet im groben drei verschiedene Eingabearten. visuelle Informationen Die Agenten werden über Objekte und Geländeeigenschaften in Ihrer Umgebung informiert. Dabei werden zwar nicht wirkliche Bilder übermittelt, deren Inhalt erkannt werden muß, aber die Übergabe von Objektkoordinaten kommt einer visuellen Wahrnehmung sehr nahe - zudem wird der Sichtbereich auf ein menschliches Maß von etwa 110 Grad eingeschränkt. Audioinformationen Die Quake III Engine bietet auch Geräusche und deren Lokalisierung. Hierbei werden den Agenten prinzipiell nur die Dateinamen der Geräusche mit deren Lautstärke und Richtungsvektor übergeben. Die Agenten können, durch eine von uns eingebaute Unsicherheit, aber nur in etwa die Quelle orten. Auch damit soll eine menschenähnlichere Wahrnehmung erzeugt werden. Kommunikation mit den Agenten Die Kommunikation im Team erfolgt wahlweise durch eigene Protokolle oder durch Nutzung der in Quake III vorhandenen Chatmöglichkeiten. Hierbei muß das genaue Protokoll festgelegt werden. Denkbar sind neben Eigenentwicklungen auch MAS-Standards wie KRSL[22], KQML[22] oder XML-basierte Weiterentwicklungen wie FLBC[23] Ausgaben der Agenten Bewegung Für die Bewegung wird im Rahmen der Projektgruppe eine klar definierte Schnittstelle geschaffen, mit der alle wichtigen Bewegungsarten möglich sind. Neben Geschwindigkeit und Richtung sind darin auch Gehen, Laufen, seitliche Bewegung, Ducken, Kriechen und Springen vorgesehen. 27

29 8. Neuronale Netze in MAS Manipulation der Umwelt In unseren Spielmodi ergibt sich immer auch die Notwendigkeit, Gegenstände aufzunehmen oder abzulegen. So gibt es neben Zusatzwaffen und Munition auch Healthpacks (um Treffer zu verarzten) und, im Capture-the-Flag Modus, die gegnerische Fahne. Schießen In beiden Aufgabenstellungen ist das Schiessen eine zentrale Aktion. Während im Baumodus mit einer Spezialwaffe ( Bricker ) die Bausteine an ihrer Position platziert werden, ist in der zweiten Aufgabe das Treffen gegnerischer Teammitglieder ein wichtiges Element. Um wiederum ein menschliches Verhalten zu erzeugen, haben wir eine Trefferungenauigkeit eingefügt. Kommunikation Zur Abstimmung der Teammitglieder, der Zuweisung von Teilaufgaben und eventuell auch zur Störung der Gegner ist die Kommunikation über z.b. den Teamchat wichtig und zu berücksichtigen Der Trainingsprozess In unserer Aufgabe ist der Trainingsprozess sehr zeitaufwendig. Wir arbeiten, im Gegensatz zu vielen andren vorstellbaren Problemen, hier in einer Echtzeitumgebung (darunter verstehe ich in diesem Fall, daß das Training eines Vorgangs genauso viel Zeit wie die Lösung der Aufgabe später benötigt). Da nun Neuronale Netze eine Situation mehrfach üben müssen, brauchen wir viele verschiedene Trainingsläufe, damit die Agenten ihre Aufgabe zu lösen lernen. Vermutlich werden wir also viele Tage lang Simulationsläufe durchführen müssen. 28

30 9. Fazit 9.1. Vorteile Biologisch plausibel: Die Nachmodellierung von natürlichen Neuronalen Netzen ist der vielleicht logischste Weg, um lernende Systeme zu ermöglichen. Andere Verfahren, wie zum Beispiel eine Parameteroptimierung jedweder Art, sind in der Natur auch durchaus präsent Die Genetischen Algorithmen (siehe 7.1) beispielsweise kommen in ähnlicher Form in der Natur nur zum Einsatz um eine globalere Suche durchzuführen, die wir als Evolution bezeichnen. In diesem Prozess ist auch das Element der Kooperation vorhanden, was wieder mit Neuronalen Netzen zu tun hat. Letztlich sind die biologischen Neuronalen Netze die Basis fast aller natürlicher Intelligenz (ausgenommen z.b. Quallen, die keine Neuronen haben) und versprechen daher ähnliches auch für die künstliche Intelligenz - wenngleich sie vermutlich nie auch nur annähernd der natürlichen nahe kommen wird. Sehr anpassungsfähig: Durch einen fortlaufenden Lernprozess, auch nach dem Abschluss einer initialen Trainingsphase, können sich Neuronale Netze auch an sich ändernde Bedingungen und Unvorhergesehenes anpassen. Dies steht im krassen Gegensatz zu anderen Lernverfahren, die meist die Lösung in einem Trainingsverfahren finden und später stur anwenden (sogenannte offline-lernverfahren). Neuronale Netze dagegen gehören zu den online-lernverfahren, die sozusagen in der Praxis weiterlernen können, wenn sie entsprechend angelegt sind Nachteile Relativ langsames Lernen: ANN lernen im Vergleich zu manchen anderen Lernverfahren relativ langsam. Es gibt (biologisch unplausiblere) Verfahren, die um viele Faktoren schneller lernen und dann nahezu optimale Lösungen liefern. 29

31 9. Fazit Schlechte Nachvollziehbarkeit: Nach dem Training ist anhand der Gewichte dem ANN in keiner Form anzusehen, wieso das ausgebildete Netz das tut was es tut. Die Kodierung von Eingaben als Zahlen und ihre mathematische Weiterverarbeitung ist für uns Menschen in keinster Weise intuitiv und nachvollziehbar. Man kann also nicht beweisen, ob ein ANN auch wirklich das gelernt hat, was es soll (2.4) oder zu berechnen wie gut die Erkennungsleistung geworden ist. Beides kann man nur experimentell bestimmen, genauso wie es trainiert wurde. Große Trainingsbasis mit guten Daten erforderlich: Um ein künstliches Neuronales Netz mit ausreichend Input zu versorgen, muß die Trainingsbasis nach Möglichkeit groß und gleichmässig strukturiert (auch hier das Panzerproblem in 2.4). Der Durchlauf durch diese Trainingsbasis ist auch ein Grund für das relativ langsame Lernen und die Effizienzprobleme von evolutionären Neuronalen Netzen (Siehe 7.2) Schlussbemerkungen Viele Punkte sprechen für oder gegen den Einsatz von Neuronalen Netzen in Multiagentensystemen. Aber auch wenn man die Negativargumente vernachlässigt oder einige davon einem konkret nicht wichtig sind, so ergeben sich Probleme bei der Realisierung. Welche Verfahren sind am günstigsten Wie gut sind Agenten mit ANN im Gegensatz zu Agenten anderer Art Letzlich wäre vermutlich eine Kombination von Neuronalen Netzen und anderen Techniken, also eine hybride Agentenstruktur, die beste Alternative. Während teaminterne Strategien mit Neuronalen Netzen solide erlernt werden können und auch vor gegnerischer Strategie weitgehend immun sind, sollte die grundlegende Spieltaktik mit anderen Mitteln realisiert werden. Denkbar wären da schnelle offline- Lernverfahren wie Genetischen Algorithmen, deren Simulationsgeschwindigkeit weit höher ist. Wie so oft in Wissenschaft und Praxis gibt es also auch durch Neuronale Netze keine ultimative Lösung aller Probleme. Wieder ist eine gute Symbiose verschiedener Techniken gefragt. Ich will hier die Neuronalen Netze mit meinen letzten Aussagen nicht demontieren - im Gegenteil. Sie sind ein nützlicher Bestandteil, um erfolgreich Aufgaben zu meistern. Aber ihre wahre Kapazität erreichen sie erst in Kombination mit andren Verfahren. Teamwork ist eben doch alles. 30