Adaptive Resonance Theory [ART] - Ein neuer Ansatz lernender Computer -

Transkript

1 Pro Seminar im Grundstudium - Neuroinformatik: Adaptive esonance Theory [AT] - Ein neuer Ansatz lernender Computer - Author: Alexander-Marc Merten Fachsemester: 3 Holzsteige Dornstadt am18@informatik.uni-ulm.de Einleitung: AT wurde 1976 von Stephen Grossberg und Gail Carpenter an der Boston University entwickelt. Stephen Grossberg ist Professor der Mathematik, Psychologie und des biomedical Engineering [3]. Der Begriff AT steht nicht für ein einzelnes Modell neuronaler Netze, sondern meint vielmehr eine Familie von Modellen, deren Ziel es, die Art und Weise nachzubilden, wie das menschliche Gehirn Informationen verarbeitet. Von den bisherigen Vorträgen kennen wir die Konzepte des überwachten und des unüberwachten Lernens. AT fällt in letztere Kategorie, und muss sich demzufolge auch mit dem Stabilitäts-Plastizitäts-Dilemma (SPD) auseinandersetzen. Im Folgenden sei diese Problematik noch einmal beschrieben: Ein bereits stabiles System das alle seine Eingabevektoren erkennt und korrekt zuordnet, wird durch die Eingabe eines neuen, noch unbekannten Vektors destabilisiert, so dass alle Vektoren neu geprüft und gegebenenfalls neu erlernt werden müssen. Bezogen auf das Vorbild des menschlichen Lernverhaltens, erkennt man ferner, dass hier eine große Lücke zur Wirklichkeit klafft. In der realen Welt tritt eine einzelne Trainingssituation selten mehr als einmal in derselben Form auf. Eben so wenig wie eine neue Situation altes Wissen völlig zerstören darf. Im Gegensatz zu anderen Modellen, wie zum Beispiel den Perzeptronen, ist es AT Architekturen jedoch möglich, das SPD zu lösen. Es ist ihnen also möglich neue Assoziationen zu erlernen (Plastizität), ohne dabei alte Assoziationen zu vergessen (Stabilität). AT Netzwerke bilden folglich beide Seiten des Lernens nach, ohne dabei zu vergesslich zu werden oder ihre Anpassungsfähigkeit zu verlieren. AT Netze sind Architekturen, die insbesondere geeignet sind, um Aufgaben zu lösen die das Clustern einer Menge von Eingabevektoren verlangen. Die mathematischen Zusammenhänge und Vorgänge innerhalb eines AT Netzwerkes sind relativ komplex und umfangreich. Sie werden im Folgenden vereinfacht dargestellt. 1

2 Übersicht: Hier einige der bekannteren Vertreter der AT Architektur. AT 1 (1976) Die ursprüngliche Version der AT Architektur, welche nur binäre Eingabevektoren verarbeiten kann. AT 2 (1987) Eine Erweiterung der AT 1 Architektur. Es ist nun möglich, analoge Eingabevektoren kontinuierlich zu verarbeiten. Fuzzy AT (1991) Eine Kombination aus Fuzzy Logik und AT. Simplified Fuzzy AT MAP Eine starke Vereinfachung des Fuzzy AT MAP Modells, bei der nur geringfügige Einstellungen von Nöten sind [7]. Weitere bekannte Modelle, die im Weiteren jedoch keine Erwähnung finden werden: AT 2a (1991) Eine Vereinfachung der AT 2 Architektur, um eine schnellere Konvergenz des neuronalen Netzes beim Lernen zu ermöglichen. AT 3 (1990) Zusätzliche Erweiterung der AT 2 Architektur, um zeitliche und chemische Vorgänge besser modellieren zu können. AT MAP (1991) eine alternative Variante des AT Modells, welche ein überwachtes Lernverfahren verwendet. Die Architektur besteht aus 2 miteinander kombinierten AT Netzen. Bis auf AT MAP und dessen Erweiterungen (z.b. simplified fuzzy AT MAP) sind alle bisher vorgestellten Versionen des AT Modells unüberwacht. 1. AT Architekturen Im Folgenden wird nun auf die verschiedenen AT Architekturen, deren Besonderheiten und Arbeitsweisen eingegangen. Dabei soll erklärt werden, wie ein AT Netzwerk in der Lage ist das Stabilitäts-Plastizitäts-Dilemma (SPD) zu lösen. 1.1 AT 1 [5]: Erkennungsschicht (recognition layer), F 2-Schicht + + j - Gain g2 U T eelwertige Gewichtsmatrix B ij Gain g1 Binäre Gewichtsmatrix T ji (Top down Matrix) V i (Bottom up Matrix) S - Vergleichsschicht comparison layer F 1-Schicht eset + Toleranz (vigilance) Eingabevektor (binär) I Abb. 1: Überblick über die AT 1 Architektur 2

3 1.1.1 Allgemeines: Der Lernalgorithmus eines AT 1 Netzes sieht wie folgt aus: Zu Anfang hat jedes neuronale Netz eine gewisse Anzahl an freien Neuronen, die als Knoten für die Klassifizierung der Eingabevektoren dienen. Liegt kein Eingangsvektor an, so verharrt das neuronale Netz in einem passiven uhezustand und wartet auf seine Aktivierung von außerhalb. Sobald ein Eingabevektor anliegt, wird er in das Netz gespeist und eine Suche unter den bereits bestehenden Knoten (Kategorien) gestartet. Sollte ein Vektor keinem Knoten ähnlich genug sein, um sie auswählen zu können, so wird eine neuer Knoten für diese Eingabe erstellt und mit ihr initialisiert. Wird jedoch ein Knoten gefunden, der unter der vorgegebenen Toleranz passend ist, so wird dieser leicht modifiziert um der Eingabe ähnlicher zu werden Sind keine freien Neuronen mehr vorhanden, um eine neue Kategorie einzurichten, so ist es nur noch möglich bereits bestehende Knoten zu modifizieren, aber neues Wissen kann nicht mehr erlernt werden Architektur - Übersicht: Vergleichsschicht comparison layer (F 1 ): Jedes Neuron der Vergleichsschicht besitzt 3 Eingänge, die steuern ob das jeweilige Neuron feuert oder nicht. Dabei wird nach der so genannten 2/3 egel verfahren: Nur wenn 2 der 3 Eingänge aktiv sind, findet eine Aktivierung statt. Wie im Folgenden gezeigt werden wird, ist es nicht möglich, das alle 3 Eingänge gleichzeitig aktiv sein können (s ). Die Eingänge sind, analog zur obigen Abbildung: I i Komponente des Eingabevektors, g1 Verstärkungssignal (liegt bei allen Neuronen gleich an. Siehe Gain und eset ), V j Komponente der gewichteten Summe der Antwort der Erkennungsschicht. Erkennungsschicht recognition layer (F 2 ): Die Erkennungsschicht erhält den Eingabevektor von der Vergleichsschicht, und bestimmt die jeweils passende Kategorie. Dies geschieht durch den direkten Vergleich der Skalarprodukte des Vektors I, der über S nach oben gereicht wird, und der Gewichtsmatrix B i, wobei das Neuron mit dem maximalen Ergebnis gewinnt. Sollten 2 Neuronen dasselbe Skalarprodukt erhalten, wird das Neuron mit dem niedrigsten Index ausgewählt. So wird gewährleistet, dass immer nur ein Neuron gleichzeitig feuern kann, während alle anderen Neuronen unterdrückt werden. Gain (g1, g2) und eset: Das Konzept der Verstärkungsvektoren wurde eingeführt, um eine Synchronisierung im Netz zu erreichen. Während g2 eine Aktivierung der Erkennungsschicht nur gestattet, falls ein Vektor an das Netz angelegt ist, steuert g1 die Aktivierung der Neuronen der Vergleichsschicht, gemäß der oben beschriebener 2/3 egel. Die eset Komponente hingegen widerruft fehlerhafte Zuweisungen. Es gilt: g1 = 1, wenn mindestens eine Komponente von I = 1 und keine Komponente von U = 1, g2 = 1, wenn mindestens eine Komponente von I = 1, eset = 1, wenn S und I (in der Vergleichsphase) um mehr als den Toleranzparameter unterscheiden. Gewichtsmatrizen B und T: Im Gegensatz zu anderen Architekturen auf dem Gebiet der neuronalen Netze, wie zum Beispiel den Perzeptronen, verfügt die AT Architektur über eine Hin- und ückrichtung zwischen den einzelnen Schichten. Die Bottom-Up Matrix B liefert die Verknüpfung der Neuronen in der Vergleichsschicht mit denen der Erkennungsschicht, während die Top- Down Matrix T die Verbindungen in ückrichtung liefert. 3

4 1.1.3 Adaptionsverlauf: Bevor es dem Netz möglich ist zu lernen, muss als erstes eine Initialisierung stattfinden: Setzen des Toleranzwertes ñ (ho) Der Toleranzwert wird zwischen 0 und 1 gewählt. Dabei gilt: je größer der Wert, desto kleiner wird der Bereich den eine Kategorie umfassen kann, die Clusterung wird also feiner. Es werden also mehr Kategorien erstellt. Ein niedriger Wert hingegen sorgt für eine gröbere Klassifizierung. Meist werden hier Werte zwischen 0,7 und 0,99 benutzt. Setzen der Werte der Top-Down Matrix T ji Alle Werte dieser Matrix werden zu Beginn auf 1 gesetzt. Sie werden im späteren Adaptionsverlauf an ihr jeweilig repräsentiertes Muster angepasst. Setzen der Werte der Bottom-Up Matrix B ij Alle Werte dieser Matrix werden auf denselben niedrigen Wert gesetzt, welcher diese Ungleichung erfüllen muss: b ij < L / (L-1+m) < 1 Wobei L eine Konstante > 1 ist (meist 2) und m die Anzahl der Komponenten des Eingabevektors. Wurde das neuronale Netz initialisiert, kann der weitere Adaptionsverlauf in 4 aufeinander folgende Phasen unterteilt werden. 1. Erkennung (recognition) / Matching Zu Begin liegt der Nullvektor an I an, wodurch g1 und g2 null sind. Das Netzwerk ist also inaktiv. Sobald jedoch ein vom Nullvektor verschiedener Eingabevektor angelegt wird, werden beide Gain-Faktoren auf 1 gesetzt. Nach der 2/3 egel können nun alle Neuronen der Vergleichsschicht feuern, deren Komponente des Eingabevektors 1 ist. Es entsteht ein genaues Abbild von I, das über S nach oben propagiert wird. Über S und B J wird nun das Skalarprodukt für jedes Neuron der Erkennungsschicht gebildet. Das Neuron mit dem größten Wert wird als Gewinner ausgewählt und aktiviert, während alle anderen Neuronen unterdrückt, und auf 0 gesetzt werden. Dadurch ist nur eine einzelne Komponente u J des Vektors U gleich Vergleich (comparison) Über die Top-Down Gewichtsmatrix und den Vektor U werden nun genau die binären Gewichte des Neurons an die Vergleichsschicht weitergegeben, das den Vergleich gewonnen hat. Gleichzeitig jedoch fällt g1 auf 0, so das nun nur noch alle Neuronen der Vergleichsschicht feuern können, bei denen gilt: u i = I i = 1 (2/3 egel). Weicht U stark von I ab, so hat S an vielen Stellen eine 0, wo der Eingabevektor I hingegen eine 1 hat. Ist die Abweichung so groß das sie die Toleranz überschreitet, so wird ein eset ausgelöst und das Netz geht in die Such Phase über.. Andernfalls beginnt das Netzwerk direkt mit der Adaptionsphase. Für die Auslösebedingung des esets gilt: S / I < vigilance 3. Suche (search) Durch den eset wird das bisherige Gewinnerneuron permanent unterdrückt, wodurch U auf 0 fällt und g1 damit wieder 1 werden kann. Folglich wird der Eingabevektor wieder unverändert über S nach oben propagiert. Es gewinnt nun ein anderes Neuron, das sein Muster an die Vergleichsschicht zurückliefern kann. Es folgen erneut alle Schritte wie in Phase 2 beschrieben. Dies setzt sich solange fort, bis einer von zwei Fällen eintritt: Ein Muster wird gefunden, das ähnlich genug ist, um der Toleranzanforderung zu genügen: Beginn der Adaptionsphase. Kein Muster wird gefunden, das ähnlich genug ist: ein bisher unbenutztes Neuron der Erkennungsschicht wird ausgewählt und mit den Werten des Eingabevektors initialisiert. Alle permanent unterdrückten Neuronen werden anschließend wieder freigegeben. 4

5 4. Adaption (training) Zwei verschiedene Arten des Lernens werden unterschieden: Slow Learning bezeichnet das Verfahren, bei dem sich die Gewichte anhand von Differentialgleichungen, langsam ihrem asymptotischen Wert annähren. Der Eingabevektor bleibt jedoch nicht lange genug angelegt, so dass es dem Netzwerk möglich wäre diesen Grenzwert bei der Anpassung an einen einzelnen Vektor zu erreichen. Erst nach mehreren Iterationen des gleichen Vektors kann dies geschehen. Dagegen werden die Gewichte beim Fast Learning, direkt auf diesen asymptotischen Wert angepasst. Wir wollen im Folgenden nur diese Art des Lernens betrachten: Die Gewichte der Bottom-Up Matrix werden auf normalisierte Werte des Vektors S gesetzt, während die Gewichte der Top-Down Matrix dem Vektor S angepasst werden. Zudem sorgt der Lernalgorithmus dafür, dass der Top-Down Gewichtsvektor immer das binäre Abbild des reelwertigen Bottom-Up Vektors ist. Sprich W Ji = 1, falls W ij > 0 F 2 F 2 F 1 F 1 I I Abb. 2.1: Phase 1. Vektor wird hochgereicht. Abb. 2.2: Phase 1. Ein Neuron wird aktiviert F 2 F 2 F 1 F 1 I I Abb. 2.3: Phase 1. Das aktivierte Neuron gibt seinen Gewichtsvektor zu F 1 Abb. 2: Verlauf von Phase 1 und Phase 2 Abb 2.4: Phase 2. In F 1 entsteht der Vergleichsvektor und eset wird ausgelöst Im Verlauf des Lernprozesses wird der Ergebnisraum, also die Menge aller möglichen Eingabevektoren, immer besser ausgefüllt, bis die Kategorien zusammen jeden möglichen Vektore klassifizieren Fast Learning vs. Slow Learning: Netzwerke die Fast Learning benutzen, füllen ihren Ergebnisraum wesentlich schneller, als es ein vergleichbares Netzwerk mit Slow Learning schaffen würde. Vektoren die selten anliegen können schneller klassifiziert werden, und der stabile Zustand wird schneller erreicht. Es kann andererseits jedoch, bedingt durch die schnelle Aufteilung des Ergebnisraumes, zu einer unerwünscht groben Clusterung der Eingaben kommen. Hier liegen die Vorteile des Slow Learning: durch die langsame Adaption der Gewichte wird der Ergebnisraum langsamer gefüllt, und es können mehr und feinere Kategorien entstehen. Das fast-commit, slow-recode Verfahren (siehe Fuzzy AT) kombiniert die Vorteile beider Lernalgorithmen. 5

6 1.1.5 Betrachtung zu AT 1: Es konnte bewiesen werden, dass die AT 1 Architektur folgende Eigenschaften erfüllt: Der Trainingsprozess terminiert Das Training ist stabil. Es kann zu keinem Umschalten des Gewinner Neurons während der Trainingsphase kommen. Wiederholte Folgen von Eingabevektoren können das System nicht in einen Zyklus führen. Direct Access: ist das Training stabilisiert, so aktiviert ein bereits bekannter Trainingsvektor immer direkt das richtige Neuron der Erkennungsschicht. Es findet keine Suche statt. 1.2 Fuzzy AT [6]: Um die Funktionsweise von Fuzzy AT zu verstehen, müssen erst zwei neue Hilfsmittel eingeführt werden, die in dieser Architektur zum Einsatz kommen: Theorie der Fuzzy Mengen Die bisher vorgestellte AT 1 Architektur verarbeitet nur binäre Vektoren. Es gibt jedoch viele Problemstellungen die es erforderlich machen, kontinuierliche Werte, also Werte in einem bestimmten Intervall, zuzulassen. Die Theorie der Fuzzy Mengen benutzt als Grundmenge das Intervall [0,1], und formalisiert egeln und Operatoren auf ihr. Damit ist eine mathematische Grundlage für die Anwendung der AT Architektur auf einen kontinuierlichen Wertebereich gegeben. Der Operator Fuzzy AND, der im Folgenden noch eine wichtige olle spielt, wird wie folgt ausgedrückt: (A ^ B) i = min(a i, B i) [4]. Komplementäre Kodierung (complement coding) Das Vorgehen bei der komplementären Kodierung eines Vektors ist wie folgt: Zuerst wird die Länge des Vektors verdoppelt, dann werden die komplementären Werte des ursprünglichen Vektors an die neuen Stellen des kodierten Vektors eingesetzt. Der Vektor wird dabei automatisch normiert. Es gilt: X cc = X X Beispiel: Ein Eingabevektor (0.9, 0.2, 0.0) würde Komplement kodiert wie folgt aussehen: (0.9, 0.2, 0.0, 0.1, 0.8, 1.0) Allgemeines: Die Fuzzy AT Architektur ist eine Kombination aus AT1 und Fuzzy Logik ist. Daher wollen wir uns im Folgenden auf die Erklärung der Unterschiede beschränken. Der erste Unterschied zwischen Fuzzy AT und AT1 besteht darin, dass alle logischen AND Operatoren durch den Fuzzy AND Operator ausgetauscht werden. Zudem sind alle Werte zwischen 0 und 1 (einschließlich) zugelassen. Generell kann man also sagen, dass die binäre Logik vollständig durch die Fuzzy Logik ersetzt wurde. Daraus ergibt sich ein Vorteil der Fuzzy Logik im Bezug auf AT ist: Gewichte können während des Trainings nur gleich bleiben oder kleiner werden können, aufgrund des Fuzzy ANDs. Die Gewichte jeder Kategorie konvergieren also gegen einen Wert, bis sie stabil die Kriterien beschreiben die ihre Kategorie charakterisieren. Graphisch lässt sich dies anhand eines Würfels veranschaulichen. Wird ein neuer Vektor in eine Kategorie eingeordnet, so vergrößert sich deren Würfel, der ihren Erfassungsraum umschreibt. Dies geschieht solange, bis alle Kategorien zusammen den Eingaberaum komplett ausfüllen. 6

7 Die olle des Toleranz Parameters kann dabei als eine Art Beschränkung für die Größe der einzelnen Würfel verstanden werden. 1 E 2 1 E 2 A v E 2 E E 1 XO A A ^ E A Abb. 3.1: Kategorie vor dem Hinzufügen des Vektors A Abb. 3.2: Kategorie nach dem Hinzufügen des Vektors A Abb. 3: geometrische Veränderung einer Kategorie bei Hinzufügen eines Vektors. Ein weiterer Unterschied von Fuzzy AT zu AT 1 ist, dass bei Initialisierung des Netzwerkes alle Einträge der beiden Gewichtungsmatrizen auf 1 gesetzt werden, während bei AT 1 die Werte der Bottom-Up Matrix auf einen gemeinsamen kleineren Wert gesetzt wurden. Zudem gibt es zwei weitere Parameter die das Verhalten des Netzwerkes beeinflussen: Auswahlparameter á (>0): Der Auswahl Parameter soll vor allem verhindern, das eine Division durch Null oder ein Zahlenüberlauf, bei der Auswahl einer Kategorie, stattfindet: N J = ( I ^ B J ) / ( á + B J ) Wobei I ein Eingabevektor ist, und J für eine ausgewählte Kategorie steht. N J bezeichnet den Vergleichswert einer Kategorie J, über den bestimmt wird, welches Neuron ausgewählt wird. Der Auswahlparameter wird auch konservative Grenze genannt. Dies rührt daher, dass in der Theorie oftmals der Fall á 0 betrachtet wird, und beim Schnellen Lernen dazu führt, dass häufiges Umkodieren der gespeicherten Muster vermieden wird. Dies rührt daher, dass die Kategorie gewählt wird, deren Gewichtsvektoren die größte Teilmenge von I besitzen. Diese Teilmengen bleiben dann unverändert während des Lernens. Sollten beim Auswahlvorgang mehr als ein Neuron das gleiche maximale Skalarprodukt errechnen, so wird das Neuron mit dem kleinsten Index aktiviert. Lernrate ç ( 1): Mit diesem Parameter kann die Lernrate des neuronalen Netzes bestimmt werden. Man kann also festlegen wie schnell sich die Gewichte ihren asymptotischen Werten, während der Adaptionsphase, nähren. Dabei ist die Wahl ç = 1 gleichbedeutend mit dem so genannten Fast Learning. Erwähnenswert ist zudem die fast-commit slow-recode Option eines Fuzzy AT Netzes. Dabei wird ç anfangs auf 1 gesetzt, um ein schnelles Zuweisen neuer Kategorien zu erlauben, und später verringert um die Möglichkeit der langsamen Umcodierung zu erhalten. 1.3 Simplified Fuzzy AT MAP (SFAM): Allgemeines: SFAM ist ein Netzwerk mit überwachtem Lernen, das sowohl das Verfahren der komplementären Codierung, als auch die Fuzzy Logik verwendet. Es existiert also ein Lehrersignal, das dem Netzwerk mitteilt, ob seine Entscheidungen bei der Auswahl einer Kategorie richtig waren. 7

8 Im Gegensatz zu den bisher vorgestellten Architekturen, bei denen eine umfangreiche Initialisierung dem eigentlichen Training vorausgehen musste, muss bei SFAM lediglich ein Parameter, die Toleranzschwelle ñ eingestellt werden. Stellt das Netzwerk während des Trainings fest, das der Toleranzparameter zu niedrig eingestellt ist, so dass es zu Fehlklassifizierungen kommt, passt das Netzwerk selbstständig den Toleranzparameter an. Wie sein Vorgänger, ist auch SFAM in der Lage nicht lineare Probleme zu erkennen und zu lösen, und erlernt mit der Zeit das Abbilden von Input zu gewissen Output Knoten Besonderheit: Teilt der Lehrer dem Netzwerk mit, dass eine erfolgreiche Klassifizierung fehlerhaft war, so kommt es zu einem so genannter category mismatch. In diesem Fall passt das System seine Toleranz automatisch auf einen Wert an, der verhindert, dass dieselbe Eingabe noch einmal der ausgewählten Kategorie zugewiesen werden kann. Die Kategorien werden also feiner, und der Eingabevektor muss einem anderen Neuron zugeordnet werden. 2 Einsatzgebiete von AT Netzwerken: Die zentrale Frage bei jeder neuen Technologie stellt sich auch für die AT Architektur. Wozu kann sie eingesetzt werden, und wo liegen ihre Stärken? Da die Stärken der AT Architektur in der Clusterung von Eingabevektoren liegt, können besonders Probleme der Kategorisierung oder Erkennung von Objekten oder Eigenschaften, mit ihrer Hilfe gelöst werden. Daher kommen AT-Netze unter anderem im militärischen Bereich zur Anwendung, z.b. bei der Ziel-, Sonar- und adarerkennung. Auch im Bereich der medizinischen Diagnose und der Analyse von Kardiogrammen und chemischen Stoffen sind sie im Einsatz. Weitere Anwendungsmöglichkeiten bestehen in der Unterschriften- / Gesicht-Erkennung, oboter Steuerung, DNA oder Musik Analyse, der Erkennung von 3D Objekten, seismische Sensoren, Wettervorhersagen und vielen weiteren Gebieten. Zudem kann man mit Hilfe der AT Prinzipien viele Vorgänge des menschlichen Gehirns besser verstehen. Es existieren bereits Studien darüber, inwiefern der Neokortex, ähnlich der AT Architektur, in Schichten unterteilt ist und vergleichbar zu den hier vorgestellten Grundregeln arbeitet. Weiterführende Literatur hierzu kann auf der offiziellen Seite von Stephen Grossberg gefunden werden [1]. 3 Zusammenfassung und Ausblick: Allen AT Netzen ist gemein, das sie das Stabilitäts-Plastizitäts-Dilemma lösen, indem sie den Algorithmus des unüberwachten Lernens anwenden. Mit der Zeit wurde die Grundarchitektur AT 1 um weitere Funktionalitäten erweitert, um so speziellere Aufgaben lösen zu können, dennoch blieb der Kern immer derselbe. Ein Muster wird erkannt, klassifiziert, und das bisher gelernte Wissen erweitert, ohne dabei altes Wissen zu überdecken oder zu zerstören. Doch nicht alleine das Lösen des SPDs macht die AT Architektur besonders. Es gelang mit Hilfe dieses neuen Modells die Mechanismen der Informationsverarbeitung im menschlichen Gehirn wirklichkeitsnäher auf Strukturen innerhalb eines Computers zu übertragen. Alleine die obige Aufzählung von Einsatzmöglichkeiten zeigt, wie vielschichtige die neuen Möglichkeiten und Anwendungsgebiete dieser Technologie sind. Wie vielfältig die Ausbaumöglichkeiten der ursprünglichen Idee sind, zeigen die vielen verschiedenen spezialisierten Modelle wie AT MAP, Fuzzy AT und AT3. So wird es nicht wundern, wenn auch in Zukunft weitere Entwicklungen auf diesem Sektor neue Anwendungsmöglichkeiten erschließen werden, und die Vorgänge innerhalb unserer Neuronen noch genauer nachzubilden vermögen. 8

9 4 Literatur: 1. : Offizielle Seite von Stephan Grossberg : Carpenter, G.A. and Grossberg, S. (2003). Adaptive resonance theory. In M.A. Arbib (Ed.), The Handbook of Brain Theory and Neural Networks, Second Edition, Cambridge, MA: MIT Press, : Vorlesungsskript der Universität Trier SS 2003 zum Thema AT 4. : weitergehende Informationen zum Thema Fuzzy Logik 5. A Zell. Simulation Neuronaler Netze. Addison-Wesley Kap AT-1: Klassifikation binärer Eingabemuster (Seite ) 6. A Zell. Simulation Neuronaler Netze. Addison-Wesley Kap Fuzzy AT (Seite ) 7. T. Kusuba. Simplified Fuzzy AT MAP. AI Expert 8 (Seite 18-25)