Technische Universität Chemnitz. Fakultät für Informatik. Professur Künstliche Intelligenz. Studienarbeit

Transkript

1 Technische Universität Chemnitz Fakultät für Informatik Professur Künstliche Intelligenz Studienarbeit Simulation Rekursiver Auto-Assoziativer Speicher (RAAM) durch Erweiterung eines klassischen Backpropagation-Simulators Verfasser: Datum: Betreuer: Url: Prof. Dr. Werner Dilger

2 Christin Seifert, Jan Parthey Simulation Rekursiver Auto-Assoziativer Speicher (RAAM) durch Erweiterung eines klassischen Backpropagation-Simulators Studienarbeit, Technische Universität Chemnitz, 2003

3 Aufgabenstellung Es gibt auf dem Markt eine Vielzahl von freien und kommerziellen Simulatoren für künstliche neuronale Netzwerke (NN-Simulator). In deren Funktionalität und Handhabbarkeit findet man teilweise große qualitative Unterschiede. Ziel der Studienarbeit ist es, einen Simulator zu finden, der sich für die Simulation von Rekursiven Auto-Assoziativen Speichern (RAAM) eignet. Dabei wird es nötig sein, diesen um Bibliotheksfunktionen zu erweitern. Bei diesen Erweiterungen sollen die Funktionalität und die Benutzerfreundlichkeit im Vordergrund stehen. Der Aspekt der Performance spielt für unsere Implementierung eine eher untergeordnete Rolle. i

4 Inhaltsverzeichnis Abbildungsverzeichnis Tabellenverzeichnis iv v 1 Einleitung Inhalt der Arbeit Aufgabenverteilung zwischen den Autoren Neuronale Netze Struktur neuronaler Netze Lernverfahren Backpropagation-Algorithmus RAAMs Funktionsweise eines trainierten RAAMs Trainingsphase Trainingsvarianten Ablauf des Trainings in der Implementierung Dekodierung im Detail Level-sensitives Lernen Ausprägungen von RAAMs Klassifikation gelernter Repräsentationen Gekoppeltes Lernen Entkoppeltes Lernen Vergleich beider Methoden Grenzen holistischer Klassifikation Transformation gelernter Repräsentationen Auswahl des NN-Simulators SNNS und JavaNNS PDP Xerion Implementierung Wahl der Programmiersprache Einordnung von TCL Neuronale Netze in Xerion Architektur der Implementierung Baumrepräsentation VectLeaf- vs. TagLeaf-Bäume Update-Mechanismus für Trainingsmenge Extra-Bits Prädikatfunktionen als Plugins Klassifikation Modus-Umschaltung Beispielerzeugung ii

5 5.6 Ausblick A Funktionen 38 A.1 Funktionen zur Netzmanipulation A.2 Funktionen zur Baumverwaltung A.3 Funktionen zur Verwaltung der Trainingsmengen A.4 Funktionen zur Generierung von Trainingsbeispielen A.5 Funktionen zur Verwaltung von Repräsentationen A.6 Funktionen zur Unterstützung der Lernverfahren A.7 Funktionen zur Realisierung der Modi A.8 Vektorarithmetik A.9 Hilfsfunktionen iii

6 Abbildungsverzeichnis 1 Ein dualer RAAM Beispielbaum, der mit einem dualen RAAM gelernt werden kann Trainingsmenge für einen dualen RAAM Lernvariante III Implementierte Lernvariante RAAM mit einem Extra-Bit in jeder Ein- und Ausgabegruppe Labeling RAAM Netzarchitektur für gekoppeltes Lernen Netzarchitektur für entkoppeltes Lernen Transformationen nach Chalmers Zwei Arten der Blattrepräsentation in Bäumen Funktion decodereprec Arbeitsweise Beispielbaum von Seite 7, ergänzt um Tags Nutzung der Funktion createmodealiases Zusammenarbeit der Funktionen zur Generierung von Trainingsbeispielen 36 iv

7 Tabellenverzeichnis 1 Vollständige Trainingsmenge für Beispielbäume aus Abbildung Trainingsmenge für gekoppeltes Lernen Trainingsmengen für entkoppeltes Lernen Hilfsfunktionen: Ausgabe Hilfsfunktionen: Beispielerzeugung Hilfsfunktionen: Verschiedenes v

8 1 EINLEITUNG 1 Einleitung 1.1 Inhalt der Arbeit Rekursive Auto-Assoziative Speicher (RAAMs) sind im Prinzip einfache dreischichtige feedforward Netze, die mit Backpropagation trainiert werden. Was sie so interessant macht, ist die Möglichkeit der Speicherung und Rückgewinnung von Strukturen (prinzipiell) beliebiger Komplexität. Beim Training dieser Netze sind einige Besonderheiten zu beachten, z.b. muss die Trainingsmenge dynamisch angepasst werden. Diese Funktionalität besitzt kein NN-Simulator von Haus aus. So müssen für einen Simulator Bibliotheken entwickelt werden, die dem Benutzer eine einfache Arbeit mit RAAMs ermöglichen. Es gibt Funktionen, die die Eingabe von Bäumen vereinfachen. Der Benutzer gibt die Bäume in Form einer geschachtelten Liste vor und es werden daraus die entsprechenden Trainingsbeispiele generiert. Die Trainingsmenge wird während der Lernphase automatisch aktuell gehalten, d.h. die sich durch Aktualisierung der Kantengewichte ändernden Repräsentationen werden in der Trainingsmenge angepasst. Des Weiteren wird das etappenweise Training des Netzes unterstützt. Das Abbruchkriterium kann vorgegeben werden. Weiterhin wird die Dekodierung von Bäumen mit Funktionen unterstützt, die u.a. erkennen, wenn der Rekursionsanfang erreicht ist (Blatttest). Es ist außerdem möglich, dekodierte mit vorgegebenen (Ausgangs-)Bäumen zu vergleichen, um auf die Korrektheit der Dekodierung zu prüfen. Im Kapitel 2 wird eine kurze, allgemeine Einführung in Neuronale Netze gegeben, wogegen in Kapitel 3 auf die RAAMs im Speziellen eingegangen wird. Kapitel 4 beschäftigt sich mit der Auswahl des Simulators für die Implementierung. Die Architektur der implementierten Bibliotheksfunktionen wird ausführlich im Kapitel 5 besprochen. Die Dokumentation aller Funktionen findet sich im Anhang A. 1.2 Aufgabenverteilung zwischen den Autoren Diese Studienarbeit wurde, wie auf dem Deckblatt angegeben, gemeinschaftlich von uns erstellt. Die vorliegende Arbeit ist das Ergebnis zahlreicher Diskussionen und enthält nur an sehr wenigen Stellen Ideen, deren Autor sich eindeutig und sauber getrennt feststellen ließe. Die folgenden Angaben können die Aufteilung der Beiträge jedes Einzelnen von uns daher nur in Näherung wiedergeben, sollten aber dennoch ein hinreichend genaues Bild vermitteln. Seifert, Christin Parthey, Jan Recherche Xerion SNNS PDP++ Implementierung Trainingsmengen-Update Beispielerzeugung Netzerzeugung Hilfsfunktionen Baumdekodierung 1

9 1 EINLEITUNG 1.2 Aufgabenverteilung zwischen den Autoren Seifert, Christin Parthey, Jan Extra-Bits (mit Plugins) Klassifikation Tests Dokumentation Kapitel Kapitel 2 Einleitung 2.1 und 2.2 Kapitel 3 Einleitung (mit und 3.2.2) Kapitel 4 Einleitung 4.1, 4.2 und 4.3 Kapitel 5 Einleitung Einleitung A gesamter Anhang 2

10 2 NEURONALE NETZE 2 Neuronale Netze Im Folgenden soll ein kurzer Überblick über künstliche neuronale Netze und dafür verwendete Lernverfahren gegeben werden. 2.1 Struktur neuronaler Netze Künstliche neuronale Netze sind Modelle ihrer biologischen Vorbilder. Im Allgemeinen sollen sie in Abhängigkeit einer Eingabe (z.b. Tastsensoren in biologischen Systemen) eine Ausgabe (z.b. Signale an das motorische System) liefern. Die künstlichen Analoga der Neuronen sind die sogenannten Einheiten oder Units. Ein Neuron feuert, d.h. ein Aktionspotenzial wird entlang des Axons geleitet, wenn an den Dendriten in der Summe ein bestimmtes Potenzial anliegt. Das Feuern eines Neurons erfolgt nach dem Allesoder-Nichts-Prinzip. In künstlichen neuronalen Netzen wird dieses Verhalten durch eine Integrations- und eine Aktivierungsfunktion in den Einheiten modelliert. Die Verbindungen zwischen Neuronen werden durch Synapsen realisiert. Diese können mit Hilfe verschiedener Botenstoffe entweder inhibitorisch oder exzitatorisch wirken. Die Stärke synaptischer Verbindungen ist durch eine Lernform, die long-term potentiation (LTP) genannt wird, anpassbar. Dies wird in künstlichen neuronalen Netzen durch die Kantengewichte modelliert, die während der Lernphase entsprechend verändert werden. Im Wesentlichen gibt es zwei Arten künstlicher neuronaler Netzarchitekturen: feedforward und rekursive Netze. Diese können wiederum geschichtet oder ungeschichtet sein. Die im Weiteren vorgestellten RAAMs sind dreischichtige feedforward Netze. 2.2 Lernverfahren Backpropagation-Algorithmus Der Backpropagation-Algorithmus ist ein überwachtes Lernverfahren für feedforward Netze. Es wird versucht, die Fehlerfunktion des Netzes im Gewichtsraum mittels Gradientenabstieg zu minimieren. Um den Gradient berechnen zu können, muss die Fehlerfunktion stetig und differenzierbar sein. Das wird z.b. erreicht, indem in den Einheiten die Sigmoidfunktion als Aktivierungsfunktion verwendet wird. Die Netzfunktion ist eine komplexe Komposition und Addition der Funktionen ihrer Einheiten. Da die Funktionskomposition und -addition von stetigen, differenzierbaren Funktionen wiederum stetig und differenzierbar ist, ist die resultierende Netzfunktion auch stetig und differenzierbar. Um die Fehlerfunktion zu berechnen, werden an die Ausgabeeinheiten weitere Einheiten angehängt, die die Abweichung zwischen gewünschter Ausgabe und tatsächlicher Ausgabe berechnen. Außerdem wird an jeder Einheit des Netzes der Wert der Ableitung der primitiven Funktion an der aktuellen Stelle gespeichert. Der Algorithmus läuft in drei Schritten ab: 1. zufällige Initialisierung der Kantengewichte 2. Propagation Anlegen eines Patterns an die Eingabeschicht und Vorwärtspropagierung zur Bestimmung des Netzfehlers 3. Backpropagation Anpassung der Kantengewichte entsprechend des aktuellen Netzfehlers, ausgehend von den Ausgabeeinheiten bis zu den Eingabeeinheiten 3

11 2 NEURONALE NETZE 2.2 Lernverfahren Backpropagation-Algorithmus Die letzten beiden Schritte werden zyklisch wiederholt, bis ein Abbruchkriterium erreicht ist, z.b. eine Schranke für den Fehler unterschritten wird. Wenn der Fehler unter einen bestimmten kleinen Wert fällt, dann wird der Algorithmus abgebrochen. Eine andere Möglichkeit ist, die Änderung des Fehlers zu betrachten und abzubrechen, falls diese unter einem bestimmten Wert liegt. Der Netzfehler E ist definiert als E = E p (1) wobei p P attern E p = 1 (t i o i ) 2 (2) 2 i t i ist die i-te Komponente des Target-Patterns und o i die i-te Komponente des Ausgabe- Patterns. Die Gewichte werden in Richtung des negativen Gradienten angepasst, da der Gradient in Richtung des stärksten Anstieges der Funktion zeigt. η ist eine Lernkonstante. w = η E (3) Die Gewichtsänderung an der Kante zwischen der i-ten und j-ten Einheit ist die Lernrate multipliziert mit der negierten partiellen Ableitung des Fehlers nach dem Kantengewicht. w ij = η E (4) w ij Im Vorwärtsschritt wird ein Pattern an die Eingabeeinheiten angelegt und schichtweise werden die Aktivierungen der einzelnen Einheiten berechnet. Dabei wird in jeder Einheit die Ableitung der Sigmoidfunktion an der aktuellen Stelle gespeichert. Durch die oben beschriebene Erweiterung des Netzes erhält man als Ergebnis des Vorwärtsschrittes den aktuellen Gesamtfehler des Netzes aus Gleichung (1). Beim Rückwärtsschritt wird an die Ausgabeeinheiten des Netzes eine 1 angelegt und schichtweise bis zu den Eingabeeinheiten propagiert. Entlang eines Pfades wird ausgehend von der eingegebenen 1 ein Wert bis hin zu den Eingabeeinheiten berechnet. Dabei werden die Gewichte traversierter Kanten an den aktuellen Wert multipliziert, ebenso wie die gespeicherte Ableitung der primitiven Funktion jeder durchlaufenen Einheit. Bei Einheiten mit mehreren Nachfolgern summieren sich alle ankommenden Werte auf. Auf diese Weise wird an jeder Kante der Wert aus Gleichung (4) berechnet. Nun kann die Anpassung der Kantengewichte erfolgen. Eine ausführliche Darstellung der Berechnung von Ableitungen nach der Summen- und Produktregel mit Hilfe eines Netzes findet sich in [11]. Die Berechnung des Gradienten der Fehlerfunktion kann mit Hilfe des Rückwärtsschrittes sehr effizient in linearer Zeit in der Dimension des Gewichtsvektors vorgenommen werden. Die Gewichtsanpassung kann zum einen online (Online-Verfahren) erfolgen, d.h. nach jedem eingegebenen Trainingsbeispiel werden sofort entsprechend dem Fehler die Kantengewichte angepasst. Es können aber auch die Gewichtsänderungen k w ij für die Beispiele 1 k m gesammelt werden und danach eine Gewichtsanpassung w ij erfolgen: m w ij = k w ij (5) k=1 4

12 2 NEURONALE NETZE 2.2 Lernverfahren Backpropagation-Algorithmus Diese Variante nennt man Batch-Verfahren. Es gibt in der Literatur mehrere Modifikationen des Backpropagation-Algorithmus, die sich von seiner ursprünglichen Form in der Art und Weise der Gewichtsanpassung unterscheiden. Ziel ist es, einige der folgenden bekannten Probleme zu lösen: Finden lokaler Minima statt des globalen Minimums Oszillation in steilen Schluchten (Überspringen des Minimums) Stagnation auf flachen Ebenen (große Anzahl Lernschritte nötig) Eine Möglichkeit ist, die Lernrate η dynamisch während des Lernvorganges zu verkleinern. Eine andere Variante ist der konjugierte Gradientenabstieg. Bei diesem Verfahren hängt die aktuelle Gewichtsanpassung von den Änderungen in den vorhergehenden Schritten ab. Die Richtung s der aktuellen Anpassung errechnet sich aus dem Gradienten g und dem Gradienten aus dem letzten Schritt h wie folgt: s = (g h)g h 2 s g (6) Diese Methode ist die Standard-Methode im von uns verwendeten NN-Simulator Xerion [5]. Bei verschiedenen Tests konnten wir mit dem konjugierten Gradientenabstieg eine Beschleunigung der Konvergenz im Vergleich zum reinen Backpropagation-Algorithmus feststellen. 5

13 3 RAAMS 3 RAAMs Im konnektionistischen Lager der künstlichen Intelligenz war es lange Zeit unmöglich, rekursive Datenstrukturen, wie Bäume oder Listen, in Pattern fester Breite zu repräsentieren. Dies war ein wesentlicher Kritikpunkt, den Symbolisten, wie z.b. Fodor und Pylyshyn, gegen den Konnektionismus als ein Modell zur Erklärung kognitiver Phänomene vorbrachten. Der Rekursive Auto-Assoziative Speicher (RAAM) [9] war ein wichtiger Baustein in der Argumentation der Konnektionisten gegen diese Kritik, denn Pollack bot damit einen Ansatz für hierarchische Struktur-Repräsentation mittels neuronaler Netze. Das Verfahren erlaubt es, Bäume mit Blatt-Repräsentationen vorgegebener Breite zu einer einzigen Repräsentation derselben Breite zu kombinieren (Kodierung). Dabei bleibt die eingebrachte Information im Idealfall voll rekonstruierbar. Man kann deshalb in einem zweiten Schritt aus der erzeugten Struktur-Repräsentation den Ausgangsbaum zurückgewinnen. Dies wird als Dekodierung bezeichnet. RAAMs stellen eine spezielle Form künstlicher neuronaler Netze dar, d.h. sie setzen auf rein konnektionistischen Standardverfahren auf. Es handelt sich um zyklenfreie (feedforward) Netze, die in drei Ebenen (three-layer) geschichtet sind und üblicherweise mit Backpropagation [12] trainiert werden. Ihre besonderen Fähigkeiten erhalten RAAMs jedoch erst durch die Einbettung in eine spezielle Trainingsumgebung, deren Aufgabe es ist, eine stetige Anpassung der Trainingsmenge unter Berücksichtigung der Struktur der zu lernenden Bäume vorzunehmen. Abbildung 1 zeigt einen RAAM mit jeweils zwei Gruppen zur Ein- und Ausgabe (dualer RAAM) und vier Einheiten in jeder Gruppe. Ein solcher RAAM wäre in der Lage, Repräsentationen für binäre Bäume mit Blättern der Breite vier zu kodieren und zu dekodieren. Sollen Bäume höherer Verzweigung kodiert werden, so muss die Anzahl der Eingabegruppen entsprechend vergrößert werden. Es entstehen dann k-näre RAAMs. Reicht die Zahl repräsentierbarer Elemente für eine bestimmte Lernaufgabe nicht aus, so kann Abhilfe durch Erhöhung der Anzahl der Einheiten pro Gruppe geschaffen werden. Ausgabeschicht versteckte Schicht Eingabeschicht Abbildung 1: Ein dualer RAAM 6

14 3 RAAMS 3.1 Funktionsweise eines trainierten RAAMs 3.1 Funktionsweise eines trainierten RAAMs Im Weiteren wird die Funktionsweise eines bereits trainierten dualen RAAMs (vgl. Abbildung 1) erläutert. Als Beispiel dient der binäre Baum aus Abbildung 2(a). Derselbe Baum ist noch einmal in Abbildung 2(b) zu sehen, zusätzlich wurden hier die einzelnen Teilbäume benannt. [AB] steht für die Repräsentation des Teilbaumes, der aus den beiden Blättern A und B besteht. Für die Kodierung wird nur der untere Teil des RAAMs benötigt, also nur die Eingabeschicht und die versteckte Schicht. Es wird levelweise kodiert, d.h. am Anfang werden alle Blätter abgearbeitet, dann alle Teilbäume der Tiefe eins usw. Im Beispiel werden somit als erstes A und B an die beiden Eingabegruppen angelegt und das Netz wird aktiviert. In der versteckten Schicht befindet sich jetzt die Repräsentation [AB] des Teilbaumes, der aus den beiden Blättern A und B besteht. [AB] wird an die linke Eingabegruppe zurückgeführt und C an die rechte angelegt. In der versteckten Schicht ergibt sich nach Aktivierung des Netzes die Repräsentation [[AB]C] des Gesamtbaumes. Der Teil des RAAMs, der für die Dekodierung benötigt wird, besteht aus der versteckten Schicht und der Ausgabeschicht. Die Repräsentation [[AB]C] des Gesamtbaumes wird an die versteckte Schicht angelegt und das Netz wird aktiviert. In der Ausgabeschicht ergibt sich in der rechten Gruppe das Pattern für C und in der linken Gruppe die Repräsentation des Teilbaumes [AB]. Diese wird wiederum an die versteckte Schicht angelegt und nach Aktivierung des Netzes liegen die beiden Elemente A und B an den beiden Ausgabegruppen an. Da die Dekodierungsphase ein rekursiver Prozess ist, ergibt sich das Problem des Rekursionsanfangs. Wo sollte die Dekodierung aufhören? Woher weiß man, ob es sich bei dem dekodierten Pattern um die Repräsentation eines Teilbaumes oder um ein Element handelt? Diese Probleme werden in Abschnitt 3.3 behandelt. 3.2 Trainingsphase Ein RAAM ist ein autoassoziatives Netz. Ziel des Trainings eines solchen Netzes ist die Reproduktion der Eingabe-Pattern in der Ausgabeschicht. Bei den Blättern des Baumes stellt dies auch kein Problem dar, denn deren Pattern sind statisch in der Zeit. Anders [[AB]C] C [AB] C A B A B (a) Ausgangsbaum (b) mit Beschriftung der Teilbäume Abbildung 2: Beispielbaum, der mit einem dualen RAAM gelernt werden kann 7

15 3 RAAMS 3.2 Trainingsphase verhält sich dies mit den Pattern der Teilbäume. Je nach den aktuellen Kantengewichten die sich in jedem Trainingsschritt ändern ergibt sich eine andere Repräsentation des Teilbaumes, der im nächsten Schritt als Eingabe benutzt wird. Im Extremfall handelt es sich bei den Repräsentationen der Teilbäume um komplett zufällige Pattern; dies ist z.b. bei der initialen Trainingsmenge der Fall. Die Konsequenz daraus ist, dass das Netz versucht, eine Zielfunktion zu realisieren, die sich ständig ändert. Es wird eine Gewichtsanpassung gemäß der aktuellen Repräsentationen vorgenommen, diese sind aber im nächsten Schritt schon wieder andere. Pollack beschrieb bereits 1990 dieses Problem und nannte es bezeichnenderweise Moving Target Learning [9] Trainingsvarianten Anhand der Trainingsmenge aus Abbildung 3 sollen verschiedene Verfahren diskutiert werden, die die o. g. Gegebenheiten berücksichtigen. Dabei soll (A B) für das Pattern stehen, das sich ergibt, wenn die Pattern der Knoten A und B nebeneinander geschrieben werden. [AB] steht für die Repräsentation, die nach Anlegen von (A B) und Aktivierung des Netzes in der versteckten Schicht erzeugt wird. [[AB]C] [X[YZ]] [AB] C X [YZ] A B Y Z (a) Baum 1 (b) Baum 2 Abbildung 3: Trainingsmenge für einen dualen RAAM In der I. Variante werden zu Beginn die Beispiele (A B) und (Y Z) zur Trainingsmenge M hinzugefügt. Mit M wird das Netz bis zur Konvergenz trainiert. An dieses trainierte Netz werden (A B) und (Y Z) angelegt und die sich ergebenden Repräsentationen [AB] und [Y Z] werden in die Trainingsbeispiele ([AB] C) und (X [Y Z]) eingefügt, die wiederum zu M hinzugefügt werden. Mit der so erweiterten Trainingsmenge, die noch einmal in Tabelle 1 zu sehen ist, wird das Netz bis zur Konvergenz trainiert. Sehr exakt ist dieses Vorgehen nicht, denn es wird die gesamte Trainingsphase mit den gleichen, eventuell veralteten Repräsentationen gelernt. Ein weiteres Problem bei diesem Vorgehen ist, dass man entscheiden muss, welche Beispiele gleichzeitig gelernt werden sollen. In der Trainingsmenge aus Abbildung 3 stellt dies kein Problem dar, da die beiden Bäume die gleiche Tiefe haben. Bei unterschiedlicher Baumtiefe könnten Beispiele gleicher Levels gleichzeitig gelernt werden. Dabei ist der Level eines Knotens k definiert als die maximale Tiefe des durch k erzeugten Teilbaumes. Vorteil dieser Variante ist die einfache Handhabung der Trainingsmenge, denn es werden keine Elemente geändert, sondern nur welche hinzugefügt. 8

16 3 RAAMS 3.2 Trainingsphase Trainingsbeispiel Repräsentation in der versteckten Schicht (A B) [AB] (Y Z) [Y Z] ([AB] C) [[AB]C] (X [Y Z]) [X[Y Z]] Tabelle 1: Vollständige Trainingsmenge für Beispielbäume aus Abbildung 2 Die II. Variante ist in den ersten Schritten analog zur ersten, die Trainingsmenge wird sukzessive durch Hinzufügen neuer Beispiele aufgebaut. Der Unterschied ist jedoch, dass nach dem Aufbau der Trainingsmenge eine ständige Anpassung der Beispiel-Pattern an die aktuellen Netzgewichte erfolgt. Wenn sich die alte Repräsentation [S] eines Teilbaumes S mit den aktuellen Gewichten zu [S] ändert, dann werden alle Elemente der Trainingsmenge, die diesen Teilbaum als direkten Teilbaum besitzen, aktualisiert. Dabei ist der Baum Y ein direkter Teilbaum vom Baum X, wenn die Wurzel von Y ein Kind der Wurzel von X ist. Wenn sich im Beispiel die Repräsentation [AB] zu [AB] ändert, dann wird das Trainingsbeispiel ([AB] C) zu ([AB] C) angepasst. Ein Problem dieser Variante ist die Vorgehensweise in zwei Phasen. In der ersten Phase wird die Trainingsmenge sukzessive aufgebaut und jeweils nach Hinzufügen der Beispiele eines Levels bis zur Konvergenz mit statischer Trainingsmenge gelernt. In der zweiten Phase (wenn auch die vollständigen Bäume zur Trainingsmenge hinzugefügt wurden) wird mit der dynamischen Trainingsmenge wiederum bis zur Konvergenz gelernt. Es stellt sich also die Frage, ob die erste Phase nicht obsolet ist. Das nächste Problem ist technischer Natur: die Trainingsmenge muss nach jedem Schritt der zweiten Phase angepasst werden, im Extremfall müssen alle Trainingsbeispiele nach dem Vorkommen einer bestimmten Teilstruktur durchsucht und ggf. aktualisiert werden. Variante III versucht das Problem der zwei Phasen aus der vorangegangenen Variante zu lösen. Es wird gleich von Beginn an mit der vollständigen Trainingsmenge gelernt. Pattern, die Repräsentationen höherer Strukturen sind, werden zufällig initialisiert. Abbildung 4 zeigt den Algorithmus in Pseudocode. Dabei steht el für ein beliebiges Blatt des Baumes. Auch hier tritt das Problem auf, dass die Trainingsmenge dynamisch angepasst foreach zu lernendes Beispiel X der Form (Y 0 el), (el Y 1 ) oder (Y 0 Y 1 ) do Y 0 = randompattern(); Y 1 = randompattern(); M = M {X}; end while keine Konvergenz do X = nächstes Trainingsbeispiel; if X ist weder Wurzel noch Blatt eines Baumes then [X] = Pattern der versteckten Schicht; foreach Beispiel Y, mit Y = (X Z) oder Y = (Z X), Z beliebig do Ersetze [X] in [Z] durch [X] end end end Abbildung 4: Lernvariante III 9

17 3 RAAMS 3.2 Trainingsphase werden muss. Die Repräsentationen der Teilbäume sind am Anfang zufällig initialisiert, werden aber trotzdem schon in höheren Strukturen zum Lernen verwendet. D.h. es wird zu Beginn mit zufälligen Pattern gelernt, was Performance-Einbußen bedeuten könnte. In der letzten hier vorgestellten Variante IV werden Anpassungen der Trainingsmenge rekursiv vorgenommen. D.h. alle Pattern, die auf einem höheren Level benötigt werden, werden mit den aktuellen Netzgewichten rekursiv neu berechnet. In unserem Beispiel würde das bedeuten, dass wenn der Baum ([AB] C) gelernt werden soll, die Repräsentation des linken Teilbaumes neu berechnet werden muss. (A B) wird also an das Netz angelegt und die Repräsentation [AB] in der versteckten Schicht wird statt [AB] in das Trainings-Pattern eingefügt. Dies ist die exakteste Variante, da immer mit den aktuellen Repräsentationen gearbeitet wird. Es muss allerdings getestet werden, ob sich dafür der Aufwand der rekursiven Anpassung der Trainingsmenge lohnt Ablauf des Trainings in der Implementierung Ausgehend von den Überlegungen im Abschnitt haben wir eine Batch-Version der Variante IV implementiert. Nach der Initialisierung der Trainingsmenge werden in einer Schleife jeweils k Backpropagation-Schritte vorgenommen und danach wird die Trainingsmenge levelweise aktualisiert. D.h. zuerst werden alle Beispiele mit Level 2 angepasst, dann die mit Level 3 usw. Beispiele des Levels 1 bestehen nur aus Blatt- Repräsentationen und sind somit statisch. Im Folgenden wird eine Implementierung in Pseudocode gegeben (siehe Abbildung 5). Dabei ist auf den Beispielen eine Relation definiert. X Y bedeutet, dass der Baum X direkter Teilbaum von Y ist, also das Trainingsbeispiel Y unmittelbar von der Repräsentation [X] von X abhängt. Es muss noch Data : k (Backpropagation-Schritte pro Phase) Result : vollständig trainiertes Netz foreach zu lernendes Beispiel X der Form (Y 0 el), (el Y 1 ) oder (Y 0 Y 1 ) do Y 0 = randompattern(); Y 1 = randompattern(); M = M {X}; end repeat for 1 i k do Backpropagation mit Trainingsmenge M; for 1 j < maxlevel do foreach X Level[j] do lege X ans Netz an; [X] = Pattern der versteckten Schicht; aktualisiere alle Y mit X Y (d.h. ersetze in Y [X] durch [X] ); end end until Konvergenzkriterium erreicht; Abbildung 5: Implementierte Lernvariante erläutert werden, was es heißt, dass das Konvergenzkriterium erreicht ist. Das Lernen ist erfolgreich beendet, wenn die Summe D aus Gleichung (8) nahe Null ist (z.b. kleiner als 10 6 ). D ist ein Maß für die Gesamtänderungen der Repräsentationen pro Schritt. Zusätzlich kann noch eine obere Schranke für die Anzahl der Lernschritte als Abbruchkriterium angegeben werden, die das Lernen beendet, wenn das Netz nicht oder nicht 10

18 3 RAAMS 3.3 Dekodierung im Detail schnell genug konvergiert. x i = [x i 1,..., x i n] R n Repräsentation von X i vor letzter Gewichtsanpassung x i = [x i 1,..., x i n ] R n aktuelle Repräsentation von Beispiel X i dx i = x i x i M D = dx i, dx i (8) i=1 Bei diesem Verfahren wird das Problem des Overfittings gänzlich außer Acht gelassen. Um eine unerwünschte, zu genaue Anpassung an die Trainingsmenge zu vermeiden, kann zusätzlich mit einer Testmenge gearbeitet werden. Diese Variante ist nicht implementiert. 3.3 Dekodierung im Detail Das Prinzip zur Rückgewinnung der Baumstruktur und der Blätter aus einer Baum- Repräsentation wurde bereits in Abschnitt 3.1 geschildert. Einige Aspekte, die für das Grundverständnis des Verfahrens zunächst nicht benötigt wurden, sollen hier ausführlich diskutiert werden. Wie bereits beschrieben, läuft die vollständige Dekodierung einer Struktur-Repräsentation in mehreren Schritten ab: Nach ihrem Anlegen in der versteckten Schicht und der Aktivierung des Netzes müssen der Reihe nach alle Gruppen der Ausgabeschicht (Ausgabegruppen) durchlaufen werden. Darunter befinden sich auch sogenannte rekursive Gruppen, welche die gleiche Breite besitzen wie die versteckte Schicht, und die bei der Dekodierung neben Blättern auch innere Knoten aufnehmen können. Als rekursiv bezeichnet man diese Gruppen, weil die anliegende Repräsentation jeder einzelnen von ihnen rekursiv weiter dekodiert wird, genauso als handele es sich um einen vollständigen Baum. Es gibt zwei denkbare Methoden, die rekursiven Gruppen von einfachen Ausgabegruppen zu unterscheiden: Wie beschrieben, muss die Breite einer rekursiven Gruppe mit der Breite der versteckten Schicht übereinstimmen, denn dorthin soll ihre aktuelle Ausgabe beim rekursiven Dekodieren kopiert werden. Bei zufälliger Übereinstimmung der beiden Breiten zeigt sich jedoch, dass dies allein nicht als hinreichendes Kriterium ausreicht. Eine exaktere Methode kommt in unserer Implementierung zum Einsatz: Dabei wird vom Nutzer eine explizite Festlegung der Positionen der rekursiven Gruppen beim Anlegen eines neuen Netzes verlangt (siehe createraam in Abschnitt A.1). Zwar verkompliziert das die Aufrufschnittstelle etwas, dafür können aber die Probleme im Zusammenhang mit übereinstimmenden Breiten ausgeschlossen werden. Prinzipbedingt ist das Ergebnis einer Dekodierung nie vollkommen exakt, d.h. die Pattern an den Ausgabegruppen entsprechen hinterher nicht genau den originalen Blatt- Repräsentationen. (Mit Hinblick auf die Vermeidung von Overfitting wird eine präzise Übereinstimmung beim Training oft auch gar nicht angestrebt.) Trotzdem soll die Dekodierung eine genaue Rekonstruktion des Ausgangsbaumes liefern. Dies erfordert zwei zusätzliche Mechanismen: (7) 11

19 3 RAAMS 3.3 Dekodierung im Detail eine Prädikatfunktion, die für jede rekursive Gruppe entscheidet, ob das aktuell ausgegebene Pattern einen Teilbaum repräsentiert und damit weiter dekodiert werden muss, oder ob es für ein Blatt steht eine Zuordnungsfunktion, die zu jeder ausgegebenen Blatt-Repräsentation den entsprechenden symbolischen Namen ermittelt (Clean-up-Mechanismus) Die Prädikatfunktion zum Abbruch der Rekursion kann auf verschiedene Weise realisiert werden. So verwendet Pollack [9] für Blätter ausschließlich binäre Repräsentationen: x = (x 1, x 2,..., x n ) x i {0, 1}. Struktur-Repräsentationen sind dagegen reelle Vektoren der folgenden Form: s = (s 1, s 2,..., s n ) s i [0, 1]. Ihre Elemente bewegen sich also frei zwischen 0 und 1. Der Unterschied zwischen binären und reellen (s i [0, 1]) Vektoren reicht im Prinzip aus, um die gewünschte Prädikatfunktion zu realisieren. Man muss jedoch durch Festsetzen einer Konstante die Frage beantworten, wie stark die Abweichung sein muss, damit eine Repräsentation als nicht mehr binär angesehen und deswegen als Baum behandelt wird. Die Funktion bekommt somit einen zusätzlichen Parameter, der das Problem aufwirft, für beste Ergebnisse einen optimalen Wert für ihn finden zu müssen. Niklasson [3] umgeht dieses Problem: Bei ihm erhält in der Ein- und Ausgabeschicht jede Repräsentation ein zusätzliches Vektorelement, ein Extra-Bit (Niklasson: extra bit). Abbildung 6 zeigt dies. In der Trainingsphase setzt Niklasson das Extra-Bit für Blatt-Re- Extra Bit A 1 A 2 V E 1 E 2 Abbildung 6: RAAM mit einem Extra-Bit in jeder Ein- und Ausgabegruppe präsentationen auf 1 und für Struktur-Repräsentationen auf 0. Betroffen davon sind nur Ein- und Ausgabegruppen die versteckte Schicht benötigt kein Extra-Bit. Ein Beispiel soll das Verfahren erläutern: Angenommen, man möchte die Repräsentation [[AB]C] dekodieren. Dazu legt man sie zunächst in Gruppe V an und aktiviert das Netz. Da das Netz als bereits trainiert angenommen wird, erhält man in A 1 eine Näherung für [AB] und in A 2 eine Näherung für C. C ist ein Blatt und wurde beim autoassoziativen Training stets mit gesetztem Extra-Bit angelegt. Man findet daher in A 2 ein Extra-Bit 1 vor. [AB] 12

20 3 RAAMS 3.4 Level-sensitives Lernen repräsentiert dagegen eine Struktur und wurde mit Extra-Bit = 0 trainiert, sodass man in A 1 einen Wert 0 ausliest. Diese Ergebnisse werden nun zur Entscheidung über die weitere Behandlung der Repräsentationen genutzt: Extra-Bit < 0.5 bedeutet Struktur rekursiv weiter dekodieren Extra-Bit 0.5 bedeutet Blatt Dekodierung in diesem Zweig beenden und per Zuordnungsfunktion symbolischen Blattnamen ermitteln Demnach ist [AB] in A 1 eine Struktur und muss weiter dekodiert werden. Das Extra-Bit muss nun entfernt werden, um wieder Kompatibilität zur Gruppe V herzustellen. Danach verfährt man so weiter wie bereits mit dem Ausgangsbaum, d.h. Repräsentation in V anlegen, Netz aktivieren und Ausgabegruppen rekursiv auswerten. Der Vorteil der Methode von Niklasson ist, dass die Prädikatfunktion ihre Entscheidung sehr einfach treffen kann und ohne zusätzliche Konstante auskommt, für die ein günstiger Wert bestimmt werden müsste. Um Experimente sowohl mit der Methode von Pollack als auch mit der von Niklasson zu ermöglichen, entschlossen wir uns, beide Ansätze in unsere Implementierung aufzunehmen. Der zweite, oben angeführte Mechanismus zur Rekonstruktion eines Baumes war neben der Prädikatfunktion die Zuordnungsfunktion. Sie dient der Ermittlung der symbolischen Blattnamen und wird immer dann benutzt, wenn die Prädikatfunktion entschieden hat, dass es sich bei einer Repräsentation um ein Blatt handeln muss. Wenn der Baum gut trainiert wurde, dann sollte sich z.b. eine große Ähnlichkeit zwischen der ursprünglichen Blatt-Repräsentation C und dem Ergebnis C der Dekodierung ergeben. Ein sehr verbreitetes Verfahren ist daher, ein Dekodierungsergebnis X herzunehmen und den euklidischen Abstand zu allen bekannten Blatt-Repräsentationen zu berechnen, im Beispiel also zu A, B und C. Die Repräsentation mit dem geringsten Abstand gewinnt und bestimmt den Blattnamen an der aktuellen Position im Baum. 3.4 Level-sensitives Lernen Bei ersten Versuchen mit unserer aktuellen Implementierung (siehe Abschnitt 3.2.2) zum Lernen von Bäumen traten unerwartet häufig Fehler bei der Dekodierung auf. Es konnten nur selten Erkennungsraten über 40% erreicht werden. Bei genauerem Hinsehen stellten wir fest, dass alle beobachteten Fehler in den unteren Levels der Bäume auftraten. Jane Neumann berichtet in [2] auf Seite 59 über ähnliche Erfahrungen im Zusammenhang mit Transformationsnetzen. Bis jetzt konnten wir den Grund für die geringe Genauigkeit leider noch nicht erkennen. Möglicherweise bestehen noch Probleme mit der gegenwärtigen Abbruchbedingung beim etappenweisen Lernen. Ein längeres Training hätte die Genauigkeit u.u. erhöhen können. Eine weitere Idee, die wir als level-sensitives Lernen bezeichnen möchten, beinhaltet Folgendes: Momentan sind alle Beispiele der Trainingsmenge gleichberechtigt ein Fehler wiegt in jedem Beispiel unabhängig von dessen Level gleich schwer. Da Beispiele auf höheren Levels jedoch mehr Dekodierungsschritte durchlaufen und sich somit potenzielle Fehler stärker auf die Blätter auswirken, sollte unserer Ansicht nach ein Fehler bei ihnen stärker gewichtet werden. Die Hoffnung ist, damit insgesamt ein besseres Ergebnis zu erzielen. 13

21 3 RAAMS 3.5 Ausprägungen von RAAMs Wie könnte eine solche unterschiedliche Gewichtung realisiert werden? Ein erster Ansatz wäre, Beispiele auf höheren Levels mehrfach in identischer Form in die Trainingsmenge einzufügen. Bei gleicher Gewichtung aller Elemente der Trainingsmenge sollte damit eine entsprechend höhere Gewichtung des betreffenden Beispiels erreicht werden. Level 1 könnte beispielsweise doppelt gewertet werden, Level 2 vierfach, usw. Für Bäume mit größerer Tiefe macht sich jedoch schnell das Problem bemerkbar, dass mit diesem Ansatz die Anzahl der Beispiele in der Trainingsmenge exponentiell in der maximalen Baumtiefe wächst. Als zweiten Ansatz würden wir den Einsatz einer Kostenfunktion in Betracht ziehen. Diese könnte bestimmte Beispiele in der Trainingsmenge stärker gewichten als andere. Ein Vorteil wäre, dass ohne Performance-Probleme beliebig große Gewichte vergeben werden könnten. Allerdings müsste der NN-Simulator dann eine spezielle Unterstützung für Kostenfunktionen bereitstellen. 3.5 Ausprägungen von RAAMs In diesem Abschnitt soll ein kurzer Ausblick auf die verschiedenen Ausprägungen von RAAMs gegeben werden. Der ursprüngliche, von Pollack [9] vorgeschlagene RAAM kann Bäume beliebiger Tiefe mit festem (beliebig großem) Verzweigungsgrad kodieren. Es ist ein Kodiernetzwerk, das während der Kodierung eine Komprimierung der Information und während der Dekodierung eine Dekomprimierung realisiert. Eine spezielle Form von RAAMs, der Sequential RAAM (SRAAM), ist in der Lage, Sequenzen zu kodieren. Diese können als links-verzweigende Bäume dargestellt oder auch als Stapel aufgefasst werden. Ein SRAAM ist ein binärer RAAM, wobei nur eine der beiden Gruppen rekursiv ist. Die nicht-rekursive Gruppe repräsentiert das oberste Element vom Stack und die rekursive Gruppe stellt die komprimierte Repräsentation des restlichen Stapelinhaltes dar. SRAAMs stellen keine Erweiterung der Funktionalität von RAAMs dar, sie sind lediglich ein Spezialfall dieser. Sperduti schlug 1993 den Labeling RAAM vor [13]. Netze dieser Art sind in der Lage, gerichtete zyklische Graphen zu repräsentieren. In Abbildung 7 ist ein solcher RAAM zu sehen. Das Label kann einen Knoten eindeutig kennzeichnen. Die Zeiger realisieren die Verbindungen zu den Nachfolgeknoten. Das Label und die Knoten können unterschiedlich breit sein, wobei jedoch die Breite der versteckten Schicht der der Zeiger entsprechen muss. Ein Teil des Labels kann benutzt werden, um anzuzeigen, ob die Zeiger gültig oder ungültig (NIL) sind. Dies löst das Terminierungsproblem der Dekodierungsphase. Die Anzahl der Zeiger-Gruppen entspricht dem maximalen Verzweigungsgrad des Graphen. Ein Graph wird durch eine Menge von Knoten charakterisiert, die wiederum durch ihr Label und die Zeiger auf die Nachfolger (oder NIL für keinen Nachfolger) bestimmt sind. Das Terminierungsproblem der Dekodierungsphase zu lösen, war auch Hauptansinnen von Niklasson und Sharkey, als sie den Extended RAAM (ERAAM) vorschlugen [4]. Dieser ist in Abbildung 6 zu sehen. Das Extra-Bit wird für Elemente auf 0 und für Strukturen auf 1 gesetzt. Somit ist eine Unterscheidung zwischen Element und Struktur, z.b. mit Hilfe des Grenzwertes 0.5, möglich. Weitere Besonderheiten für die Benutzung von ERAAMs sind in Abschnitt 3.3 zu finden. 14

22 3 RAAMS 3.6 Klassifikation gelernter Repräsentationen Label Zeiger 1... Zeiger N Label Zeiger 1... Zeiger N Abbildung 7: Labeling RAAM 3.6 Klassifikation gelernter Repräsentationen Wie am Anfang des Kapitels beschrieben, dienen RAAMs in erster Linie der Erzeugung von Baum-Repräsentationen, die ungeachtet der Baumtiefe immer dieselbe Breite besitzen. Für Bäume mit großer Tiefe und hoher Komplexität können diese Repräsentationen die vorhandenen Struktur-Informationen nur in abstrakter Form wiedergeben. Jane Neumann vergleicht dies in [2] auf Seite 27 mit Landkarten, die bestimmte Regionen in verschiedenen Maßstäben darstellen. Schaut man sich eine Weltkarte an, so ist darin potenziell jedes existierende geographische Objekt der Erde auffindbar. In der Praxis bestehen jedoch Einschränkungen: Das Papier, auf dem die Karte gedruckt ist, besitzt nur eine gewisse Höhe und Breite und auch die Druckauflösung ist begrenzt. Möchte man genauere Informationen über die einzelnen Kontinente sehen, so benötigt man dazu ein genaueres Bild. Dies darf im gleichen Papierformat und mit derselben Auflösung gedruckt sein, kann jedoch nur einen bestimmten Ausschnitt der Welt zeigen und muss diesen vergrößert widergeben, um mehr Details unterzubekommen. Mit Struktur-Repräsentationen tiefer Bäume verhält es sich ähnlich: Die Repräsentation der Wurzel enthält zwar potenziell die Informationen des gesamten Baumes, nicht direkt zugänglich sind jedoch zum Beispiel die Details über die Blätter. Verändert ein Blatt seine Repräsentation, so spiegelt sich dies in der Wurzel-Repräsentation in Form einer kleinen Änderung wider. Das bedeutet, die Wurzel-Repräsentation ist nicht einfach nur ein Tupel von Zeigern auf ihre Kinder diese blieben bei einer Änderung in den Blättern konstant, sondern sie enthält ein direktes Abbild ihrer Kinder, wenn auch eines, das nicht alle Details widergibt. Speziell für RAAMs entscheidend ist die Tatsache, dass eine Wurzel-Repräsentation trotzdem ausreicht, um aus ihr mit Hilfe eines trainierten Netzes alle Detail-Informationen zu rekonstruieren. Das ist vergleichbar mit einer intelligenten Lupe, die beim Hineinfahren in die Weltkarte Informationen zu Tage fördert, die in dieser Genauigkeit gar nicht auf dem Papier zu finden sind. Sie kann dies nur leisten, weil sie auf die speziellen Eigenschaften der entsprechenden Welt trainiert wurde und deswegen aus dem aktuellen Bild ableiten kann, an welchen Stellen in der nächsten Vergrößerungsstufe welche Details hinzukommen werden. Möchte man nun symbolisch gespeicherte, über Zeiger verkettete Bäume nach bestimmten allgemeinen Kriterien klassifizieren, so muss man sie im Normalfall vollständig durchsuchen, um die nötigen Informationen einzusammeln. Die abstrakten Baum- Repräsentationen versprechen hier in bestimmten Fällen eine Zeitersparnis, denn sie ent- 15

23 3 RAAMS 3.6 Klassifikation gelernter Repräsentationen halten überblicksartig Informationen über den gesamten Baum. Manche Klassifikations- Operationen können somit durchgeführt werden, ohne den Baum zerlegen zu müssen. Sie betrachten den Baum als Ganzes und werden deswegen auch als holistische Operationen (Holismus griech.: eine philos. Ganzheitslehre) bezeichnet. In [2] auf Seite 46 ist eine genauere Definition angegeben. In den folgenden Unterabschnitten werden zwei Möglichkeiten zur Realisierung holistischer Klassifikation mit RAAMs vorgestellt und miteinander verglichen. Es soll nicht verschwiegen werden, dass holistische Klassifikation Grenzen hat und nur in bestimmten Fällen sinnvoll anwendbar ist. Dies ist Gegenstand des letzten Unterabschnittes Gekoppeltes Lernen Beim gekoppelten Lernen wird im Prinzip der RAAM um Ausgabeeinheiten, die das Perzeptron repräsentieren, erweitert. Dies ist in Abbildung 8 zu sehen. Offensichtlich ist die Trainingsmenge für dieses hybride Netz eine andere als für den RAAM. Da der RAAM ein Autoassoziator ist, gilt dass das Eingabe-Pattern gleich dem Target-Pattern ist. In der hybriden Architektur muss das Target-Pattern um die Klasseninformation erweitert werden. Daher ist es notwendig, für Teilbäume, die keiner eigentlichen Klasse angehören, eine Pseudo-Klasse (z.b. Klasse _Teilbaum_) einzuführen. Auch hier handelt es sich wie beim reinen autoassoziativen Lernen wieder um eine dynamische Trainingsmenge, die Klassenbeschreibung des Targets ist allerdings statisch. Ein Beispiel einer solchen Trainingsmenge ist in Tabelle 2 zu sehen. Perzeptron Teil der gekoppelten Architektur Abbildung 8: Netzarchitektur für gekoppeltes Lernen Eingabe hybrides Netz Target hybrides Netz (Baum 1) (Baum 1) (Klasse 1) (Teilbaum 1.1) (Teilbaum 1.1) (_Teilbaum_) (Teilbaum 1.2) (Teilbaum 1.2) (_Teilbaum_).. (Baum n) (Baum n) (Klasse k) Tabelle 2: Trainingsmenge für gekoppeltes Lernen 16

24 3 RAAMS 3.6 Klassifikation gelernter Repräsentationen Entkoppeltes Lernen Das entkoppelte Lernen findet im Unterschied zum gekoppelten in zwei Phasen statt. In der ersten Phase wird ein RAAM, wie in Abschnitt 3.2 besprochen, vollständig trainiert. Die Repräsentationen in der versteckten Schicht des RAAMs werden so unabhängig von der Klassifikationsaufgabe erzeugt. In der zweiten Phase wird ein Perzeptron auf den Repräsentationen trainiert, die sich beim Anlegen eines Trainingsbeispiels an den RAAM in der versteckten Schicht ergeben. D.h. die Trainingsbeispiele für das Perzeptron können erst generiert werden, wenn das Training des RAAMs abgeschlossen ist. Dabei besteht die Trainingsmenge für das Perzeptron nur aus den Repräsentationen der vollständigen Bäume. Alle Teilbäume, die im RAAM außerdem gelernt wurden, spielen für die Klassifikationsaufgabe keine Rolle. Einen Überblick über die Trainingsbeispiele für beide Netze gibt Tabelle 3. Die Netzarchitektur für das entkoppelte Lernen ist in Abbildung 9 zu sehen. Perzeptron Abbildung 9: Netzarchitektur für entkoppeltes Lernen Trainingsbeispiel RAAM Eingabe Perzeptron Target Perzeptron (Baum 1) [Baum 1] (Klasse 1) (Baum 2) [Baum 2] (Klasse 2)... (Baum n) [Baum n] (Klasse k) Tabelle 3: Trainingsmengen für entkoppeltes Lernen Vergleich beider Methoden Beim gekoppelten Lernen wird der RAAM von Anfang an im Perzeptron-Teil mit der Repräsentation der jeweiligen Klasse konfrontiert. Ist die Menge der Struktur-Repräsentationen zu einem bestimmten Zeitpunkt eher ungeeignet für die Klassifikationsaufgabe, so produziert dies einen eigenen Beitrag zum Fehler. Nach einiger Zeit setzt deswegen eine Spezialisierung der Struktur-Repräsentationen auf die Klassifikationsaufgabe ein. Da die Struktur-Informationen nun mit den Klassen-Informationen um die begrenzte Kapazität im Netz konkurrieren, kann es zu einer Verschlechterung der Struktur-Dekodierung kommen. Der Versuch, das Netz auf mehrere Klassifikationsaufgaben gleichzeitig zu trainieren, dürfte diesen Effekt noch verstärken. Gekoppeltes Lernen sollte also besonders 17

25 3 RAAMS 3.6 Klassifikation gelernter Repräsentationen dann gute Ergebnisse liefern, wenn nur eine einzige Klassifikationsaufgabe vorliegt und exakte Struktur-Dekodierung nicht zwingend benötigt wird. Beim entkoppelten Lernen wird der RAAM rein autoassoziativ trainiert, d.h. die gesamte Speicherkapazität wird ausschließlich auf das Lernen der Baumstruktur verwendet. Die Struktur-Repräsentationen in der versteckten Schicht bilden sich unabhängig von einer eventuell im Anschluß zu lösenden Klassifikationsaufgabe heraus. Eine Spezialisierung auf Klassifikation ist daher ausgeschlossen. Bei einer einzelnen Klassifikationsaufgabe dürfte sich hier ein Nachteil gegenüber gekoppeltem Lernen ergeben. Bei mehreren Aufgaben müssen dagegen mehrere getrennte Perzeptrons trainiert werden, sodass sich die fehlende Spezialisierung hier eher positiv auswirken sollte. Sperduti et al. [14] untersuchten ge- und entkoppeltes Lernen an LRAAMs, einer speziellen Form von RAAMs. Sie kamen zu dem Ergebnis, dass die Ausbildung der Repräsentationen stark von der gewählten Lernmethode abhängt. Zunächst trainierten sie das Netz ohne Klassen-Information (entkoppeltes Lernen): ähnliche Strukturen erhielten ähnliche Repräsentationen. In einem weiteren Versuch wurde die Klassen-Information von Anfang an berücksichtigt: Nun war auf einmal die Zugehörigkeit zur selben Klasse ausschlaggebend für die Ausbildung ähnlicher Repräsentationen. Das Netz war nun auf Klassifikation spezialisiert und konnte die Klasse einer Struktur-Repräsentation wesentlich genauer bestimmen als ihren hierarchischen Aufbau. Mitunter verschwand die Fähigkeit zur Dekodierung nahezu vollständig Grenzen holistischer Klassifikation Die Klassifikation mit Hilfe von (trainierten) RAAMs läuft im Prinzip in zwei Schritten ab. Als erstes wird die Struktur durch wiederholte Rückführung an die Eingänge des RAAMs kodiert. Im zweiten Schritt wird aufgrund dieser Kodierung die Klassenzugehörigkeit bestimmt. Das Ziel der Klassifikation mittels RAAMs ist, Aussagen über die Struktur machen zu können, ohne diese zu durchmustern. Es soll z.b. festgestellt werden, ob sich ein bestimmtes Element in der Struktur befindet, ohne (im schlimmsten Fall) alle Elemente zu durchsuchen. Das wäre ein Vorteil der konnektionistischen Herangehensweise gegenüber den symbolischen Verfahren. Das prinzipielle Problem bei dieser Vorgehensweise ist nun, dass die Struktur während der Kodierungsphase bekannt sein muss und außerdem vollständig durchmustert wird. Das heißt, dass die Klasse prinzipiell bei der Überführung in die kodierte Form ohne Performance-Verluste berechnet werden kann. Da zum Beispiel jedes Element, das im Baum vorkommt, irgendwann während des Kodierens an eine Eingabegruppe angelegt wird, kann während der Kodierungsphase ohne weiteren Zeitaufwand erkannt werden, ob ein bestimmtes Element im Baum vorhanden ist. Der Vorteil der holistischen Klassifikation in konstanter Zeit für prinzipiell beliebig komplexe Strukturen geht verloren, wenn man die Zeit der Kodierung mit in Betracht zieht. Eine sinnvolle Anwendung holistischer Klassifikation wäre im Zusammenhang mit holistischen Transformationen zu sehen. Eine transformierte Struktur, die nur als Pattern vorliegt, könnte klassifiziert werden, ohne vorher dekodiert zu werden. In diesem Fall wäre der konnektionistische Weg schneller als das Vorgehen der Symbolisten. 18

26 3 RAAMS 3.7 Transformation gelernter Repräsentationen 3.7 Transformation gelernter Repräsentationen Die in einem RAAM gelernte Struktur-Repräsentation kann holistisch transformiert werden, d.h. in eine Repräsentation umgewandelt werden, die nach der Dekodierung einer anderen Struktur entspricht. Diese Umwandlung geschieht mit Hilfe eines Transformations- Netzwerkes (TN). In der Lernphase bekommt das TN im einfachsten Fall handelt es sich um ein Perzeptron die in der versteckten Schicht eines RAAMs geformten Repräsentationen als Eingabe- bzw. Target-Pattern. Die Transformation kann, analog zur Klassifikation, sowohl gekoppelt als auch entkoppelt erfolgen. Chalmers ist es 1992 gelungen, mittels eines TN englische Aktivsätze ins Passiv zu transformieren [1]. MICHAEL JOHN LOVE MICHAEL IS LOVE NIL BY JOHN NIL (a) Aktivsatz (b) Passivsatz Abbildung 10: Transformationen nach Chalmers, Abbildung nach [1] 19