Beaufsichtigtes Lernen

Transkript

1 Vortragsausarbeitung Beaufsichtigtes Lernen Seminar NEURONALE NETZE Leiter: Dr. B. Freisleben Sommersemester 1993 Torsten Felzer Matr.-Nr.: Semester Inf Alexandra Heidger Matr.-Nr.: Semester Inf Maria Wiesiollek Matr.-Nr.: Semester Winf PDF version by TORSTEN FELZER (Dec. 10, 2002)

2 Zusammenfassung Die vorliegende Ausarbeitung beschäftigt sich mit dem Problem des Beaufsichtigten Lernens durch Fehlerkorrektur in Neuronalen Netzen. Es werden zahlreiche Lern-Algorithmen vorgestellt, es werden Vor- und Nachteile der Algorithmen aufgelistet sowie (soweit bekannt) Ergebnisse hinsichtlich der Anwendung der einzelnen Algorithmen auf bestimmte grundlegende Probleme. Dort, wo der mathematische Hintergrund nicht allzu große geistige Klimmzüge erfordert, werden die theoretischen Grundlagen erläutert, ansonsten beschränken wir uns hier (auch mit Rücksicht auf den Leser, der das ganze ja schließlich nachvollziehen soll) auf eine Darstellung der grundlegenden Idee, die hinter dem jeweiligen Verfahren steht. Beim Anfertigen dieser Ausarbeitung ergaben sich gewisse Schwierigkeiten mit der englischen Sprache (oder besser: mit englischen Fachbegriffen). In den uns vorliegenden Artikeln fallen immer wieder bestimmte Fachtermini, wie z. B. Backpropagation, Momentum, feedforward oder Bias. Wir sind der Meinung, daß es wenig Sinn macht, diese feststehenden Begriffe ins Deutsche zu übersetzen. Wo ein sinnvolles deutsches Äquivalent existiert, werden wir es selbstverständlich tunlichst vermeiden, die englischen Begriffe zu verwenden (z. B. werden wir uns hüten, Sätze zu bilden, in denen neudeutsche Ausdrücke wie etwas nach außen supporten vorkommen). Außerdem ist es durchaus sinnvoll, Begriffe wie verborgenes Neuron statt hidden unit oder Schicht statt Layer zu verwenden. Wir werden zusätzlich dem Anhang ein kleines deutsch-englisches Wörterbuch beifügen, um die deutschen Übersetzungen zu verstehen. Nach einer kurzen Einführung im ersten Abschnitt, werden im zweiten Abschnitt die Grundlagen eingeführt: Was ist ein Neuronales Netz?, Was ist beaufsichtigtes Lernen?. Im dritten Abschnitt geht es dann um das Lernverfahren, dessen Name man am häufigsten in Verbindung mit beaufsichtigtem Lernen hört, nämlich Backpropagation (kurz: BP). Im vierten Abschnitt werden verschiedentliche Modifikationen und Weiterführungen des BP vorgestellt, Versuche also, den Standard BP zu verbessern. Der fünfte Abschnitt beschäftigt sich mit zwei Lernverfahren, die nicht auf BP basieren, und zwar SCG und CCA. Im sechsten und letzten Abschnitt wird das ganze noch einmal kurz (sehr kurz) zusammengefaßt und ein kleiner Ausblick auf die Zukunft gegeben. Im Anhang findet man das Programmlisting einer Implementierung des BP sowie dazugehörige Ablaufprotokolle. Außerdem enthält der Anhang (wie oben schon versprochen) ein kleines deutschenglisches Wörterbuch. Ganz am Ende befindet sich eine Liste mit der zur Bearbeitung dieser Ausarbeitung herangezogenen Literatur.

3 Beaufsichtigtes Lernen Seminar NEURONALE NETZE 1 Inhaltsverzeichnis 1 Einführung 2 2 Grundlagen Knoten und Synapsen Topologien Darstellungsarten Klassifizierung der Lernverfahren Der konventionelle Backpropagation Algorithmus (BP) Einleitung Die Delta Regel Das Gradienten Verfahren Die Verallgemeinerung der Delta Regel Einige Feinheiten des BP Algorithmus Einige konkrete Anwendungsbeispiele Vor- und Nachteile von BP Modifikationen & Weiterführungen des BP Quickprop RPROP Adaptives Backpropagation Autoregressives Backpropagation Heuristischer Lernalgorithmus Moving-Target Algorithmus Orthogonalisiertes Backpropagation mit Novelty Filter Nicht BP basierte Algorithmen Cascade Correlation Algorithmus (CCA) Motivation Dynamische Netzwerk-Architektur Der CCA-Lernalgorithmus Simulationsergebnisse Scaled Conjugate Gradient Algorithmus (SCG) Motivation Grundlagen Der SCG-Algorithmus Simulationsergebnisse Zusammenfassung und Ausblick 53 A Implementierung des Backpropagation Algorithmus 54 B Ablaufprotokolle 60 C Kleines Deutsch Englisches Fachwörterbuch 65 D Literaturverzeichnis 66

4 Beaufsichtigtes Lernen Seminar NEURONALE NETZE 2 1 Einführung Seit einigen Jahren gewinnt in Informatikerkreisen das Thema NEURONALE NETZE in Verbindung mit KÜNSTLICHER INTELLIGENZ zusehends an Bedeutung. Doch auch wenn das Thema in aller Munde ist, weiß längst nicht jeder darüber bescheid. Wenn man fragt, worum es dabei eigentlich geht, erhält man oftmals von sogenannten Experten die lapidare Antwort: mit Neuronalen Netzen wird versucht, die Arbeitsweise des menschlichen Gehirns durch den Computer nachzubilden. Jemand, der sich mit der Materie nicht auskennt, wird sich vielleicht mit dieser Erklärung zufrieden geben. Die Vorstellung, daß Computer in Zukunft nicht mehr in Pascal oder C programmiert werden müssen, sondern die angemessene Vorgehensweise zur Lösung eines gegebenen Problems selbständig mit Hilfe eines Elektronischen Gehirns erlernen bzw. sich erarbeiten können, scheint für einige Informatiker recht amüsant und angenehm zu sein. Selbst manche Experten in Sachen Neuronale Netze sehen diese Vorstellung als realistisch an. Manche sprechen sogar voller Begeisterung von der Möglichkeit, in die Schöpfung einzugreifen und quasi ein bißchen Gott zu spielen 1. Diese Leute bilden sich ein, das WUNDERWERK Menschliches Gehirn vollkommen (bzw. in ausreichendem Maße) zu verstehen und nehmen für sich selbst in Anspruch, einen Beweis für die Nichtexistenz Gottes gefunden zu haben. Sie argumentieren, daß die Entstehung des Lebens, die Entwicklung von Sprache und Intelligenz sowie die Ausprägung gewisser ethischer Grundvorstellungen alleine durch rationale Überlegungen (wie etwa der Evolutionstheorie) erklärbar seien und daß deswegen kein Gott notwendig sei (den es demzufolge auch gar nicht gibt eine äußerst fadenscheinige Begründung). Mit Hilfe von Neuronalen Netzen versuchen diese Experten dann den Entwicklungsprozeß im kleinen Stil in Zeitraffer zu modellieren und sich selbst als eine Art Schöpfer zu betätigen (eine wohl krankhafte Form von Größenwahnsinn). Es ist kein Wunder, wenn jemand, der von Computern kaum Ahnung hat, abgesehen von dem, was ihm in den Medien (Zeitung, Fernsehen) darüber erzählt wird (der sogenannte Otto-Normalverbraucher also), angesichts dieser Fantastereien vereinzelter Computerspezialisten regelrecht Angst bekommt. Angst davor, die angesprochenen Amateurschöpfer könnten einen perfekten künstlichen Menschen entwickeln, einen Roboter, dessen Elektronenhirn weit leistungsfähiger sein würde als das menschliche Gehirn, oder Computer, die irgendwann sich so verselbständigen, daß sie durch bewußtes Handeln den Menschen bedrohen oder gar vernichten könnten. Gott sei Dank ist die Forschung auf dem Gebiet der KÜNSTLICHEN INTELLIGENZ heute scheinbar unendlich weit davon entfernt, ein solches Horrorszenario verwirklichen zu können. Die Methoden, die angewendet werden, wenn man ein Neuronales Netz zum Erlernen eines bestimmten Sachverhalts bringen will, haben nämlich biologisch gesehen so gut wie gar nichts mit dem zu tun, was das menschliche Gehirn beim Lernen macht 2. Beim BEAUFSICHTIGTEN LERNEN, einem sehr wichtigen Teilgebiet der NEURONALEN NETZE, um das sich die vorliegende Ausarbeitung dreht, gibt es beispielsweise ein ziemlich grundlegendes Lernverfahren namens BACKPROPAGATION. Lernen wird mit Backpropagation abstrahiert zu der Anwendung eines mathematischen Kalküls, der Verwendung der aus der Analysis bekannten ein- und mehrdimensionalen Kettenregel sowie der Berechnung mittels einer Rekursionsformel. Es gibt nun keinerlei ernstzunehmende Begründung dafür, daß das Gehirn auch nur annähernd ähnliches veranstaltet. Geht man andererseits nüchtern an die Sache heran (ohne den Ehrgeiz, Gott spielen zu wollen), so lassen sich trotz aller (Interpretations-)Schwierigkeiten mit Neuronalen Netzen allgemein und beaufsichtigtem Lernen im besonderen interessante und zum Teil erstaunliche Ergebnisse beobachten, und darum wird es in den nachfolgenden Abschnitten gehen. 1 ein ziemlich bekannter Vertreter dieser radikalen Richtung ist der leidlich berühmte MARVIN MINSKY 2 was das Gehirn genau macht, ist noch weitgehend unbekannt, man kann aber sagen, daß die für Neuronale Netze benutzten Lernverfahren damit nichts zu tun haben

5 Beaufsichtigtes Lernen Seminar NEURONALE NETZE 3 2 Grundlagen Lernfähigkeit, Verallgemeinerungsfähigkeit und Fehlertoleranz sind die drei Eigenschaften neuronaler Netze, die diese so interessant machen und die Entwicklungsarbeiten auf diesem Gebiet motivieren. Es werden flexible, lernfähige Universalprogramme gesucht, die für ihre spezifische Aufgabe nicht in allen Einzelheiten programmiert, sondern anhand von Beispielen trainiert werden und sich dadurch selbst organisieren. Nach der Trainingsphase sollen sie in der Lage sein, auf unbekannte Eingaben korrekt zu reagieren, also das vorher Gelernte zu verallgemeinern und auf neue Situationen anzuwenden. Mit jeder neuen Eingabe lernen sie weiter, indem sie ihre Signalverstärker anpassen und dadurch den gemachten Fehler reduzieren. Doch was genau passiert bei solch einem Lernvorgang? Das Trainieren eines neuronalen Netzes folgt bestimmten Regeln bzw. Verfahren. Solche Lernverfahren bilden den Schwerpunkt dieser vorliegenden Ausarbeitung. Es werden Algorithmen aus dem Bereich des beaufsichtigten Lernens und die damit erzielten Ergebnisse vorgestellt. Bevor jedoch die einzelnen Algorithmen angegangen werden, sollen die wesentlichen Komponenten eines neuronalen Netzes umrissen werden. Ein neuronales Netz besteht im technischen Sinne aus 3 Komponenten: den Knoten und ihren Synapsen, der Netztopologie, die die Netzstruktur und Vernetzung bestimmt und den Lernregeln bzw. -verfahren, die die Veränderung der synaptischen Gewichte zwischen den Neuronen bestimmen 2.1 Knoten und Synapsen Die Knoten eines neuronalen Netzes sollen im weitesten Sinne den Neuronen des biologischen Vorbildes entsprechen. Ein Knoten erhält eine Menge von Eingangssignalen, verarbeitet diese mit Hilfe diverser Rechenoperationen und erzeugt ein Ausgangssignal, das an verschiedene andere Knoten weitergeleitet wird. Eingangssignale Knoten Abb. 2.1: Modell des Knotens Ausgabefunktion Aktivierungsfunktion Eingabefunktion ( ) incl. Bias Synapsen Ausgangssignal

6 ) ) Beaufsichtigtes Lernen Seminar NEURONALE NETZE 4 Das Gedächtnis bzw. die lokalen Speicher des Knotens werden durch die Synapsen repräsentiert. Diese werden auch als (synaptische) Gewichte bezeichnet, da sie die eingehenden Signale gewichten, also verstärken oder abschwächen. Die Rechenoperationen erfolgen in drei Etappen. Zunächst werden die gewichteten Eingangssignale von der Eingabefunktion zum Netto-Eingangssignal zusammengefaßt, z.b. durch Aufaddieren: "! #%$ # #. Aus diesem Netto-Eingangssignal und evtl. der Vorgeschichte des Knotens ergibt sich mit Hilfe der Aktivierungsfunktion die Aktivität des Knotens (siehe Abb. 2.2). Schließlich bestimmt die Ausgabefunktion aus der momentanen Aktivität des Knoten, welcher Wert nach außen weitergegeben wird. In vielen Fällen ist die Ausgabefunktion die identische Funktion und spielt bei den weiteren Untersuchungen keine Rolle. Nachfolgend sind einige Beispiele für Aktivierungsfunktionen aufgeführt. 1 1 ) 1 0 Stückweise linear &(' 0 Schwellwert &*' 0 Sigmoid & ' Abb. 2.2: Aktivierungsfunktionen Besonders interessant für das Trainieren von neuronalen Netzen ist die sigmoide (s-förmige) logistische Funktion, da sie einige wichtige Eigenschaften besitzt, von denen hier zwei erwähnt werden sollen: Sie ist stetig differenzierbar - eine wichtige Voraussetzung für beispielsweise das in Kap. 3.3 vorgestellte Gradienten-Verfahren. Die x-werte werden in drei Bereiche abgebildet: - linear region: sehr kleine + ' + werden auf den linearen Bereich um den Wendepunkt herum abgebildet, - clipped region: sehr große + ' + werden auf die Werte,.- und,0/ abgebildet (zur x-achse parallele Bereiche), - curved region: alle anderen x-werte werden in die dazwischenliegenden gekrümmten Bereiche abgebildet. Durch Wahl von unterschiedlichen Größenordnungen für die Gewichte kann aufgrund dieser Eigenschaft erreicht werden, daß das Netz auf gleiche Eingabe völlig unterschiedlich reagiert (siehe Autoregressiver Backpropagation-Algorithmus in Kap. 4.4). 2.2 Topologien Wie die Knoten des Netzes angeordnet sind und welche miteinander kommunizieren, wird durch die Netztopologie festgelegt. Sie gibt die innere Struktur des Netzes wieder, z.b. die Anzahl der Schichten und Vernetzungsart. In vielen Fällen liegt es in der Hand des Netzdesigners, eine für die zu bewältigende Problemstellung adäquate Topologie zu wählen. Es existieren allerdings auch Lernalgorithmen, die ihre Topologie selbst dynamisch an das Poblem anpassen können.

7 Beaufsichtigtes Lernen Seminar NEURONALE NETZE 5 Ausgabeschicht Ausgabeschicht Verborgene Schicht Eingabeschicht zweischichtig Eingabeschicht dreischichtig Abb. 2.3: Netztopologien I Ein zweischichtiges Netz besteht aus einer sog. Eingabe- und einer Ausgabeschicht. Das Beispiel zeigt den allgemeinen Ansatz mit vollständiger Vernetzung (die sich durch Nullsetzen einzelner Gewichte ausdünnen läßt). Demgegenüber besitzt ein mehrschichtiges Netz zusätzlich eine oder mehrere verborgene Schichten, deren Ein- und Ausgangswerte von der Ein- und Ausgabeschicht verdeckt sind. Verborgene Knoten sind die Quellen möglicher Abstraktionsleistungen und erlauben die Lösung von wesentlich komplexeren Problemstellungen. Einen Speziallfall dieses allgemeinen Ansatzes bilden sog. Feed-Forward-Netze. Die linke Graphik der Abbildung 2.3 stellt ein vollständig vernetztes Feed-Forward-Netz dar. Alle Eingangssignale kommen nur von den darunter liegenden Schichten und alle Ausgangssignale werden nur an die darüberliegenden weitergeleitet. Die Knoten der Eingabeschicht besitzen die Besonderheit, daß sie keine Eingabesignale im üblichen Sinne erhalten, sondern gesetzt werden. D.h. den Eingabeknoten wird ein Wert zugewiesen, den sie ohne weitere Verarbeitung an die folgende Schicht weiterleiten. Diese Eigenschaft führt dazu, daß in der Literatur (z.b. in [6]) ein Netz wie das in Abbildung 2.4 links manchmal als ein zweischichtiges Netz bezeichnet wird. Die Graphik rechts ist dagegen kein Feed-Forward-Netz. Sie zeigt ein unvollständig und schichtenübergreifend vernetztes, stark rückgekoppeltes Netz. Ausgabeschicht Ausgabeschicht verborgene Schicht verborgene Schicht Eingabeschicht Feed-Forward-Netz Eingabeschicht kein Feed-Forward-Netz Abb. 2.4: Netztopologien II

8 Beaufsichtigtes Lernen Seminar NEURONALE NETZE Darstellungsarten Die eben vorgestellte Knotendarstellung lehnt sich an das biologische Vorbild an und ist intuitiv verständlich. Anders die Matrixdarstellung. Sie ist mathematisch orientiert und verlangt vom Leser eine höhere Abstraktionsleistung. S c h i c h t B x y S c h i c h t A a b c Abb. 2.5: Matrixdarstellung Die Knoten einer Schicht werden als Zeilen, die der benachbarten Schicht als Spalten dargestellt. Rechtecke an den Kreuzungspukten der Zeilen und Spalten bilden die Verbindung zwischen den Knoten der zwei Schichten ab. Beide Darstellungsformen sind inhaltlich identisch, sie unterscheiden sich nur in der Zweckmäßigkeit für bestimmte Aufgaben. 2.4 Klassifizierung der Lernverfahren Die Lernregeln bzw. -verfahren lassen sich gemäß der Vorgehensweise beim Lernen in verschiedene Klassen unterteilen. unbeaufsichtigt Lernregeln Fehlerkorrektur-Lernen beaufsichtigt Verstärkungslernen Abb. 2.6: Klassen der Lernverfahren Das beaufsichtigte Lernen erfordert einen Lehrer, der sagt, wie das Netz in der vorliegenden Situation zu reagieren hat. Beim Fehlerkorrektur-Lernen wird die Kenntnis der gewünschten Ausgabe (target ) vorausgesetzt. Das Lernen, d.h. die Gewichteänderung erfolgt entsprechend dem gemachten Fehler, also der Differenz zwischen der gewünschten und der tatsächlich erzielten Ausgabe 213. Dabei wird eine Aktualisierung der Gewichte nach dem Durchlauf (Präsentation) einer einzelnen Eingabe als fortlaufende Aktualisierung bezeichnet. Werden die Gewichte dagegen erst nach einer ganzen Epoche (d.h. nach Durchlauf aller Eingaben einer Trainingsmenge) korrigiert, handelt es sich um periodische Aktualisierung. Beim Verstärkungslernen ist dem Netz der genauer Fehler nicht bekannt. Es orientiert sich allein an der Bewertung des Ergebnises durch den Lehrer mit gut oder schlecht, 1 oder 0. Beim unbeaufsichtigten Lernen arbeiten die Netze völlig autark ohne Unterstützung von außen. Der Lernvorgang, d.h. die Änderung der synaptischen Gewichte erfolgt in Abhängigkeit der Korrelation zwischen den Eingabesignalen und der Aktivität des Knotens. In den folgenden Kapiteln werden diverse Lernalgorithmen aus der Klasse des beaufsichtigten Fehlerkorrektur-Lernens betrachtet.

9 Beaufsichtigtes Lernen Seminar NEURONALE NETZE 7 3 Der konventionelle Backpropagation Algorithmus (BP) 3.1 Einleitung Was Neuronale Netze eigentlich sind, wurde ja in den vorangegangenen Abschnitten bereits erläutert, ebenso wie die Grundidee des beaufsichtigten Lernens. Beim Entwurf von Neuronalen Netzen spielen Strukturüberlegungen zwar keine unwichtige Rolle, besondere Bedeutung kommt aber der Wahl des Lernverfahrens bzw. der Lernregel zu. Da Neuronale Netze nicht wie konventionelle Computer explizit durch Befehle und Anweisungen programmiert werden, sondern selbstorganisiert durch die Anpassung ihrer Gewichte gemäß einer vorgegebenen Lernregel, ist man natürlich stark daran interessiert, daß die vollständige Anpassung der Gewichte nicht allzu lange dauert und daß die Lösung auch einigermaßen sicher gefunden wird. Konvergenzgeschwindigkeit und Sicherheit (bzw. Stabilität) werden in besonderem Maße von der verwendeten Lernregel beeinflußt. Es gibt nun (wie eigentlich immer bei populären Problemen der Informatik) viele verschiedene Lernregeln. Alle paar Monate stellt ein Forscherteam ein neues Verfahren vor, in der Hoffnung, damit endlich das Ei des Kolumbus gefunden zu haben. Diese neuen Lernregeln haben in vielen Fällen direkt etwas mit einem sehr bekannten Algorithmus zu tun, und zwar mit dem Backpropagation Algorithmus 1. Dieser Algorithmus wurde 1986 von Rumelhart, Hinton und Williams [9] vorgestellt, und die Tatsache, daß deren Veröffentlichung liebevoll als Bibel der Neuronalen Netze bezeichnet wird, zeigt schon, wie ungeheuer populär BP ist 2. Wenn also über beaufsichtigtes Lernen gesprochen wird, dann muß auch von BP gesprochen werden, und deshalb wird BP an dieser Stelle als erstes einer ganzen Reihe von Lernverfahren vorgestellt. 3.2 Die Delta Regel Das Ziel von beaufsichtigtem Lernen ist es ja stets, durch Änderung (oder Aktualisierung ) der Gewichte, ein Neuronales Netz eine (durch Ein-/Ausgabe Paare) vorgegebene mathematische Abbildung erlernen zu lassen. Das Netz soll dabei bei Eingabe eines bestimmten Musters das zugehörige Ausgabemuster erzeugen. Wie die Gewichte zur Erreichung dieses Ziels geändert werden sollen, wird durch eine sogenannte Lernregel festgelegt. BP basiert auf der Verallgemeinerung einer sehr einfachen Lernregel für zweischichtige Netze (für Netze also, die lediglich eine Eingabe- und eine Ausgabeschicht besitzen, aber keinerlei verborgene Neuronen), der sogenannten Delta Regel 3. Ganz abstrakt, unter Zugrundelegung der in Abschnitt 2 eingeführten Bezeichnungen, hat die Delta Regel folgende Gestalt: 465 #87 9;: 5 # 1< 5 #>= 5 7 / = (1) BADCE #87 GFIH #K7ML J 425 #K7 (2) Man sieht hier schon an der Verwendung des Indexes N, daß diese Lernregel fortlaufende Aktualisierung verwendet. N ist hier somit der Index des aktuellen Ein-/Ausgabe Paares. Bei diesem Verfahren macht man also nichts anderes, als dem System von Zeit zu Zeit symbolisch auf die Finger zu klopfen. Man gibt nämlich der Eingabeschicht den Eingabevektor (die 7 s), 1 in der Folge abgekürzt mit BP 2 neue Lernalgorithmen sind in den meisten Fällen entweder Weiterentwicklungen von BP (damit werden wir uns in Abschnitt 4 beschäftigen) oder sie werden zusammen mit BP auf dasselbe Problem angesetzt, um ihre vermeintliche Überlegenheit zu demonstrieren 3 manchmal wird diese Regel auch als Widrow-Hoff-Regel bezeichnet, der Name Delta Regel gefällt mir aber besser, da er direkt auf den Aufbau der Regel schließen läßt

10 ' ' Beaufsichtigtes Lernen Seminar NEURONALE NETZE 8 läßt das System den Ausgabevektor (die # s) an der Ausgabeschicht berechnen, vergleicht dann 5 tatsächliche mit gewünschter Ausgabe (daher ( # 1O 5 # ) ) und ändert die entsprechenden Gewichte proportional (mit Proportionalitätsfaktor 9 ) zur 465 entstehenden Differenz. Daß in der Formel zur Berechnung von #K7 5 auch noch 7 mit eingeht, hat damit zu tun, daß es keinen Sinn machen würde, das Gewicht von Eingabe Neuron nach Ausgabe Neuron P zu verändern, wenn der Fehler an Neuron P (also ( # 1O # )) gar nicht von Neuron verursacht wurde, sondern von anderen Eingabe Neuronen ( 7 / 4 impliziert dann nämlich 7 / Q ). Im übrigen sollte die Änderung von #K7 nach der Präsentation des Ein-/Ausgabe Paares N umso größer sein, je mehr #K7 zum Fehler bei der Präsentation N 5 beigetragen hat (je größer also 7 ist). 3.3 Das Gradienten Verfahren Daß die Delta Regel auch wirklich funktioniert, daß durch sie also die Gewichte so eingestellt werden, daß der Gesamtfehler minimal 4 wird, das hängt mit dem aus der Mathematik bekannten Minimierungsverfahren durch Gradienten Abstieg (oder kurz: Gradienten Verfahren) zusammen. Bevor ich diesen Zusammenhang aber genauer beleuchte, möchte ich allgemein auf das Gradienten Verfahren eingehen. Das Gradienten Verfahren ist ein Iterationsverfahren, das YX zur Minimierung mehrdimensionaler gegeben. Gesucht ist dasjenige Funktionen verwendet wird. Sei z. B. eine Funktion RTSVU W U W '[Z, für das R : '\Z = minimal wird. Gegeben sei weiterhin ein Startpunkt 'V] ^: '[] 'V] =. Aus der Analysis ist nun bekannt, daß der Vektor _a`cbed R : ' ] = gfihj hk l ausgehend vom Punkt '[] angibt. Für den nächsten Iterationsschritt wählt man demzufolge einen Punkt ', der von ' ] aus in genau der entgegengesetzten Richtung cp 5 erreichbar ist. Anschaulich gesprochen ist das die Richtung, in die eine Kugel, die im U W im Punkt : '[] R : 'V] == auf den Graphen von R aufgesetzt und losgelassen würde, losrollen würde. Dies wiederholt man im Punkt ', um ' die Richtung des stärksten Anstiegs von R : 'V] = h>j hkm : '[] =on zu erhalten, usw., bis der Gradient von R (zumindest näherungsweise). Allgemein erhält man also die Vorschrift p 1rqtsD_u` bed R : ' = :vqw@ / = verschwindet wobei q die Größe des Schrittes bestimmt, der in der jeweiligen Iteration in der Richtung des steilsten Abstiegs gewählt wird. Wären die Schritte infinitesimal klein, so würde die Folge R : 'V] = R : ' = R : '\Z = streng monoton abfallen, und man würde (auf jeden Fall) den Punkt ' Z finden, auch wenn dies dann unendlich lange dauern würde. Beim mathematischen Gradientenverfahren wird daher der Parameter q durch zusätzliche Optimierungsverfahren im jeweiligen Iterationsschritt so groß wie möglich gewählt. Der Einfachheit halber (auch im Hinblick auf die spätere Verwendung bei BP) wählt man q hier konstant, und dabei groß genug, damit die Konvergenz nicht zu lange dauert. Damit ist aber auch klar, daß es sich hier nur um ein Näherungsverfahren handelt, daß also kein hundertprozentiger Gradienten Abstieg durchgeführt wird. Man muß aufpassen, daß der Parameter q nicht zu groß gewählt wird, sonst ist Konvergenz eventuell gar nicht mehr möglich. Als einfaches Beispiel möchte ich die Funktion R : ' ) = yx L ' L ) minimieren, die in Abbildung 3.1 dargestellt ist. 4 im Idealfall natürlich 0 5 also in der Richtung des steilsten Abstiegs (3)

11 5 x 5 ) & ' Beaufsichtigtes Lernen Seminar NEURONALE NETZE 9 R : ' ) = Abbildung 3.1: R : ' ) = yx L ' Man sieht sofort, daß die Funktion R L ) (Parabolid) ihr globales (und einziges lokales) Minimum im Punkt : ' ) = z: / / = hat. Als Startpunkt wähle ich : ' ] ) ] = {: -/c/ - = und als q den Wert / ~}. Da _a`cbud R : ' ) = : ' ) =, erhält man nacheinander folgende Näherungen (die Iteration wurde so lange durchgeführt, bis die Abweichung beider Werte ' und ) vom gewünschten Optimalwert jeweils kleiner als -/e waren): : ' ) = ^:?ƒ / ƒ ~ = : ' ) = ^: - - ~ = : 'V ) = ^: ƒ / ˆ = : 'VŠ ) Š = ^: ~ / ~} / ˆ = : ' ) = ^: - /Œ ƒ / - c c = : 'V ) = ^: / ƒ / / / ƒ - = : '[Ž ) Ž = ^: / - }c ƒ / / - c / = : ' ) =, : / / = es werden also lediglich 18 Iterationsschritte benötigt, um das Minimum zu finden 6. Dies soll zur Veranschaulichung des Gradienten Verfahrens einmal genügen. Ich möchte nun zeigen, daß die Delta Regel auch nichts anderes macht. (die Fehlerfunktion) gegeben durch: Sei hierzu für jedes Ein-/Ausgabe Paar N die Funktion 5 - # : 5 # 1< 5 # = (P läuft über alle Indizes der Ausgabeneuronen) (4) Außerdem nehmen wir an, daß die Aktivierungsfunktionen der Ausgabeneuronen linear sind, daß also gilt: 5 # 7 #K7 5 7 ( läuft hier über alle Indizes der Eingabeneuronen) (5) Ich werde nun zeigen, daß die Delta Regel unter diesen Voraussetzungen genau eine Minimierung der Funktion (aufgefaßt als abhängig von den Gewichten #K7 ) durch Gradienten Abstieg implementiert. 6 bei š > œ verringert sich die Anzahl der benötigten Iterationsschritte auf 11, bei ž braucht man gar nur einen Schritt; bei [ OŸ aber oszilliert das Verfahren zwischen den Punkten ŸI Ÿ8 und tÿi tÿ8

12 Beaufsichtigtes Lernen Seminar NEURONALE NETZE 10 Der Gradient von Für eine solche partielle Ableitung gilt nun: 1< #K7 bezüglich der Gewichte #87 besteht ja aus den partiellen Ableitungen h hªe. 1 5 # 5 # #K7 : 5 # 1< 5 #>= si 5 # #87 (Gleichung (4)) : 5 # 1< 5 #>= 5 7 (Gleichung (5)) 4 5 #87 (Gleichung (1)) (eindimensionale Kettenregel) Daraus folgt also, daß die Anwendung der Delta Regel gerade einer Minimierung der Funktion durch Gradienten Abstieg entspricht. Falls der Proportionalitätsfaktor 7 9 klein genug ist, so entspricht ein Vorgehen nach der Delta Regel sogar einer Minimierung des Gesamtfehlers! summiert über alle N (näherungsweise) durch Gradienten Abstieg, denn #K7 3.4 Die Verallgemeinerung der Delta Regel 5 #87 Die Delta Regel funktioniert wunderbar bei zweischichtigen Netzen, sie ist einfach, unmittelbar einsichtig und nach dem im letzten Unterabschnitt Gesagten auch mathematisch sinnvoll. Es stellt sich nur das Problem, daß manche (durchaus interessante und realistische) Aufgaben eben nicht von zweischichtigen Netzen gelöst werden können. So wird man es z. B. nicht schaffen, ein Neuronales Netz, das keinerlei verborgene Neuronen besitzt, die bekannte XOR Funktion lernen zu lassen. Für allgemeinere, mehrschichtige Netze ist aber die Delta Regel nicht geeignet, denn sie erfordert die Kenntnis einer gewünschten Ausgabe, und für verborgene Neuronen gibt es nun einmal keine gewüschte Ausgabe (nur für die Ausgabe Neuronen sind Zieldaten festgelegt). BP benutzt nun eine Verallgemeinerung der Delta Regel auf eine umfassendere Klasse von Neuronalen Netzen, und zwar auf die sogenannten feedforward Netze, die keine Zieldaten für verborgene Neuronen benötigen. Für diese Verallgemeinerung muß zunächst vorausgesetzt werden, daß die Aktivierungsfunktion der einzelnen Neuronen differenzierbar sein muß. Außerdem muß diese Funktion (die übrigens nicht unbedingt für jedes Neuron gleich sein muß, dies meistens aber doch ist) nichtlinear sein 8. Oft verwendet man die in Abbildung 2.2 dargestellte sigmoide ( s-förmige ), logistische Funtion : ' = p\ 8±c². 5 Für die Gesamteingabe #, die bei Präsentation N an dem (verborgenen oder Ausgabe ) Neuron P anliegt sowie deren Ausgabe 5 # soll nun folgendes gelten: 5 #z³ Cv #K7 5 7 L µ # (6) 7 5 # ³ Cv : 5 # = (7) Dabei ist µ # der Bias des Neurons P. Er kann als Gewicht einer Verbindung interpretiert werden, die ein Neuron, das an seinem Ausgang stets den Wert - anliegen hat, mit dem Neuron P verbindet und wie eine Art negativer Schwellwert wirkt. Außerdem gilt für ein Eingabe Neuron : (die 7 wird auch Lernrate genannt 8 ein paar kluge Köpfe konnten zeigen, daß es zu jedem mehrschichtigen Netz mit linearen Aktivierungsfunktionen ein funktional-äquivalentes zweischichtiges Netz gibt

13 ¼ ¼ ¼ ¼ ¼ Beaufsichtigtes Lernen Seminar NEURONALE NETZE 11 Aktivierungen der Eingabe Neuronen ergeben sich also direkt aus dem Eingabemuster, es wird hier nicht die Aktivierungsfunktion angewendet). Es wird sich später herausstellen, daß wir die Ableitung der Aktivierungsfunktion benötigen, ich möchte diese daher hier schon bereitstellen: : ' = - - L k [¹ : ' = 1 - : :I1 - L k = k = 5 # 5 # - - L k<º L k[» y 5 # : - 1< 5 # = (8) Nun (endlich) kann man herangehen, die Delta Regel zu verallgemeinern 9. Will man erreichen, daß (wie bei der Delta Regel) eine Minimierung der Fehlerfunktion (Gleichung 4) durch Gradienten Abstieg erfolgt, so muß man dafür sorgen, daß der Wert, mit dem ein Gewicht im Anschluß an die Präsentation N aktualisiert wird (das Delta ), proportional zur partiellen Ableitung der Fehlerfunktion nach dem jeweiligen Gewicht ist. Genauer gesagt muß also gelten: 465 #K7 ^1< #K7 Nun ist es zunächst einmal hilfreich, zu wissen, wie diese partiellen Ableitungen überhaupt berechnet werden können. Ich zeige dazu vorher eine Hilfseigenschaft und nehme dafür folgende Setzung vor: 5 #½³ ¾1 Cv 5 # 5 # s sollen Fehlersignale heißen. Die Berechnung eines Fehlersignals ist abhängig davon, ob Die das zugehörige Neuron ein Ausgabe Neuron oder ein verborgenes Neuron ist. I. (P Ausgabe Neuron) II. (P verborgenes Neuron) 9 dies ist jetzt der eigentliche Kern von BP 5 # 1 5 # (Definition) 1 5 # 5 # 5 # (eindimensionale Kettenregel) # : # - 1< 5 #>= (Gleichung (8)) 5 # : 5 # 1< 5 # = 5 # : - 1r 5 # = (Gleichung (4)) (9) 5 # 1 5 À1 5 # # 5 # 5 ^1 # 5 5 # : # - 1< 5 #>= (s. o.) 1 5 # : - 1< 5 5 #>= 5 5 # (mehrdim. Kettenr.) 1 5 # : - 1< 5 #>= 5 # (Gleichung (6))

14 5 ¼ ¼ ¼ 5 ¼ ¼ ¼ ¼ Beaufsichtigtes Lernen Seminar NEURONALE NETZE 12 5 # 5 # : - 1< 5 #>= 5 # (Definition) (10) Die Fehlersignale der Ausgabe Neuronen werden also direkt (ähnlich wie in der Delta Regel) berechnet und die Fehlersignale der verborgenen Neuronen rekursiv aus den Fehlersignalen der darüber liegenden Schichten. Die Eingabe Neuronen haben weder eingehende Gewichte noch Fehlersignale. Diese Rückwärts Ausbreitung der Fehlersignale hat übrigens auch zu dem Namen Backpropagation geführt. Mit all dieser Vorarbeit ist es nun ein leichtes, die partiellen Ableitungen Negat) zu berechnen. Es folgt nämlich: 1< # # # # # # #K7 5 # 5 7 (Gleichung (6)) (Definition) (eindimensionale Kettenregel) 5aÁ #K7 (bzw. deren Nun muß man nur noch einen Proportionalitätsfaktor (oder eine Lernrate) 9 wählen, und schon ergibt sich mit 465 # # 5 7 (11) in Verbindung mit Gleichung 2 die Verallgemeinerug der Delta Regel auf beliebige feedforward Netze. Technisch wird das Verfahren so realisiert, daß man zuerst in einem Vorwärts Durchlauf alle 5 Werte # bzw. 5 # 5 berechnet und dann in einem Rückwärts Durchlauf die Fehlersignale # und daraus die Werte 465 #K7 für die Aktualisierung. 3.5 Einige Feinheiten des BP Algorithmus Im Prinzip funktioniert BP alleine unter Benutzung der im vorangegangenen Unterabschnitt aufgeführten grundlegenden Gleichungen für # bzw. #87. Es gibt allerdings Beschleunigungsmethoden, die bereits in [9] angegeben wurden, und die deshalb als direkter Bestandteil des Backpropagation Algorithmus anzusehen sind. Die Biases Zuallererst möchte ich jedoch etwas zu den Biases sagen, auch wenn es sich dabei eigentlich nicht um eine Feinheit von BP speziell, sondern eher um eine Feinheit jedes Lernverfahrens allgemein handelt. Bei genauerem Hinsehen fällt einem nämlich auf, daß im vorangegangenen Abschnitt zwar ständig von der Aktualisierung der Gewichte bzw. von den 465 #87 die Rede ist, nie aber von den Biases. Es stellt sich die Frage, wie man zu deren Werten kommt. Fallen die etwa vom Himmel (d. h. muß man die erraten)? Nun, Gott sei Dank ist hier keine Raterei vonnöten. Man kann die Biases genauso lernen lassen, wie jedes andere Gewicht auch 10, denn im Grunde sind Biases (wie schon gesagt) nichts anderes als Eingangs Gewichte von einem Neuron kommend, das permanent den Wert - liefert. 10 das ist auch der Grund dafür, warum es für die Biases keine extra Lernregel gibt

15 ¼ Beaufsichtigtes Lernen Seminar NEURONALE NETZE 13 Die Lernrate Ein anderes Problem (das nun aber wirklich speziell mit BP zusammenhängt) ist die Größe der Lernrate 9. Wie im Zusammenhang mit dem Gradienten Verfahren bereits erläutert, müßten für eine exakte Minimierung durch Gradienten Abstieg infinitesimal kleine Schritte gewählt werden, was dazu führen würde, daß man unendlich lange brauchen würde (vor allem dann, wenn sich ein Iterationspunkt weit entfernt vom gesuchten Optimum befindet). Man muß daher die Schritte vergrößern und dabei in Kauf nehmen, daß das ganze dann nur noch ein Näherungsverfahren ist. Nun gilt allgemein, daß die Größe eines Schrittes umso größer ist, je größer der Wert der Lernrate ist. Man wird demnach bestrebt sein, die Lernrate möglichst groß zu wählen. Dabei ist allerdings zu beachten, daß bei großer Lernrate das Verfahren schnell instabil werden kann. Wird in der Iteration nämlich ein Punkt erreicht, der an der Wand einer Schlucht hinsichtlich des Graphen 11 von gelegen ist, so wird die Steigung in diesem Punkt (d. h. die partielle Ableitung der Fehlerfunktion nach der Koordinate, die senkrecht zu der Schlucht verläuft) sehr groß sein, und wegen der großen Lernrate wird dann ein sehr großer Schritt ausgeführt, der eventuell über das gesuchte Minimum an die gegenüberliegende Wand der Schlucht führt. Die Folge wäre dann, daß das Verfahren zwischen mehreren Punkten rund um das gesuchte Minimum oszilliert. Der Momentum Term Um dieser Gefahr (zumindest teilweise) auszuweichen, kann man auf den Aktualisierungswert einen sogenannten Momentum Term draufaddieren, der das Verfahren etwas träger, also nicht so anfällig für plötzliche Änderungen der Steigung macht. Dies sieht dann so aus: 465 #K7 : L - = 9 5 # 5 7 L3 465 #K7 : = (12) Mit anderen Worten: die Änderung des Gewichts #K7 im Anschluß an die : L - = te Präsentation ist jetzt nicht mehr nur abhängig vom aktuellen Gradienten, sondern auch von der Änderung im Zuge der ten Präsentation 12. Der Parameter  (der zwischen 0 und 1 liegt) bestimmt, wie stark der Einfluß des vorherigen Schrittes auf den aktuellen ist. Der Momentum Term leistet aus der Sicht vieler Autoren nicht das, was er leisten soll (nämlich eine Beschleunigung durch Ermöglichung der Erhöhung der Lernrate), und es sei, so die Meinung vieler Autoren, eine üble Probiererei, bis man den optimalen Wert für  gefunden habe. Ich persönlich muß aber sagen, daß ich sehr gute Erfahrungen mit dem Momentum Term gemacht habe, und zwar bei der Lösung des XOR -Problems (siehe hierzu das Listing im Anhang). Die Konvergenz war mit Momentum Term viel schneller als ohne, und auch die Suche nach einem optimalen Wert für  war nicht schwer (Werte nahe bei -, d. h. / ~ und größer scheinen sehr gut geeignet zu sein). Warum der Parameter  zwischen 0 und 1 liegen muß, ist vielleicht nicht unmittelbar klar, man kann sich den Sinn dieser Forderung jedoch ganz leicht anhand einer Skizze (s. Abbildung 3.2) klarmachen. 11 man sollte sich diese Ausdrucksweise nur anhand des dreidimensionalen Raums klarmachen, da man sich sonst, angesicht der üblicherweise sehr vielen Dimensionen des Gewichtsvektors, nur unnötige Knoten ins Gehirn macht 12 man beachte, daß man sich damit immer mehr vom reinen Gradienten Verfahren entfernt

16 Æ Beaufsichtigtes Lernen Seminar NEURONALE NETZE 14 Abbildung 3.2: Konvergenz ohne Momentum 13 Man sieht, daß (ohne Momentum!) die vorgenommenen Schritte am Ende, in der Nähe des Minimums, (im Idealfall) immer kleiner werden. Bei einem Momentum Faktor größer oder gleich 1 würde dies zur Folge haben, daß der Beitrag, der vom Momentum Term her kommt größer wäre als der Beitrag des Gradienten Abstiegs Terms. Würde die Konvergenz tendenziell so aussehen, wie auf dem linken Bild von Abbildung 3.2, wo aufeinanderfolgende Aktualisierungsvektoren grundsätzlich unterschiedliche Orientierungen haben, dann kann in diesem Fall (ÂÄà - ) das System nicht konvergieren. Nur in Spezialfällen, etwa wenn die Konvergenz eher so verläuft, wie auf dem rechten Teilbild von Abbildung 3.2, wo die Richtungen aufeinanderfolgender Aktualisierungsvektoren beinahe gleich sind 14, kann manchmal eine Lösung mit  - (oder im Extremfall noch größer) gefunden werden. Es ist klar, daß Â nicht kleiner als 0 sein darf, da sonst in dem weiter oben beschriebenen Fall eines Sprungs über ein Minimum, von einer Wand einer Schlucht zur gegenüberliegenden, der nachfolgende Schritt durch den Momentum Term nicht (wie beabsichtigt) verkleinert wird 15, sondern im Gegenteil noch vergrößert wird. Die Gewichte Ein anderes Problem von BP (und übrigens von sehr vielen Lernverfahren) hängt mit Symmetrie zusammen. Die Gewichte müssen nämlich zu Beginn mit gewissen Werten initialisiert werden. Doch wie sind diese Werte zu wählen? Angenommen, alle Gewichte würden mit demselben Wert initialisiert. Wenn nun das gesamte Netz symmetrisch aufgebaut ist und alle Neuronen einer Schicht gleichstark aktiviert sind, dann führt das dazu, daß die Fehlersignale, die von oben nach unten Schicht für Schicht weitergegeben werden, jeweils identisch sind (dies kann man sich einfach an den Formeln der verallgemeinerten Delta Regel klarmachen) und mithin werden auch die Gewichte, die von ein und derselben Schicht von Neuronen ausgehen, alle mit haargenau demselben Wert aktualisiert. Folge ist, daß Gewichte zwischen zwei Neuronen Schichten immer jeweils gleich bleiben (die Gewichte können zwar ihre Werte ändern, aber wenn ein Gewicht zwischen einer Schicht Å und einer Schicht um den Wert ' aktualisiert wird, dann werden gleichzeitig auch alle anderen Gewichte zwischen Schicht Å Æ und Schicht um ' aktualisiert). Wenn es nun zur Lösung des spezifischen Problems notwendig ist, daß verschiedene Gewichte verwendet werden (zwischen zwei Schichten), so kann der Algorithmus die Lösung logischerweise nie finden. Um dieses Problem zu umgehen, kann man, wie in [9] vorgeschlagen wird, die Gewichte mit kleinen, individuell zufällig gewählten Werten initialisieren der Anschaulichkeit halber wurde hier der Konvergenzprozeß vereinfacht zweidimensional dargestellt; das gesuchte lokale (und hoffentlich auch globale) Minimum wurde durch einen dickeren Punkt angedeutet; die Länge der Kanten gibt den Betrag der Aktualisierung der Gewichte an, die Orientierung der Kanten deren Richtung, und die Ecken die jeweilige Lage des Gewichtsvektors 14 daß sie nicht genau gleich sind, ist Absicht, nicht etwa die Folge einer zittrigen Hand 15 Stichwort: Trägheit 16 was in diesem Zusammenhang klein bedeutet bzw. bedeuten kann, wird im nächsten Unterabschnitt näher erläutert;

17 Beaufsichtigtes Lernen Seminar NEURONALE NETZE 15 Das hill climbing Problem Am Ende dieses Unterabschnitts möchte ich noch kurz erwähnen, daß BP dasselbe Problem wie alle sogenannten hill climbing Algorithmen hat. Beim hill climbing geht es darum, einen Roboter selbständig auf den Gipfel eines Berges gehen zu lassen. Der Roboter kann in alle 4 Himmelsrichtungen sehen (und nur in diese) und entscheidet, in welche Richtung er einen Schritt macht, indem er die 4 Richtungen in bezug darauf, wie steil es in der jeweiligen Richtung nach oben geht, vergleicht. Er wählt dabei stets die Richtung mit dem steilsten Anstieg. Geht es in jeder Richtung gleichsteil nach oben, so wählt der Roboter irgendeinen willkürlichen Schritt (z. B. stets nach Norden), geht es in jeder Richtung bergab, so bleibt er stehen. Es ergeben sich nun mehrere Probleme, von denen das der lokalen Maxima wohl das gravierendste ist. Geht der Roboter nämlich auf einen Hügel, der bei weitem niedriger ist, als der zu erklimmende Berg, so wird er trotzdem auf dem Gipfel des Hügels stehenbleiben, denn es geht dort in allen Richtungen bergab, d. h. er wird sein Ziel 17 nie erreichen. Auch wenn er nicht zufällig die richtige Entscheidung trifft, wenn er mehrere Auswahlmöglichkeiten hat, findet er sein Ziel nicht. Schließlich führen Hochplateaus gar zu Endlosschleifen 18. Bei BP ist die Vorgehensweise vollkommen analog zu hill climbing, es wird allerdings nicht nach Maxima, sondern nach Minima gesucht. Statt der Frage, in welcher Richtung es am steilsten bergauf geht, wird der Gradient betrachtet. Ansonsten geht alles analog 19. Insbesondere treten auch analoge Probleme auf: lokale Minima, langgestreckte Ebenen (hier würde der Roboter willkürlich entscheiden müssen, welche Richtung er nimmt), etc. Weder beim hill climbing, noch bei BP ist also garantiert, daß man eine Lösung findet. Wie oft dies nicht der Fall ist, hängt zum einen vom Zufall ab und zum anderen beim hill climbing von der Beschaffenheit der Landschaft. Das Analogon zu Landschaft heißt bei BP Gewichtsraum. Kurz gesagt folgt also: die Konvergenzeigenschaften von BP hängt von der Beschaffenheit des Gewichtsraums des konkreten Problems ab. 3.6 Einige konkrete Anwendungsbeispiele In diesem Unterabschnitt möchte ich einige Standardprobleme (sogenannte benchmarks) vorstellen. Probleme also, die einem immer wieder über den Weg laufen, wenn irgendwelche neuen Lernverfahren veröffentlicht werden und mit BP in bezug auf Performance verglichen werden sollen. Das Gleichheitsproblem Ein Problem, das in diesem Zusammenhang sehr oft präsentiert wird, ist das sogenannte Gleichheits Problem. Dabei geht es darum, festzustellen, ob eine ungerade Anzahl von Einsen unter einer Menge von binären Werten ist oder nicht. Benutzt wird dazu ein Neuronales Netz mit einer Schicht bestehend aus Eingabe Neuronen, einer verborgenen Schicht (prinzipiell können auch mehrere, endlich viele verborgene Schichten verwendet werden) und einem einzigen Ausgabe Neuron, welches genau dann 1 liefern soll, wenn unter den Werten eine ungerade Anzahl von Einsen ist (und sonst 0). Es ist meines Erachtens nach fraglich, ob sich das Gleichheitsproblem wirklich zum Testen von Lernverfahren eignet, denn ein oft angestrebtes Ziel des beaufsichtigten Lernens ist es ja, nur eine Teilmenge der Ein-/Ausgabe Paare vom System wirklich lernen zu lassen, und für die restlichen es sei an dieser Stelle nur festgehalten, daß sich hier [9] nicht sonderlich exakt ausdrückt 17 den Gipfel des Berges bzw. das globale Maximum 18 der Roboter kann nie stehenbleiben, da es stets noch eine Richtung gibt, in der es nicht bergab geht 19 bei BP werden lediglich viel mehr Dimensionen betrachtet (zumindest meistens) als die beiden Dimensionen der 4 Himmelsrichtungen

18 Ç Ç Beaufsichtigtes Lernen Seminar NEURONALE NETZE 16 Paare darauf zu hoffen, daß das System durch Generalisierung bzw. Verallgemeinerung trotzdem die richtige Lösung liefert, wenn nur die Trainingsdaten hinreichend repräsentativ ausgewählt sind 20. Das Gleichheitsproblem ist im Hinblick auf eine Untersuchung der Generalisierungsfähigkeit denkbar ungeeignet, denn bei der Verallgemeinerung nutzt man die Eigenschaft aus, daß durch Neuronale Netze ähnliche Eingabemuster auf ähnliche Ausgabemuster abgebildet werden. Beim Gleichheitsproblem ist es aber gerade so, daß Eingabemuster, die sich nur in einer einzigen 1 unterscheiden (Muster also, die sich sehr ähnlich sind), vollkommen unterschiedliche Ausgaben liefern sollen. Gerade aus diesem Grund aber wird das Gleichheitsproblem als sehr schwer angesehen (zumindest was dessen Realisierung mit Hilfe von Neuronalen Netzen angeht), so daß man dieses Problem gerade zum Testen neuer Lernalgorithmen (quasi als Herausforderung für das neue Verfahren) für besonders geeignet hält. Das XOR Problem ist das Gleichheitsproblem gleichbedeutend mit dem XOR Problem 21, welches mit dem Programm aus Anhang A, aber auch in [9], eingehend untersucht wurde, und zwar unter Zugrundelegung der in Abbildung 3.3 dargestellten Struktur. Für Í Ê Ì ÉÊ Í Ê Ë ÉÌ ÉË Í ÌoÎ Í Ë8Ï È Í ÌÏ Í ËIÎ É Ì Í Ê Ì 1 Í Ê Ë Í ÌoÎ Í ËÏ È Í ÌIÏ Í ËIÎ É Ê É Ë 1 1 Abbildung 3.3: Struktur zur Lösung des XOR Problems 22 In einem ersten Testlauf (vgl. Anhang B) gab ich mich zufrieden, wenn der Wert des Ausgabeneurons bei keinem der vier Ein-/Ausgabepaare um mehr als / / vom gewünschten Wert abwich. Nach durchschnittlich gut ˆ zyklischen Durchläufen durch die vier Ein-/Ausgabe Paare (d. h. 27 Epochen), wurde dabei bereits eine Lösung gefunden. In [9] ist aber ein Durchschnitt von ungefähr 245 Epochen angegeben, allerdings wurde dabei eine viel kleinere Lernrate verwendet, und auch das Erfolgskriterium war viel strenger : eine Lösung wurde erst dann als solche akzeptiert, wenn bei jedem Ein-/Ausgabe Paar die Abweichung höchstens / / - betrug. Es fällt allerdings auf, daß ich dieses Ergebnis (245) nur dann bestätigen kann, wenn ich bei dieser Wahl der Parameter die Initialgewichte extrem klein ( 1 / /c/c/c/ - Ð / /c/c/c/ - ) wähle 23, bei normaler Wahl der Initialgewichte 24 ( 1 / - Ð / - ) ergab sich eine viel kürzere Lernzeit (- Epochen), und eine 20 vor allem bei einer sehr großen Anzahl von Ein-/Ausgabe Paaren lohnt sich dieses Vorgehen 21 die vier Ein-/Ausgabe Paare modellieren nämlich gerade die logische XOR Funktion 22 die beiden Teilbilder sind funktional völlig äquivalent, das rechte soll nur den Zusammenhang zwischen den Biases ÑoÒ, ÑoÓ und ÑÔ und den Gewichten hervorheben 23 der Effekt (das schlechte Ergebnis nämlich) kann aber auch durch einen unterschiedlichen Momentum Faktor, der leider in [9] nicht angegeben ist, verursacht worden sein 24 in sinnvollem Verhältnis zu den Werten der späteren endgültigen Lösung

19 Beaufsichtigtes Lernen Seminar NEURONALE NETZE 17 Vergrößerung der Lernrate (bei gleichstrengem Erfolgskriterium!) erbrachte eine Reduzierung der Lernzeit auf etwa ein Fünftel ( ƒ e Epochen). Im fünften und letzten Testlauf habe ich die Parameter zwar nicht geändert, aber ich habe ein Beschleunigungsverfahren angewendet, das in [2] vorgeschlagen wird. Hierbei geht es darum, den flachen Teil der logistischen Funktion )Õ Á - : - L c k = (also dort, wo sich die Funktion 0 bzw. 1 asymptotisch nähert; vgl. Unterabschnitt 2.1 [clipped region]) zu eliminieren. Denn in diesen Regionen ist die Ableitung ) ¹ Ö);: - 1O) = nahe bei Null. Da die Fehlersignale von der Ableitung und die Aktualisierungen von den Fehlersignalen abhängen (vgl. Unterabschnitt 3.4), werden deshalb die in ein Neuron P, dessen Ausgabe # nahe bei 0 oder 1 liegt, eingehenden Gewichte kaum verändert werden 25. Und dies trifft selbst dann zu, wenn P ein Ausgabe Neuron ist und # von # maximal abweicht (auch für solche Neuronen ist es möglich, sich im Laufe einer sehr [sehr] langen Zeit zu erholen und die gewünschte Ausgabe zu liefern, aber der Lernprozeß verzögert sich eben erheblich). Um auch bei diesen Neuronen eine (echte) Aktualisierung der Eingangsgewichte zu ermöglichen, addiert man auf die Ableitung der logistischen Funktion ) ¹ einfach einen konstanten Wert, etwa 0.1, auf. Man berechnet also ) ¹ ³ C );: - 1O) = L / - Folge ist, daß der Wert von ) ¹ nicht mehr zwischen 0 und 0.25, sondern zwischen 0.1 und 0.35 liegt und daß Neuronen, deren Ausgabe nahe bei 0 oder 1 liegt, sich schneller erholen (wenn deren Ausgabe denn wirklich falsch ist). Das Ergebnis dieser Beschleunigung ist beachtlich (die durchschnittliche Lernzeit geht zurück auf Epochen und die Standardabweichung verschwindet fast völlig). Um Ausreißer, bei denen der Algorithmus einfach in einem lokalen Minimum steckenbleibt und daher keine Lösung findet, sinnvoll herausfiltern zu können, habe ich die Gewichte jeweils neu initialisiert, wenn der Algorithmus nach einer gewissen Zahl von Epochen (der restart number ), die abhängig von der durchschnittlich zu erwartenden Lernzeit gewählt wurde, keine Lösung gefunden hat. Die gewonnenen Resultate habe ich in Tabelle 3.4 zusammengestellt. Testlauf # I II III IV V Z Restart number Erfolgskriterium Initialgewichte ( ) 0.5 -/ 0.1 Momentum Faktor Lernrate Durchschnitt (Epochen) Standardabweichung Stichprobenumfang 100 Tabelle 3.4: Resultate beim XOR Problem Schon an diesem kleinen und sehr einfachen Beispiel kann man sehen, welch großen Einfluß die vielen Parameter (Lernrate, Momentum Faktor, Erfolgskriterium, restart number, Größe der Initialgewichte) auf die Dauer einer Lösungsfindung haben können. Bereits eine kleine Änderung (etwa der Lernrate um / ~ nach oben oder unten) kann zu einer erheblichen Vergrößerung der Lernzeit 26 oder 25Ø Û enthält nämlich den Faktor Ù Ÿ ÚÙ (also just die Ableitung der logistischen Funktion) hier wurde zusätzlich eine verschobene Ableitung für die logistische Funktion verwendet 26 manchmal um mehrere Zehnerpotenzen

20 Beaufsichtigtes Lernen Seminar NEURONALE NETZE 18 gar zu Divergenz führen, und die Suche nach den passenden Parameterwerten kann ein unheimlich langwieriger und frustrierender Prozeß sein (eine Erfahrung, die ich selbst machen mußte). Die schier unendlich vielen Möglichkeiten, ein Ergebnis zu erhalten, sind auch der Grund dafür, daß die Ergebnisse verschiedener Autoren mit dem scheinbar gleichen Lernverfahren, angewendet auf das identische Problem, so schwer vergleichbar sind. Der eine benutzt ein strengeres Erfolgskriterium, der andere verzichtet auf den Momentum Term, ein dritter initialisiert die Gewichte mit viel kleineren Werten und ein vierter verwendet eigene Beschleunigungsmethoden. Das Codierungsproblem Ein ganz anderes benchmark Problem als das Gleichheitsproblem ist das sogenannte Codierungsproblem. Hier besteht das Netz aus drei Schichten: einer Eingabe Schicht, einer verborgenen Schicht und einer Ausgabe Schicht. Ein- und Ausgabeschicht bestehen jeweils aus Neuronen, die verborgene Schicht gewöhnlich aus weniger. Gelernt werden sollen Ein-/Ausgabe Paare, wobei zum einen in jedem Eingabemuster genau ein Eingabewert 27 - ist (und alle anderen / ) und zum anderen die Ein- und Ausgabemuster jeweils identisch sind. Das Netz muß also die Eingabe gleichsam in den verborgenen Neuronen codieren und dann für die Ausgabe wieder decodieren. Möchte man überall (also auch in den verborgenen Neuronen) nur binäre (0/1) Aktivierungen haben, so ist klar, daß die verborgene Schicht mindestens aus ÜÐÝcÞ Neuronen bestehen muß, denn à ÜÐÝcÞ ß falls genau ÜÐÝcÞ verborgene Neuronen vorhanden sind, dann ergibt sich hierbei eine vollständige binäre Codierung. Im allgemeinen läßt man aber dem System ein bißchen Spielraum, indem mehr verborgene Neuronen verwendet werden, z. B. wird in [7] für BP das Codierungsproblem getestet. Als durchschnittliche Lernzeit werden dabei übrigens - - Epochen angegeben. Andererseits ist es aber auch nicht unüblich, weniger als ÜÐÝcÞ verborgene Neuronen vorzusehen 28. Hier muß man sich dann allerdings von der Forderung trennen, nur binäre Aktivierungen haben zu wollen, d. h. man muß auch Zwischenwerte zulassen. Die gestellte Aufgabe kann prinzipiell wohl auch mit Hilfe von BP gelöst werden, doch scheint die Codierung mit Zwischenwerten (zwischen 0 und 1) für BP sehr schwierig, so daß ebenfalls in [7] zu lesen ist, daß BP es (trotz vieler Versuche) nicht geschafft hat, eine Lösung für das Codierungsproblem in weniger als - /c/c/ (!) Epochen zu finden. Es gibt noch viele andere benchmark Probleme, wie etwa das Zweispiralenproblem, das T-C- Problem oder das Zahlenerkennungsproblem. Sie alle hier im Detail vorzustellen würde meines Erachtens nach zu weit führen. An dieser Stelle sollen also das Gleichheits und das Codierungsproblem zur Veranschaulichung der vielfältigen Anwendungsmöglichkeiten von BP einmal genügen. 3.7 Vor- und Nachteile von BP BP ist der wohl bekannteste und vielleicht auch beliebteste Lernalgorithmus in Verbindung mit beaufsichtigtem Lernen durch Fehlerkorrektur. Dies hat sicher seine Gründe. Sicher ist aber auch, daß nicht alles an BP gut ist, daß im Gegenteil einiges verbesserungswürdig erscheint (was dann Thema des folgenden Abschnitts über Modifikationen von BP sein wird). Ich möchte in diesem Unterabschnitt, am Ende des Abschnitts über BP, die Vor- und Nachteile aufzeigen, die den Backpropagation Algorithmus charakterisieren. 27 und zwar jeweils ein anderer 28 das resultierende Netz ist dann ein sogenannter Tight Encoder Ã