Neuronale Netze I. Proseminar Data Mining Florian Zipperle Fakultät für Informatik Technische Universität München

Transkript

1 Neuronale Netze I Proseminar Data Mining Florian Zipperle Fakultät für Informatik Technische Universität München florian.zipperle@tum.de Zusammenfassung Neuronale Netze werden im Bereich Data Mining verwendet, um Muster aus gegebenen Informationen zu erkennen sie zu klassifizieren. Diese Arbeit soll eine allgemeine Einführung in das Thema neuronale Netze geben. Dafür gebe ich eine Einführung zu einfachen Netzen den dazugehörigen Algorithmen für das Lernen (Backpropagation. Der Lernalgorithmus Backpropagation wird genauer betrachtet hergeleitet durch ein Zahlenbeispiel wird die Funktionsweise verdeutlicht. Mögliche Algorithmen für eine Implementierung werden vorgestellt die Ergebnisse meiner Implementierung an einem Beispiel präsentiert. Schlüsselworte Neuronale Netze - Perceptron - Backpropagation - Implementierung I. EINLEITUNG Neuronale Netze sind mathematische Modelle, welche an die biologischen Vorgänge im Gehirn angelehnt sind versuchen sie zu imitieren. Die Erkenntnisse in der Erforschung des Gehirns sollen genutzt werden, um Rechner lernfähig zu machen. Dies soll es ermöglichen einem Rechner Probleme vorzusetzen, die er anschließend selbst durch gelerntes Wissen Erfahrung lösen kann. Bis zu einem bestimmten Grad kann Lernfähigkeit durch neuronale Netze erreicht werden. Es gibt verschiedene Einsatzgebiete von neuronalen Netzen. Ein großes Anwendungsgebiet im Bereich Data Mining ist die Mustererkennung bzw. die Musterklassifizierung. Ein Beispiel dafür wäre die Bildersuche im Internet. Die Suche soll, trotz fehlen einer Bildbeschreibung, gute Ergebnisse liefern. D.h. sie soll in der Lage sein den Inhalt zu klassifizieren anhand dieser Information entscheiden, ob das Bild für den Benutzer relevant ist oder nicht. A. Motivation Warum neuronale Netze so beliebt sind, lässt sich am Problem der Mustererkennung gut nachvollziehen. Das Erkennen von Mustern in einem Bild lässt sich algorithmisch nur sehr schwer lösen, da dafür genaue Kenntnisse über die Eingangsdaten, also die Eingangsmuster, vorhanden sein müssen. Mit neuronalen Netzen wird dieses Problem umgangen, sie haben eine relativ einfache Implementierung, lassen sich einfach berechnen können gut wiederverwendet werden. Außerdem braucht es keine genauen Kenntnisse über die gesuchten Muster. Möchte man als Beispiel eine Buchstabenerkennung realisieren, so müsste der Programmierer jeden einzelnen Buchstabe analysieren seine Merkmale herausfiltern, um mit einem Algorithmus die Unterscheidung zu lösen. Mit einem neuronalen Netz kann er einfach die Buchstaben als Trainingsset vorgeben das Problem vom Computer bzw. vom Netz lösen lassen. B. Geschichte Das mathematische Fament für neuronale Netze wurde schon 943 von Mc-Culloch/Pitts beschrieben. Sie zeigten, dass jede boolesche Funktion von einem endlichen neuronalen Netz berechenbar ist []. Daraus leiten sich auch bis heute die Grlagen der Theorie endlicher Automaten ab. Danach ging die Entwicklung schrittweise weiter, es wurde nach Lerntheorien gesucht. Im Jahr 962 entwickelten Widrow/Hoff einen Algorithmus für das Lernen, der auf der LMS-Methode basiert (least mean square. In den sechziger Jahren präsentierte Frank Rosenblatt ein neuronales Netz namens Perceptron. Das Perceptron stellt bis heute die Grlagen von neuronalen Netzen dar, daher gehe ich in dieser Arbeit speziell auf dieses ein. In den siebziger Jahren entwickelten sich daraus verschiedene Modelle, auch nicht überwachte Lernalgorithmen z.b. durch die Adaptive Resonanz Theory von Grossberg van der Malsburg oder durch das Competitive Learning Model von Kohonen. In den achtziger Jahren erhielten neuronale Netze einen Aufschwung. Hopfield stellte ein Netz vor, welches im Gegensatz zum Perceptron mit Rückkoppelung arbeitet. Rumelhart entwickelt den Backpropagation Algorithmus, auf welchen ich in dieser Arbeit genauer eingehen werde. Dadurch konnten auch Netze mit mehrschichtiger Architektur trainiert werden. [2] C. Neuronales Netz als Blackbox Neuronale Netze sind Computerprogramme, als Blackbox betrachtet haben sie als Eingang einen Vektor mit n Elementen am Ausgang liefern sie einen Vektor mit m Elementen (siehe Abbildung. Am Eingang liegen die Informationen von n verschiedenen Informationsquellen vor. Der Ausgangsvektor gibt an, wie wahrscheinlich ein Muster auftritt.

2 Als Beispiel bei einer Ziffernerkennung in einem digitalen Bild, sind die Elemente des Eingangvektors die Farb- bzw. Grauwerte der einzelnen Pixel. Der Ausgangsvektor besitzt zehn Elemente. Jedes Element gibt an, wie wahrscheinlich die entsprechende Ziffer im Bild dargestellt ist. kontinuierliche Funktion g(x, die für [, ] n, n 2 definiert ist, Funktionen h j f ij existieren, sodass gilt: g(x 2m+ j h j ( d i f ij (x i. (5 Er hat aber nur die Existenz der Funktionen bewiesen, nicht wie sie konkret lauten. Dadurch ist es theoretisch möglich jede Funktion mit einem neuronalen Netz zu approximieren. Neuronales Netz Abbildung : Neuronales Netz als Blackbox für eine Ziffernerkennung D. Neuronales Netz als Formel Die Bezeichnung neuronales Netz ist vielleicht etwas verwirrend, da es sich hierbei eigentlich nur um eine mathemati- sche Formel handelt: ( l n z k (w k, w j, x f w kj f w ji x i + w j + w k j i ( (Notation: fett geschriebene Großbuchstaben entsprechen Matrizen, fett geschriebene Kleinbuchstaben Vektoren. Die sogenannten Biaswerte w k w j bilden einen Offset können mit in die Summenschreibweise gezogen werden. Zu beachten ist, dass dann x y gelten muss. Auf den ersten Blick erscheint ( vielleicht etwas komplex, deshalb werde ich die Formel in kleinere Teile zerlegen, n net j : w ji x i + w j (2 i ist eine Linearkombination aus dem Eingang x i der Gewichtsmatrix w ji. Auf diese Summe wird eine nichtlineare Funktion f angewandt: y j : f (net j. (3 Das Ergebnis aus (3 wird als Ausgabe eines Neurons bezeichnet. Der Wert y j wird als Eingang für die nächste Funktion verwendet, wie (2: net k : l w kj y j + w k. (4 j Auf (4 wird wieder eine nichtlineare Funktion angewandt schließlich der Ausgang z k berechnet. Dieser Wert könnte wieder als Eingang für eine weitere Schicht verwendet werden. Kolmogorov [3] hat aber gezeigt, dass für jede beliebige Die nichtlinearen Funktionen werden Aktivierungsfunktionen genannt. Ein Beispiel dafür wäre die Signum Funktion, welche das Vorzeichen zurückgibt. Eine andere häufig eingesetzte Aktivierungsfunktion ist die Sigmoid Funktion (Abbildung 2, sie ist differenzierbar beschränkt. Die Beschränktheit ist nützlich, da sonst ein Neuron durch einen sehr großen Ausgangswert alle anderen Neuronen überdecken kann. Soll das Netz nicht für eine Klassifikation, sondern für eine Regression eingesetzt werden, müssen eventuell andere nicht beschränkte Aktivierungsfunktionen verwendet werden. Beim Lernen des Netzes werden die Werte w kj w ji auf geeignete Weise angepasst, sodass die Funktion das gewünschte Ergebnis liefert. Der Backpropagation Algorithmus liefert eine Vorschrift zur Lösung dieses Problems. E. Neuronales Netz als Graph Zur bildlichen Darstellung kann das neuronale Netz als Graph interpretiert werden. Dabei besteht das neuronale Netz aus Zellen, welche über gewichtete Kanten verben sind. Eine Zelle im neuronalen Netz verhält sich ähnlich wie ein Neuron im Gehirn, weshalb die Zellen auch Neuronen genannt werden. Die Zelle ist entweder inaktiv oder aktiv. Sie feuert bzw. wird aktiv wenn die Summe der gewichteten Eingangskanten einen bestimmten Schwellwert überschreitet. Positive Gewichte wirken anregend auf die Zelle, hingegen negative Gewichte wirken hemmend. Die Zelle gibt ihrerseits ihren Zustand an ihre benachbarten Zellen weiter, eine einzelne Zelle stellt eine sehr simple Funktion dar. Die komplexe Funktion des gesamten Netzes kommt erst durch das Vernetzen der parallel arbeitenden Zellen zustande. Dabei ist das gelernte Wissen des Netzes in den Gewichten der Kanten gespeichert. F. Netztopologie Die bildliche Darstellung der Netztopologie kann beim Verständnis der Arbeitsweise helfen, vor allem wenn rekursive Funktionen verwendet werden. Das von mir verwendete Netz (Abbildung 4 hat im Gegensatz dazu eine sehr einfache Topologie wird in Schichten eingeteilt. Es gibt dabei mehrere verschiedene Schichten: die Eingangs- Ausgangsschicht, sowie eventuell vorhandene versteckte bzw. verborgene Schichten dazwischen. Die Zwischenschichten werden versteckte Schichten genannt,

3 Sigmoidfunktion Input Hidden Output f(x.8.6 x x w y w y2 y w z 5 5 x Abbildung 2: Eine Sigmoid Funktion mit f(x +e x x... x n w w n x w f(net Abbildung 3: Ein Neuron mit n Eingangswerten. Der Wert x wird Bias genannt ist immer eins. Auf die gewichtete Summe net wird die Aktivierungsfunktion angewandt es ergibt sich als Ausgabe: y f(net. da ihr Verhalten Wirken aus der Blackbox-Sicht nicht erkenntlich ist. Die Neuronen (Abbildung 3 einer Schicht sind bei mir immer nur mit den Neuronen der direkt nachfolgenden Schicht verben. Sie können aber auch rekursiv verben sein oder schichtenübergreifend. Dadurch wird die Berechnung die Formel allerdings komplexer. Wie viele Schichten vorhanden sind wie viele Neuronen eine Schicht enthält, ist von den Anforderungen an das Netz abhängig. Auch wie die Neuronen verben sind, hängt vom Zweck ab. II. LERNEN Lernen ist im Zusammenhang mit einem neuronalen Netz als Prozess zu verstehen, bei welchen versucht wird durch Anpassen der Gewichte eine vorgegebene Funktion zu approximieren, sodass am Ende die Differenz gegen null konvergiert. Dazu müssen Trainingsmuster vorgegeben werden, an denen das Netz trainiert werden kann. Es gibt prinzipiell zwei Arten von Lernalgorithmen, das unüberwachte Lernen im Gegensatz dazu das überwachte Lernen. Beim unüberwachtem Lernen werden dem zufällig initialisiertem Netz beliebige Muster vorgelegt. Das Netz muss diese selbständig klassifizieren in Kategorien einteilen. Dafür muss das Netz die Gemeinsamkeiten der Muster finden erlernen. y w y2 w y22 b y b y2 b z w z2 y 2 z z Abbildung 4: Beispieltopologie für ein 2-2- Netz. Natürlich können in jeder Schicht mehr Neuronen existieren, als hier gezeigt. D.h. auch es kann mehrere Ausgangsneuronen geben. Beim überwachtem Lernen steht dem Netz ein Lehrer beiseite, welcher zu einem bestimmten Eingangsmuster das gewünschte Ergebnis am Ausgang kennt. Mit diesem Wissen passt das Netz schrittweise seine Gewichte an, um die Abweichung vom gewünschten Ergebnis zu minimieren. In dieser Arbeit werde ich näher auf das überwachte Lernen eingehen. Die Lernphase die Arbeitsphase sind getrennte Prozesse. Nachdem das Netz durch das Lernen ausreichend gute Ergebnisse liefert, wird der Lernprozess beendet. Anschließend ist das Netz bereit seine Aufgaben in der Arbeitsphase zu erfüllen. Sollte sich das Ergebnis durch eine veränderte Eingangssituation verschlechtern, kann immer wieder ein neuer Lernprozess gestartet werden, um das Netz den Veränderungen anzupassen. A. Backpropagation Backpropagation [3] ist ein Algorithmus für überwachtes Lernen in einem neuronalem Netz. Dieser Algorithmus heißt so, weil erst die Ausgabe berechnet wird anschließend der Fehler im Netz zurück propagiert wird. Beim Zurückpropagieren werden Schichtenweise vom Ausgang in Richtung Eingang die Gewichte entsprechend angepasst. Der Fehler berechnet sich als die Summe der quadratischen Abweichung vom Sollwert, der durch den Lehrer gegeben ist. Der Fehler ist von den Gewichten abhängig: J(W 2 (t k z k (w k 2. (6 In (6 entspricht w der Gewichtsmatrix, t k dem gewünschten Ausgangswert z k dem tatsächlichen Ausgang. Die Multiplikation mit /2 dient für spätere Vereinfachungen. Beim Lernen wird versucht diese Funktion, also den Fehler, zu minimieren. Dazu bedient man sich dem Gradientenverfahren. Dazu benötigen wir die bereits bekannte Formel (, sowie

4 (6. Die Gewichtsänderung berechnet sich schließlich nach folgender Formel: W η J W. (7 Dabei entspricht η der Lernrate ist ein Faktor, der angibt wie stark sich der Fehler auswirkt. Da die Ableitung in Richtung Aufstieg zeigt, benötigt es den Vorzeichenwechsel durch das Minus, um zum Minimum zu gelangen. Der Lernprozess wird zyklisch ausgeführt die Gewichte werden nach folgender Formel angepasst: W(m + W(m + W, (8 wo m den Zustand vor, m + den Zustand nach der Anpassung repräsentiert. B. Berechnung der Ableitung Jetzt geht es darum wie die Ableitung konkret berechnet wird, zunächst für die Ausgangsschicht danach für die versteckte Schicht. Ausgangsschicht: In (7 benötigen wir den abgeleiteten Fehler nach den Gewichten. Dazu bedienen wir uns den Formeln ( (6. Außerdem ist folgende Formel für das Verständnis hilfreich, welche aus ( folgt: z k (net k (w k, y f (net k (w k, y. (9 Aus diesen drei Formeln der Kettenregel folgt: mit der Sensitivität J J net k w kj net k w kj δ k net k w kj, ( δ k : J. ( net k Die Sensitivität ist ein Indikator, wie der gesamte Fehler von dem Neuron k abhängt. Die Sensitivität kann mit (6 (9 umgeformt werden zu: δ k J J z k (t k z k f (net k. (2 net k z k net k In (2 ist zu erkennen, weshalb in (6 der Faktor /2 eingeführt wurde. Dieser verschwindet nämlich bei der Ableitung der Quadratfunktion. Mit (7, ( (2 ergibt sich für die Ausgangsneuronen folgende Gleichung für die Gewichtsanpassung: w kj ηδ k y j η(t k z k f (net k y j. (3 2 Versteckte Schicht: Für die versteckte Schicht ist die Lösung ein bisschen komplexer. Der erste Schritt ist wieder das Anwenden der Kettenregel mit ( (6: J J y j net j. (4 w ji y j net j w ji Folgende Formel soll für das Verständnis von (4 helfen: z k f (net k (w k, y j (net j (w j, x. (5 Der erste Term von (4 kann mit (6 umgeschrieben werden zu: [ ] J (t k z k 2 (6 y j y j 2 (t k z k z k (7 y j (t k z k z k net k (8 net k y j (t k z k f (net k w kj. (9 Daraus folgt die Sensitivität für das versteckte Neuron j: δ j f (net k (t k z k w kj. (2 Aus (7, (4 (2 folgt schließlich die Gewichtsänderung: [ m ] w ji ηx i δ j η (t k z k f (net k w kj f (net j x i. (2 Diese Formel gilt auch für weitere versteckte Schichten. Es müssen natürlich die Indizes angepasst werden. C. Gewichtsanpassungen Nachdem wir für die Gewichtsanpassung nun die Formeln kennen, fehlt uns noch der Zeitpunkt, zu welchem die Änderungen angewendet werden sollen. Die Anpassung kann nach jedem Berechnen eines Trainingsmuster geschehen, oder direkt Schicht für Schicht. Es kann auch ein Satz von Trainingsmustern trainiert werden erst nachdem alle Muster dem Netz präsentiert wurden, geschieht die Anpassung. Um zu entscheiden welche Variante eingesetzt werden soll, kann man die verschiedenen Methoden ausprobieren, die Variante welche das Netz am besten an die gewünschte Aufgabe anpasst nehmen. D. Praktische Probleme In Abbildung 5 sind Kurven dargestellt, welche auf mögliche Probleme beim Gradientenverfahren hinweisen sollen. Die rote Kurve enthält mehrere lokale Minima, allerdings gilt es das globale Minimum zu finden. Je nachdem wie die Gewichte zu Beginn initialisiert wurden, kann es passieren, dass der Algorithmus in einem nicht optimalen lokalen Minima hängen bleibt. Die blaue Kurve zeigt Probleme, die es bei der Wahl der Lernrate gibt. Um x herum herrscht ein Plateau. Die Ableitung kann null werden es gibt keine Gewichtsänderungen mehr. Durch Erhöhung der Lernrate können eventuell Plateaus übersprungen werden, aber auch das globale Minimum. Es kann bei einer großen Lernrate auch dazu kommen, dass das Tal eines Minimums nicht erreicht wird, sondern dass der Algorithmus ständig hin her springt.

5 J Abbildung 5: Mögliche Probleme beim Gradientenverfahren. Es können mehrere Minima existieren (rote Kurve oder es kann Plateaus (blaue Kurve geben. Die Ableitung wird null das Gradientenverfahren versagt. Es gibt verschiedene Ansätze, um dieses Verhalten zu vermeiden. Ein einfacher ist z.b. eine variable Lernrate, die immer weiter abnimmt. Ein anderer Ansatz ist das Einführen eines Trägheitsterms, wodurch die Gewichtsveränderung auch von den vorhergehenden Änderungen beeinflusst wird. Um das Konvergieren gegen lokale Minima zu verhindern, wird das Training mit vielen verschiedenen zufälligen Initialisierungen gestartet das beste Ergebnis verwendet. W III. ALGORITHMEN Nach dem theoretischem Teil folgt noch ein kurzer praktischer Teil. Es geht darum wie Backpropagation mit Algorithmen implementiert werden kann. Die Algorithmen werde ich als Pseudocode angeben. A. Auswertung Bei der Auswertung wird der Eingangsvektor an das Netz angelegt der Ausgangsvektor berechnet. Dabei habe ich Algorithmus in Pseudocode verwendet, er ist nicht sehr effizient, soll aber noch einmal veranschaulichen wie die Berechnung des Ausgangs möglich ist. Input : Eingangsvektor x Output : Ausgangsvektor z for k.. z do 2 for j.. y do 3 for i.. x do 4 net j w ji x i 5 end 6 y j f(net j + b j 7 net k w kj y j 8 end 9 z k f(net k + b k end Algorithmus : Auswertungsalgorithmus B. Backpropagation Der folgende Algorithmus 2, für das Lernen mit der Backpropagation Methode ist aufwändiger. Er berechnet die Gewichtsänderungen für beide Schichten. Die Biasänderungen werden für k j mitberechnet. Dabei gilt wie bereits erwähnt: x y. Input : Berechnetes Netz, Erwartetes Ergebnis t Output : Die Gewichtsänderungen w for k.. z do 2 for j.. y do 3 w kj η (t k z k f (net k y j 4 end 5 end 6 for i.. x do 7 for j.. y do 8 δ j 9 for k.. z do δ j +(t k z k f (net k w kj end 2 δ j *f (net j 3 end 4 w ji η summe j x i 5 end Algorithmus 2 : Backpropagation Algorithmus C. Gewichtsanpassung Am Ende müssen natürlich noch die Gewichte angepasst werden, um einen Lerneffekt zu erzielen. Die Gewichte werden nach Algorithmus 2 berechnet müssen am Ende nach Algorithmus 3 zu den Gewichtsmatrizen dazuaddiert werden. Nachdem die Gewichte angepasst wurden, kann ein neuer Lernzyklus begonnen werden. Falls das Netz eine genügend gute Güte erreicht hat, kann auch aufgehört werden. Die hier Input : Die Gewichtsänderungen w Output : Die neuen Gewichte w for i.. x do 2 for j.. y do 3 w ji + w ji 4 end 5 end 6 for j.. y do 7 for k.. z do 8 w kj + w kj 9 end end Algorithmus 3 : Gewichtsanpassungsalgorithmus gezeigten Algorithmen lassen sich auch effizient mit linearer Algebra implementieren. Die Gewichte müssen dabei als Matrizen vorliegen. Dies hat den Vorteil, dass die meisten Standardbibliotheken effiziente Methoden für Matrixoperationen bereitstellen. Bei komplexen Netzen, kann die Trainingsdauer sonst zu viel Zeit in Anspruch nehmen.

6 x Input x Hidden y.34. Output 6 y 2 z z Abbildung 6: Beispielwerte für ein zufällig initialisiertes 2-2- Netz. IV. RECHENBEISPIEL Anhand des Beispielnetzes aus Abbildung 6 möchte ich einen Lernschritt ausführlich beschreiben zeigen wie Backpropagation funktioniert. Als Eingabe wähle ich x, das Netz soll die XOR-Funktion berechnen, d.h. die Ausgabe soll z lauten. Die Gewichte können folgendermaßen als Matrizen geschrieben werden: ( ( wy w w y y (22 w y2 w y w z ( w z w z2 (. 6. (23 Die Biaswerte können als Vektoren geschrieben werden: ( ( by b y (24 b y2.9 A. Auswertung b z ( b z (.34. (25 Zu Beginn muss die Ausgabe des Netzes ermittelt werden, damit anschließend der Fehler berechnet werden kann. Als ersten Schritt berechne ich die Eingabe für die verborgene Schicht: 2 net y b y + (x i w yi (26 i net y + ( ( (27 Analog berechnet sich net y2.64. Auf diese Werte wird nun die Aktivierungsfunktion angewandt: y f(net y 45. (28 + e nety Nach der gleichen Formel erhalte ich für y 2.65, damit habe ich die Zwischenschicht komplett berechnet wende mich dem Ausgang zu: 2 net z b z + (y j w zj, (29 j net z (.34 + ( ( (3 Nach dem Anwenden der Aktivierungsfunktion erhalte ich z.35, das Netz weicht also ziemlich stark vom gewünschten Ergebnis ab es muss trainiert werden. B. Backpropagation Da, wie vorhin gezeigt, das Netz schlechte Wert liefert, wende ich den Backpropagation Algorithmus 2 an. Dabei wird mit der Ausgabeschicht begonnen, aus mit ergibt sich: w z η (t z f (net z y (3 f (net z (z ( z (32 w z (.35 (.35 ( (33 Für w z2 wird analog vorgegangen es ergibt sich w z2.. Die Gewichtsänderung für die verborgene Schicht berechnet sich ein bisschen anders: ergibt δ y (t z f (net z w z (34 δ y (.35 (.35 ( (35 Für δ y2 ergibt sich analog δ y2.68. Die Gewichtsdifferenz ergibt sich daraus: w yji η δ yj f (net yj x i (36 w y.6 (45 ( 45.4 (37 Für die restlichen drei Gewichte berechnet sich die Differenz analog. Die Werte w j2 w j22 sind jedoch null, da null ist. Für die Biasänderung gelten die gleichen Formeln, y x sind dabei aber eins. Nachdem alle Werte berechnet wurden die Änderungen aufaddiert wurden, ergeben sich folgende Gewichtsmatrizen: ( w y ( w z ( (39 Die Biaswerte ändern sich zu: ( 4 b y.74 (4 b z (.9. (4

7 J Fehler des Netzes Lernschritte 4 Abbildung 7: Zwei Lernprozesse mit verschieden initialisierten Gewichten x2.6.8 x x (a Ungelerntes Netz (b Gelerntes Netz Abbildung 8: Das XOR-Netz vor nach dem Lernen z z.5 x2 Mit diesen neuen Gewichten dem Eingang x verbessert sich das Netz von z.35 auf z. Mit weiteren Lernschritten passt sich das Netz immer weiter dem geforderten Ausgabewert eins an. Natürlich müssen alle Eingabemuster trainiert werden, nicht nur x, um einen Lernerfolg zu erzielen. In diesem Fall müssen alle vier Kombinationen trainiert werden. V. AUSWERTUNG Ich habe eine Implementierung in Ruby erstellt, auf Basis linearer Algebra. Als einfache Beispielaufgabe für das neuronale Netz habe ich die XOR-Funktion von zwei Bits verwendet. Dies ist eigentlich keine Aufgabe, die an ein neuronales Netz gestellt wird. Für die XOR-Funktion wird die Modulo Funktion verwendet. Die Wirkungsweise lässt sich an diesem Beispiel aber gut erkennen. Konkret habe ich dafür ein dreischichtiges Netz verwendet. Die Eingabe besteht aus zwei Bits ( oder, also ein Vektor der Länge zwei. Die versteckte Schicht besteht ebenfalls aus zwei Zellen die Ausgabeschicht aus einer Zelle. Die Ausgabezelle soll feuern wenn die XOR-Funktion der Eingabebits eins ergibt. VI. ZUSAMMENFASSUNG UND AUSBLICK In dieser Arbeit habe ich versucht neuronale Netze verständlicher zu machen habe kurz einen geschichtlichen Überblick über das Thema neuronale Netze gegeben. Der Schwerpunkt dieser Arbeit liegt auf den Lernalgorithmus Backpropagation. Dazu habe ich ihn mathematisch hergeleitet durch Algorithmen die Funktionsweise gezeigt. Dazu habe ich ein Rechenbeispiel mit konkreten Zahlen eingefügt. Die korrekte Funktionsweise des Algorithmus habe ich durch ein selbst implementiertes Rubyskript nachgeprüft. Der Leser sollte also in der Lage sein mit diesem Wissen selbst ein neuronales Netz zu implementieren zu verstehen wie es funktioniert. Das dazu in dieser Arbeit verwendete Netz, gehört zu den einfacheren neuronalen Netzen, welches aber trotzdem gute Ergebnisse liefert. Für komplexere Aufgaben kann es aber notwendig werden zu anderen besseren Netzen zuzugreifen. LITERATUR [] W. S. McCulloch and W. Pitts, A logical calculus of the ideas immanent in nervous activity, Bulletin of Mathematical Biology, vol. 5, no. 4, pp. 5 33, Dec [2] P. Schmitz, Neuronale Netze. Viviane Wolff Verlag, 99. [3] R. O. Duda, P. E. Hart, and D. G. Stork, Pattern Classification (2nd edition. John Wiley and Sons, 22. In Abbildung 7 sind zwei Lernprozesse mit zufällig initialisierten Gewichten dargestellt. Es ist zu sehen, dass je nach Initialisierung, das Netz schneller oder langsamer eine gewünschte Güte erreicht. In Abbildung 8 ist die Ausgabe vor dem Lernen (Abb. 8a nach dem Lernen (Abb. 8b zu sehen. Da die Gewichte zu Beginn gleich verteilt sind, liefert das Netz als Ausgabe fast eine Ebene. Nach dem Lernen sind die Gewichte nicht mehr gleich verteilt, die Ergebnisebene wird gekrümmt, um die Einteilung in die verschiedenen Klassen zu ermöglichen. Der Sattel der XOR-Funktion ist erkennbar. Bei (, (, ist die Ausgabe nahe Null bei (, (, liefert das Netz fast Eins, so wie es gewünscht ist. Dazwischen ist ein fließender Übergang keine scharfe Grenze.