Künstliche Neuronale Netze

Transkript

1 Künstliche Neuronale Netze Modul Informatik Seminar Simon Krenger, Frühlingssemester 2015 Studiengang: Informatik Autor: Simon Krenger Betreuer: Prof. Dr. Jürgen Eckerle Datum: Berner Fachhochschule Haute école spécialisée bernoise Bern University of Applied Sciences

2 Inhaltsverzeichnis 1. Einleitung 2 2. Theorie Biologische neuronale Netze Künstliche neuronale Netze Architekturen Lernverfahren Praktische Anwendung Vorteile Nachteile Anwendungsbereiche Entwicklung von neuronalen Netzen Encog SNNS / JavaNNS Fazit 15 Literaturverzeichnis 16 Abbildungsverzeichnis 17 A. Encog Beispiel 18 Künstliche Neuronale Netze, Version 1.1,

3 1. Einleitung Die künstliche Intelligenz ist ein Teilgebiet der Informatik, welches versucht, menschliche Vorgehensweisen der Problemlösung auf Computern nachzubilden, um auf diesem Wege neue oder effizientere Aufgabenlösungen zu erreichen ([7], S. 13). Dabei sollen Probleme, die für Menschen trivial zu lösen sind, durch einen Computer gelöst werden. Ein sehr gutes Beispiel dafür ist die Erkennung von Buchstaben oder Gesichtern. So können bereits Kinder im Vorschulalter Buchstaben erkennen und benennen. Soll diese Aufgabe durch einen Computer gelöst werden, so werden primär künstliche neuronale Netze eingesetzt. Die vorliegende Arbeit stellt im Rahmen des Moduls Informatik Seminar an der BFH die Konzepte und Funktionsweisen von künstlichen neuronalen Netzen vor und soll damit einen Einblick in die Thematik der Künstlichen Intelligenz bieten. Zusätzlich zu dieser Arbeit wird im Frühlingssemester 2015 ein Vortrag zu diesem Thema gehalten werden. In dieser Arbeit sollen die Grundlagen der künstlichen neuronalen Netzwerke vorgestellt werden. Der Fokus liegt dabei auf vorwärts verketteten Netzen und den einfachsten Lernverfahren für diese Netzwerke. Zusätzlich sollen die praktischen Anwendungsfälle mit ihren jeweiligen Vor- und Nachteilen aufgezeigt werden. 2 Künstliche Neuronale Netze, Version 1.1,

4 2. Theorie Herkömmliche Algorithmen werden in praktisch allen Fällen auf ein sehr konkretes Problem angewandt. Sobald aber ein Problem generalisiert gelöst werden soll, müssen Algorithmen aus der künstlichen Intelligenz angewandt werden. Die Algorithmen der künstlichen Intelligenz sind lernfähig und können ein Problem generalisiert lösen. Aus bereits gelösten Problemen können Lösungen für neue unbekannte Probleme abgeleitet werden. Kernaufgabe von neuronalen Netzen ist eine gewünschte Reaktion auf vorher nicht bekannte Muster ([7], S. 293). Stark vereinfacht dargestellt lösen künstliche neuronale Netze die ihnen gestellten Probleme, indem sie ihre internen Parameter durch ein Lernverfahren so anpassen, dass auch bei neuen und nicht bekannten Problemen ein richtiges Resultat erzeugt wird. Dieses Kapitel beschäftigt sich nun mit der Herleitung und dem Aufbau von künstlichen neuronalen Netzen Biologische neuronale Netze Für das einfachere Verständnis des Aufbaus von künstlichen neuronalen Netzen soll hier kurz der Aufbau von natürlichen neuronalen Netzen erklärt werden. Die künstlichen neuronalen Netze orientieren sich in ihrem Aufbau am Aufbau von natürlichen neuronalen Netzen. Diese Netzwerke erhalten ihre Fähigkeiten dadurch, dass in solchen Netzen viele Neuronen zusammengeschaltet werden. Je nach Organismus handelt es sich dabei um einige Hundert (z.b. Quallen) bis 85 Milliarden (Menschen) Neuronen [5]. Abbildung 2.1.: Aufbau eines Neurons ([8], S. 5) Damit der Aufbau eines künstlichen Neurons verstanden werden kann, genügt eine einfache Vorstellung eines biologischen Neurons. In Abbildung 2.1 ist ein solches dargestellt. Auf der linken Seite nehmen die Künstliche Neuronale Netze, Version 1.1,

5 Dendriten die Eingangssignale von anderen Neuronen auf. Diese Eingangssignale werden an den Zellkern weitergegeben, wo basierend auf den Eingangssignalen ein weiteres Signal erzeugt wird. Dieses erzeugte Signal wird über das Axon an die Synapsen transportiert, welche wiederum mit den Dendriten weiterer Neuronen verbunden sind. Das oben dargestellte Neuron ist dabei vereinfacht gezeichnet, ein biologisches Neuron verfügt über mehrere tausend bis zehntausend Verbindungen zu weiteren Neuronen ([7], S. 192). Gemäss dieser vereinfachten Darstellung wird nun das künstliche Neuron beschrieben Künstliche neuronale Netze Funktionsweise Die Abbildung 2.2 zeigt schematisch die oben beschriebene Funktionsweise eines künstlichen Neurons. Eingabe x 1 w 1 Bias b Aktivierungs funktion x 2 w 2 Σ f out Ausgabe y x 3 w 3 Gewichtung Abbildung 2.2.: Aufbau eines künstlichen Neurons Die einzelnen Elemente eines Neurons sind dabei die folgenden: Wie beim biologischen Neuron erhält das künstliche Neuron Eingabeinformationen x 1, x 2,..., x n aus den gewichteten Verbindungen w 1, w 2,..., w n. Diese Eingänge sind in den meisten Fällen mit den Ausgängen anderer Neuronen verbunden. Je nach verwendeter Literatur wird zusätzlich zu den Eingabeinformationen als ein Parameter der Bias b (engl. Verzerrung, auch Schwellwert) mitgegeben. Die gewichteten Eingabeinformationen werden mit der Propagierungsfunktion Σ addiert. Damit werden alle Eingaben aus dem Netz im Neuron zusammengefasst. Die Aktivierungsfunktion f out ermittelt nun den Ausgabewert y des Neurons, der an die nachfolgenden Neuronen weitergeleitet wird. Bei den verwendeten Funktionen handelt es sich um einfache Funktionen, auch wenn theoretisch komplexe Funktionen eingesetzt werden könnten. Die Leistungsfähigkeit wird nicht durch komplexe Algorithmen, sondern durch das Zusammenschalten einfacher Elemente erzielt ([7], S. 192). 4 Künstliche Neuronale Netze, Version 1.1,

6 Propagierungsfunktion In der Praxis wird für die Propagierungsfunktion eine einfache Summe der gewichteten Eingabewerte eingesetzt: y prop = k x k w k (2.1) Der Funktionswert der Propagierungsfunktion dient dann als Funktionsargument der Aktivierungsfunktion. Aktivierungsfunktion Die charakterisierende Funktion des Neurons ist die Aktivierungsfunktion. Diese ermittelt den neuen Ausgabewert y des gesamten Neurons. Typischerweise wird als Aktivierungsfunktion eine sogenannte sigmoide ( s-förmige ) Funktion verwendet. Meist handelt es sich dabei um die logistische Funktion (2.2) oder die tanh-funktion. f logistic (x) = e c x (2.2) Alternativ dazu kann eine Sprungfunktion eingesetzt werden, die ab einem bestimmten Wert den Ausgabewert 1 liefert. Folgende Abbildung 2.3 zeigt verschiedene Aktivierungsfunktionen, wie sie typischerweise eingesetzt werden. (a) Logistische Funktion (mit c = 10) (b) tanh Funktion (mit c = 5) (c) Sprungfunktion Abbildung 2.3.: Sigmoide Funktionen und Sprungfunktion Aktivierung Der Ausgabewert des Neurons ist damit der Funktionswert der Aktivierungsfunktion (bei der logistischen Funktion und der Threshold-Funktion also Werte im Intervall [0, 1], bei der tanh-funktion [ 1, +1]). Dank der sigmoiden Funktionen kann wie beim biologischen Neuron erreicht werden, dass das Neuron nur dann einen grossen Ausgabewert liefert, wenn die Eingangswerte genügend gross werden. Mit dem Bias (Schwellwert) können eventuelle Abweichungen bei den Eingangswerten kompensiert werden. Künstliche Neuronale Netze, Version 1.1,

7 2.3. Architekturen Die künstlichen neuronalen Netze basieren nun darauf, dass viele der im Kapitel beschriebenen Neuronen miteinander verknüpft werden. Damit entsteht ein Netzwerk mit gewichteten und gerichteten Verbindungen, welches dann als neuronales Netz bezeichnet wird. Dieses Kapitel beschäftigt sich mit den Möglichkeiten, wie Neuronen verbunden werden, den sogenannten Netztypen oder -architekturen. Im Folgenden sollen die wichtigsten Bauarten von neuronalen Netzwerken aufgezeigt werden Vorwärtsgerichtete Netze Die einfachste Form von künstlichen neuronalen Netzen sind die sogenannten vorwärtsgerichteten (Feedforward- ) Netzwerke. Das bedeutet, dass die Informationen nur in eine Richtung propagiert werden und es keine Verbindungen von der Ausgabeschicht zurück zur Eingabeschicht zurück gibt. Man unterscheidet zwischen mehrstufigen und einstufigen Netzwerken. Folgende Abbildung 2.4 zeigt ein mehrstufiges vorwärtsgerichtetes Netzwerk. Eingabe 1 Eingabe 2 Eingabe 3 Eingabe 4 Eingabe 5 Eingabe schicht Verdeckte Schicht Ausgabe schicht Ausgabe Abbildung 2.4.: Aufbau eines vorwärtsgerichteten mehrstufigen Perzeptrons Anhand der Abbildung 2.4 lassen sich folgende Elemente erkennen (vgl. [7], S. 197): Als Eingabeschicht wird die Menge der Eingabe-Neuronen des gesamten Netzwerkes bezeichnet. Als Eingabe-Neuronen werden diese Neuronen bezeichnet, die keine eingehenden Verbindungen von anderen Neuronen besitzen. Der Ausgabewert der Ausgabe-Neuronen in der Ausgabeschicht stellt das Ergebnis des gesamten Netzes dar. Diese Ausgabe-Neuronen sind daran erkennbar, dass ihre Ausgabe zu keinen weiteren Neuronen führt. Die Neuronen, die weder zur Eingabe- noch zur Ausgabeschicht gehören, werden als verdeckte Neuronen bezeichnet. Diese Neuronen gehören damit zur verdeckten Schicht. In einem neuronalen Netzwerk kann es mehrere verdeckte Schichten geben, je nach Einsatzzweck und Komplexität des neuronalen Netzwerkes (siehe auch nachfolgendes Kapitel). Das Beispiel der Abbildung 2.4 besteht damit in der Eingabeschicht aus fünf Eingabe-Neuronen, einer verdeckten Schicht mit drei Neuronen und einem einzelnen Ausgabe-Neuron. 6 Künstliche Neuronale Netze, Version 1.1,

8 Perzeptron Die einfachste Form eines Feedforward-Netzes ist das sogenannte Perzeptron. Beim Perzeptron (engl. percept = wahrnehmen ) handelt es sich um ein vorwärtsgerichtetes (Feedforward-) Netzwerk mit lediglich einer Eingabe- und einer Ausgabeschicht. Die Information wird also von der Eingabeschicht direkt an die Ausgabeschicht weitergeleitet. Je nach verwendeter Literatur werden auch mehrstufige Netzwerke als Perzeptron bezeichnet. Das Perzeptron wurde bereits 1958 durch Frank Rosenblatt [10] beschrieben und Rosenblatt zeigte auch, dass ein einfaches Perzeptron mit zwei Eingabewerten und einem einzigen Ausgabeneuron zur Darstellung der einfachen logischen Operationen AND, OR und NOT genutzt werden kann Mehrstufige vorwärtsgerichtete Netze Das Perzeptron ohne verdeckte Schichten kann allerdings nicht alle Probleme lösen. So ist es beispielsweise nicht möglich, ohne Zwischenschicht ein künstliches neuronales Netzwerk zu entwickeln, dass die logische XOR-Funktion darstellt. Die Abbildung 2.5 zeigt, wie die logische XOR-Funktion in einem neuronalen Netz umgesetzt werden könnte. x y T=1.5 T= T=0.5 XOR(x, y) Abbildung 2.5.: XOR-Netzwerk (3 Schichten) Die Abbildung zeigt ein einfaches mehrstufiges Netz mit den jeweiligen Verbindungsgewichtungen und in den Neuronen selbst den Schwellwert für die Aktivierung des Neurons (Sprungfunktion). In der verdeckten Schicht kann theoretisch eine beliebige Anzahl (>= 2) an Neuronen verwendet werden. Es existieren in der Literatur verschiedenste Designs für eine einfache XOR-Funktion, in Abbildung 2.5 ist eine der einfachsten Lösungen für diese Funktion dargestellt. Die Netzgrösse (insbesondere die Zahl der Neuronen in den inneren Schichten) wird in der Realität möglichst klein gewählt. Ist die innere Schicht zu gross gewählt, kann sich das Netz jedes einzelne Trainingsmuster mit zugehörigem Ausgabewert merken ([7], S. 240). Ein solches zu gross gewähltes Netz kann das antrainierte Verhalten nur auf die bekannten Trainingsmuster anwenden, man spricht vom Overfitting. In vielen Fällen sind also eher weniger Neuronen besser für die Abstrahierungsfähigkeit eines Netzes Rückgekoppelte Netzwerke Im Gegensatz zu Feedforward-Netzwerken verfügen Feedback-Netzwerke (oder rückgekoppelte Netze) über Verbindungen, die von tiefer gelegenen Schichten Informationen wieder an höher gelegene Schichten zurückleiten. Wird nun eine Auswertung mit dem neuronalen Netzwerk gemacht, so erinnert sich das Netzwerk an Ausgaben vorheriger Auswertungen. Künstliche Neuronale Netze, Version 1.1,

9 Ein rein vorwärts gekoppeltes Netzwerk produziert nach Abschluss der Trainingsphase für ein Eingabemuster stets dieselbe Ausgabe. Die Architektur von partiell rückgekoppelten Netzen ist so angelegt, dass die zeitliche Aufeinanderfolge der Eingabedaten einen Einfluss auf das Ergebnis hat. Sie werden also dann eingesetzt, wenn die zu ermittelnde Netzausgabe nicht nur von der aktuellen Eingabe abhängt, sondern auch von der Geschichte der Arbeit des Netzes ([7], S. 247) Weitere Netzwerktypen In diesem Kapitel sollen weitere Netztypen vorgestellt werden, die vielfach in Themengebieten wie Data Mining, Bildverarbeitung oder Mustererkennung eingesetzt werden. Eine solcher Netztyp ist das Wettbewerbslernen. Abbildung 2.6.: Architektur einer selbstorganisierenden Karte ([7], S. 253) Ein Beispiel für das Wettbewerbslernen ist eine sogenannte selbstorganisierende Karte. Es handelt sich dabei um ein neuronales Netz mit zwei Schichten, nämlich einer Eingabe- und einer Karten-Schicht (siehe auch Abbildung 2.6). Die Kartenschicht ist oftmals quadratisch dargestellt und ist stark vernetzt. Die Ausgabe des Netzes geschieht auf der Karten-Schicht, wo aufgrund der Netzeingaben ein einzelnes Neuron ( Gewinner-Neuron ) aktiviert wird. Die Ausgabeneuronen beeinflussen sich gegenseitig und stehe zueinander in Konkurrenz. Jedem Muster wird also ein Punkt auf der Karte zugeordnet, zwei ähnliche Muster ergeben also zwei nahe beieinander liegende Punkte auf der Karte. Mit solchen Netzen werden Klassifizierungen und Prognose-Aufgaben gelöst. Dabei erhofft man sich aufgrund der Eingabe eines historischen Geschehens eine Unterteilung in Klassen, wie stark fallend, neutral oder steigend ([7], S. 252). Weitere Netze für das Wettbewerbslernen sind neuronale Gase und Adaptive Resonanz-Theorie-Netze Lernverfahren Damit das neuronale Netz die korrekten Ausgabewerte für ein bestimmtes Problem liefert, muss es trainiert werden. Das Training kann mittels verschiedener Lernverfahren geschehen. Das Lernen in einem Perzeptron-Netz geschieht grundsätzlich über die Manipulation der Gewichtungen [9]. Man unterscheidet bei den Lernverfahren zwischen den folgenden Lernarten (vgl. [7], S. 199): 8 Künstliche Neuronale Netze, Version 1.1,

10 Beim überwachten Lernen verwendet man sowohl bekannte Eingabewerte als auch die dafür erwarteten Ausgabewerte. Beim Lernen werden dann die verschiedenen Eingabewerte durchgespielt und die Ausgabe wird mit der erwarteten Ausgabe verglichen. Der Unterschied zwischen dem erwarteten Ausgabewert und dem effektiven Eingabewert wird dann zum verändern der Verbindungsgewichte benutzt. Ein typischer Algorithmus für dieses Vorgehen sind die Backpropagation-Algorithmen (siehe folgendes Unterkapitel). Bestärkendes Lernen ist eine Abwandlung des überwachten Lernens, bei welchem man lediglich die Ausgabe betrachtet und dem Netzwerk mitteilt, ob diese Ausgabe falsch oder richtig ist. Das Netz muss dann mit dieser groben Informatik (richtig/falsch) trainiert werden ([7], S. 200). Das anspruchsvollste Lernverfahren ist das unüberwachte Lernen. Dieses Verfahren erfolgt so, dass ausschliesslich die zu lernenden Muster als Eingabe für das neuronale Netz dienen. Das Netz soll sich dann selbst entsprechend der Eingabemuster verändern. Dabei soll das Netz typischerweise durch Anpassung seiner Gewichtungen entweder eine Segmentierung oder eine Komprimierung vornehmen. Bei der Segmentierung versucht das Netz selbstständig, verschiedene Muster in sogenannten Clustern zusammenzufassen, bei der Komprimierung wird versucht, die Eingabewerte in einer kompakteren Form zu repräsentieren Backpropagation Beim Backpropagation-Algorithmus (dt. Fehlerrückführung) handelt es sich um ein bekanntes überwachtes Lernverfahren. Der Algorithmus versucht, mittels Rückrechnung und Anpassungen der Verbindungsgewichte den minimalen Fehler zwischen ausgegebenem Resultat und dem erwarteten Resultat zu finden. Der Backpropagation-Algorithmus läuft in den folgenden Phasen ab [11]: 1. Das Netz wird mit zufälligen Verbindungsgewichten initialisiert. Dann werden am Eingang des Netzes die Eingabeinformationen angelegt und das Netz berechnet (propagiert) die Ausgabeinformation. 2. Die Ausgabe des Netzes wird mit der gewünschten (bekannten) Ausgabe verglichen. Die Differenz der beiden Werte wird als Fehler des Netzes erachtet. 3. Durch Rückpropagierung des Ausgabewertes zurück zur Eingabeschicht werden nun die verschiedenen Verbindungen angepasst. Je nach Einfluss auf den Fehler werden die Gewichtungen geändert. Dies garantiert bei einem erneuten Anlegen der Eingabe eine Annäherung an die gewünschte Ausgabe. Auf die genaue Funktionsweise und die mathematischen Hintergründe wird in dieser Arbeit nicht eingegangen. Die Schritte der Anpassung werden beeinflusst durch die sogenannte Lernrate η, welche die Grösse der Veränderungen beschreibt. Wird die Lernrate zu klein gewählt, so passiert das Lernverfahren sehr langsam, bei zu grossen Werten kann eine Lösung eventuell nicht gefunden werden. In der Praxis wird der Backpropagation-Algorithmus für Netze mit einer kleinen Anzahl an Schichten eingesetzt, da die Trainingszeit bei grösseren Netzwerken exponentiell steigt ([2], S. 7). Künstliche Neuronale Netze, Version 1.1,

11 Andere Lernverfahren Bei den anderen hier behandelten Lernverfahren handelt es sich grösstenteils um angepasste oder für bestimmte Anwendungen verbesserte Backpropagation-Algorithmen. Beim Quickprop-Verfahren handelt es sich um eine Anpassung des Backpropagation-Algorithmus, bei welchem stark vereinfacht ausgedrückt für die Berechnung des Fehlers die zeitlich letzten Werte der vorherigen Berechnungen hinzugezogen werden. Damit lässt sich das optimale Gewicht für eine Verbindung schneller finden. Das Backpercolation-Verfahren (engl. Untertunnelung) versucht ebenfalls, die Anpassungen der Backpropagation schneller zu machen. Gerade bei mehreren inneren Schichten werden für die ersten innereen Schichten beim klassischen Backpropagation die Gewichtsänderungen nur in sehr kleinen Schritten durchgeführt, die letzten inneren Schichten erfahren grössere Änderungen. Mit dem Backpercolation-Verfahren werden die Änderungen für die ersten inneren Schichten beschleunigt, in dem die Änderungen im Netz nach vorne übernommen werden [13]. 10 Künstliche Neuronale Netze, Version 1.1,

12 3. Praktische Anwendung Dieses Kapitel beschäftigt sich mit der praktischen Anwendung und dem Einsatz von künstlichen neuronalen Netzen. Es sollen sowohl die Vorteile als auch die Nachteile aufgezeigt werden und weiter einige Anwendungsgebiete beispielhaft angegeben werden Vorteile Der grösste Vorteil von neuronalen Netzen ist die Generalisierungsfähigkeit. Ein trainiertes Netz kann nicht nur mit den Mustern aus den Trainingsdaten umgehen, sondern auch mit unbekannten Mustern, es findet also eine Generalisierung statt. Bedingung dafür ist die Wahl eines geeigneten Netztypes und einer geeigneten Grösse. Nur bei verteilten Systemen relevant ist die Fehlertoleranz von neuronalen Netzen. Sollten Teile des Systems ausfallen, so kann das neuronale Netz bei entsprechender Grösse trotzdem noch sinnvolle Resultate liefern. Auch wenn das Netz nicht die optimalen Verbindungsgewichte gefunden hat, so können trotzdem sinnvolle Ausgaben erfolgen. Basierend auf der Lernfähigkeit von neuronalen Netzen ist auch ihre Anpassungsfähigkeit eine der Stärken. Sollen neue oder andere Muster erkannt werden, so lassen sich diese einfach mittels Training in einem bestehenden Netz aufnehmen. Bereits von ihrem Aufbau her ist die Arbeitsweise eines neuronale Netzes auf Parallelität ausgerichtet. Eine Implementation auf verteilten Systemen oder Parallelrechnern ist vergleichsweise einfach möglich Nachteile Beim Design und beim Training von neuronalen Netzwerken besteht die Gefahr der Überanpassung. Dies bedeutet, dass durch die Wahl einer zu grossen Netzgrösse oder eines zu oft wiederholten Trainings das Netz sich die Trainingsdaten einfach merkt. Damit ist das Netz dann nicht mehr in der Lage, neue unbekannte Muster zu erkennen und einzuordnen. Der Einsatz von neuronalen Netzen wird dadurch beschränkt, dass sie nicht für alle Problemtypen geeignet sind. Im Vergleich mit herkömmlichen Algorithmen sind sie langsam und ineffektiv. Dies betrifft sowohl die Trainingsphase als auch die Abfragephase. Weiter gibt es bei den neuronalen Netzen keine Garantie auf das bestmögliche Ergebnis. Gerade beim Backpropagation-Algorithmus besteht die Möglichkeit, dass lediglich eine bestimmte Kombination von Gewichten gefunden wird, aber nicht die bestmögliche. Je nach Anwendungsfall liefern herkömmliche Algorithmen hier bessere Ergebnisse. Künstliche Neuronale Netze, Version 1.1,

13 3.3. Anwendungsbereiche Klassifikation Das in der Praxis wichtigste Einsatzgebiet für neuronale Netze ist die Klassifikation, also die Mustererkennung und -zuordnung. Dabei werden die Eingabewerte in eine Anzahl von Klassen unterteilt. Man unterscheidet zwischen einfacher Klassifikation und Clustering. Bei der einfachen Klassifikation sind die Kategorien bereits bekannt und es wird ein überwachtes Lernverfahren gewählt. Beim Clustering wird ein nicht überwachtes Lernverfahren gewählt, die Klassen werden durch das Netz selbst gewählt. Konkret werden künstliche neuronale Netze beispielsweise für eine Schrifterkennung (OCR, Optical Character Recognition) oder ein Clustering von Daten beim Data Mining eingesetzt [6]. Weitere interessante Anwendungen betreffen den medizinischen Einsatz, um beispielsweise automatisiert bösartige Gewebeteile auf einem Bild zu erkennen [14] Funktionsapproximation Sind bei einem Problem lediglich die Funktionswerte einer unbekannten Funktion bekannt, so lässt sich ein künstliches neuronales Netz entwickeln, welches eine Funktion approximieren kann Prognose Eine weitere Anwendung von neuronalen Netzen ist die Prognose von Werten. So kann ein neuronales Netz mit den bisherigen Werten trainiert werden, damit eine Prognose von Börsenwerten, für Energieoder Materialverbrauch oder auch für den Produktabsatz durchgeführt werden kann ([7], S. 221) Optimierung Ein Optimierungsalgorithmus versucht, für ein bestimmtes Problem eine möglichst gute Lösung zu finden. In der Informatik ist das Traveling Salesman Problem (TSP) ein klassisches Optimierungsproblem, bei welchem für das Finden einer optimalen Lösung NP-schwer ist und mit einem künstlichen neuronalen Netz eine befriedigende Lösung gefunden werden kann [6]. 12 Künstliche Neuronale Netze, Version 1.1,

14 4. Entwicklung von neuronalen Netzen Sollen neuronale Netze zum Einsatz kommen, so macht es in praktisch allen Anwendungsfällen Sinn, auf eine bestehende Bibliothek zurückzugreifen. Im Folgenden sollen einige Bibliotheken und Entwicklungsumgebungen für die Erprobung und den Einsatz von künstlichen neuronalen Netzen vorgestellt werden Encog Das Encog Framework ist ein Framework für Maschinelles Lernen, entwickelt von Heaton Research Inc. Das Framework unterstützt neben der Entwicklung von künstlichen neuronalen Netzen auch die Entwicklung von anderen Algorithmen für maschinelles Lernen, wie zum Beispiel Support Vector Machines oder genetische Programmierung (Genetic Programming). Verfügbar ist das Framework für die Programmiersprachen Java und C#. In diesem Kapitel sollen sowohl die Möglichkeiten der interaktiven Encog Workbench als auch die Möglichkeiten der Java Library aufgezeigt werden [3] Encog Workbench Die Encog Workbench ist eine interaktive Oberfläche zur Modellierung und Erstellung von künstlichen neuronalen Netzen. Es handelt sich dabei um ein Java-Programm, welches eine grafische Möglichkeit zur Nutzung des Encog Frameworks bildet. Die Trainings-Daten werden mittels CSV importiert, anschliessend kann mittels Wizard ein neuronales Netz erstellt und trainiert werden. Folgende Abbildung 4.1 zeigt ein Beispiel-Netz, das mittels Encog Workbench erstellt wurde. Abbildung 4.1.: Benutzeroberfläche Encog Workbench, Ansicht eines Netzes Künstliche Neuronale Netze, Version 1.1,

15 Um künstliche neuronale Netzwerke zu trainieren, bietet das Encog Framework 12 verschiedene Trainingsmethoden an, unter anderem die in Kapitel beschriebenen Algorithmen wie Backpropagation, Quick Propagation oder komplexere Algorithmen wie Levenberg-Marquardt (siehe auch [12]). Die Workbench bietet damit durch ihre Benutzeroberfläche und die Wizards eine einfache Möglichkeit, ein künstliches neuronales Netz zu erstellen und zu trainieren Java-Komponenten Nebst einer Library für die Programmiersprache C# besteht bei Encog auch eine Library für die Programmiersprache Java. Mit diesem API kann ebenfalls mit relativ geringem Aufwand ein künstliches neuronales Netz erstellt, trainiert und anschliessend abgefragt werden. Das Beispiel in Anhang A zeigt, wie dies konkret realisiert wird. Die wichtigsten Schritte sind wie folgt: 1. Das Netz wird erstellt, die Schichten werden einzeln hinzugefügt. 2. Die Trainingsmethode wird mit den Trainingsdaten (Eingabe- und Ausgabewerte) spezifiziert. 3. Das Training wird so oft wiederholt, bis der Fehler des Netzwerkes eine bestimmte Konstante unterschreitet. Mittels der compute-methode kann nach dem Training das neuronale Netz abgefragt werden. Mit dem herkömmlichen Backpropagation-Trainings-Algorithmus sind in praktisch allen Fällen über 1000 Iterationen nötig, um einen Fehler < 0.01 zu erhalten. Mit einem Quickprop-Algorithmus werden nur noch unter 100 Trainings-Iterationen benötigt, um den gleichen Fehler zu erhalten SNNS / JavaNNS Der Stuttgart Neural Network Simulator (SNNS) ist ein Simulator für neuronale Netzwerke, der von der Universität Stuttgart entwickelt wurde [1] und von der Universität Tübingen weiterentwickelt wird. Dieser Simulator wird hier der Vollständigkeit halber aufgeführt, da sich die für diese Arbeit verwendete Literatur ([7]) auf diesen Simulator stützt. Der SNNS besteht aus zwei Teilen, nämlich einen in C programmierten Kern und eine X11-basierte Benutzeroberfläche. Die Bedienung ist für heutige Verhältnisse relativ kompliziert und umständlich. Dabei müssen beispielsweise die Neuronen einzeln auf der Arbeitsfläche platziert werden und die Verbindungen müssen manuell erstellt werden. Dies eignet sich zwar sehr gut für kleine Netze, ist für grössere Netze allerdings nur beschränkt geeignet. Der JavaNNS ist eine in Java entwickelte Benutzeroberfläche für den SNNS-Kern, mit einer etwas moderneren und intuitiveren Benutzeroberfläche. Hier können die Netze wie beim Encog Framework schichtenweise aufgebaut werden. Es wurden allerdings im Rahmen dieser Arbeit keine weiteren Tests mit dem JavaNNS durchgeführt. 14 Künstliche Neuronale Netze, Version 1.1,

16 5. Fazit In der künstlichen Intelligenz sind künstliche neuronale Netze ein wichtiges Teilgebiet und damit eine interessante Thematik für die vorliegende Arbeit. Mit den künstlichen neuronalen Netzen können viele Probleme gelöst werden, die mittels herkömmlicher Programmierung nur schwer oder zu unflexibel lösbar wären. Die Vorteile von neuronalen Netzen, nämlich die Generalisierungsfähigkeit und die Anpassungsfähigkeit machen sie gerade im Zusammenhang mit Problemen aus dem Themenbereich Big Data und Data Mining zu sehr geeigneten Methoden für die Verarbeitung von Daten. Einige der Nachteile (z.b. Ineffizienz) werden in den kommenden Jahren sicherlich durch die steigende Computerleistung etwas abgefedert werden können. Der Einsatz von künstlichen neuronalen Netzen ist bereits mit dem Kenntnisstand aus der vorliegenden Arbeit möglich. Die verfügbaren Bibliotheken und Programme machen es sehr einfach, auch für eigene Projekte die künstlichen neuronalen Netze einzusetzen. Künstliche Neuronale Netze, Version 1.1,

17 Literaturverzeichnis [1] What is SNNS? Abgerufen am [Online]. Available: SNNS/announce.html [2] C. Gershenson, Artificial Neural Networks for Beginners, [Online]. Available: http: //arxiv.org/pdf/cs/ v1 [3] J. Heaton, Encog Machine Learning Framework. [Online]. Available: com/encog [4], Encog Machine Learning Framework - Examples. [Online]. Available: downloads/encog/encog-java-core/encog-examples release.zip [5] S. Herculano-Houzel, The human brain in numbers: a linearly scaled-up primate brain, [Online]. Available: [6] M.. M. K. Jain, A.K. ; Jianchang, Artificial neural networks: a tutorial, [Online]. Available: sumeet/jain.pdf [7] U. Lämmel, Künstliche Intelligenz. Hanser, 2012, vol. 4. [8] S. Morr, Künstliche Neuronale Netze, Hoffmann-von-Fallersleben-Schule, [Online]. Available: [9] S. Otte, Das Perzeptron, [Online]. Available: panitz/prog3ws08/ perceptron.pdf [10] F. Rosenblatt, The perceptron: a probabilistic model for information storage and organization in the brain, [Online]. Available: /cogs501/ Rosenblatt1958.pdf [11] Wikipedia, Backpropagation, [Online]. Available: Backpropagation [12], Levenberg marquardt algorithm, [Online]. Available: Levenberg%E2%80%93Marquardt algorithm [13] A. Zell, Simulation neuronaler Netze. Oldenbourg, [14] Y. Y. C. S. Zhou H, Jiang Y, Lung cancer cell identification based on artificial neural network ensembles, [Online]. Available: 16 Künstliche Neuronale Netze, Version 1.1,

18 Abbildungsverzeichnis 2.1. Aufbau eines Neurons ([8], S. 5) Aufbau eines künstlichen Neurons Sigmoide Funktionen und Sprungfunktion Aufbau eines vorwärtsgerichteten mehrstufigen Perzeptrons XOR-Netzwerk (3 Schichten) Architektur einer selbstorganisierenden Karte ([7], S. 253) Benutzeroberfläche Encog Workbench, Ansicht eines Netzes Künstliche Neuronale Netze, Version 1.1,

19 A. Encog Beispiel Das folgende Code-Beispiel ist eine angepasste Version eines von Encog mitgelieferten Beispiels [4]. Es zeigt die Benutzung des Encog Frameworks für die Programmiersprache Java, wobei ein einfaches künstliches neuronales Netz für die Erkennung der XOR-Funktion realisiert wird. package ch. bfh. krens1. infoseminar ; /* * Encog ( tm ) Examples v3.1 - Java Version * http :// www. heatonresearch. com / encog / * http :// code. google. com /p/ encog - java / * Copyright Heaton Research, Inc. * * Licensed under the Apache License, Version 2.0 ( the " License "); * you may not use this file except in compliance with the License. * You may obtain a copy of the License at * * http :// www. apache. org / licenses / LICENSE -2.0 * * Unless required by applicable law or agreed to in writing, software * distributed under the License is distributed on an " AS IS " BASIS, * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. * See the License for the specific language governing permissions and * limitations under the License. * * For more information on Heaton Research copyrights, licenses * and trademarks visit : * http :// www. heatonresearch. com / copyright */ import org. encog. Encog ; import org. encog. engine. network. activation. ActivationSigmoid ; import org. encog.ml. data. MLData ; import org. encog.ml. data. MLDataPair ; import org. encog.ml. data. MLDataSet ; import org. encog.ml. data. basic. BasicMLDataSet ; import org. encog. neural. networks. BasicNetwork ; import org. encog. neural. networks. layers. BasicLayer ; import org. encog. neural. networks. training. propagation. back. Backpropagation ; /* * * XOR : This example is essentially the " Hello World " of neural network * programming. This example shows how to construct an Encog neural * network to predict the output from the XOR operator. This example * uses backpropagation to train the neural network. * * This example attempts to use a minimum of Encog features to create and * train the neural network. This allows you to see exactly what is going * on. For a more advanced example, that uses Encog factories, refer to * the XORFactory example. * */ public class EncogXORExample { /* * * The input necessary for XOR. */ public static double XOR_INPUT [][] = { { 0.0, 0.0 }, { 1.0, 0.0 }, { 0.0, 1.0 }, { 1.0, 1.0 } }; /* * 18 Künstliche Neuronale Netze, Version 1.1,

20 * The ideal data necessary for XOR. */ public static double XOR_IDEAL [][] = { { 0.0 }, { 1.0 }, { 1.0 }, { 0.0 } }; /* * * The main method. args No arguments are used. */ public static void main ( final String args []) { // create a neural network, without using a factory BasicNetwork network = new BasicNetwork (); network. addlayer ( new BasicLayer (null,true,2)); network. addlayer ( new BasicLayer ( new ActivationSigmoid (), true,3)); network. addlayer ( new BasicLayer ( new ActivationSigmoid (), false,1)); network. getstructure (). finalizestructure (); network. reset (); // create training data MLDataSet trainingset = new BasicMLDataSet ( XOR_INPUT, XOR_IDEAL ); // train the neural network final Backpropagation train = new Backpropagation ( network, trainingset ); int epoch = 1; do { train. iteration (); System. out. println (" Epoch #" + epoch + " Error :" + train. geterror ()); epoch ++; } while ( train. geterror () > 0.01); // test the neural network System. out. println (" Neural Network Results :"); for ( MLDataPair pair : trainingset ) { final MLData output = network. compute ( pair. getinput ()); System. out. println ( pair. getinput (). getdata (0) + "," + pair. getinput (). getdata (1) + ", actual =" + output. getdata (0) + ",ideal =" + pair. getideal (). getdata (0)); } System. out. println (" Weights :"); System. out. println ( network. dumpweights ()); } } Encog. getinstance (). shutdown (); Künstliche Neuronale Netze, Version 1.1,