Einführung in. Neuronale Netze

Transkript

1 Grundlagen Neuronale Netze Einführung in Neuronale Netze Grundlagen Neuronale Netze Zusammengestellt aus: Universität Münster: Multimediales Skript Internetpräsentation der MFH Iserlohn (000) U. Winkler: Untersuchungen zur Anwendung Neuronaler Netze für die Lösung von Problemen der Informationsverarbeitung in der biologischen Reinigungsstufe von Kläranlagen (998) Stöcker: : Mathematik Projektarbeit M. Höhler Eigenen Unterlagen

2 Grundlagen Neuronale Netze Literatur: Internet-Skript von Prof. Dr. Westenberger Lehrbuch: Andreas Zell: Simulation neuronaler Netze Grundlagen Neuronale Netze Inhalt: Einleitung Biologisches Vorbild Prinzipien Künstlicher Neuronaler Netz

3 Grundlagen Neuronale Netze Inhalt: Einleitung Biologisches Vorbild Prinzipien Künstlicher Neuronaler Netze Einleitung Was versteht man unter Neuronalen Netzen?» Neuronale Netze sind dem Gehirnfunktionen nachempfundene Strukturen, die einen Lernprozess ermöglichen.

4 Einleitung Abgrenzung von konventionellen Programmen und Wissensverarbeitung Einleitung Abgrenzung von Systemen zur Wissensverarbeitung

5 Einleitung Abgrenzung von menschlichem zu künstlichem Experten Einleitung Simulationsmodell: (a) konventionell und (b) mit Neuronalen Netzen

6 Einleitung Computer lösen schnell Algorithmen. Menschen erkennen schneller Zusammenhänge. Das Gehirn arbeitet auch bei ungenauen Eingaben. Es arbeitet auch, wenn einige Zellen defekt sind. Es ist lernfähig, benötigt also keine Algorithmen. Informationsverarbeitung erfolgt parallel: Resultat: Hohe H Fehlertoleranz und nur kleiner Wissensausfall bei Zerstörung eines Neurons. Was ist ein neuronales Netz? Inputs Mathematische? Formel Outputs

7 Einsatzgebiete neuronaler Netze Anwendungen» Prognose» Zinsprognose» Wechselkursprognose» Entscheidungsunterstützung» Kreditwürdigkeitsprüfung» Mailingaktionen» Steuerung und Regelung» Abfallsortierung» Bewegungssteuerung

8 Zinsprognose Inputs BSP DAX Inflationsrate usw. Mathematische? Formel Outputs Zins Zinsprognose Inputs Output Bruttosozialprodukt Input- Schicht Hidden- Schicht Ouput- Schicht Inflationsrate Kapitalmarktzins Leitzins der Bundesbank 8

9 Kreditwürdigkeitsprüfung Input Familienstand Hidden- Schicht Output- Schicht Einkommen Kennzahl für Kreditwürd. Kennz. für SCHUFA Auskunft Mailing Aktion Branche Input Hidden- Schicht Output- Schicht Jahresumsatz Kennzahl für Erfolgsaussicht Entfernung in km 9

10 Vergleich: Gehirn/Computer Anzahl Neuronen 0 Schaltzeit eines Elements 0 - s Anzahl Transistoren 0 9 Schaltzeit eines Elements 0-9 s Taktfrequenz bis khz Taktfrequenz, GHz Ein Mensch benötigt 0,s um eine ihm bekannte Person zu erkennen, der Computer erkennt in der Zeit noch nichts! 00 Meinolf Höhler Quelle: Prof. Westenberger, FH Köln, Neuronale Netze 99V0 Vergleich: Gehirn/Computer Meinolf Höhler Eigenschaft Parallelität Präzision Fehlertoleranz Speicherzugriff Erkennen von Mustern Ausnutzen von Ähnlichkeiten Numerisch präzise Berechnungen Fehlerloses Speichern von Daten Rekonstruieren verrauschter Daten Verallgemeinern von Beispielen Selbstorganisation Gehirn hoch mäßig hoch global gut ja schlecht schlecht gut gut ja Quelle: Computer niedrig hoch niedrig lokal schlecht nein gut gut schlecht schlecht bisher nicht 0

11 Grundlagen Neuronale Netze Inhalt: Einleitung Biologisches Vorbild Prinzipien Künstlicher Neuronaler Netze Biologisches Vorbild Aufbau einer Nervenzelle

12 Biologisches Vorbild Aufbau einer Nervenzelle: Zellkörper 0, mm groß Dendriten die Zellfortsätze zur Aufnahme von Signalen Axone die Zellfortsätze zum Senden von Signalen Organellen versorgen die Zellen mit Energie Biologisches Vorbild Nervenzellen Dieses Photo zeigt multipolare (mit vielen Fortsätzen) ausgestattete Nervenzellen. Der zentrale Zellkörper jeder Zelle ist deutlich erkennbar, ebenso die Dendriten kurze Fortsätze des Zellkörpers, die Nervenreize aufnehmen.

13 Biologisches Vorbild Schalten einer Nervenzelle: Axone öffnen sich für Na+ Ionen Dadurch ergibt sich ein Potentialausgleich Nach - ms wieder Ruhepotential Biologisches Vorbild (A) Elektronenmikroskopische Aufnahme einer Retzius-Nervenzelle des Blutegels auf dem metallfreien Gate eines Feldeffekt-Transistors. Source und Drain des Transistors sind durch das Profil der Oberfläche gekennzeichnet. (B) Source-Drain-Strom eines Neuron- Transistors (obere Linie) und intrazelluläre Spannung (untere Linie). Die positiven Veränderungen der intrazellulären Spannung rufen eine Unterdrückung des Stroms im p- leitenden Kanal des Transistors hervor.

14 Biologisches Vorbild Aufbau des Gehirns Biologisches Vorbild Aufbau des Gehirns: Großhirn: Sensorik,, Motorik Thalamus: : Sinnesorgane Signalvorverarbeitung Hypothalamus: : Vegetatives System Mittelhirn: Schlafsteuerung Kleinhirn: Gleichgewicht Nachhirn: Reflexe

15 Grundlagen Neuronale Netze Inhalt: Einleitung Biologisches Vorbild Prinzipien Künstlicher Neuronaler Netze Aufbau des neuronalen Netzes 00 Meinolf Höhler

16 Aufbau des neuronalen Netzes ein NN besteht aus mehreren Schichten (Layer) Inputlayer Hiddenlayer Outputlayer 00 Meinolf Höhler Aufbau des neuronalen Netzes ein NN besteht aus mehreren Schichten (Layer) eine einfache Tabelle dient zur Speicherung der Verbindungen und Neuronen Inputlayer Hiddenlayer Outputlayer 00 Meinolf Höhler

17 Aufbau des neuronalen Netzes ein NN besteht aus mehreren Schichten (Layer) eine einfache Tabelle dient zur Speicherung der Verbindungen und Neuronen wenn in Zelle (x;y) ein Wert steht, besteht eine Verbindung von Neuron x zu y Inputlayer Hiddenlayer Outputlayer 00 Meinolf Höhler Aufbau des neuronalen Netzes ein NN besteht aus mehreren Schichten (Layer) eine einfache Tabelle dient zur Speicherung der Verbindungen und Neuronen wenn in Zelle (x;y) ein Wert steht, besteht eine Verbindung von Neuron x zu y Inputvektor wird angelegt und Zeilenweise berechnet; Ergebnis ist ein Outputvektor Inputlayer Hiddenlayer Outputlayer Inputvektor 00 Meinolf Höhler Outputvektor

18 Topologien neuronaler Netze Netze ohne Rückkopplung (Feedforwardnetz) Ebenenweise verbundenes Netz 00 Meinolf Höhler Topologien neuronaler Netze Netze ohne Rückkopplung (Feedforwardnetz) Ebenenweise verbundenes Netz mit Shortcut-connections 00 Meinolf Höhler 8

19 Topologien neuronaler Netze Netze mit Rückkopplung (rekurrente Netze) direkte Rückkopplung 00 Meinolf Höhler Topologien neuronaler Netze Netze mit Rückkopplung (rekurrente Netze) indirekte Rückkopplung 00 Meinolf Höhler 9

20 Topologien neuronaler Netze Netze mit Rückkopplung (rekurrente Netze) laterale Rückkopplung 00 Meinolf Höhler Topologien neuronaler Netze Netze mit Rückkopplung (rekurrente Netze) vollständig verbunden ohne direkte Rückkopplung 00 Meinolf Höhler 0

21 Bestandteile neuronaler Netze. Zellen i=...n mit - Aktivierungszustand a i(.) (t) - Transferfunktion - Schwellwert θf i - Ausgabewert o i (t) Aktivierungszustand: momentaner Grad der Aktivierung berechnet aus einer Aktivierungsfunktion und dem Schwellenwert Transferfunktion : Funktion, die aus der Aktivierung den Ausgabewert berechnet Ausgabewert : Wert, der über die Kanten an die anderen Neuronen weitergegeben wird Sigmoidfunktion : f ( x) = + e x 00 Meinolf Höhler Bestandteile neuronaler Netze. Zellen i=...n mit - Aktivierungszustand a i(.) (t) - Transferfunktion - Schwellwert θf i - Ausgabewert o i (t). Verbindungsnetzwerk der Zellen mit Gewichten: w ij (gerichteter, gewichteter Graph, Gewichtsmatrix W) Verbindungsnetzwerk: Matrix mit den Gewichtswerten der Kanten zwischen den Neuronen 00 Meinolf Höhler

22 Bestandteile neuronaler Netze. Zellen i=...n mit - Aktivierungszustand a i(.) (t) - Transferfunktion - Schwellwert θf i - Ausgabewert o i (t). Verbindungsnetzwerk der Zellen mit Gewichten: w ij (gerichteter, gewichteter Graph, Gewichtsmatrix W). Propagierungsfunktionnet j (t) Propagierungsfunktion: ist die Berechnungsvorschrift, wie die Ausgaben der Vorgänger als Eingabe des Neurons verwendet werden 00 Meinolf Höhler Bestandteile neuronaler Netze. Zellen i=...n mit - Aktivierungszustand a i(.) (t) - Transferfunktion - Schwellwert θf i - Ausgabewert o i (t). Verbindungsnetzwerk der Zellen mit Gewichten: w ij (gerichteter, gewichteter Graph, Gewichtsmatrix W). Propagierungsfunktionnet j (t). Lernregel: Training der Gewichte (Synapsen) w ij Lernregel: Algorithmus, über den das Lernverfahren definiert wird 00 Meinolf Höhler

23 Prinzipien Künstlicher Neuronaler Netze Drei Elemente: Zellkörper Dendrit Axon Prinzipien Künstlicher Neuronaler Netze Aktivierungszustand Z gibt den Aktivierungsgrad der Zelle an Aktivierungsfunktion f act gibt an, wie sich ein neuer Aktivierungszustand Z neu,j des Neurons j aus der alten Aktivierung Z alt,j und der Netzeingabe net j (t) sowie dem Schwellenwert des Neurons j ergibt. Ausgabefunktion f out bestimmt aus der Aktivierung die Ausgabe des Neurons

24 Prinzipien Künstlicher Neuronaler Netze Faßt man Aktivierungs- und Ausgabefunktion zu einer Transfer-Funktion zusammen, verwendet man häufig die gewichtete Summe: Prinzipien Künstlicher Neuronaler Netze Der Aktivierungszustand Z hängt vom alten Zustand und der Veränderung der Aktivierungsfunktion ab und kann beispielsweise dargestellt werden durch:

25 Prinzipien Künstlicher Neuronaler Netze Auch für künstliche Neuronen gibt es eine Schwellenwertfunktion: Prinzipien Künstlicher Neuronaler Netze Die folgende Abbildung enthält einige gebräuchliche Aktivierungs- bzw. Ausgabefunktionen, wobei die beiden letzteren am häufigsten verwendet werden.

26 Prinzipien Künstlicher Neuronaler Netze Tanh als übliche Sigmoidfunktion Prinzipien Künstlicher Neuronaler Netze Formel

27 Prinzipien Künstlicher Neuronaler Netze Die Neuronen künstlicher neuronaler Netze sind im Vergleich zu ihren natürlichen Vorbildern sehr stark idealisiert. Trotzdem gibt es viele Gemeinsamkeiten: - Die massive Parallelität der Neuronen - Relativ einfache Elemente: Neuronen verarbeiten die Aktivierungen der Vorgängerneuronen und die Stärke der Verbindung zu einer Ausgabe. - Die Neuronen sind durch gewichtete Verbindungen (biologisch: Synapsen) miteinander verbunden. - Die Verbindungsgewichte bei künstlichen Neuronen sind modifizierbar. Das entspricht der Plastizität der Synapsen beim biologischen Vorbild. - Ein Neuron ist mit sehr vielen anderen Neuronen verbunden (hohe Konnektivität). Prinzipien Künstlicher Neuronaler Netze Neuronale Netze lassen sich gemäß der folgenden Topologien klassifizieren:. Netze ohne Rückkopplung (feedforward- Netze). Netze mit Rückkopplungen (rekurrente Netze)

28 Prinzipien Künstlicher Neuronaler Netze Prinzipien Künstlicher Neuronaler Netze 8

29 Prinzipien Künstlicher Neuronaler Netze Ein neuronales Netz "lernt", indem es sich gemäß einer fest vorgegebenen Vorschrift, der Lernregel, selbst modifiziert. Prinzipiell kann der Lernprozeß bestehen aus: oentwicklung neuer Verbindungen olöschen existierender Verbindungen omodifikation der Verbindungsstärke (Veränderung der Gewichte) omodifikation des Schwellenwertes omodifikation der Aktivierungs- bzw. Ausgabefunktion oentwicklung neuer Zellen olöschen bestehender Zellen Prinzipien Künstlicher Neuronaler Netze. Überwachtes Lernen (supervised learning) Beim überwachten Lernen gibt ein externer Lehrer dem Netz zu jeder Eingabe die korrekte Ausgabe oder die Differenz der tatsächlichen zur korrekten Ausgabe an. Anhand dieser Differenz wird dann das Netz über die Lernregel modifiziert. Diese Technik setzt allerdings voraus, dass Trainingsdaten existieren, die aus Paaren von Ein- und Ausgabedaten bestehen. 9

30 Prinzipien Künstlicher Neuronaler Netze Ein typisches überwachtes Lernverfahren wie z.b. Backpropagation durchläuft für alle Paare von Ein- und Ausgabemustern folgende Schritte:. Das Eingabemuster wird dem Netz durch entsprechende Aktivierung der Eingabeneuronen präsentiert.. Die angelegte Eingabe läuft vorwärts durch das Netz. Dadurch wird ein Ausgabemuster für die aktuelle Eingabe erzeugt.. Tatsächliche und korrekte Ausgabe werden verglichen und die Differenz berechnet.. Die Fehler laufen rückwärts von der Ausgabe- zur Eingabeschicht. Dabei werden die Verbindungsgewichte verändert, so daß der Fehler verringert wird. Die Gewichte aller Neuronen werden um die vorher berechneten Werte verändert. Prinzipien Künstlicher Neuronaler Netze Unüberwachtes Lernen (unsupervised learning) Hierbei gibt es überhaupt keinen externen Lehrer, daher heißt dieses Lernparadigma auch self-organized learning. Das Netz versucht ohne Beeinflussung von außen die präsentierten Daten in Ähnlichkeitsklassen aufzuteilen. 0

31 Grundlagen Neuronale Netze Problem beim Gradientenabstiegsverfahren- Suche des Minimums Grundlagen Neuronale Netze Lernrate (engl. learning rate): Bestimmt den Verlauf des Gradientenabstiegs. Kleinere Lernrate führt zu kleineren Sprüngen in der Objektfunktion und eventuell auch exakterer Adaption. Größere Lernrate kann den Lernvorgang beschleunigen und Entkommen aus lokalen Minima erleichtern. Eine geeignete Lernrate ist von Fall zu Fall durch Probieren zu ermitteln.

32 Grundlagen Neuronale Netze Objektfunktion während des Lernens (links: große Lernrate, rechts: kleine Lernrate) Grundlagen Neuronale Netze Klassifikation Neuronaler Netze Binäre Eingangssignale Kontinuierliche Eingangssignale Überwachtes Lernen Unüberwachtes Lernen Überwachtes Lernen Unüberwachtes Lernen Hopfield Netz Hamming Netz Grossberg Netz Perceptron Multilayer Perceptron Kohonen Netz Quelle: MIT GmbH, Aachen

33 Grundlagen Neuronale Netze Vor- und Nachteile der Netzwerktypen Netzwerktyp Beschreibung Vorteile Nachteile Anwendungen Der Aufbau des MLPs gleicht dem Aufbau des zuvor gezeigten, neuronalen Netzes. Es ist strikt linear aufgebaut. Die ~ flexibel ~ geringe Komplexität ~ Netzgröße (Anzahl der Gewichte) muß genau an das z.b. Zeitreihenprognosen Multilayer Eingangsfunktion ist die Summe der Problem angepaßt gewichteten Eingangswerte. Die werden. ~ Perceptron Aktivierungsfunktion ist entweder eine lineare, eine Sigmoid- oder eine Tangens- Hyperbolicus-Funktion. Überwachung des Lernvorgangs notwendig Kohonen Netzwerk n-dimensionales Netz, bei dem die Neuronenposition durch Ihre Merkmalsausprägung beschrieben wird ~ kaum Expertenwissen erforderlich ~ unüberwachtes Lernen ~ findet unbekannte Strukturen ~ schlecht geeignet für Merkmale ohne def. Abstand z.b. Telefonnr. ~ Abhängigkeit von der Präsentationsreihenfolge z.b. Einteilung in Klasse Grundlagen Neuronale Netze Netzwerktyp Beschreibung Vorteile Nachteile Anwendungen n-dimensionales Netz, bei dem ~ schlecht z.b. Einteilung in die Neuronenposition durch Ihre geeignet für beliebig geformte Merkmalsausprägung Merkmale ohne Klassen im beschrieben wird. Zusätzlich wird def. Abstand Merkmalsraum beim Lernalgorithmus Fuzzy- z.b. Telefonnr. Clustering eingesetzt, um die Nachteile des reinen Kohonennetzes auszugleichen. Fuzzy Kohonen Netzwerk Vor- und Nachteile der Netzwerktypen ~ kaum Expertenwissen erforderlich ~ unüberwachtes Lernen ~ findet unbekannte Strukturen ~ konvergiert schneller als reines Kohonen ~ unabhängig von Präsentationsreihenfolge d. Trainingssätze

34 Grundlagen Neuronale Netze Lernverfahren Beschreibung Einsatzgebiet Überwachter Lernalgorythmus; heuristisches Verfahren, Multilayer Perceptron und bei dem die Gewichte solange verändert werden, bis das Varianten Quick Propagation Ergebnis mit der Vorgabe weitesgehenst übereinstimmt; vorwärtsgerichtet Back Propagation Überwachter Lernalgorythmus; ausgehend von der Abweichung des IST- vom SOLL-Wertes, werden die Gewichte von der Ausgabeschicht zur Eingabeschicht, also in umgekehrter Richtung, justiert. Dabei fließt der Fehler (SOLL-IST-Abweichung) mit in das neue Gewicht mit ein. Der Weg, auf dem die größten Gewichtsänderungen während des Trainingssatzes stattgefunden haben, ist der Weg, der am stärksten von der Korrektur betroffen ist; rückwärtsgerichtet Multilayer Perceptron und Varianten Grundlagen Neuronale Netze Lernverfahren Beschreibung Einsatzgebiet Kohonen "Winner Take All" Die Neuronen werden im n-dimensionalen Raum in Abhängigkeit von ihren Merkmalsausprägungen plaziert. Auch der Eingangsvektor wird in diesem Raum plaziert. Das Neuron, welches dem Eingangsvektor am räumlich am nächsten kommt wird verändert. Und zwar wird der Eingangsvektor vom Vektor, der die Position des Neurons im Raum angab, abgezogen. Unüberwachtes Lernverfahren Kohonen Netz und in modifizierter Form im Fuzzy-Kohonen-Netz Simuliertes Ausglühen Minimierung der Energiefunktion im Netz. Hierbei wird versucht den SOLL-Wert so nahe, wie möglich zu kommen. Die Vergrößung des Fehlers wird als Energiezunahme (pot. Energie) interpretiert. Durch stochastische Methoden wird versucht den SOLL- Wert zu erreichen und gleichzeitig die Gesamtenergie des Netzes zu minimieren.

35 Schlussbemerkung "You work is to discover your world and then with all your heart give yourself to it." - BUDDHA - "The purpose of computing is insight, not numbers." - Richard Hamming - "The history of technology shows us that we overestimate what a technology can do for us in a few years and underestimate what it can do in a decade or two." - Fiegenbaum, MCCorduck, Nii - "Chance favors the prepared mind." - Louis Pasteur -