Neuroinformatik Übung 1 Fabian Bürger Raum: BC419, Tel.: 0203-379 - 3124, E-Mail: fabian.buerger@uni-due.de Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 1 / 27
Organisatorisches Neuroinformatik: http://www.is.uni-due.de/de/lehre/sommersemester_ 2012/neuroinformatik_und_organic_computing/ Fabian Bürger: +49-203-379-3124 fabian.buerger@uni-due.de Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 2 / 27
Aufgabe 1 a) Aufgabenstellung Diskutieren Sie Anwendungsfelder der Neuroinformatik. Welche besondere Bedeutung hat der Aspekt des Lernens? Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 3 / 27
Aufgabe 1 a) Anwendungsfelder der Neuroinformatik Die Neuroinformatik ist ein interdisziplinäres Gebiet mit vielfältigen Anwendungsfeldern im Bereich Mustererkennung und Funktionsapproximation. Industrie automatisierte Qualitätskontrolle Steuerung von Maschinen und Robotern Intelligente Systeme Medizin Bildbasierte Systeme: Hinderniserkennung bei Fahrerassistenzsystemen, Handschrifterkennung bei Formularverarbeitung Finanzen Unterstützung bei der Diagnose Wertpapierbewertungen und Versicherungen Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 4 / 27
Aufgabe 1 a) Der Aspekt des Lernens Komplexe (Funktions-)zusammenhänge müssen nicht explizit bestimmt werden, sondern werden anhand von bekannten Eingaben und Ausgaben gelernt. Vorteile Merkmale aus Beobachtungen und Messungen können zur Abstraktion verwendet werden, Black Box-Systemmodell möglich Nachteile Schnelle Modellierung von komplexen Funktionen möglich Unter Umständen wenig Erkenntnisgewinn über das Problem und die Zusammenhänge Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 5 / 27
Aufgabe 1 b) Aufgabenstellung Diskutieren Sie die Charakteristika eines Neuronalen Netzes. Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 6 / 27
Aufgabe 1 b) Anschauliche Definition Neuronale Netze sind informationsverarbeitende Systeme, die aus einer großen Anzahl einfacher Einheiten (Zellen, Neuronen) bestehen, die sich Informationen in Form der Aktivierung der Zelle über gerichtete Verbindungen zusenden. (nach [1], S. 23) Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 7 / 27
Aufgabe 1 b) Formale Definition Ein neuronales Netz ist ein gerichteter Graph A := (K,V), der aus einer Menge von Knoten K = {I,O,H}, den neuronalen Einheiten, und einer Menge von gerichteten Kanten V K K, den Verbindungen zwischen den Einheiten besteht. (nach [2], S. 42) Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 8 / 27
Aufgabe 1 b) Charakterisierung von neuronalen Netzen durch Netzwerktopologie Knotenfunktion Netzwerkdynamik Neuronales Lernen Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 9 / 27
Aufgabe 1 b): Netzwerktopologie Wie ist die "Vernetzung" eines Graphen aufgebaut? Zur Erinnerung: Topologie: aus dem Griechischen; topos = Ort, Stelle; logos = Rede, Kunde Lehre über die "Nachbarschaftsbeziehung" Netzwerk: gerichteter Graph ohne Mehrfachkanten (eine Teilmenge des kartesischen Produkts V V ) Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 10 / 27
Aufgabe 1 b): Knotenfunktionen x 1 x 2. x n f p f a y Ausgabe des Neurons: y = f a (f p (x 1,x 2,...,x n )) Propagierungsfunktion f p : "Was nimmt das Neuron an?" Aktivierungsfunktion f a : "Was gibt das Neuron aus?" Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 11 / 27
Aufgabe 1 b): Netzwerkdynamik Gerichteter Graph man erhält aus Anordnung der Kanten: Wie fließt die Information im Netz? Hat das Netz ein Gedächtnis? Unterscheidung vorwärtsgerichtetes / rückgekoppeltes Netz x g f f (g (x)) x f f (x t,f (x t 1,f (x t2,...))) Vorwärtsgerichtetes Netz: Komposition von Funktionen Rückgekoppeltes Netz: rekursive Funktionsauswertung Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 12 / 27
Aufgabe 1 b): Neuronales Lernen Ablauf des Lernprozesses Modifikation der Gewichte Modifikation der Topologie Lernkonzepte Überwachtes Lernen Belohnungs- / Bestrafunslernen Unüberwachtes Lernen Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 13 / 27
Aufgabe 1 b): Beispiele (nach [3]) Netze ohne Rückkopplung (Feedforward-Netze) Ebenenweise verbunden Allgemeine Feedforward-Netze Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 14 / 27
Aufgabe 1 b): Beispiele (nach [3]) Netze mit Rückkopplung (rekurrente Netze) Direkte Rückkopplungen (direct feedback): Verstärkung bzw. Abschwächung der eigenen Ausgabe eines Neurons durch Verbindung von der Ausgabe zurück zur Eingabe Indirekte Rückkopplungen indirect feedback): Rückkopplungen von Neuronen höherer Ebenen zu Neuronen niederer Ebenen Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 15 / 27
Aufgabe 1 b): Beispiele (nach [3]) Netze mit Rückkopplungen innerhalb einer Schicht (lateral feedback) Einsatzgebiet: Aufgaben, bei denen nur ein Neuron einer Gruppe aktiv werden soll Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 16 / 27
Aufgabe 1 b): Beispiele (nach [3]) Vollständig verbundene Netze Paarweise Verbindung aller Neuronen, insbes. bekannt als Hopfield-Netze Hopfield-Netze: Adjazenzmatrix symmetrisch, nur Nullen auf Diagonale Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 17 / 27
Aufgabe 2: Netztopologie w 1 1,1 f p f a w 1 0,1 1 w 2 1,1 x w 1 1,2 w 1 1,3 f p f a w 2 2,1 w 1 0,2 1 w 2 3,1 f p f a f ap (x) w 1 1,4 f p f a w 1 0,3 1 f p f a w 2 4,1 1 w 2 0,1 w 1 0,4 1 Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 18 / 27
Aufgabe 2: Werte Layer 1: w 1 1,1 = 1.965, w 1 1,2 = 2.204, w 1 1,3 = 2.884, w 1 1,4 = 1.293, w 1 0,1 = 0.193, w 1 0,2 = 1.255, w 1 0,3 = 1.450, w 1 0,4 = 1.179, Layer 2: w 2 1,1 = 0.791, w 2 2,1 = 2.725, w 2 3,1 = 2.567, w 2 4,1 = 1.035, w 2 0,1 = 0.044 Für Neuron j in Schicht k: Propagierungsfunktion: fj,p k (x) = i wi,j k x i Aktivierungsfunktion: fj,a k 1 exp s (s) = 1+exp s 1 0.8 fa(s) 0.6 0.4 0.2 0-0.2-0.4-0.6-0.8-1 -10-5 0 5 10 Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 19 / 27
Aufgabe 2: Beispiele Schicht 1, Neuron 1: u1 1 := f 1,p 1 (1,x) = w 1,1 1 x + w 0,1 1 = 1.965x 0.193 y 1 := f 1 1,a (u1 1 ) = 1 exp u1 1 1+exp u1 1 Schicht 2, Neuron 1 (Ausgabeneuron): u 1 2 := f 2 1,p (1,y 1,y 2,y 3,y 4 ) = 0.791y 1 + 2.725y 2 + 2.567y 3 1.035y 4 + 0.044 f 2 1,a (u2 1 ) = 1 exp u2 1 1+exp u2 1 Vom Netz berechnete Funktion: f ap (x) = f 2 1,a (u2 1 ) Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 20 / 27
Aufgabe 2: Funktionen f 1 (x) := cos(x) f 2 (x) := sin(x) f 3 (x) := arctan(x) f 4 (x) := 1 exp( x) f 5 (x) = exp ( x 2 2 ) Für welche der Funktionen gilt f i f ap? Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 21 / 27
Aufgabe 2: Eingabe x = 0 f1,p 1 (1,x) = 0.193 f 1,a 1 (1,x) = 0.096 f2,p 1 (1,x) = 1.255 f 2,a 1 (1,x) = 0.556 f3,p 1 (1,x) = 1.45 f 3,a 1 (1,x) = 0.620 f4,p 1 (1,x) = 1.179 f 4,a 1 (1,x) = 0.530 f 2 1,p (1,y 1,y 2,y 3,y 4 ) = 3.624 f ap (x) = 0.948 f 1 (x) = 1 f 2 (x) = 0 f 3 (x) = 0 f 4 (x) = 0 f 5 (x) = 1 Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 22 / 27
Aufgabe : Eingabe x = 1.57 f1,p 1 (1,x) = 3.278 f 1,a 1 (1,x) = 0.927 f2,p 1 (1,x) = 2.205 f 2,a 1 (1,x) = 0.801 f3,p 1 (1,x) = 5.978 f 3,a 1 (1,x) = 0.995 f4,p 1 (1,x) = 3.210 f 4,a 1 (1,x) = 0.922 f 2 1,p (1,y 1,y 2,y 3,y 4 ) = 0.635 f ap (x) = 0.307 f 1 (x) = 0.001 f 2 (x) = 1 f 3 (x) = 1.004 f 4 (x) = 0.792 f 5 (x) = 0.292 Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 23 / 27
Aufgabe 2: Eingabe x = 1.57 f1,p 1 (1,x) = 2.892 f 1,a 1 (1,x) = 0.895 f2,p 1 (1,x) = 4.715 f 2,a 1 (1,x) = 0.982 f3,p 1 (1,x) = 3.078 f 3,a 1 (1,x) = 0.912 f4,p 1 (1,x) = 0.851 f 4,a 1 (1,x) = 0.402 f 2 1,p (1,y 1,y 2,y 3,y 4 ) = 0.672 f ap (x) = 0.324 f 1 (x) = 0.001 f 2 (x) = 1 f 3 (x) = 1.004 f 4 (x) = 3.807 f 5 (x) = 0.292 Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 24 / 27
Aufgabe 2: Funktionenplot 2 1.5 1 0.5 0-0.5-1 -1.5-2 cos(x) sin(x) arctan(x) 1 exp( x) ( ) exp x 2 2 f ap (x) -3-2 -1 0 1 2 3 Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 25 / 27
Aufgabe 2: f ap f 5 1 0.9 0.8 f 5 (x) = exp ( x 2 2 ) f ap (x) 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0-3 -2-1 0 1 2 3 Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 26 / 27
Literatur 1 A. Zell: Simulation Neuronaler Netze. Oldenbourg, 2003, Wissenschaftsverlag GmbH, 4., unveränderter Nachdruck, ISBN 3-486-24350-0 2 R. Brause: Neuronale Netze. Stuttgart, 1995, B. G. Teubner, ISBN 3-519-12247-2 3 Lippe: Einführung in Neuronale Netze, Skript, http://cs.uni-muenster.de/professoren/lippe/ lehre/skripte/wwwnnscript/startseite.html Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 27 / 27