Neuroinformatik. Übung 1

Transkript

1 Neuroinformatik Übung 1 Fabian Bürger Raum: BC419, Tel.: , [email protected] Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 1 / 27

2 Organisatorisches Neuroinformatik: /neuroinformatik_und_organic_computing/ Fabian Bürger: Fabian Bürger Neuroinformatik: Übung 1 2 / 27

3 Aufgabe 1 a) Aufgabenstellung Diskutieren Sie Anwendungsfelder der Neuroinformatik. Welche besondere Bedeutung hat der Aspekt des Lernens? Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 3 / 27

4 Aufgabe 1 a) Anwendungsfelder der Neuroinformatik Die Neuroinformatik ist ein interdisziplinäres Gebiet mit vielfältigen Anwendungsfeldern im Bereich Mustererkennung und Funktionsapproximation. Industrie automatisierte Qualitätskontrolle Steuerung von Maschinen und Robotern Intelligente Systeme Medizin Bildbasierte Systeme: Hinderniserkennung bei Fahrerassistenzsystemen, Handschrifterkennung bei Formularverarbeitung Finanzen Unterstützung bei der Diagnose Wertpapierbewertungen und Versicherungen Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 4 / 27

5 Aufgabe 1 a) Der Aspekt des Lernens Komplexe (Funktions-)zusammenhänge müssen nicht explizit bestimmt werden, sondern werden anhand von bekannten Eingaben und Ausgaben gelernt. Vorteile Merkmale aus Beobachtungen und Messungen können zur Abstraktion verwendet werden, Black Box-Systemmodell möglich Nachteile Schnelle Modellierung von komplexen Funktionen möglich Unter Umständen wenig Erkenntnisgewinn über das Problem und die Zusammenhänge Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 5 / 27

6 Aufgabe 1 b) Aufgabenstellung Diskutieren Sie die Charakteristika eines Neuronalen Netzes. Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 6 / 27

7 Aufgabe 1 b) Anschauliche Definition Neuronale Netze sind informationsverarbeitende Systeme, die aus einer großen Anzahl einfacher Einheiten (Zellen, Neuronen) bestehen, die sich Informationen in Form der Aktivierung der Zelle über gerichtete Verbindungen zusenden. (nach [1], S. 23) Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 7 / 27

8 Aufgabe 1 b) Formale Definition Ein neuronales Netz ist ein gerichteter Graph A := (K,V), der aus einer Menge von Knoten K = {I,O,H}, den neuronalen Einheiten, und einer Menge von gerichteten Kanten V K K, den Verbindungen zwischen den Einheiten besteht. (nach [2], S. 42) Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 8 / 27

9 Aufgabe 1 b) Charakterisierung von neuronalen Netzen durch Netzwerktopologie Knotenfunktion Netzwerkdynamik Neuronales Lernen Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 9 / 27

10 Aufgabe 1 b): Netzwerktopologie Wie ist die "Vernetzung" eines Graphen aufgebaut? Zur Erinnerung: Topologie: aus dem Griechischen; topos = Ort, Stelle; logos = Rede, Kunde Lehre über die "Nachbarschaftsbeziehung" Netzwerk: gerichteter Graph ohne Mehrfachkanten (eine Teilmenge des kartesischen Produkts V V ) Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 10 / 27

11 Aufgabe 1 b): Knotenfunktionen x 1 x 2. x n f p f a y Ausgabe des Neurons: y = f a (f p (x 1,x 2,...,x n )) Propagierungsfunktion f p : "Was nimmt das Neuron an?" Aktivierungsfunktion f a : "Was gibt das Neuron aus?" Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 11 / 27

12 Aufgabe 1 b): Netzwerkdynamik Gerichteter Graph man erhält aus Anordnung der Kanten: Wie fließt die Information im Netz? Hat das Netz ein Gedächtnis? Unterscheidung vorwärtsgerichtetes / rückgekoppeltes Netz x g f f (g (x)) x f f (x t,f (x t 1,f (x t2,...))) Vorwärtsgerichtetes Netz: Komposition von Funktionen Rückgekoppeltes Netz: rekursive Funktionsauswertung Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 12 / 27

13 Aufgabe 1 b): Neuronales Lernen Ablauf des Lernprozesses Modifikation der Gewichte Modifikation der Topologie Lernkonzepte Überwachtes Lernen Belohnungs- / Bestrafunslernen Unüberwachtes Lernen Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 13 / 27

14 Aufgabe 1 b): Beispiele (nach [3]) Netze ohne Rückkopplung (Feedforward-Netze) Ebenenweise verbunden Allgemeine Feedforward-Netze Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 14 / 27

15 Aufgabe 1 b): Beispiele (nach [3]) Netze mit Rückkopplung (rekurrente Netze) Direkte Rückkopplungen (direct feedback): Verstärkung bzw. Abschwächung der eigenen Ausgabe eines Neurons durch Verbindung von der Ausgabe zurück zur Eingabe Indirekte Rückkopplungen indirect feedback): Rückkopplungen von Neuronen höherer Ebenen zu Neuronen niederer Ebenen Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 15 / 27

16 Aufgabe 1 b): Beispiele (nach [3]) Netze mit Rückkopplungen innerhalb einer Schicht (lateral feedback) Einsatzgebiet: Aufgaben, bei denen nur ein Neuron einer Gruppe aktiv werden soll Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 16 / 27

17 Aufgabe 1 b): Beispiele (nach [3]) Vollständig verbundene Netze Paarweise Verbindung aller Neuronen, insbes. bekannt als Hopfield-Netze Hopfield-Netze: Adjazenzmatrix symmetrisch, nur Nullen auf Diagonale Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 17 / 27

18 Aufgabe 2: Netztopologie w 1 1,1 f p f a w 1 0,1 1 w 2 1,1 x w 1 1,2 w 1 1,3 f p f a w 2 2,1 w 1 0,2 1 w 2 3,1 f p f a f ap (x) w 1 1,4 f p f a w 1 0,3 1 f p f a w 2 4,1 1 w 2 0,1 w 1 0,4 1 Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 18 / 27

19 Aufgabe 2: Werte Layer 1: w 1 1,1 = 1.965, w 1 1,2 = 2.204, w 1 1,3 = 2.884, w 1 1,4 = 1.293, w 1 0,1 = 0.193, w 1 0,2 = 1.255, w 1 0,3 = 1.450, w 1 0,4 = 1.179, Layer 2: w 2 1,1 = 0.791, w 2 2,1 = 2.725, w 2 3,1 = 2.567, w 2 4,1 = 1.035, w 2 0,1 = Für Neuron j in Schicht k: Propagierungsfunktion: fj,p k (x) = i wi,j k x i Aktivierungsfunktion: fj,a k 1 exp s (s) = 1+exp s fa(s) Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 19 / 27

20 Aufgabe 2: Beispiele Schicht 1, Neuron 1: u1 1 := f 1,p 1 (1,x) = w 1,1 1 x + w 0,1 1 = 1.965x y 1 := f 1 1,a (u1 1 ) = 1 exp u1 1 1+exp u1 1 Schicht 2, Neuron 1 (Ausgabeneuron): u 1 2 := f 2 1,p (1,y 1,y 2,y 3,y 4 ) = 0.791y y y y f 2 1,a (u2 1 ) = 1 exp u2 1 1+exp u2 1 Vom Netz berechnete Funktion: f ap (x) = f 2 1,a (u2 1 ) Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 20 / 27

21 Aufgabe 2: Funktionen f 1 (x) := cos(x) f 2 (x) := sin(x) f 3 (x) := arctan(x) f 4 (x) := 1 exp( x) f 5 (x) = exp ( x 2 2 ) Für welche der Funktionen gilt f i f ap? Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 21 / 27

22 Aufgabe 2: Eingabe x = 0 f1,p 1 (1,x) = f 1,a 1 (1,x) = f2,p 1 (1,x) = f 2,a 1 (1,x) = f3,p 1 (1,x) = 1.45 f 3,a 1 (1,x) = f4,p 1 (1,x) = f 4,a 1 (1,x) = f 2 1,p (1,y 1,y 2,y 3,y 4 ) = f ap (x) = f 1 (x) = 1 f 2 (x) = 0 f 3 (x) = 0 f 4 (x) = 0 f 5 (x) = 1 Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 22 / 27

23 Aufgabe : Eingabe x = 1.57 f1,p 1 (1,x) = f 1,a 1 (1,x) = f2,p 1 (1,x) = f 2,a 1 (1,x) = f3,p 1 (1,x) = f 3,a 1 (1,x) = f4,p 1 (1,x) = f 4,a 1 (1,x) = f 2 1,p (1,y 1,y 2,y 3,y 4 ) = f ap (x) = f 1 (x) = f 2 (x) = 1 f 3 (x) = f 4 (x) = f 5 (x) = Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 23 / 27

24 Aufgabe 2: Eingabe x = 1.57 f1,p 1 (1,x) = f 1,a 1 (1,x) = f2,p 1 (1,x) = f 2,a 1 (1,x) = f3,p 1 (1,x) = f 3,a 1 (1,x) = f4,p 1 (1,x) = f 4,a 1 (1,x) = f 2 1,p (1,y 1,y 2,y 3,y 4 ) = f ap (x) = f 1 (x) = f 2 (x) = 1 f 3 (x) = f 4 (x) = f 5 (x) = Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 24 / 27

25 Aufgabe 2: Funktionenplot cos(x) sin(x) arctan(x) 1 exp( x) ( ) exp x 2 2 f ap (x) Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 25 / 27

26 Aufgabe 2: f ap f f 5 (x) = exp ( x 2 2 ) f ap (x) Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 26 / 27

27 Literatur 1 A. Zell: Simulation Neuronaler Netze. Oldenbourg, 2003, Wissenschaftsverlag GmbH, 4., unveränderter Nachdruck, ISBN R. Brause: Neuronale Netze. Stuttgart, 1995, B. G. Teubner, ISBN Lippe: Einführung in Neuronale Netze, Skript, lehre/skripte/wwwnnscript/startseite.html Fabian Bürger ([email protected]) Neuroinformatik: Übung 1 27 / 27