Universität zu Köln Seminar: Künstliche Intelligenz II Dozent: Claes Neuefeind SS Neuronale Netze. Von Deasy Sukarya & Tania Bellini

Transkript

1 Universität zu Köln Seminar: Künstliche Intelligenz II Dozent: Claes Neuefeind SS 2012 Neuronale Netze Von Deasy Sukarya & Tania Bellini

2 Einführung Symbolische vs. Sub-symbolische KI Symbolische KI: Fokussierung auf Logik und Wissensdatenbanken Sub-symbolische KI: Fokussierung auf unbewusstes Verhalten und das Lernen 2 Modellierung durch Neuronale Netze

3 Gliederung Exkurs: Das Biologische Vorbild Computer vs. menschliches Gehirn Geschichte Das Künstliche Neuronale Netz Eigenschaften Grundlagen Lernregeln Netztypen Für welche Probleme ist das neuronale Netz nicht geeignet? Anwendungsbereich: Autismus (Kohonen-Netz) Praxis: Hopfield-Netz Programmierung in Java Heute Human-Brain-Project 3

4 Exkurs: Das Biologische Vorbild 4 =related

5 Exkurs: Das Biologische Vorbild Konnektionismus (neuronale Netze) Aufbau einer Nervenzelle Gehirn (Zentralnervensystem, Gehirnlappen, Felder, Sprachzentren und sprachrelevante Hirnregionen) Gedächtnis 5

6 Exkurs: Das Biologische Vorbild 6

7 Exkurs: Das Biologische Vorbild 7

8 Exkurs: Das Biologische Vorbild 8

9 Exkurs: Das Biologische Vorbild 9

10 Exkurs: Das Biologische Vorbild 10

11 Exkurs: Das Biologische Vorbild 11

12 Computer vs. menschliches Gehirn 12 Computermetapher Menschlicher Geist Gehirn Software vs. Hardware Funktionalistischer Ansatz

13 Computer vs. menschliches Gehirn 13

14 Geschichte : McCulloch und Walter Pitts neuronale Netzwerke 1949: Donald O. Hebb Hebb sche Regel 1951: Marvin Minsky Neurocomputer 1969: Marvin Minsky und Seymour Papert Perzeptron 1972: Teuvo Kohonen Assoziativspeicher 1973: Christoph von der Malsburg nichtlineares Neuronenmodell 1974: Paul Werbos Backpropagation- Verfahren 1982: John Hopfield Hopfield- Netze

15 Geschichte : McCulloch und Walter Pitts neuronale Netzwerke

16 Geschichte : Donald O. Hebb Hebb sche Regel

17 Geschichte : Marvin Minsky Neurocomputer

18 Geschichte : Marvin Minsky Neurocomputer

19 Geschichte : Marvin Minsky und Seymour Papert Perzeptron

20 Geschichte : Teuvo Kohonen Assoziativspeicher

21 Geschichte : Christoph von der Malsburg nichtlineares Neuronenmodell

22 Geschichte : Paul Werbos Backpropagation- Verfahren

23 Geschichte : John Hopfield Hopfield- Netze

24 Eigenschaften neuronaler Netze 24 Parallelverarbeitung Lernfähigkeit Generalisierung Fehlertoleranz

25 Das künstliche neuronale Netz Grundlagen Bestandteile des neuronalen Netzes Units (Oder: Knoten / Neuronen / Einheiten) Verbindungen zw. Units - Kanten /Links Arten von Units Input-Units: Erhalten Infos in Form von Zahlen von der Außenwelt Hidden-Units: Befinden sich zw. Input und Output Schicht Output-Units: Signale werden hier an die Außenwelt weitergeleitet 25

26 Das künstliche neuronale Netz Grundlagen 26

27 Das künstliche neuronale Netz Grundlagen 27 Kanten Stärke der Verbindung zw. 2 Neuronen Gewicht Wichtig: Je größer der Absolutbetrag des Gewichts umso größer ist der Einfluss einer Unit auf die andere Gewichtsarten Positives Gewicht: Eine Unit übt auf eine andere Unit einen erregenden Einfluss aus Negatives Gewicht: Beeinflussung ist hemmend Gewicht von null: Kein Einfluss

28 Das künstliche neuronale Netz Grundlagen Funktionsweise der Units 28 Input Input Input N e t z i n p u t A k t i v i t ä t s l e v e l O u t p u t

29 Das künstliche neuronale Netz Grundlagen Funktionsweise der Units Berechnung der Inputwerte input ij = a j w ij Inputwert wird berechnet aus dem Outputwert der sendenden Unit mal dem Gewicht zw. beiden Units 2. Bildung eines Netzinputs Summe aller oben berechneten Inputwerte

30 Das künstliche neuronale Netz Grundlagen Funktionsweise der Units Zuordnung des Netzinputs zu einem Aktivitätslevel Lineare Aktivierungsfunktion: Netzinput = Aktivitätslevel Binäre Schwellenwertfunktion: Falls Netzinput > 0, dann 1 ansonsten 0 Fermi-Funktion (logistische Funktion): Wertebereich von 0 bis +1 begrenzt Tangens hyperbolicus: Wertebereich zw. -1 und +1

31 Lineare Aktivierungsfunktion Schwellenwertfunktion Fermi-Funktion Tangens hyperbolicus 31

32 Das künstliche neuronale Netz Grundlagen Funktionsweise der Units Erzeugung eines Outputs Aus Aktivitätslevel wird mit der Outputfunktion die Ausgabe berechnet Meistens Identitätsfunktion Aktivitätslevel = Output Für binäre Ausgabe: Schwellenwertfunktion

33 Das künstliche neuronale Netz Grundlagen Trainingsphase 33 Supervised learning: Korrekter Output zu Input wird vorgegeben Reinforcement learning: Angabe, ob die Ausgabe richtig oder falsch war Unsupervised learning: Kein Output vorgegeben, das Netz orientiert sich an der Ähnlichkeit der eingegebenen inputwerte und modifiziert die Gewichte von selbst

34 Das künstliche neuronale Netz Grundlagen Testphase 34 Überprüft, ob das Netz was gelernt hat Dazu werden neue Inputs präsentiert, um anschließend zu schauen, welchen Output das netz berechnet hat

35 Das künstliche neuronale Netz Lernregeln Hebb- Regel Veränderung des Gewichts zwischen zwei Einheiten, wenn beide Units gleichzeitig aktiv sind. Delta- Regel Vergleich zwischen dem gewünschten und dem tatsächlichen Output. Backpropagation Modifizierung der Gewichte zu den Hidden- Units. Competitive Learning unsupervised 35

36 Das künstliche neuronale Netz Lernregeln - Zusammenfassung Hebb-Regel Delta-Regel Backpropagation Competitive Learning Kernkonzept Gleichzeitige Aktivierung Vergleich: gewünscht vs. Backward-pass beobachtet; "The winner takes it all." Art der Lernregel Biologische Plausibilität? Netztypen, die auf diese Lernregel zurückgreifen (u.a.) Vorteile Als supervised, unsupervised und reinforcement learning möglich Supervised learning Supervised learning Unsupervised learning Teilweise Eher nicht Eher nicht Teilweise Pattern Associator; Auto Associator Einfachheit, biologische Plausibilität Pattern Associator; Auto Associator Einfachheit, relativ leicht zu implementieren Simple Recurrent Networks, Jordan Netze Kompetitive Netze; konzeptuell auch in Kohonennetzen Auch bei Netzen mit Hidden-Units einsetzbar; Unsupervised learning; größere Mächtigkeit im biologische Plausibilität Ver-gleich zur Delta- Regel Nachteile In der "klassischen" Form: Überlaufen der Werte der Gewichte und geringe Mächtigkeit des Systems Tabelle von Rey, Günter: Neuronale Netze (2008) Nicht bei Netzen mit Hidden-Units einsetzbar; fragwürdige bio-logische Plausibilität; geringe Mächtigkeit des Systems 36 Fragwürdige biologische Plausibilität; lokale Minima Einzelne Output-Unit kann alle Inputmuster "an sich reißen" --> keine Kategorisierung mehr

37 Das künstliche neuronale Netz Netztypen FeedForward-Netze Vorwärtsgerichtete Verbindungen zu anderen Schichten z.b. 37 Kohonennetze, Patternassociator

38 Das künstliche neuronale Netz Netztypen - FeedBack-Netze Direkte Rückkopplungen 38 Indirekte Rückkopplungen Seitliche Rückkopplungen

39 Das künstliche neuronale Netz Netztypen Pattern Associator 39 Erkennt Muster z.b Gesichter Lernt Assoziationen zw. verschiedenen Reizpaaren zu bilden Keine Hidden-Units Trainingsphase mit der Hebb- Regel oder Delta-Regel Art der Lernregel: Supervised learning

40 Das künstliche neuronale Netz Netztypen Simple Recurrent Networks 40 Kontext-Einheiten fungieren als Zwischenspeicher Enthalten indirekt Teilinfos aus den vorangegangenen Zeitpunkten Anwendungsbereich: Prognosen, Simulation des menschl. Verhalten o. ä. Trainingsphase: Backpropagation-Algorithmus Art der Lernregel: Supervised learning

41 Das künstliche neuronale Netz Netztypen Kompetitive Netze 41 Trainingsphase in 3 Schritten 1. Erregung 2. Wettbewerb 3. Gewichtsmodifikation Anwendungen: u.a. Musterklassifikation Trainingsphase: Competitive learning Art der Lernregel: Unsupervised learning

42 Das künstliche neuronale Netz Netztypen - Zusammenfassung Pattern Associator Rekurrente Netze Kompetitive Netze Kernkonzept Assoziationen zwischen verschiedenen Reizpaaren bilden Rückkopplungen zu derselben oder einer vorherigen Schicht 1. Erregung 2. Wettbewerb 3. Gewichtsmodifikation Lernregel Hebb-Regel; Delta-Regel Backpropagation Competitive Learning Rückkopplungen? Nein Ja Nein Hidden-Units? Nein Können vorhanden sein Können vorhanden sein Art der Lernregel? Supervised learning Supervised learning Unsupervised learning Vorteile Einfachheit Entdeckung zeitlich codierter Informationen Biologische Plausibilität Nachteile Keine Hidden-Units --> biologisch eher unplausibel Tabelle von Rey, Günter: Neuronale Netze (2008) "Überlaufen" der Aktivität 42 "Erstarken" einzelner Output-Units verhindert "sinnvolle" Kategorisierung

43 Für welche Probleme sind neuronale Netze nicht geeignet? Keine Änderung der Programmlogik Probleme, die den genauen Lösungsweg zeigen sollen Probleme, die man als Flussdiagramm darstellen kann Neuronale Netze sind sehr langsame Lerner! 43

44 Film Rain Man Autist Anwendungsbereich Autismus Symptome von Autismus Einsamkeit, Kommunikationsdefizite, rituelle Handlungen Kohonennetze unsupervised learning Netzaufbau Gustafsson und Paplinski(2004) Fazit Guter Ansatz der Simulation mit Hilfe neuronaler Netze für die Erforschung autistischer Symptome? 44

45 Anwendungsbereich Autismus - Kohonennetz 45

46 Praxis: Hopfield-Netz Programmierung in Java 46 Klasse: Feedback-Netz Mit allen Neuronen verbunden, außer mit sich selbst Lernregel: Hebb-Regel Anwendungen: Mustererkennung & Wiedergabe

47 Praxis: Hopfield-Netz Programmierung in Java Ausgangslage 47 4 Neuronen Geringfügige Änderungen am trainierten Muster müssen trotzdem das trainierte Muster wiedergeben Für Java-Programm: Muster aus boolean-werten Input und Output: boolean

48 Praxis: Hopfield-Netz Programmierung in Java Klassen 48 HopfieldNetwork In der Klasse werden die Hauptaufgaben durchgeführt, d. h. das Präsentieren und Trainieren der Werte ConsoleHopfield Diese Klasse ist die konkrete Anwendung (Konsolenanwendung) des Netzwerks und benutzt die Methoden der Klasse HopfieldNetwork Matrix Die Klasse konstruiert die Gewichtsmatrix. MatrixMath BiPolarUtil Mit der MatrixMath Klasse können mathematische Operationen durchgeführt werden mit 2 oder mehr Matrizen Wandelt die boolean-werte für die Berechnung in bipolare Werte um d. h. true = 1 und false = -1

49 Praxis: Hopfield-Netz Programmierung in Java Quellcode ExampesEdition2.zip In beliebige Java IDE (z.b. Eclipse oder NetBeans) importieren Packages: [ ].ch3.console [ ].neural.hopfield [ ].neural.matrix 49

50 Heute Human-Brain-Projekt Arbeit an künstliche Version des Gehirns Modellierung des Gehirns Blue- Brain- Project: Modellierung eines Rattenhirns 50

51 Heute Human-Brain-Projekt 51

52 Heute Human-Brain-Projekt 52

53 Heute Human-Brain-Projekt 53

54 Heute Human-Brain-Projekt 54

55 Heute Human-Brain-Projekt 55

56 Quellen 56 Jeff Heaton: An Introduction to Neural Networks with Java. 2nd edition. Heaton Research, Vorlesung: Kognitionslinguistik (2011) Günter D. Rey/Karl F. Wender, Neuronale Netze. Eine Einführung in die Grundlagen, Anwendungen und Datenauswertung. Huber Verlag, Georg Dorffner: Konnektionismus. Teubner, Stuttgart 1991 Detlef P. Zaun: Künstliche neuronale Netze und Computerlinguistik. Niemeyer Verlag, tml ed