Neuronale Netze/ Soft Computing. Teil 1

Transkript

1 Neuronale Netze/ Soft Computing Teil 1 BiTS, Wintersemester 2004/2005 Dr. Stefan Kooths KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 1

2 Gliederung 1. Einführung und Einordnung 2. Neuronale Netze 1: Grundlagen 3. Neuronale Netze 2: Konzeption und Anwendung 4. Neuro-Fuzzy-Systeme 5. Genetische Algorithmen 6. Zusammenfassung und Ausblick KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 2

3 Gliederung 1. Einführung und Einordnung 2. Neuronale Netze 1: Grundlagen 3. Neuronale Netze 2: Konzeption und Anwendung 4. Neuro-Fuzzy-Systeme 5. Genetische Algorithmen 6. Zusammenfassung und Ausblick KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 3

4 Einordnung: NN/SC EUS bzw. Business Intelligence Diplom: EUS Entscheidungslehre/ Simulation von Entscheidungen Wissensbasierte Systeme/Expertensysteme Künstliche Intelligenz Neuronale Netze BA/MA: BI Management Support Systems Knowledge-Based Systems Soft Computing Case Studies Prüfungsleistung: Projektarbeit KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 4

5 Einordnung in die BI-relevanten KI-Gebiete Wissensbasierte Systeme (Expertensysteme) Soft Computing Multiagentensysteme (verteile Intelligenz) Kennzeichnung Trennung von Wissensbasis und Problemlösungsstrategie Erklärung der gefundenen Lösung Lernfähigkeit und Toleranz gegenüber unscharfem, ungewissem und unvollständigem Wissen Emergente Problemlösung durch Kooperation vieler kontextbezogener, autonomer und flexibler Module Teilgebiete -logikbasiert - regelbasiert -framebasiert - modellbasiert - fallbasiert - statistisch jeweils für Zwecke der Diagnose, Simulation und Konstruktion - Fuzzy Logic -Neuronale Netze - Genetische Algorithmen (- Probabilistisches Schließen) - Agentendesign - Kommunikation - Kooperation und Konfliktlösungen KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 5

6 Soft Computing: Kennzeichnung Lernfähigkeit und Toleranz gegenüber Ungenauigkeit, Unschärfe, Unsicherheit und Datenfehlern Ziel: handhabbare, robuste und kostengünstige Softwarelösungen, die nicht notwendigerweise perfekt sind, aber unter den gegebenen Bedingungen als befriedigend gelten können natürliche Vorbilder (aber: kein Nachbau, sondern Inspiration) 50 % Wissenschaft und 50 % Kunst (= Können = Erfahrung)! KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 6

7 Soft Computing: Teilgebiete (Basistechnologien) Neuronale Netze Informationsverarbeitung orientiert am biologischen Vorbild Gehirn Behandlung komplexer, nicht-linearer Systeme zur Mustererkennung Fuzzy Logik multivalente (graduelle) Verallgemeinerung der Mengenlehre Repräsentation von approximativem (Experten-) Wissen Weiterentwicklung: Computing with Words Genetische Algorithmen evolutionäre Problemlösungsheuristik Problemdarstellung in Chromosomenform, Lösungssuche durch Vererbung, Mutation und Auslese KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 7

8 Soft Computing im KI-Kontext: Überschneidungen und Hybridansätze Unschärfe Lernfähigkeit explizites Wissen Genetische Algorithmen Neuronale Netze Fuzzy Logik Expertensysteme Neuro-Fuzzy-Systeme (Hybridbeispiel) Agentendesign Multiagentensysteme KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 8

9 Literatur Backhaus, K. u.a.: Multivariate Analysemethoden; 10. Aufl., Springer- Verlag, Berlin u.a.o [Kap. 12] Badiru, A. B. / Cheung, J. Y.: Fuzzy Engineering Expert Sytems with Neural Network Applications; John Wiley & Sons [Ch. 8,9] Callan, R.: Neuronale Netze im Klartext; Pearson Studium, München Lange, C.: Neuronale Netze in der wirtschaftswissenschaftlichen Prognose und Modellgenerierung; Physica-Verlag, Heidelberg Luger, G. F.: Artificial Intelligence: Structures and Strategies for Complex Problem Solving, 5th Ed., Addison-Wesley, Upper Saddle River [Ch. 11,12] Kooths, S.: Erfahrungsregeln und Konjunkturdynamik Makromodelle mit Neuro-Fuzzy-generierten Erwartungen; Peter Lang Europäischer Verlag der Wissenschaften, Frankfurt/M. u.a.o [Kap. 2] McCord Nelson, M. / Illingworth, W. T.: A Practical Guide to Neural Nets; Addison-Wesley, New York u.a.o Rehkugler, H. / Zimmermann, H. G. (Hrsg.): Neuronale Netze in der Ökonomie Grundlagen und finanzwirtschaftliche Anwendungen; Verlag Vahlen, München Turban, E. / Aronson, J. E. / Liang, T.-P.: Decision Support Systems and Intelligent Systems, 7th Ed., Prentice Hall, Upper Saddle River [Ch. 12] KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 9

10 Weblinks Einführung in Neuronale Netze (Uni Münster) nnscript/startseite.html Soft Computing Home Page Neurocomputing KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 10

11 Gliederung 1. Einführung und Einordnung 2. Neuronale Netze 1: Grundlagen 3. Neuronale Netze 2: Konzeption und Anwendung 4. Neuro-Fuzzy-Systeme 5. Genetische Algorithmen 6. Zusammenfassung und Ausblick KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 11

12 (Künstliche) Neuronale Netze Verwandte Begriffe Konnektionismus Parallel Distributed Processing Subsymbolisches Paradigma Grundidee Verbindung vieler, relativ einfach aufgebauter Einheiten (Neuronen) Leistungsfähigkeit ergibt sich aus Zusammenschaltung und Parallelverarbeitung im Verbund Wissenserwerb und -repräsentation Lernen anhand von Beispielen (Training) Kodierung des Wissens liegt in impliziter Form vor (unterhalb der für Menschen verständlichen Symbolebene) KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 12

13 (Künstliche) Neuronale Netze Verwandte Begriffe Konnektionismus Parallel Distributed Processing Subsymbolisches Paradigma Grundidee Verbindung vieler, relativ einfach aufgebauter Einheiten (Neuronen) Leistungsfähigkeit ergibt sich aus Zusammenschaltung und Parallelverarbeitung im Verbund Wissenserwerb und -repräsentation Lernen anhand von Beispielen (Training) Kodierung des Wissens liegt in impliziter Form vor (unterhalb der für Menschen verständlichen Symbolebene) KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 13

14 Haupteinsatzgebiete/-eigenschaften universelle, beliebig-dimensionale Funktionsapproximation Schätzverfahren (Alternative zu statistischen Regressionsanalysen) Mustererkennung Fehlertoleranz gegenüber Daten gegenüber eigener Struktur liegen Daten nur bruchstückhaft vor oder wird ein Teil des Netzes zerstört, so leidet nur die Güte des Ergebnisses, nicht die Fähigkeit des Netzes, überhaupt eine (Näherungs-) Lösung erarbeiten zu können Voraussetzung: Repräsentative Trainingsbeispiele für die abzubildenden Zusammenhänge KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 14

15 Natürliches Vorbild: Menschliches Gehirn Motivation Identifizierung von Ähnlichkeiten (Mustererkennung, Unschärfe- und Fehlertoleranz) Generalisierungsfähigkeit (Einschätzung bislang unbekannter Situationen und Ableitung geeigneter Verhaltensweisen) Lernfähigkeit (Anpassung an neue Umweltzustände durch Erfahrungsbildung) Aufbau 10 bis 100 Mrd. (relativ langsame) Neuronen bis zu Verbindungen von einem Neuron zu anderen Neuronen Gewicht: 1375 g (Männer), 1245 g (Frauen) KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 15

16 Menschliches Nervensystem Nervensystem des Menschen (Gesamtheit des Nervengewebes) animal (Kommunikation mit der Außenwelt) bewußte Steuerung vegetativ (Regelung des inneren Betriebs des Organismus) unbewußte Steuerung Peripheres Nervensystem (PNS) Signalübermittlung zwischen Rezeptoren und ZNS... ZNS und Effektoren Zentrales Nervensystem (ZNS) Signalintegration und -verarbeitung Rückenmark Signalweiterleitung zum Gehirn Gehirn eigentliche Signalverarbeitung (Informationsverarbeitung) Gliazellen (90%) und Neuronen (10%) Stützung, Isolation, Versorgung und...? KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 16

17 SOR-Modell INPUT (Problem) Informations - Verarbeitung OUTPUT (Entscheidung) KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 17

18 Biologische Nervenzelle Dendriten (Zellfortsätze) Soma (Zellkörper) Kern Ausläufer von Axonen anderer Neuronen Synapse (Zellverbindung) Axon (Nervenfaser) Axonverzweigungen 5 bis 100 Mikrometer KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 18

19 Signalfluss in einem natürlichen Neuron eingehende Impulse von anderen Neuronen exitatorische Synapse Erregung/Hemmung Reizpegel des Neurons (elektr. Polarisation) Schwellenwertüberschreitung? ja "Feuern" des Neurons (Entladung) Ausgangssignal elektrisch chemisch (Ionenaustausch) elektrisch inhibitorische Synapse KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 19

20 Vernetzung und synaptische Plastizität Signalübermittlung Gesamtlänge der Neuronenverbindungen: 500 Millionen Meter KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 20

21 Informationsverarbeitung, Wissensrepräsentation und -akquisition Informationsverarbeitung Signalübermittlung Beeinflussung der neuronalen Aktivitätsniveaus Wissensrepräsentation Signale bzw. Aktivitätsniveaus tragen für sich genommen keine sinnhafte Bedeutung implizite Abbildung symbolischer Informationen durch das (eigenorganisierte) Aktivierungsmuster einer Gruppe von Neuronen Wissen steckt im Netzaufbau (Anzahl und Verbindungen der Neuronen) sowie in den Verbindungsgewichten Wissensakquisition Trainingsprozesse (Lernen aus Fehlern) Anpassung der Gewichte, Ändern der Topologie KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 21

22 Einsatzmodi Recallmodus (Arbeitsmodus) Einsatz des erworbenen Wissens Trainingsmodus Wissenserwerb aus Trainingsbeispielen KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 22

23 Formale Neuronen (Processing Units) Eigenschaften verfügen über Ein- und Ausgänge empfangen Signale aggregieren diese zu einem Nettosignal generieren aus dem Nettosignal einen eigenen Signalwert senden diesen Signalwert an nachgelagerte Neuronen Arten Inputneuronen (Signalempfang von der Außenwelt) vgl. natürliche Rezeptorzellen innere/verdeckte Neuronen (Signalverarbeitung und - verteilung) interne Repräsentation der Domäne Outputneuronen (Signalweitergabe an die Außenwelt) vgl. natürliche Effektorzellen KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 23

24 Schematischer Aufbau formaler Neuronen Informationsfluss im Recallmodus Eingangssignale (Neuroneninputs) = Ausgangssignale vorgelagerter Neuronen in 2 in 1 in 3 Gewichte g j,1 g j,2 g j,3 Ausgabefunktion Propagierungsfunktion Σ Nettoinput Aktivierungsfunktion Aktivierungswert Ausgangssignal (Neuronenoutput) out j out j Eingangssignale für nachgelagerte Neuronen "Ausläufer von Axonen anderer Neuronen" "Synapsen" "Dendriten" "Zellkörper" "Axonverzweigungen" Entsprechungen im biologischen Vorbild KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 24

25 Interne Funktionen eines Neurons Propagierungsfunktion: netin = f(g 1 in 1,,g n in n ) bestimmt Nettoinput netin durch Summation der gewichteten Eingangssignale Aktivierungsfunktion: Z = g(z -1,netin) bestimmt Aktivierungswert Z des Neurons aus (optional: bisheriger Aktivierung und) Nettoinput Ausgabefunktion: out = a(z) bestimmt Ausgabewert out aus Aktivierungswert Vereinfachung: out = a(netin) Transferfunktion als Zusammenfassung von Aktivierungs- und Ausgabefunktion Aktivierungsfunktion als Identität (Z = netin) beachte: uneinheitliche Terminologie Propagierungsfunktion = Integrationsfunktion Transferfunktion = Aktivierungsfunktion = Ausgabefunktion KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 25

26 Vereinfachtes formales Neuronenschema Σ Transferfunktion (a) Eingangssignale (Neuroneninputs) = Ausgangssignale vorgelagerter Neuronen Ausgangssignal (Neuronenoutput) Eingangssignale für nachgelagerte Neuronen g j,1 in 2 in 1 Gewichte g j,2 netin gj,3 in 3 Propagierungsfunktion (f) = Nettoinput Aktivierungswert out out j out j KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 26

27 Bestimmung des Nettoinputs hier: netin = net in = x KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 27

28 Transferfunktionen Halbraum-aktiv Schwellenwertfunktion sigmoide Funktion Schwellwertfunktion logistische Funktion lokal aktiv trianguläre Funktion Gauß-Funktion trianguläre Funktion Gauss-Funktion entscheidend: nicht-lineare Funktionstypen KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 28

29 Komponenten/Eigenschaften eines Neuronalen Netzes Neuronen (Menge von einfachen Verarbeitungseinheiten) Propagierungsfunktion Aktivierungsfunktion Ausgabefunktion Transferfunktion Konnektivitätsmuster (Struktur der Neuronenverbindungen) Festlegung des Signalflusses (Regel zum Propagieren von Signalen durch das Netzwerk) Lernregel zum Anpassen der Gewichte KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 29

30 Systematisierung Neuronaler Netze (Netztypen) 1 Neuronentyp Topologie Lernverfahren Funktion/Aufgabe (Lerngegenstand) KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 30

31 Systematisierung Neuronaler Netze (Netztypen) 2 Neuronentyp Bestimmung des Aktivierungszustands Z=g(Z -1,netin) Z=g(netin) Z = netin Funktionstyp der Ausgabefunktion halbraum-aktiv lokal aktiv (Radiale Basisfunktionen) Topologie Lernverfahren Funktion/Aufgabe (Lerngegenstand) KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 31

32 Systematisierung Neuronaler Netze (Netztypen) 3 Neuronentyp Topologie Anzahl der Neuronen Anordnung der Neuronen geschichtet ungeschichtet Konnektivitätsmuster Signalfluss ohne Rückkopplung (feedfoward) mit Rückkopplung (feedback) Lernverfahren Funktion/Aufgabe (Lerngegenstand) KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 32

33 Netztopologien 1: Feedforward-Netze (Netze ohne Rückkopplung) geschichtet (ebenenweise verbunden) Ausgabeschicht (output layer) verdeckte Schicht (hidden layer) Eingabeschicht (input layer) allgemein (Existenz von Shortcuts) KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 33

34 Netztopologien 2: Rekurrente Netze (Netze mit Rückkopplung) direkte Rückkopplung (direct feedback) Tendenz zu Grenzzuständen bezüglich der Aktivierung einzelner Neuronen indirekte Rückkopplung (indirect feedback) Aufmerksamkeitssteuerung auf bestimme Eingabemerkmale durch das Netz KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 34

35 Netztopologien 3: Netze mit Rückkopplungen (Forts.) laterale Kopplung oftmals als winnertake-all Netze genutzt (laterale Hemmung) vollständig verbundene Netze Hopfield-Netztyp KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 35

36 Zwei- bzw. dreischichtiges Feedforward-Netzes Eingabeschicht verborgene Schicht Ausgabeschicht (1. Schicht) (2. Schicht) (3. Schicht) g 2 1,1 N N 1 1 N N 1 2 N 2 3 N N 1 3 N 2 4 N 3 2 N 2 5 g 3 2,5 Informationsfluss im Recallmodus KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 36

37 Konnektivitätsmuster in Matrixnotation KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 37

38 Demo 1 Problemkomplexität und Netzdesign Komplexe Problemstellung (nicht linear-trennbar) Bedeutung der Nichtlinearität der Transferfunktion Bedeutung der verdeckten Schicht OR- und XOR-Operator im Vergleich OR-Operator (inklusives Oder) XOR-Operator (exklusives Oder) y y wahr (1) 1 1 wahr (1) 1 0 falsch (0) 0 1 falsch (0) 0 1 falsch (0) wahr (1) x falsch (0) wahr (1) x KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 38

39 Demo 1 Lösungsbaustein: Perceptrons Erfinder: Frank Rosenblatt (Anfang der 1960er) binäre Transferfunktion mit Schwellwert θ falls netin < θ, dann out = 0 sonst out = 1 führt lineare Trennung des Eingaberaumes durch KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 39

40 Demo 1 OR-Operator x Neuronales Netz 1. Schicht 2. Schicht 0,5 Transferfunktionen 1. Schicht 2. Schicht a(netin) a(netin) 1 0,1 y 0,5 netin netin 0,1 Schwellenwert KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 40

41 Demo 1 XOR-Operator x y Neuronales Netz 1. Schicht 2. Schicht 3. Schicht ,1 0, ,1 1. Schicht a(netin) Transferfunktionen netin 2. und 3. Schicht a(netin) 1 netin 0,1 Schwellenwert ohne verdeckte Schicht geht es nicht Transferfunktion in der verdeckten Schicht muss nicht-linear sein (sonst äquivalent zu zweischichtigem Netz) KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 41

42 Demo 1 Grafische Interpretation von Perceptrons 1 einstufige (= zweischichtige) Perceptron-Netze n = 2 n = 3 KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 42

43 Demo 1 Grafische Interpretation von Perceptrons 2 zwei-stufige (dreischichtige) Perceptron-Netze drei-stufige (vierschichtige) Perceptron-Netze KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 43

44 Demo 2 Funktionsapproximation Problemformulierung: f(x) = sin(x+5)+1 Approximation auf dem Interval [0;9] Neuronale Netzlösung Topologie: Feedforward-Netz Neuronentyp hidden: logistisch sonst: Identität Technischer Trick: Bias-Neuron Schwellwertkodierung (hidden und output layer) Skalierungsfaktor (hidden layer) KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 44

45 Demo 2 Netzmodell (ohne Bias-Neuronen) KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 45

46 Systematisierung Neuronaler Netze (Netztypen) 4 Neuronentyp Topologie Lernverfahren überwacht (supervised) korrigierend (mit Lehrer ) verstärkend (mit Bewerter, reinforcement learning) unüberwacht (unsupervised) kooperativ wettbewerblich (winner-take-all) Funktion/Aufgabe (Lerngegenstand) KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 46

47 Allgemeine Aspekte neuronaler Lernverfahren Recall- vs. Trainingsphase Recall: gegeben x und gegeben G, finde y Training: gegeben x und gegeben y, finde G mit: x: Inputvektor y: Outputvektor G: Menge der Netzgewichte Generalisierungsfähigkeit vs. Overlearning Auswahl der Trainingsmenge P Rechtzeitiger Abbruch des Trainings Trainingsmusterpaar für überwachtes Lernen Eingabemuster: x(p) (Soll-) Ausgabemuster: y(p) für Trainingsmuster p KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 47

48 Lernzyklus Schritt 1 Auswahl eines Trainingsmusters p[x(p),y(p)] Anlegen des Eingabemusters an die Inputschicht Schritt 2 Verarbeitung des ausgewählten Trainingsmusters zum Netzoutput out Schritt 3 Soll-Ist-Vergleich: Netzoutput vs. Ausgabemuster des Trainingsbeispiels (out(p) vs. y(p)) Ermittlung des Fehlermaßes E(p) Schritt 4 Berechnung der durch das Fehlermaß des Trainingsbeispiels induzierten Änderung der Netzgewichte g(p) (Anwendung der Lernregel) KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 48

49 Trainingsepochen und -modus Trainingsepoche Vollständige Präsentation aller Trainingsbeispiele aus der Trainingsmenge P Trainingsmodus Batch-Modus (epochales Lernen) Kumulation der induzierten Gewichtsänderungen über die gesamte Epoche Änderung der tatsächlichen Netzgewichte am Ende einer Epoche Online-Modus (musterweises Lernen) Änderung der tatsächlichen Netzgewichte nach jedem Trainingsbeispiel KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 49

50 Lernziel Minimierung des Netzfehlers E = 0,5 [out(p) y(p)] 2 unter Beibehaltung der Generalisierungsfähigkeit KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 50

51 Lernphase Initialisierung der Netzgewichte Epochendurchlauf bis Abbruchkriterium erfüllt vorgegebene Epochenanzahl Unterschreiten der Güteschwelle Anstieg des Testmengenfehlers evtl. Pruning der Netzgewichte mit Validierungsdaten Performancetest des Netzes mit Generalisierungsdaten KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 51

52 Musterkategorien Modellierungsdaten Trainingsdaten Testmengen- bzw. Validierungsdaten Generalisierungsdaten KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 52

53 Hebbsche Lernregel: Einfache Form D. O. Hebb (1949) Wenn zwei Neuronen gleichzeitig aktiviert sind, so verstärkt sich die zwischen ihnen geschaltete Verbindung, andernfalls baut sie sich ab. einfache Form mit: µ = Lernrate Einfluss der Lernrate niedrig langsames Lernen hoch Gefahr des Vergessens KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 53

54 Hebbsche Lernregel und Klassische Konditionierung (Pawlowsche Hunde) vorher nachher 1. Schicht 2. Schicht 1. Schicht 2. Schicht Futter Futter Klingel 1. Schicht 2. Schicht Speichelfluss Lernprozess Klingel 1. Schicht 2. Schicht Speichelfluss Futter Klingel Speichelfluss Futter Klingel Speichelfluss neue Bahnung (Synapsenverstärkung) durch Training KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 54

55 Hebbsche Lernregel: Allgemeine Form Problem der einfachen Hebb-Regel Gewichte wachsen im laufenden Lernprozess immer weiter (keine Stabilisierung) Lösung (allgemeine Form der Hebbschen Lernregel) Berücksichtigung eines Zielwertes (target) für das Neuron, zu dem das jeweils betrachtete Gewicht gehört Berücksichtigung des bisherigen Niveaus des Gewichtes Spezielle Lernregeln Spezifizierung der Funktionen ϕ und ψ (sprich: Phi und Psi) KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 55

56 Delta-Regel (Widrow-Hoff-Regel) Widrow/Hoff (1960) Abhängigkeit der Gewichtsänderung vom Fehlersignal des Neurons, zu dem das Gewicht gehört Spezifikationen für ϕ und ψ Delta-Regel KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 56

57 Generalisierte Delta-Regel (Error-Backpropagation-Algorithmus) Problem der Delta-Regel Wie kommt man zu einem Fehlersignal für die verdeckten Neuronen? Lösung: Generalisierte Delta-Regel! (s. nächster Gp.) KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 57

58 Systematisierung Neuronaler Netze (Netztypen) 5 Neuronentyp Topologie Lernverfahren Funktion/Aufgabe (Lerngegenstand) heteroassoziativ autoassoziativ KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 58

59 Lerngegenstand und Lernverfahren Neuronale Netze autoassoziativ Eingabemuster = Ausgabemuster Neuronenbeziehung? wettbewerblich Input-Output- Beziehung? heteroassoziativ Eingabemuster Ausgabemuster Lerngegenstand korrigierend ("mit Lehrer") überwacht Fehlermaß? verstärkend ("mit Bewerter") externe Ergebniskontrolle? kooperativ unüberwacht Lernverfahren KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 59

60 Vereinfachungen gegenüber dem biologischen Vorbild Wesentlich geringere Zahl von Neuronen Viel geringere Zahl von Verbindungen Nur ein Parameter für die Stärke der synaptischen Kopplung (Vernachlässigung zeitlicher Phänomene und des Einflusses verschiedener Neurotransmitter) Keine genauere Modellierung der zeitlichen Vorgänge der Nervenleitung Konzentration auf homogene Netzwerke Keine Berücksichtigung chemischer Einwirkungen benachbarter Neuronen Biologisch unplausible Lernregeln KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 Teil 1 60