Neuronale Netze. Prof. Dr. Rudolf Kruse

Transkript

1 Neuronale Netze Prof. Dr. Rudolf Kruse Computational Intelligence Institut für Intelligente Kooperierende Systeme Fakultät für Informatik Rudolf Kruse, Christoph Doell Neuronale Netze

2 Zu meiner Person: Rudolf Kruse 979 Dipl. Mathematik (Nebenfach Informatik) von TU Braunschweig dort 980 promoviert, 984 habilitiert Jahre hauptamtlicher Mitarbeiter bei Fraunhofer 986 Ruf als Professor für Informatik der TU Braunschweig seit 996 Professor an der Universität Magdeburg Forschung: Data Mining, Explorative Datenanalyse, Fuzzy-Systeme, Neuronale Netze, Evolutionäre Algorithmen, Bayes sche Netze Büro: G9-008, Telefon: Sprechstunde: Mi., :00 :00 Uhr Rudolf Kruse, Christoph Doell Neuronale Netze

3 Zur Arbeitsgruppe: Computational Intelligence Lehre: Intelligente Systeme Evolutionäre Algorithmen Neuronale Netze Fuzzy-Systeme Bayes-Netze Intelligente Datenanalyse Bachelor ( V + Ü, 5 CP) Bachelor ( V + Ü, 5 CP) Bachelor ( V + Ü, 5 CP) Master ( V + Ü, 6 CP) Master ( V + Ü, 6 CP) Master ( V + Ü, 6 CP) Seminare: Clustering/Classification Algorithms, Hot Topics in Neural Networks Forschungsbeispiele: Dynamische Analyse von sozialen Netzen Interaktive Datenanalyse (Pascal Held) (Christian Braune) Maschinelles Lernen mit Hilfe von Kognitiven Architekturen (Christoph Doell) Rudolf Kruse, Christoph Doell Neuronale Netze 3

4 Zur Vorlesung Vorlesungstermine: Do., :5 :45 Uhr, G9-307 Vorlesungsausfall: (Christi Himmelfahrt) Vorlesungsende: Informationen zur Vorlesung: wöchentliche Vorlesungsfolien als PDF Übungsblätter ebenfalls wichtige Ankündigungen und Termine! Rudolf Kruse, Christoph Doell Neuronale Netze 4

5 Inhalte und Lernziele der Vorlesung Einführung in die Grundlagen der (Künstlichen) Neuronalen Netze Behandlung von Lernparadigmen und -algorithmen Behandlung von verschiedenen Netzmodellen Anwendungsbeispiele Rudolf Kruse, Christoph Doell Neuronale Netze 5

6 Zur Übung Zielsetzung: Anwendung von Methoden der Datenanalyse mit Neuronalen Netzen zur Lösung von Klassifikations-, Regressions- und weiteren statistischen Problemen Bewertung und Anwendung neuronaler Lernverfahren zur Analyse komplexer Systeme Befähigung zur Entwicklung von Neuronalen Netzen Ihre Aufgabe: Nacharbeiten des Vorlesungsstoffs Bearbeitung der Übungsaufgaben aktive Teilnahme an den Übungen Rudolf Kruse, Christoph Doell Neuronale Netze 6

7 Durchführung der Übungen Sie werden aktiv und erklären Ihre Lösungen! Tutor macht auf Fehler aufmerksam und beantwortet Fragen das Vorrechnen der Aufgaben ist nicht Sinn der Übung ganz bewusst: keine ausgearbeiteten Musterlösungen Tutor: Christoph Doell Raum G9-03, Sprechstunde: immer, wenn Bürotür offen steht Tutor: Cornelius Styp von Rekowski PNK-Tutorin: Michelle Bieber Rudolf Kruse, Christoph Doell Neuronale Netze 7

8 Übung: Termine zur Auswahl Di., :5 :45 Uhr in Raum G9-K059 Do., 3:5 4:45 Uhr in Raum G9-K058 Anmeldung: Übungsbeginn der regulären Übung : diese Woche (Übungsblatt ) Extraübung für PNK-Studierende Mo., 5:5 6:45 Uhr in Raum G9-K059 Beginn der PNK-Übung: vergangenen Montag Rudolf Kruse, Christoph Doell Neuronale Netze 8

9 Zur Prüfung schriftliche Klausur: 0 Minuten voraussichtlich Mitte Juli Termine, Räume etc. werden in Vorlesung u. WWW angekündigt Durchführung ohne Hilfsmittel (nur Taschenrechner) nur Schreibmaterial (Stifte/Füller, die blau oder schwarz schreiben) Bekanntgabe der Ergebnisse: HISQIS Einsichtnahme in die Klausur ist möglich (Termin im WWW) Rudolf Kruse, Christoph Doell Neuronale Netze 9

10 Schein- und Prüfungskriterien Studierende, die den Kurs mit Prüfung oder (un)benotetem Schein beenden wollen, müssen regelmäßig und gut in Übungen mitarbeiten, mind. 50% der Aufgaben votieren, mind. x Lösung zu schriftlicher Aufgabe präsentieren, Klausur nach dem Kurs bestehen Studierende der Philosophie-Neurowissenschaften-Kognition müssen außerdem aktiv an einer zusätzlichen Übung teilnehmen Rudolf Kruse, Christoph Doell Neuronale Netze 0

11 Inhalt der Vorlesung Einleitung Motivation, biologischer Hintergrund Schwellenwertelemente Definition, geometrische Deutung, Grenzen, Netze von SWE, Training Allgemeine Neuronale Netze Struktur, Arbeitsweise, Training Mehrschichtige Perzeptren Definition, Funktionsapproximation, Gradientenabstieg, Backpropagation, Varianten, Sensitivitätsanalyse Radiale-Basis-Funktions-Netze Definition, Funktionsapproximation Initialisierung, Training, allgemeine Version Selbstorganisierende Karten Definition, Lernende Vektorquantisierung, Nachbarschaft von Ausgabeneuronen Rudolf Kruse, Christoph Doell Neuronale Netze

12 Inhalt der Vorlesung Hopfield-Netze Definition, Konvergenz, Assoziativspeicher, Lösen von Optimierungsproblemen Rekurrente Neuronale Netze Differentialgleichungen, Vektornetze, Backpropagation über die Zeit Support-Vektor-Maschinen Empirische Risikominimierung, statistische Lerntheorie, Kernmethoden Gepulste Neuronale Netze Realistischere Simulation des Gehirns, Anwendung in Computerchips Lernen vielschichtiger Neuronaler Netze (Deep Learning) Probleme bei vielschichtigen Netzen, Lösungsansätze, Praktische Anwendung Rudolf Kruse, Christoph Doell Neuronale Netze

13 Bücher zur Vorlesung Rudolf Kruse, Christoph Doell Neuronale Netze 3

14 Literatur zur Lehrveranstaltung Kruse, Borgelt, Klawonn, Moewes, Steinbrecher und Held. Computational Intelligence: A Methodological Introduction. Springer, London, 03. Kruse, Borgelt, Braune, Klawonn, Moewes und Steinbrecher. Computational Intelligence: Eine methodische Einführung in Künstliche Neuronale Netze, Evolutionäre Algorithmen, Fuzzy-Systeme und Bayes-Netze. Springer Vieweg, Wiesbaden, 05. Kriesel. Ein kleiner Überblick über neuronale Netze. Manuskript, erhältlich auf Rudolf Kruse, Christoph Doell Neuronale Netze 4

15 Aktuelle Motivation: Alphago 06: Alphago besiegt Lee Sedol 4: Es nutzt dabei tiefe Neuronale Netze: Policy-Networks zur Vorauswahl möglicher Züge Value-Networks zur Bewertung von Spielpositionen Monte-Carlo Baumsuche zum Finden der besten Züge Reinforcement Learning zur Verbesserung der Neuronalen Netze Rudolf Kruse, Christoph Doell Neuronale Netze 5

16 Motivation: Warum (künstliche) neuronale Netze? (Neuro-)Biologie / (Neuro-)Physiologie / Psychologie: Ausnutzung der Ähnlichkeit zu echten (biologischen) neuronalen Netzen Modellierung zum Verständnis Arbeitsweise von Nerven und Gehirn durch Simulation Informatik / Ingenieurwissenschaften / Wirtschaft Nachahmen der menschlichen Wahrnehmung und Verarbeitung Lösen von Lern-/Anpassungsproblemen sowie Vorhersage- und Optimierungsproblemen Physik / Chemie Nutzung neuronaler Netze, um physikalische Phänomene zu beschreiben Spezialfall: Spin-Glas (Legierungen von magnetischen und nicht-magnetischen Metallen) Rudolf Kruse, Christoph Doell Neuronale Netze 6

17 Konventionelle Rechner vs. Gehirn Computer Gehirn Verarbeitungseinheiten CPU, 0 0 Transistoren 0 Neuronen Speicherkapazität 0 Bytes RAM, 0 3 Bytes Festspeicher 0 Neuronen, 0 4 Synapsen Verarbeitungsgeschwindigkeit 0 8 Sekunden 0 3 Sekunden Bandbreite 0 bits s 0 4bits s Neuronale Updates pro Sekunde Rudolf Kruse, Christoph Doell Neuronale Netze 7

18 Konventionelle Rechner vs. Gehirn Beachte: die Hirnschaltzeit ist mit 0 3 s recht langsam, aber Updates erfolgen parallel. Dagegen braucht die serielle Simulation auf einem Rechner mehrere hundert Zyklen für ein Update. Vorteile neuronaler Netze: Hohe Verarbeitungsgeschwindigkeit durch massive Parallelität Funktionstüchtigkeit selbst bei Ausfall von Teilen des Netzes (Fehlertoleranz) Langsamer Funktionsausfall bei fortschreitenden Ausfällen von Neuronen (graceful degradation) Gut geeignet für induktives Lernen Es erscheint daher sinnvoll, diese Vorteile natürlicher neuronaler Netze künstlich nachzuahmen. Rudolf Kruse, Christoph Doell Neuronale Netze 8

19 Biologischer Hintergrund Struktur eines prototypischen biologischen Neurons Synapsenenden Synapse Dendriten Zellkern Zellkörper (Soma) Axon Myelinscheide Rudolf Kruse, Christoph Doell Neuronale Netze 9

20 Biologischer Hintergrund (Stark) vereinfachte Beschreibung neuronaler Informationsverarbeitung Das Axonende gibt Chemikalien ab, Neurotransmitter genannt. Diese bewirken an der Membran des Empfängerdendriten die Veränderung der Polarisierung. (Das Innere ist typischerweise 70mV negativer als die Außenseite.) Abnahme in der Potentialdifferenz: anregende Synapse Zunahme in der Potentialdifferenz: hemmende Synapse Wenn genügend anregende Information vorhanden ist, wird das Axon depolarisiert. Das resultierende Aktionspotential pflanzt sich entlang des Axons fort. (Die Geschwindigkeit hängt von der Bedeckung mit Myelin ab.) Wenn das Aktionspotential die Synapsenenden erreicht, löst es die Abgabe von Neurotransmittern aus. Rudolf Kruse, Christoph Doell Neuronale Netze 0

21 Schwellenwertelemente Rudolf Kruse, Christoph Doell Neuronale Netze

22 Schwellenwertelemente Ein Schwellenwertelement (Threshold Logic Unit, TLU) ist eine VerarbeitungseinheitfürZahlenmitnEingängenx,...,x n undeinemausgang y.daselementhat einen Schwellenwert θ und jeder Eingang x i ist mit einem Gewicht w i versehen. Ein Schwellenwertelement berechnet die Funktion y =, falls x w = 0, sonst. n i= w i x i θ, x w.. θ y x n w n Rudolf Kruse, Christoph Doell Neuronale Netze

23 Schwellenwertelemente: Beispiele Schwellenwertelement für die Konjunktion x x. x 3 x 4 y x x 3x +x y Schwellenwertelement für die Implikation x x. x x y x x x x y Rudolf Kruse, Christoph Doell Neuronale Netze 3

24 Schwellenwertelemente: Beispiele Schwellenwertelement für (x x ) (x x 3 ) (x x 3 ). x x x 3 y x x x 3 iw i x i y Rudolf Kruse, Christoph Doell Neuronale Netze 4

25 Schwellenwertelemente: Geometrische Interpretation Rückblick: Geradendarstellungen Geraden werden typischerweise in einer der folgenden Formen dargestellt: mit den Parametern Explizite Form: g x = bx +c Implizite Form: g a x +a x +d = 0 Punkt-Richtungs-Form: g x = p+k r Normalform g ( x p) n = 0 b : Anstieg der Geraden c : Abschnitt der x -Achse p : Vektor zu einem Punkt auf der Gerade (Ortsvektor) r : Richtungsvektor der Gerade n : Normalenvektor der Gerade Rudolf Kruse, Christoph Doell Neuronale Netze 5

26 Schwellenwertelemente: Geometrische Interpretation Eine Gerade und ihre definierenden Eigenschaften. c x b = r r r n = (a,a ) q = d n n n g ϕ p d = p n x O Rudolf Kruse, Christoph Doell Neuronale Netze 6

27 Schwellenwertelemente: Geometrische Interpretation Bestimmung, auf welcher Seite ein Punkt x liegt. x z z = x n n n n q = d n n n g ϕ x x O Rudolf Kruse, Christoph Doell Neuronale Netze 7

28 Schwellenwertelemente: Geometrische Interpretation Schwellenwertelement für x x. x 3 x 4 y x 0 0 x 0 Ein Schwellenwertelement für x x. x 0 x y x 0 x 0 Rudolf Kruse, Christoph Doell Neuronale Netze 8

29 Schwellenwertelemente: Geometrische Interpretation Darstellung 3-dimensionaler Boolescher Funktionen: x 3 x (,,) x (0,0,0) Schwellenwertelement für (x x ) (x x 3 ) (x x 3 ). x x y x 3 x x 3 x Rudolf Kruse, Christoph Doell Neuronale Netze 9

30 Schwellenwertelemente: lineare Separabilität Zwei Punktmengen in einem n-dimensionalen Raum heißen linear separabel, wenn sie durch eine(n-)-dimensionale Hyperebene getrennt werden können. Die Punkte der einen Menge dürfen dabei auch auf der Hyperebene liegen. Eine Boolesche Funktion heißt linear separabel, falls die Menge der Urbilder von 0 und die Menge der Urbilder von linear separabel sind. Rudolf Kruse, Christoph Doell Neuronale Netze 30

31 Schwellenwertelemente: Grenzen Das Biimplikationsproblem x x : Es gibt keine Trenngerade. x x y x 0 0 x Formaler Beweis durch reductio ad absurdum: da (0,0) : 0 θ, () da (,0) 0: w < θ, () da (0,) 0: w < θ, (3) da (,) : w +w θ. (4) () und (3): w +w < θ. Mit (4): θ > θ, oder θ > 0. Widerspruch zu (). Rudolf Kruse, Christoph Doell Neuronale Netze 3

32 Schwellenwertelemente: Grenzen Vergleich zwischen absoluter Anzahl und der Anzahl linear separabler Boolescher Funktionen. ([Widner 960] zitiert in [Zell 994]) Eingaben Boolesche Funktionen linear separable Funktionen Für viele Eingaben kann ein SWE fast keine Funktion berechnen. Netze aus Schwellenwertelementen sind notwendig, um die Berechnungsfähigkeiten zu erweitern. Rudolf Kruse, Christoph Doell Neuronale Netze 3

33 Netze aus Schwellenwertelementen Biimplikationsproblem, Lösung durch ein Netzwerk. Idee: logische Zerlegung x x (x x ) (x x ) x x berechnet y = x x 3 berechnet y = x x berechnet y = y y y = x x Rudolf Kruse, Christoph Doell Neuronale Netze 33

34 Netze aus Schwellenwertelementen Lösung des Biimplikationsproblems: Geometrische Interpretation x d 0 c g g 0 = y b 0 ac g 3 0 a b 0 d 0 x y 0 Die erste Schicht berechnet neue Boolesche Koordinaten für die Punkte. Nach der Koordinatentransformation ist das Problem linear separabel. Rudolf Kruse, Christoph Doell Neuronale Netze 34

35 Darstellung beliebiger Boolescher Funktionen Sei y = f(x,...,x n ) eine Boolesche Funktion mit n Variablen. (i) Stelle f(x,...,x n ) in disjunktiver Normalform dar. D.h. bestimme D f = K... K m, wobei alle K j Konjunktionen von n Literalen sind, d.h., K j = l j... l jn mit l ji = x i (positives Literal) oder l ji = x i (negatives Literal). (ii) Lege ein Neuron für jede Konjunktion K j der disjunktiven Normalform an (mit n Eingängen ein Eingang pro Variable), wobei {, falls lji = x w ji = i, und θ, falls l ji = x i, j = n + n w ji. (iii) Lege ein Ausgabeneuron an (mit m Eingängen ein Eingang für jedes Neuron, das in Schritt (ii) angelegt wurde), wobei w (n+)k =, k =,...,m, und θ n+ =. i= Rudolf Kruse, Christoph Doell Neuronale Netze 35

36 Trainieren von Schwellenwertelementen Rudolf Kruse, Christoph Doell Neuronale Netze 36

37 Trainieren von Schwellenwertelementen Die geometrische Interpretation bietet eine Möglichkeit, SWE mit und 3 Eingängen zu konstruieren, aber: Es ist keine automatische Methode(Visualisierung und Begutachtung ist nötig). Nicht möglich für mehr als drei Eingabevariablen. Grundlegende Idee des automatischen Trainings: Beginne mit zufälligen Werten für Gewichte und Schwellenwert. Bestimme den Ausgabefehler für eine Menge von Trainingsbeispielen. Der Fehler ist eine Funktion der Gewichte und des Schwellenwerts: e = e(w,...,w n,θ). Passe Gewichte und Schwellenwert so an, dass der Fehler kleiner wird. Wiederhole diese Anpassung, bis der Fehler verschwindet. Rudolf Kruse, Christoph Doell Neuronale Netze 37

38 Trainieren von Schwellenwertelementen Schwellenwertelement mit einer Eingabe für die Negation x. x w θ y x y 0 0 Ausgabefehler als eine Funktion von Gewicht und Schwellenwert. 0 w e θ Fehler für x = w e θ Fehler für x = 0 0 w e θ Summe der Fehler 0 Rudolf Kruse, Christoph Doell Neuronale Netze 38

39 Trainieren von Schwellenwertelementen Die Fehlerfunktion kann nicht direkt verwendet werden, da sie aus Plateaus besteht. Lösung: Falls die berechnete Ausgabe falsch ist, dann berücksichtige, wie weit θ überschritten (für x = 0) oder unterschritten ist (für x = ). anschaulich: Berechnung ist umso falscher, je weiter θ überschritten (für x = 0) bzw. unterschritten ist (für x = ). Modifizierter Ausgabefehler als Funktion von w und θ. 4 e 4 e 4 e 0 w θ Fehler für x = w θ Fehler für x = 0 0 w θ Summe der Fehler 0 Rudolf Kruse, Christoph Doell Neuronale Netze 39

40 Trainieren von Schwellenwertelementen Schema der resultierenden Richtungen der Parameteränderungen. w 0 0 θ Änderungen für x = 0 w 0 0 θ Änderungen für x = w 0 0 θ Summe der Änderungen Beginne an zufälligem Punkt. Passe Parameter iterativ an, entsprechend der zugehörigen Richtung am aktuellen Punkt. Rudolf Kruse, Christoph Doell Neuronale Netze 40

41 Trainieren von Schwellenwertelementen Beispieltrainingsprozedur: Online- und Batch-Training. w 0 0 θ Online-Lernen w 0 0 θ Batch-Lernen 4 0 w e θ 0 Batch-Lernen x y x 0 Rudolf Kruse, Christoph Doell Neuronale Netze 4

42 Trainieren von Schwellenwertelementen: Delta-Regel Formale Trainingsregel: Sei x = (x,...,x n ) ein Eingabevektor eines Schwellenwertelements, o die gewünschte Ausgabe für diesen Eingabevektor, und y die momentane Ausgabe des Schwellenwertelements. Wenn y o, dann werden Schwellenwert θ und Gewichtsvektor w = (w,...,w n ) wie folgt angepasst, um den Fehler zu reduzieren: θ (neu) = θ (alt) + θ wobei θ = η(o y), i {,...,n} : w (neu) i = w (alt) i + w i wobei w i = η(o y)x i, wobei η ein Parameter ist, der Lernrate genannt wird. Er bestimmt die Größenordnung der Gewichtsänderungen. Diese Vorgehensweise nennt sich Delta-Regel oder Widrow Hoff Procedure [Widrow and Hoff 960]. Online-Training: Passe Parameter nach jedem Trainingsmuster an. Batch-Training: Passe Parameter am Ende jeder Epoche an, d.h. nach dem Durchlaufen aller Trainingsbeispiele. Rudolf Kruse, Christoph Doell Neuronale Netze 4

43 Trainieren von Schwellenwertelementen: Delta-Regel Ändern des Schwellenwerts in ein Gewicht: = x 0 w 0 = θ x w x w x w θ y x w 0 y.. w n w n x n x n n i= w i x i θ n i= w i x i θ 0 Rudolf Kruse, Christoph Doell Neuronale Netze 43

44 Trainieren von Schwellenwertelementen: Delta-Regel procedure online training (var w, var θ, L, η); var y, e; (* Ausgabe, Fehlersumme *) begin repeat e := 0; (* initialisiere Fehlersumme *) for all ( x, o) L do begin (* durchlaufe Trainingsmuster*) if ( w x θ)then y := ; (* berechne Ausgabe*) else y := 0; (* des Schwellenwertelements *) if (y o) then begin (* Falls Ausgabe falsch *) θ := θ η(o y); (* passe Schwellenwert *) w := w+η(o y) x; (* und Gewichte an *) end; end; until (e 0); end; e := e + o y ; (* summiere die Fehler*) (* wiederhole die Berechnungen*) (* bis der Fehler verschwindet*) Rudolf Kruse, Christoph Doell Neuronale Netze 44

45 Trainieren von Schwellenwertelementen: Delta-Regel procedure batch training (var w, var θ, L, η); var y, e, (* Ausgabe, Fehlersumme *) θ c, w c ; (* summierte Änderungen *) begin repeat e := 0; θ c := 0; w c := 0; (* Initialisierungen *) for all ( x, o) L do begin (* durchlaufe Trainingsbeispiele*) if ( w x θ) then y := ; (* berechne Ausgabe *) else y := 0; (* des Schwellenwertelements *) if (y o) then begin (* Falls Ausgabe falsch*) θ c := θ c η(o y); (* summiere die Änderungen von*) w c := w c +η(o y) x; (* Schwellenwert und Gewichten *) e := e + o y ; (* summiere Fehler*) end; end; θ := θ +θ c ; (* passe Schwellenwert*) w := w+ w c ; (* und Gewichte an *) until (e 0); (* wiederhole Berechnungen *) end; (* bis der Fehler verschwindet*) Rudolf Kruse, Christoph Doell Neuronale Netze 45

46 Trainieren von Schwellenwertelementen: Online Epoche x o x w y e θ w θ w Rudolf Kruse, Christoph Doell Neuronale Netze 46

47 Trainieren von Schwellenwertelementen: Batch Epoche x o x w y e θ w θ w Rudolf Kruse, Christoph Doell Neuronale Netze 47

48 Trainieren von Schwellenwertelementen: Konjunktion Schwellenwertelement mit zwei Eingängen für die Konjunktion. x w x w θ y x x y x 3 y 0 x 0 0 Rudolf Kruse, Christoph Doell Neuronale Netze 48

49 Trainieren von Schwellenwertelementen: Konjunktion Epoche x x o x w y e θ w w θ w w Rudolf Kruse, Christoph Doell Neuronale Netze 49

50 Trainieren von Schwellenwertelementen: Biimplikation Epoch x x o x w y e θ w w θ w w Rudolf Kruse, Christoph Doell Neuronale Netze 50

51 Trainieren von Schwellenwertelementen: Konvergenz Konvergenztheorem: Sei L = {( x,o ),...( x m,o m )} eine Menge von Trainingsmustern, jedes bestehend aus einem Eingabevektor x i IR n und einer gewünschten Ausgabe o i {0,}. Sei weiterhin L 0 = {( x,o) L o = 0} und L = {( x,o) L o = }. Falls L 0 und L linear separabel sind, d.h., falls w IR n und θ IR existieren, so dass ( x,0) L 0 : w x < θ und ( x,) L : w x θ, dann terminieren sowohl Online- als auch Batch-Training. Für nicht linear separable Probleme terminiert der Algorithmus nicht. Rudolf Kruse, Christoph Doell Neuronale Netze 5

52 Trainieren von Netzwerken aus Schwellenwertelementen Einzelne Schwellenwertelemente haben starke Einschränkungen: Sie können nur linear separable Funktionen berechnen. Netzwerke aus Schwellenwertelementen können beliebige Boolesche Funktionen berechnen. Das Trainieren einzelner Schwellenwertelemente mit der Delta-Regel ist schnell und findet garantiert eine Lösung, falls eine existiert. Netzwerke aus Schwellenwertelementen können nicht mit der Delta-Regel trainiert werden. Rudolf Kruse, Christoph Doell Neuronale Netze 5