Einige überwachte Lernverfahren. Perzeptron, Mehrschicht-Perzeptronen und die Backpropagation-Lernregel

Transkript

1 Einige überwachte Lernverfahren Perzeptron, Mehrschicht-Perzeptronen und die Backpropagation-Lernregel

2 Funktionsweise eines künstlichen Neurons x w k Neuron k x 2 w 2k net k f y k x n- w n-,k x n w n,k n Eingangssignale Berechnung der Ausgabe: ( net ), k =,2 m yk = f k,..., Ausgangssignal Meist verwendete Netzeingabefunktion: net k = n i= w ik x i Transfer-/Aktivierungsfunktion f Übung Neuronale Netze I - WS24/5 2

3 Einfache Perzeptronen Konzept von F. Rosenblatt (5er Jahre) Einschichtiges Feedforward-Netzwerk (mit Schwellwertlogik): w i x y x 2 y 2 x 3 y m x n binäre Werte (,) für Eingabe- ( x = (x,,x n ) ), Ausgabe- ( y = (y,,y m ) ) und Trainings-/Sollvektoren ( t = (t,,t m ) ) reelle Werte für gerichtete, anpassbare Gewichtungen w i = (w i,,w im ), i=,,n Gewichtsmatrix W = (w,,w n ) Eingabeneuronen wirken passiv (leiten Eingaben direkt weiter) Übung Neuronale Netze I - WS24/5 3

4 Grundidee der Perzeptron-Lernregel Ändere Gewichtungen nur dann, wenn zwischen der berechneten Ausgabe und der gewünschten Ausgabe eine Differenz besteht: Inkrementiere die Gewichtungen auf aktiven Leitungen (Eingabe = ), wenn sie sein sollten, aber tatsächlich (inaktiv) sind Dekrementiere die Gewichtungen auf aktiven Leitungen (Eingabe = ), wenn sie sein sollten, aber tatsächlich (aktiv) sind Inkrement bzw. Dekrement entweder konstant oder proportional zum Produkt von Fehler und Eingabeaktivierung Übung Neuronale Netze I - WS24/5 4

5 Perzeptron-Gewichtsadaption Gewichtsänderung in jedem Lernschritt: W neu = W alt + W mit w ij = α ( p ) ( p ) ( t y ) x j j i = " Lernratenkoeffizient Fehler Eingabe" α > konstanter Lernraten-/Lerngeschwindigkeitskoeffizient i-te Eingabekomponente für das p-te Übungsmuster x i x gewünschte Ausgabe des j-ten Ausgabeneurons bei Eingabe von t j x ( p ) tatsächlich berechnete Ausgabe des j-ten Ausgabeneurons bei Eingabe von y j ( ) p x Übung Neuronale Netze I - WS24/5 5

6 Bsp. (ODER-Verknüpfung): Training eines Perzeptrons x = x 2 = 2 2 w = w 2 =, -,2 Schritt : Zufällige Initialisierung der Gewichte Schritt 2: Anlegen eines Eingabevektors Schritt 3: Berechnen der Ausgabe(n) Schritt 4: Gewichtsadaption ( ) w =.3 ( ). 3 4 w2 =.3 = Schritt 5: Weiter bei Schritt 2 oder Ende, wenn Fehler akzeptabel 4 4 w 2 = k=. 3 y= f(, -,2 ) = f(-.2) = y = f w net ( net ) ij = 2 p Trainingsmenge: x x 2 = 2 ( x, x2 ) i= w i x i, falls net > =, sonst ( p ) ( p ) ( p ) α ( t y ) x j j α t i =.3 y Übung Neuronale Netze I - WS24/5 6

7 Bsp. 2: UND-Verknüpfung x w =? x x 2 t k= y x 2 w 2 =?, falls netk > Θ net k ( x wik x y = f ( net ) =, = i k k, sonst = 2, x2) i= Aufgaben:. Finde geeignete Werte für den Schwellwert Θ und die beiden Gewichte des Netzes, damit das Perzeptrondie logische UND-Verknüpfung durchführt! 2. Entwerfe ein Perzeptron, das die logische Negation vollführt. 3. Entwerfe ein Perzeptron, das die logische XOR-Verknüpfung vollführt. Übung Neuronale Netze I - WS24/5 7

8 Verwendung eines Schwellwerts Im letzten Beispiel: Verwendung eines konstanten Schwellwerts? in der Transferfunktion:, falls net > Θ y = f ( net) =, sonst f(net)? net Äquivalente Darstellung: Verwendung eines weiteren Eingabeneurons mit konstanter Eingabe und konstant anliegendem Gewicht -?: x w y x n w n -? Übung Neuronale Netze I - WS24/5 8

9 Rechnerübung I Starte des Applet unter Mache dich mit der Bedienung vertraut! Versuche, Netze auf die AND-, OR- und XOR-Verknüpfungen zu trainieren! Verwende verschiedene Lernraten und teste, wie viele Lernschritte im Schnitt für ein erfolgreiches Training benötigt werden! Hinweise: Eine Lernrate von.5 ermöglicht ein Betrachten des Trainingsprozesses! Die Abbruchbedingung sollte auf gesetzt werden! Übung Neuronale Netze I - WS24/5 9

10 Konvergenztheorem für das Perzeptron Gibt es eine Menge von Gewichtsvektoren, die die (linear teilbaren) Trainingsmuster korrekt klassifizieren, so findet der Lernalgorithmus eine solche Menge in endlich vielen Iterationsschritten. Lineare Teilbarkeit: Zwei Mengen heißen linear teilbar, wenn sie durch eine lineare Oberfläche abgetrennt werden können. AND x 2 OR x 2 (,) (,) (,) (,) (,) (,) x (,) (,) x Übung Neuronale Netze I - WS24/5

11 Unlösbare Probleme für Perzeptronen XOR XOR x x 2 t (,) (,) (,) (,) Allgemein: Paritätsproblem (Binärwertiger Eingabevektor mit gerader Anzahl Einsen erzeugt Ausgabe Eins, sonst Null) Minsky, Pappert, Perceptrons (969): Elegante mathematische Abhandlung über Vor- und Nachteile von Perzeptronen. Fazit: Zu beschränkt, um irgendeinen praktischen Zweck zu erfüllen! Todesstoß für Forschung auf lange Zeit (~ Jahre) Übung Neuronale Netze I - WS24/5

12 Mehrschichtige Perzeptronen-Netze (MP, MLP): Motivation Approximation beliebiger Funktionen g durch ein künstliches neuronales Netz: n m g: x y, x R, y R Zufallsvektoren mit Wahrscheinlichkeitsverteilung Gegeben: P Musterpaare {( x, t ) p =,2, K, P} Eingabemuster x mit unbekannter Wahrscheinlichkeitsverteilung t gewünschte (bekannte) Sollvektoren für die entsprechenden ( p ) y tatsächlich berechnete Ausgabe des Netzes bei Eingabe von mit ρ x x ( x) Ψ( x, y) Übung Neuronale Netze I - WS24/5 2

13 Mehrschichtige Perzeptronen-Netze (MP, MLP):. Ansatz: Netzarchitektur mit mehreren Schichten Erweiterung des Perzeptron-Modells durch Verwendung mindestens einer weiteren Neuronenschicht: x y x 2 y 2 x 3 x n y m Eingabeschicht Interne Schicht (I) Ausgabeschicht (II) Interne (verborgene) Schicht mit s Neuronen zur Berechnung von Zwischenergebnissen Notation der synaptischen Verbindungen (in Literatur unterschiedlich!): ( I ) Gewicht von Neuron i der Eingabeschicht zum j-ten Neuron der internen Schicht (I) w ij ( II ) Gewicht von Neuron j der internen Schicht (I) zum k-ten Neuron der Ausgabeschicht (II) w jk Übung Neuronale Netze I - WS24/5 3

14 Mehrschichtige Perzeptronen-Netze (MP, MLP): Ziel: Minimierung des gesamten Systemfehlers mit E Fehlerminimierung Fehler bei Präsentation des p-teneingabemusters, meist Ansatz: Der Systemfehler reduziert sich, wenn die einzelnen m = ( tk yk ) reduziert werden. Problem: Wie passe ich die synaptischen Gewichtungen so an, dass das Netz das gewünschte Verhalten zeigt? Lösungsidee: Adaptiere Gewichtungen derart, dass in jedem Trainingsschritt t+ der Fehler gegenüber dem Fehler im vorherigen Trainingsschritt t verringert wird, d.h. E E E tot = P 2 P p= k = E 2 Gewichtsanpassung proportional zur Ableitung des Fehlermaßes ( Richtung des stärksten Abstiegs ): W ( t + ) E = η W t ( ) Anmerkung: Perzeptron-Lernregel unbrauchbar, da nur auf eine Schicht anwendbar Glaubwürdigkeitsproblem: In wie weit sind Gewichte der verborgenen Schicht verantwortlich für Fehler in der Ausgabeschicht? Übung Neuronale Netze I - WS24/5 4

15 Mehrschichtige Perzeptronen-Netze (MP, MLP): Gradientenabstiegsverfahren W ( t + ) E = η W t ( ) E (p) w ij (t+) w ij (t) w ij Prinzip der Gewichtsanpassung (Darstellung: Fehler in Abhängigkeit der Gewichtungsbelegung, hier nur von einer Gewichtung w ij ) Übung Neuronale Netze I - WS24/5 5

16 Mehrschichtige Perzeptronen-Netze (MP, MLP): Backpropagation-Trainingsalgorithmus Gradientenabstiegsverfahren nach diesem Prinzip Die Fehler werden, ausgehend von der Ausgabeschicht, zur Anpassung der Gewichtungen der jeweils vorhergehenden Schicht verwendet: Zurückreichen Herleitung des Verfahrens benötigt partielle Ableitungen der Fehlerfunktion und damit Ableitungen der Transferfunktion: W ( t + ) E = η W t ( ) m p = ( E t ) k yk ( ) 2 k = 2 ( ) y k = f net k => differenzierbare Aktivierungsfunktion f notwendig Außerdem: Mehrschichtige lineare Systeme sind einschichtigen linearen System äquivalent (können keine allgemeinen komplexen Abbildungen realisieren)! Lösung: Verwende nichtlineare (differenzierbare) Aktivierungsfunktionen Übung Neuronale Netze I - WS24/5 6

17 BPP-Algorithmus. Initialisiere Gewichtungen mit kleinen Zufallswerten p 2. Zufällige Auswahl eines Trainingsmusterpaares x,t ( ) ( ) 3. Berechnung der Ausgaben jedes Neurons j jeder Schicht q=,2,,q in einem Vorwärtsdurchlauf: ( q ) ( net ) = f y ( q) ( q ) = f j i 4. Berechne aus den berechneten Ausgaben der Neuronen der Ausgabeschicht Q und den entsprechenden Zielwerten t die Deltas ( Fehlerwerte ): j 5. Berechnung der Deltas für die jeweils vorhergehenden Schichten durch Rückpropagation der Fehlerwerte: q q q ( δ j = i w δ + ji f net j ( q), neu ( q), alt ( q) 6. Aktualisierung aller Gewichte: w = w + w mit y j δ (Q) y j ( Q) ( Q) j = 7. Weiter bei 2. und Wiederholung für jedes Muster p, bis der Gesamtfehler eine akzeptable Größe erreicht hat. i w (Q) ( y t ) f ( net ) j j j ( q ) ij ( ) ( ) ( ) q) ( ) ij ij ij w ( q ) ( q) ( q) ij = η δ j yi Übung Neuronale Netze I - WS24/5 7

18 Rechnerübung II Starte das Applet Ochre! Mache dich mit der Benutzerbedienung vertraut (Anleitung weiter unten auf der Seite)! Trainiere und teste Netze mit unterschiedlich vielen Eingabeneuronen unterschiedlich vielen Neuronen in der versteckten Schicht Breche das Training ab, sobald der Gesamtfehler folgende Werte unterschreitet: < <. <. Betrachte anschließend die erzielbaren Ergebnisse bei der Klassifikation von Zeichen! Trainiere das Netz mit neuen Eingabemustern, z.b. den ersten Zeichen des Alphabets, und untersuche die erzielten Klassifikationsergebnisse! Benutze verrauschte Zeichen ( BLUR ) zur Klassifikation bzw. zur Konditionierung! Übung Neuronale Netze I - WS24/5 8

19 Transferfunktionen (I) A B Θ A, B, falls net > Θ f ( net) = f ( net) = k net+ b sonst Schwellenfunktion (Stufenfunktion) Fehlende Differenzierbarkeit Lineare Funktion Differenzierbar Nicht beschränkt (Overflow möglich) A Θ Θ 2 B f Rampenfunktion Beschränkt fehlende Differenzierbarkeit in A, A B Θ 2 Θ B, ( net ) = ( net Θ ) Θ, Θ A, falls falls falls net Θ net > Θ < Θ 2 net Θ 2 Übung Neuronale Netze I - WS24/5 9

20 Transferfunktionen (II) f net ( net) = ( + e ) ( net β f '( net) = βf ( net) f ( Logistische Funktion ( Sigmoidfunktion ) beschränkt, stetig differenzierbar, Wertebereich (,). Ableitung der logistische Funktion ( Sigmoidfunktion ) f e e β net e + e β net ( net) = β net β net f ' ( ) 2 ( net) = β ( f ( net ) Hyperbolische Tangensfunktion beschränkt, stetig differenzierbar, Wertebereich (-,). Ableitung der hyperbolischen Tangensfunktion Übung Neuronale Netze I - WS24/5 2

21 Probleme bei BPP-Training Symmetriebrechung: Initialisierung aller Gewichte mit identischen Werten => Gewichte werden zwar verändert, aber alle um den gleichen Wert (Symmetrie bleibt erhalten) Lösung: Initialisierung der Gewichte mit Zufallswerten (meist kleine, erhöht Konvergenzgeschwindigkei Keine Konvergenz auf globales Minimum garantiert (im Gegensatz zu Perzeptron- Lernalgorithmus) Langsame Konvergenz auf flachen Plateaus Steckenbleiben in lokalen Minima Oszillationen Verlassen guter Minima Übung Neuronale Netze I - WS24/5 2

22 Probleme bei BPP-Training: Langsame Konvergenz in flachen Plateaus E (p) Globales Minimum w ij Abhilfe: größere Schrittweite => Lernratenkoeffizient (dynamisch) vergrößern Übung Neuronale Netze I - WS24/5 22

23 Probleme bei BPP-Training: Oszillationen E (p) w ij Abhilfe: Einführung lokaler Störungen auf Gewichtungen Übung Neuronale Netze I - WS24/5 23

24 Probleme bei BPP-Training: Steckenbleiben in lokalen Minima E (p) Globales Minimum w ij Abhilfe: Einführung lokaler Störungen auf Gewichtungen (wenn Konvergenzprozess stagniert) (Nachteil: Evtl. Verlassen guter lokaler Minima) Übung Neuronale Netze I - WS24/5 24

25 Probleme bei BPP-Training: Verlassen guter Minima E (p) w ij Abhilfe: Kleinere Schrittweite (Lernratenkoeffizient) wählen (dynamisch) Übung Neuronale Netze I - WS24/5 25

26 Möglichkeiten zur Verbesserung der Konvergenz/Konvergenzgeschwindigkeit Gewichtungen immer mit kleinen Zufallswerten initialisieren Einführung zufälliger Störungen bei Stagnation des Trainingsprozesses Optimale konstante Lernrate finden? Dynamische Lernrate verwenden Momentumterm: Addition eines Bruchteils der vorhergehenden Gewichtungsänderung auf die aktuell berechnete Änderung (kann bei Problemen Flache Plateaus, Oszillationen helfen) Wieviele verborgene Schichten? Theorie: Zwei reichen für Approximation beliebiger Funktionen aus Praxis: Weitere Schichten verbessern evtl. Konvergenzeigenschaften Anzahl Neuronen? Pyramidenaufbau Rautenbaufbau Übung Neuronale Netze I - WS24/5 26

27 Abbildungsfähigkeiten von MLFF-Netzen Struktur Entscheidungsbereichstypen XOR-Problem Klassen mit ineinander verflochtenen Bereichen Allgemeine Bereichsumrisse Halbebene, begrenzt durch Hyperebene A B B A A B Konvex geöffnete oder geschlossene Bereiche A B B A A B Zufällig (Komplexität nur begrenzt durch Anzahl der Knoten) A B B A A B Übung Neuronale Netze I - WS24/5 27

28 Praktische Beispiele Klassifizierung von Zellen für die Krebsdiagnose (Mikroskopische Bildanalyse) Führerloses Landfahrzeug (Bildanalyse: Kamerabild als Eingabe, Einschlagswinkel als Zielwert) Vorhersage finanztechnischer Zeitfolgen (Aktien) Vorhersage von Ergebnissen von Sportereignissen (bzgl. Wetten) Erkennung handschriftlicher Zeichen (U.S. Postal) Erkennung epileptischer Anfälle (Früherkennung, EEG-Signale) Übung Neuronale Netze I - WS24/5 28