Neuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14.

Transkript

1 Neuronale Netze in der Phonetik: Feed-Forward Netze Pfitzinger, Reichel IPSK, LMU München {hpt 14. Juli 2006

2 Inhalt Typisierung nach Aktivierungsfunktion Lernen in einschichtigen Netzen: Perzeptron-Regel, Delta-Regel Unzulänglichkeiten einschichtiger Netze: XOR-Problem Eigenschaften mehrschichtiger Netze Lernen in mehrschichtigen Netzen: Backpropagation Batch-Verfahren vs. Online-Training 1

3 Typisierung nach Aktivierungsfunktion v.a. Einschichtige Netze (Inputlayer+Outputlayer) lineare Netze: Vorhersage kontinuierlicher Werte, Funktionsapproximation lineare Aktivierungsfunktion: O(I) = I + θ = j a j w j + θ, in Zukunft ist bias θ der Kompaktheit halber in I enthalten. 1 1 als 1 θ (aj = 1, w j = θ). 2

4 Netze mit binärer Heaviside-Funktion: O(I) = { 1 : I < σ 1 : I σ Für Klassifikationsaufgaben (-1 vs. 1) repräsentieren lineare Diskriminationsfunktionen v.a. Mehrschichtige Netze (incl. Hidden Layers) Sigmoide Aktivierungsfunktion (Squashing Function): O(I) = e I zur Vorhersage kontinuierlicher Werte. 3

5 Lernen in einschichtigen Netzen Einschichtige Netze mit Heaviside-Funktion: Perzeptron-Regel initialisiere Gewichte {w j } (zufällig) foreach Vektor x if (Netz gibt falsche Antwort) ändere die Gewichte w j (incl. bias) durch Addition von: w j = t x x j endif endfor 4

6 Einschichtige Lineare Netze: Delta-Regel Ziel: minimiere den quadratischen Fehler E zwischen beobachtetem o x und gewolltem t x Netz-Output für alle Inputvektoren x E = x E x = x (t x o x ) 2 mittels Gradientenabstiegsverfahren: Suche nach einem lokalen Minimum der Fehlerfunktion eines Lernproblems durch Abstieg in der Gradientenrichtung anstelle der Prüfung aller Gewichtskombinationen Gradient (informell): Vektor, der Ausmaß und Richtung des stärksten Gefälles im Fehlerfunktionsgebirge angibt; das Gebirge wird aufgespannt durch ein Koordinatensystem mit so vielen Dimensionen wie es Gewichte im Netz gibt 5

7 verändere jedes Gewicht w j proportional zur partiellen Ableitung des Fehlers nach w j x w j = η E x w j = η(t x o x )x j mit Proportionalitätskonstante η, die der Lernrate entspricht: je höher, desto stärker Gewichtsveränderungen 6

8 XOR-Problem mögliches logisches Zusammenwirken von Features: UND, ODER, EXKLUSIVES ODER (XOR; entweder nur... oder nur... ) x 0 x 1 t x XOR-Wahrheitswerte Problem: einschichtige Netze können für XOR keine Diskrimantionsfunktion repräsentieren: es gibt keine Gerade, die die 4 Punkte mit den Koordinaten x 0 und x 1 aus der XOR-Wahrheitstabelle angemessen trennen kann (d.h. die Punkte mit t x =1 auf die eine Seite und die restlichen Punkte auf die andere Seite bringt). 7

9 Lösung: Hidden Layer In den Knoten sind die Schwellen angetragen. 8

10 Eigenschaften mehrschichtiger Netze enthalten Inputschicht, Hidden Layers und Outputschicht i.d.r. eine Hidden Layer und sigmoide Aktivierungsfunktion Universelles Approximierungstheorem: jede Funktion kann mit nicht-linearen Netzen mit einer Hidden Layer approximiert werden. mächtiger als einschichtige Netze, aber Gefahr des Hängenbleibens in lokalen Optima. 9

11 Lernen in mehrschichtigen Netzen: Backpropagation Backpropagation Verallgemeinerung der Delta-Regel für beliebige Aktivierungsfunktionen und beliebig viele Schichten Problem: direkte Bestimmung von Fehlern in den Hidden Units nicht möglich Forward Pass: Anlegen von Reizen ans Netz, Berechnung der Output-Aktivität Fehlerbestimmung zwischen gewünschter und beobachteter Aktivität (vgl. Delta-Regel) Backward Pass: Ausbreitung des Fehlers zurück zur Inputschicht (Backpropagation), dabei Adjustierung der Gewichte in Abhängigkeit ihres Einflusses auf den Fehler Adjustierung durch Gradientenabstiegsverfahren (s.o.) 10

12 zu minimierender quadratischer Fehler des Netzes: E = x (t x o x ) 2 Berechnung: Input I i und Output a i eines Neurons i: I i = n a j w ij j=1 a i = O(I i ) 11

13 Gewichtsänderung mit Hilfe der partiell abgeleiteten Fehlerfunktion: (η ist die Lernrate) mit w ij = η E w ij = ηδ i a j δ i = { O (I i )(t i o i ) : falls i im Outputlayer O (I i ) k δ kw ki : falls i in Hidden Layer Bei Neuronen der Hidden Layers wird die Gewichtung in Abhängigkeit der Fehler der Neuronen k der nächsten Schicht geändert. 12

14 Batch-Verfahren vs. Online-Training Batch-Verfahren: Gewichte werden erst am Ende eines Lerniterationsschritts modifiziert. w (n) j = x x w (n) j Modifizierung von Gewicht w j nach Iterationsschritt n als Summe der Veränderungen für jeden Inputvektor x. Online-Training: Gewichte werden nach jedem Inputvektor modifiziert; hier ist Präsentationsreihenfolge der Inputvektoren von Belang. 13