Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und

Transkript

1 Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Ausgaben Aktivierungsfunktionen: Schwellwertfunktion lineare Funktion sigmoide Funktion Künstliche Neuronale Netze: Aufbau: gerichteter Graph mit Kantengewichten (Gewichtsmatrix) Feed-Forward-Netze Training (schrittweise Minimierung der quadratischen Abweichung auf der Trainingsmenge): -Regel für Ein-Schicht-Feed-Forward-Netze mit linearer oder Schwellwert-Aktivierung Backpropagation für Mehr-Schicht-Feed-Forward-Netze mit sigmoider Aktivierung 86

2 Anwendung von KNN Anwendungen: Klassifikation: Ein-Schicht-FFN mit Schwellwert-Aktivierung und Training mit -Regel speziell entworfenene Mehr-Schicht-FFN mit Schwellwert-Aktivierung Mehr-Schicht-FFN mit sigmoider Aktivierung und Backpropagation-Training Beispiele: Boolesche Funktionen Zuordnung zu Risikoklassen optische Zeichenerkennung (z.b. Buchstaben, abstrahiert von Schriftart) englische Ausspracheregeln (NETTALK) Erkennung akustischer Signale (z.b. Stimmen) Approximation reeller Funktionen: FFN mit linearer Aktivierung (Ausgabeschicht) 87

3 Radiale-Basisfunktions-Netze Anwendung zur Klassifizierung von Mustern (Merkmalsvektoren) Idee: Musterklassen haben Zentren (Schwerpunkte), alle Eingabevektoren nahe dazu gehören zur selben Klasse 2-Schicht-FFN mit vollständig verbundenen Schichten Eingaben x R m Ausgaben y R n eine versteckte Schicht h (mit l Neuronen) enthält oft mehr Neuronen als die Eingabeschicht Neuronen der verschiedenen Schichten haben verschiedene Aktivierungsfunktionen: versteckte Schicht: nichtlinear Ausgabeschicht: linear Netz berechnet eine Funktion f : R m R n 88

4 Versteckte Neuronen im RBF-Netz Idee: Eingangsgewichte eines Neurons j der versteckten Schicht interpretiert als Koordinaten eines Punktes (w 1j,..., w mj ) R m (Zentrum einer Klasse) Eingangsfunktion I j : R m R des Neurons j berechnet Abstand des Eingabevektors (x 1,..., x m ) vom Zentrum (w 1j,..., w mj ) R m Aktivierungfunktion: radiale Basisfunktion A j : R R nimmt größten Wert im Zentrum an fällt mit wachsendem Abstand vom Zentrum das Neuron der versteckten Schicht am aktivsten, welches das zum Eingabevektor nächste Zentrum repräsentiert 89

5 Abstandsfunktionen (Eingabefunktionen der versteckten Neuronen im RBF-Netz) Abstandsfunktion d : R 2m R mit den Eigenschaften: x, y R m : d(x, y) = 0 gdw. x = y x, y R m : d(x, y) = d(y, x) (kommutativ) x, y, z R m : d(x, y) + d(y, z) d(x, z) (Dreiecksungleichung) Beispiele: I(x 1,..., x m ) = d k (x, w j ) = k m k=1 (w kj x k ) k für k = 2: I(x 1,..., x m ) = d 2 (x, w j ) = m k=1 (w kj x k ) 2 Euklidischer Abstand zwischen Eingangs- und Gewichtsvektor für k = 1: I(x 1,..., x m ) = d 1 (x, w j ) = m k=1 w kj x k Manhattan-Metrik für k : I(x 1,..., x m ) = max{ w kj x k i {1,..., m}} Maximum-Metrik 90

6 Radiale Funktionen Radiale Funktion f : R 0 [0, 1] mit den folgenden Eigenschaften: aus x < y folgt f (x) f (y) (monoton fallend) f (0) = 1 lim x f (x) = 0 (verschwindet im Grenzwert) Beispiele: Schwellwertfunktion (fallend) { 0 falls x > θ f θ (x) = 1 sonst linear f m (x) = max(0, 1 mx) Gauß-Funktion f c (x) = e cx 2 91

7 Ausgabeneuronen im RBF-Netz Eingaben (von der versteckten Schicht): h R l Gewichte: W R l n Ausgaben: y R n Eingabefunktion: gewichtete Summe Aktivierungsfunktion: Identität (linear) Ausgabefunktion: Identität (Schwellwertneuronen mit linearer Aktivierung) 92

8 RBF-Netze: Beispiele Netz für erste Schicht (RBF): Zentrum w 1,h = w 2,h = 1, Eingabefunktion: Euklidische Metrik Aktivierung: Stufenfunktion Radius θ h = 1/2 zweite Schicht: Gewicht w h,y = 1, Eingabefunktion: gewichtete Summe Aktivierung: linear Schwellwert θ y = Netz für : Idee: x 1 x 2 (x 1 x 2 ) (x 1 x 2 ) erste Schicht (RBF): Zentren w1,h1 = w 2,h1 = 1, w 1,h2 = w 2,h2 = 0, Eingabefunktion: Euklidische Metrik Aktivierung: Stufenfunktion Radien θ h1 = θ h2 = 1/2 zweite Schicht: Gewichte wh1,y = w h2,y = 1, Eingabefunktion: gewichtete Summe Aktivierung: linear Schwellwert θ y = 0 93

9 RBF-Netze zur Approximation von Funktionen Approximation einer Funktion f : R R durch Linearkombination (gewichtete Summe) von radialen Funktionen, z.b. stückweise konstante Funktionen (Stufen) stückweise lineare Funktionen Gauß-Funktionen Zwei-Schicht-FF-Netz: ein Eingabeneuron x k versteckte Neuronen h 1,..., h k jedes für eine Basisfunktion ein Ausgabeneuron y 94

10 Beispiel Approximation n-stelliger Boolescher Funktionen: n Eingabeneuronen x i 2 n versteckte Neuronen h i Eingangsgewichte (jede mögliche Eingabe als Zentrum) Eingangsfunktion: Euklidische oder Manhattan-Metrik Aktivierung: Stufenfunktion alle Radien 1/2 ein Ausgabeneuron y zu bestimmende Gewichte w i, Schwellwert 0 95

11 RBF-Netze Lernen übliches Vorgehen: Gewichte der ersten Schicht (Eingabe zu versteckten Neuronen): Bestimmung der Anfangspunkte der Zentren, z.b. gleichmäßig überdeckend alle Trainingsmuster durch zufällige Auswahl von Trainingsmustern durch Clustering-Techniken, z.b. unüberwachtes Training (später) direkte Berechnung oder überwachtes Training (z.b. Delta-Regel) der zweiten Schicht Bestimmung der Faktoren vor den Basisfunktionen 96

12 Eigenschaften von RBF-Netzen Vorteile: einfache Topologie schnelle Berechnung Netzausgabe außerhalb der Trainingsmenge gering Gewichte können direkt bestimmt werden (ohne Training) Nachteile: Qualität der Approximation durch Lage der Zentren bestimmt Lernerfolg hängt stark von der Start-Instanziierung der Gewichte der ersten Schicht (Zentren) ab Auswendiglernen der Trainingsdaten 97

13 Zusammenfassung RBF-Netze (kein biologisches Vorbild) zur Klassifikation zur Approximation von Funktionen jedes versteckte Neuron repräsentiert z.b. eine RBF-Funktion (z.b. Gauß-Glocke ) mit einem Zentrum Approximation der Funktion durch Linearkombination dieser RBF-Funktionen 98