Training von RBF-Netzen. Rudolf Kruse Neuronale Netze 134

Transkript

1 Training von RBF-Netzen Rudolf Kruse Neuronale Netze 34

2 Radiale-Basisfunktionen-Netze: Initialisierung SeiL fixed ={l,...,l m } eine feste Lernaufgabe, bestehend ausmtrainingsbeispielenl=ı l,o l. Einfaches RBF-Netz: Ein verstecktes Neuronv k,k=,...,m, für jedes Trainingsbeispiel k {,...,m} : w vk =ı l k. Falls die Aktivierungsfunktion die Gaußfunktion ist, werden die Radienσ k nach einer Heuristik gewählt k {,...,m} : σ k = d max m, wobei d max = max d ı lj,ı l k. l j,l k L fixed Rudolf Kruse Neuronale Netze 35

3 Radiale-Basisfunktionen-Netze: Initialisierung Initialisieren der Verbindungen von den versteckten zu den Ausgabeneuronen u : m w uv m out l v m θ u =o l u oder abgekürzt A w u =o u, k= wobeio u = o l u,...,o l m u der Vektor der gewünschten Ausgaben ist,θu =, und A = out l v out l v... out l v m out l v out l v... out l v m... out l m v out l m v... out l m v m Ergebnis: Lineares Gleichungssystem, das durch Invertieren der Matrix A gelöst werden kann: w u = A o u. Rudolf Kruse Neuronale Netze 36.

4 RBF-Netz-Initialisierung: Beispiel Einfaches RBF-Netz für die Biimplikationx x x x y x x w w w 3 w 4 y Rudolf Kruse Neuronale Netze 37

5 RBF-Netz-Initialisierung: Beispiel Einfaches RBF-Netz für die Biimplikationx x wobei A = e e e 4 e e 4 e e e 4 e e 4 e e A = a D b D b D c D b D a D c D b D b D c D a D b D c D b D b D a D D = 4e 4 + 6e 8 4e +e a = e 4 +e b = e + e 6 e.34 c = e 4 e 8 +e.77 w u = A o u = D a +c b b a +c Rudolf Kruse Neuronale Netze 38

6 RBF-Netz-Initialisierung: Beispiel Einfaches RBF-Netz für die Biimplikationx x act act y, x x x x x x einzelne Basisfunktion alle Basisfunktionen Ausgabe Die Initialisierung führt bereits zu einer perfekten Lösung der Lernaufgabe. Weiteres Trainieren ist nicht notwendig. Rudolf Kruse Neuronale Netze 39

7 Radiale-Basisfunktionen-Netze: Initialisierung Normale Radiale-Basisfunktionen-Netze: Wähle Teilmenge von k Trainingsbeispielen als Zentren aus. A = out l v out l v... out l v k out l v out l v... out l v k.... out l m v out l m v... out l m v k A w u =o u Berechne Moore Penrose-Pseudoinverse: Die Gewichte können dann durch A + = A A A. berechnet werden. w u = A + o u = A A A o u Rudolf Kruse Neuronale Netze 4

8 RBF-Netz-Initialisierung: Beispiel Normales RBF-Netz für die Biimplikationx x Wähle zwei Trainingsbeispiele aus: l = ı l,o l =,, l 4 = ı l4,o l4 =,, x x w w θ y Rudolf Kruse Neuronale Netze 4

9 RBF-Netz-Initialisierung: Beispiel Normales RBF-Netz für die Biimplikationx x A = e 4 e e e e e 4 A + = A A A = a b b a c d d e e d d c wobei a.8, b.68, c.78, d.6688, e.594. Gewichte: w u = θ w w = A + o u Rudolf Kruse Neuronale Netze

10 RBF-Netz-Initialisierung: Beispiel Normales RBF-Netz für die Biimplikationx x act act y, x x x x.36 Basisfunktion, Basisfunktion, Ausgabe Die Initialisierung führt bereits zu einer perfekten Lösung der Lernaufgabe. Dies ist Zufall, da das lineare Gleichungssystem wegen linear abhängiger Gleichungen nicht überbestimmt ist. Rudolf Kruse Neuronale Netze 43

11 Radiale-Basisfunktionen-Netze: Initialisierung Bestimmung passender Zentren für die RBFs Ein Ansatz: k-means-clustering Wähle k zufällig ausgewählte Trainingsbeispiele als Zentren. Weise jedem Zentrum die am nächsten liegenden Trainingsbeispiele zu. Berechne neue Zentren als Schwerpunkt der dem Zentrum zugewiesenen Trainingsbeispiele. Wiederhole diese zwei Schritte bis zur Konvergenz, d.h. bis sich die Zentren nicht mehr ändern. Nutze die sich ergebenden Zentren für die Gewichtsvektoren der versteckten Neuronen. Alternativer Ansatz: Lernende Vektorquantisierung Rudolf Kruse Neuronale Netze 44

12 Radiale-Basisfunktionen-Netze: Training Training von RBF-Netzen: Herleitung der Update-Regeln ist analog zu der für MLPs. Gewichte von den versteckten zu den Ausgabeneuronen. Gradient: Gewichtsänderungsregel: wu e l u = el u = o l u out l u w u in l u, w l u = η 3 w u e l u =η 3 o l u out l u in l u Zwei weitere Lernraten sind notwendig für die Positionen der Zentren und der Radien. Rudolf Kruse Neuronale Netze 45

13 Radiale-Basisfunktionen-Netze: Training Training von RBF-Netzen: Zentren: Gewichte von Eingabe- zu versteckten Neuronen. Gradient: wv e l = el w v = Gewichtsänderungsregel: s succv o l w l v = η w v e l =η o l s succv s out l s s out l out l v net l v wsu net l v w v s wsv out l v net l v net l v w v Rudolf Kruse Neuronale Netze 46

14 Radiale-Basisfunktionen-Netze: Training Training von RBF-Netzen: Zentren: Gewichte von Eingabe- zu versteckten Neuronen. Spezialfall: Euklidischer Abstand net l v w v = n i= wvpi out l p i w v in l Spezialfall: Gaußsche Aktivierungsfunktion v. out l v net l v = f l act net v,σ v net l v = net l v e net l v σv = netl v σv e net l v σ v. Rudolf Kruse Neuronale Netze 47

15 Radiale-Basisfunktionen-Netze: Training Training von RBF-Netzen: Radien der radialen Basisfunktionen. Gradient: Gewichtsänderungsregel: e l σ v = s succv σ v l = η e l =η σ v o l s succv s out l o l Spezialfall: Gaußsche Aktivierungsfunktion s wsu out l v σ v. s out l s wsv out l v σ v. out l v σ v = e σ v net l v σ v = net l v σ 3 v e net l v σ v. Rudolf Kruse Neuronale Netze 48

16 Radiale-Basisfunktionen-Netze: Verallgemeinerung Verallgemeinerung der Abstandsfunktion Idee: Benutze anisotrope richtungsabhängige Abstandsfunktion. Beispiel: Mahalanobis-Abstand dx,y = x y Σ x y. Beispiel: Biimplikation x x y 3 Σ = x x Rudolf Kruse Neuronale Netze 49

17 Radiale-Basisfunktionen-Netze: Anwendung Vorteile einfache Feedforward-Architektur leichte Anpassbarkeit daher schnelle Optimierung und Berechnung Anwendung kontinuierlich laufende Prozesse, die schnelle Anpassung erfordern Approximierung Mustererkennung Regelungstechnik Rudolf Kruse Neuronale Netze 5