Radiale-Basisfunktionen-Netze. Rudolf Kruse Neuronale Netze 120

Transkript

1 Radiale-Basisfunktionen-Netze Rudolf Kruse Neuronale Netze 2

2 Radiale-Basisfunktionen-Netze Eigenschaften von Radiale-Basisfunktionen-Netzen (RBF-Netzen) RBF-Netze sind streng geschichtete, vorwärtsbetriebene neuronale Netze mit genau einer versteckten Schicht. Als Netzeingabe- und Aktivierungsfunktion werden radiale Basisfunktionen verwendet. Jedes Neuron erhält eine Art Einzugsgebiet. Die Gewichte der Verbindungen von der Eingabeschicht zu einem Neuron geben das Zentrum an. Rudolf Kruse Neuronale Netze 2

3 Radiale-Basisfunktionen-Netze Ein radiale-basisfunktionen-netz (RBF-Netz) ist ein neuronales Netz mit einem Graph G = (U, C), das die folgenden Bedingungen erfüllt: (i)u in U out =, (ii)c = (U in U hidden ) C, C (U hidden U out ) Die Netzeingabefunktion jedes versteckten Neurons ist eine Abstandsfunktion zwischen dem Eingabevektor und dem Gewichtsvektor, d.h. u U hidden : f (u) net (w u, in u ) =d(w u, in u ), wobeid:ir n IR n IR + eine Funktion ist, die x,,z IRn : erfüllt: (i) d(x,) = x =, (ii) d(x,) =d(,x) (iii) d(x, z) d(x, ) + d(, z) (Smmetrie), (Dreiecksungleichung). Rudolf Kruse Neuronale Netze 22

4 Abstandsfunktionen Veranschaulichung von Abstandsfunktionen d k (x,) = Bekannte Spezialfälle dieser Familie sind: n (x i i ) k i= k = : Manhattan-Abstand, k = 2 : Euklidischer Abstand, k : Maximum-Abstand, d.h.d (x,) = max n i= x i i. k = k = 2 k k (alle Punkte auf dem Kreis bzw. den Vierecken haben denselben Abstand zum Mittelpunkt, entsprechend der jeweiligen Abstandsfunktion) Rudolf Kruse Neuronale Netze 23

5 Radiale-Basisfunktionen-Netze Die Netzeingabefunktion der Ausgabeneuronen ist die gewichtete Summe ihrer Eingaben, d.h. u U out : f (u) net (w u, in u ) =w u in u = v pred (u) w uv out v. Die Aktivierungsfunktion jedes versteckten Neurons ist eine sogenannte radiale Funktion, d.h. eine monoton fallende Funktion f : IR + [, ] with f() = and lim f(x) =. x Die Aktivierungsfunktion jedes Ausgabeneurons ist eine lineare Funktion f (u) act (net u,θ u ) = net u θ u. (Die lineare Aktivierungsfunktion ist wichtig für die Initialisierung.) Rudolf Kruse Neuronale Netze 24

6 Radiale Aktivierungsfunktionen Rechteckfunktion: f act (net,) =, falls net>,, sonst. Dreiecksfunktion: f act (net,) =, falls net>, net, sonst. net net Kosinus bis Null: f act (net,) =, falls net>2, cos( π 2 net )+ 2, sonst. Gaußsche Funktion: f act (net,) =e net e 2 2 net e 2 2 net Rudolf Kruse Neuronale Netze 25

7 Radiale-Basisfunktionen-Netze: Beispiele Radiale-Basisfunktionen-Netz für die Konjunktionx x 2 x x 2 2 x 2 x (,) ist Zentrum Referenzradius ist 2 Euklidischer Abstand Rechteckfunktion als Aktivierung Biaswert im Ausgabeneuron Rudolf Kruse Neuronale Netze 26

8 Radiale-Basisfunktionen-Netze: Beispiele Radiale-Basisfunktionen-Netz für die Konjunktionx x 2 x x x 2 x (,) ist Zentrum Referenzradius ist 6 5 Euklidischer Abstand Rechteckfunktion als Aktivierung Biaswert im Ausgabeneuron Rudolf Kruse Neuronale Netze 27

9 Radiale-Basisfunktionen-Netze: Beispiele Radiale-Basisfunktionen-Netz für die Biimplikationx x 2 Idee: logische Zerlegung x x 2 (x x 2 ) (x x 2 ) x x x 2 x Rudolf Kruse Neuronale Netze 28

10 Radiale-Basisfunktionen-Netze: Funktionsapproximation x x x x 2 x 3 x 4 x x 2 x 3 x Annäherung der Originalfunktion durch Stufenfunktionen, deren Stufen durch einzelne Neuronen eines RBF-Netzes dargestellt werden können (vgl. MLPs). Rudolf Kruse Neuronale Netze 29

11 Radiale-Basisfunktionen-Netze: Funktionsapproximation.. x. x 2 2 x x 3 3 x 4.. Rudolf Kruse Neuronale Netze 3 4. = 2 x = 2 (x i+ x i ) Ein RBF-Netz, das die Treppenfunktion von der vorherigen Folie bzw. die stückweise lineare Funktion der folgenden Folie berechnet (dazu muss nur die Aktivierungsfunktion der versteckten Neuronen geändert werden).

12 Radiale-Basisfunktionen-Netze: Funktionsapproximation x x x x 2 x 3 x 4 x x 2 x 3 x 4 4 Darstellung einer stückweise linearen Funktion durch eine gewichtete Summe von Dreiecksfunktionen mit Zentrenx i. 3 2 Rudolf Kruse Neuronale Netze 3

13 Radiale-Basisfunktionen-Netze: Funktionsapproximation x x Annäherung einer Funktion durch eine Summe von Gaußkurven mit Radius =. Es istw = 2,w 2 = 3 undw 3 = 2. w w 2 w 3 Rudolf Kruse Neuronale Netze 32

14 Radiale-Basisfunktionen-Netze: Funktionsapproximation RBF-Netz für eine Summe dreier Gaußfunktionen 2 x Rudolf Kruse Neuronale Netze 33