Kapitel LF: IV. IV. Neuronale Netze

Größe: px

Ab Seite anzeigen:

Download "Kapitel LF: IV. IV. Neuronale Netze"

Nikolas Zimmermann
vor 8 Jahren
Abrufe

1 Kapitel LF: IV IV. Neuronale Netze Perzeptron-Lernalgorithmus Gradientenabstiegmethode Multilayer-Perzeptrons und ackpropagation Self-Organizing Feature Maps Neuronales Gas LF: IV-39 Machine Learning c STEIN

2 Multilayer-Perzeptrons und ackpropagation Definition 6 (lineare Separierbarkeit) Zwei Mengen D 1 und D 1 von Vektoren eines p-dimensionalen Raumes heißen linear separierbar, falls p +1reelle Zahlen θ, w 1,...,w p existieren, so daß p i=1 w ix i θ für jeden Vektor in D 1 und p i=1 w ix i <θfür jeden Vektor in D 1 gilt. LF: IV-40 Machine Learning c STEIN

3 Multilayer-Perzeptrons und ackpropagation Definition 6 (lineare Separierbarkeit) Zwei Mengen D 1 und D 1 von Vektoren eines p-dimensionalen Raumes heißen linear separierbar, falls p +1reelle Zahlen θ, w 1,...,w p existieren, so daß p i=1 w ix i θ für jeden Vektor in D 1 und p i=1 w ix i <θfür jeden Vektor in D 1 gilt. x 2 x 1 x 2 x 1 linear separierbar nicht linear separierbar LF: IV-40 Machine Learning c STEIN

..,w p existieren, so daß p i=1 w ix i θ für jeden Vektor in D 1 und p i=1 w ix i <θfür jeden Vektor in D

4 Multilayer-Perzeptrons und ackpropagation Separierbarkeit Die XOR-Funktion definiert die kleinste, nicht linear separierbare Menge: x 2 =1 x 1 x 2 XOR (Klasse) () () () () x 2 =0 x 1 =0 x 1 =1 LF: IV-41 Machine Learning c STEIN

Menge: x 2 =1 x 1 x 2 XOR (Klasse) 0 0 0 () 1 0 1 () 0 1 1 () 1

5 Multilayer-Perzeptrons und ackpropagation Separierbarkeit Die XOR-Funktion definiert die kleinste, nicht linear separierbare Menge: x 2 =1 x 1 x 2 XOR (Klasse) () () () () x 2 =0 x 1 =0 x 1 =1 Definition mehrerer Geraden (Hyperebenen) Verwendung mehrerer Perzeptrons LF: IV-41 Machine Learning c STEIN

(Klasse) 0 0 0 () 1 0 1 () 0 1 1 () 1 1 0 () x 2 =0 x 1 =0 x 1 =1 Definition

6 Multilayer-Perzeptrons und ackpropagation Separierbarkeit (Fortsetzung) Verschaltung von Perzeptrons in mehreren Schichten: Multilayer-Perzeptron. Das einfachste Multilayer-Perzeptron für das XOR-Problem: x 1 = Σ, θ Σ, θ {, } x 2 = Σ, θ LF: IV-42 Machine Learning c STEIN

7 emerkungen: Das Konzept des Multilayer-Perzeptrons wurde 1986 von Rumelhart & McClelland vorgeschlagen. Früher aber unbeachtet geblieben waren die rbeiten Werbos und Parker [1974, 1982]. ei Multilayer-Perzeptrons liegt eine komplexere Lernsituation vor, für die kontinuierliche Schwellwertfunktionen und stärkere Lernverfahren benötigt werden. Marvin Minsky und Seymour Papert zeigten 1969 am eispiel des XOR-Problems die Grenzen des einzelnen Perzeptrons. Insbesondere vermuteten sie, daß eine Erweiterung der Perzeptron-rchitektur ähnlichen eschränkungen unterläge wie ein einzelnes Perzeptron. Sie brachten damit die Forschung in diesem ereich für 17 Jahre zum Stillstand. [Marvin Minsky] LF: IV-42a Machine Learning c STEIN

ei Multilayer-Perzeptrons liegt eine komplexere Lernsituation vor, für die kontinuierliche Schwellwertfunktionen und stärkere Lernverfahren benötigt werden.

8 Multilayer-Perzeptrons und ackpropagation erechnung im Netzwerk Perzeptron mit kontinuierlicher Schwellwertfunktionen: 1 w 0 = - θ x 1 w 1 x 2. w 2. Σ 0 y w p x p Eingänge usgang Sigmoid-Funktion σ(z) als Schwellwertfunktion: σ(z) = 1 1+e z mit der Eigenschaft: erechnung im Perzeptron: y(x) = σ(w T x) = dσ(z) dz = σ(z) (1 σ(z)) 1 1+e wt x LF: IV-43 Machine Learning c STEIN

Σ 0 y w p x p Eingänge usgang Sigmoid-Funktion σ(z) als Schwellwertfunktion: σ(z) = 1 1+e z mit

9 emerkungen: Die Sigmoid-Funktion eignet sich bei Modellierung der Klassen mit den Werten 0 und 1. 1 threshold function 2 w T x - θ nstelle der Sigmoid-Funktion kommt auch die tanh-funktion als Schwellwertfunktion zum Einsatz. tanh(x) = ex e x e x + e = e2x 1 x e 2x +1 1 threshold function 2 w T x - θ LF: IV-43a Machine Learning c STEIN

1 threshold function 2 w T x - θ nstelle der Sigmoid-Funktion kommt auch die

10 Multilayer-Perzeptrons und ackpropagation erechnung im Netzwerk Unterscheidung von Input-, Hidden- und Output-Units (-Perzeptrons): U I U H U O x 1 = Σ y 1 x 2 = Σ... Σ y x p = Σ Σ y k Feed-Forward U I,U H,U O x u v w uv, w uv δ u y u Mengen von Input-, Hidden- und Output-Units Eingangswert für Unit v, bereitgestellt am usgang von Unit u Gewicht und Gewichtsanpassung für Kante zwischen Unit u und Unit v Lernfehler von Unit u usgangswert von Unit u LF: IV-44 Machine Learning c STEIN

..... x p = Σ Σ y k Feed-Forward U I,U H,U O x u v w uv, w uv δ u y u Mengen von Input-, Hidden- und Output-Units

11 emerkungen: Die Units der Input-Schicht führen keine erechnungen aus; sie dienen lediglich zur Verteilung der Eingangsdaten an die nächste Schicht. Die Nichtlinearität der Sigmoid-Funktion ermöglicht Netzwerke, die jede beliebige Funktion approximieren können. Hierzu sind lediglich drei aktive Schichten notwendig genauer: zwei Schichten mit Hidden-Units und eine Schicht mit Output-Units. Stichwort: Kolmogorov-Theorem uf asis der verallgemeinerten Delta-Regel wird eine Rückwärtspropagierung des Lernfehlers und somit ein Trainieren mehrschichtiger Netzwerke möglich. Stichwort: ackpropagation-lgorithmus Der Gradientenabstieg bzgl. der Fehlerfunktion berücksichtigt den gesamten Netzwerkgewichtsvektor. Multilayer-Perzeptrons werden auch Multilayer-Netzwerke oder (künstliche) neuronale Netze genannt. Eine gebräuchliche bkürzung in diesem Zusammenhang ist NN, für rtificial Neural Network. LF: IV-44a Machine Learning c STEIN

Hierzu sind lediglich drei aktive Schichten notwendig genauer: zwei Schichten mit Hidden-Units und eine Schicht mit Output-Units.

12 Multilayer-Perzeptrons und ackpropagation Lernfehler Der Lernfehler E(w) summiert sich über die k = U O usgänge des Netzes: E(w) = 1 (c v (x) y v (x)) 2 2 v U O x,c(x) D Durch die komplexe Form von E(w) gibt es i. d. R. viele lokale Minima: E(w) LF: IV-45 Machine Learning c STEIN

(x)) 2 2 v U O x,c(x) D Durch die komplexe Form von E(w) gibt es i. d. R.

13 Multilayer-Perzeptrons und ackpropagation lgorithmus zur Gewichtsanpassung (Incremental-Mode) Sei D eine Menge von Trainingsbeispielen, η die Lernrate, und U I, U H, U O Mengen von Input-, Hidden- und Output-Units. 1. initialize_random_weights(u I,U H,U O ), t =0 2. REPET 3. t = t FORECH x,c(x) D DO 5. FORECH u U H DO y u = propagate(x,u) // layer 1 6. FORECH v U O DO y v = propagate(y H,v) // layer 2 7. FORECH v U O DO δ v = y v (1 y v ) (c v (x) y v ) // backpropagate layer 2 8. FORECH u U H DO δ u = y u (1 y u ) w uv δ v // backpropagate layer 1 v U o 9. FORECH w uv, (u, v) (U I U H ) (U H U O ) DO 10. w uv = η δ v x u v 11. w uv = w uv + w uv 12. ENDDO 13. ENDDO 14. UNTIL(convergence(D, Y O ) t>t max ) LF: IV-46 Machine Learning c STEIN

FORECH v U O DO y v = propagate(y H,v) // layer 2 7. FORECH v U O DO δ v = y v (1 y v ) (c v (x) y v ) // backpropagate layer 2 8.

14 Multilayer-Perzeptrons und ackpropagation lgorithmus zur Gewichtsanpassung (Incremental-Mode) Sei D eine Menge von Trainingsbeispielen, η die Lernrate, und U I, U H, U O Mengen von Input-, Hidden- und Output-Units. 1. initialize_random_weights(u I,U H,U O ), t =0 2. REPET 3. t = t FORECH x,c(x) D DO 5. FORECH u U H DO y u = propagate(x,u) // layer 1 6. FORECH v U O DO y v = propagate(y H,v) // layer 2 7. FORECH v U O DO δ v = y v (1 y v ) (c v (x) y v ) // backpropagate layer 2 8. FORECH u U H DO δ u = y u (1 y u ) w uv δ v // backpropagate layer 1 v U o 9. FORECH w uv, (u, v) (U I U H ) (U H U O ) DO 10. w uv = η δ v x u v 11. w uv = w uv + w uv 12. ENDDO 13. ENDDO 14. UNTIL(convergence(D, Y O ) t>t max ) LF: IV-46 Machine Learning c STEIN

15 Multilayer-Perzeptrons und ackpropagation lgorithmus zur Gewichtsanpassung (Incremental-Mode) Sei D eine Menge von Trainingsbeispielen, η die Lernrate, und U I, U H, U O Mengen von Input-, Hidden- und Output-Units. 1. initialize_random_weights(u I,U H,U O ), t =0 2. REPET 3. t = t FORECH x,c(x) D DO 5. FORECH u U H DO y u = propagate(x,u) // layer 1 6. FORECH v U O DO y v = propagate(y H,v) // layer 2 7. FORECH v U O DO δ v = y v (1 y v ) (c v (x) y v ) // backpropagate layer 2 8. FORECH u U H DO δ u = y u (1 y u ) w uv δ v // backpropagate layer 1 v U o 9. FORECH w uv, (u, v) (U I U H ) (U H U O ) DO 10. w uv = η δ v x u v 11. w uv = w uv + w uv 12. ENDDO 13. ENDDO 14. UNTIL(convergence(D, Y O ) t>t max ) LF: IV-46 Machine Learning c STEIN

16 Multilayer-Perzeptrons und ackpropagation Gewichtsanpassung mit Momentum-Term Die Gewichtsanpassung in Iteration t wird abhängig von der npassung in Iteration t 1 gemacht: mit Momentum α, 0 α<1 w uv (t) =η δ v x u v + α w uv (t 1) LF: IV-47 Machine Learning c STEIN

der npassung in Iteration t 1 gemacht: mit Momentum α, 0 α<1 w uv

17 Multilayer-Perzeptrons und ackpropagation Gewichtsanpassung mit Momentum-Term Die Gewichtsanpassung in Iteration t wird abhängig von der npassung in Iteration t 1 gemacht: mit Momentum α, 0 α<1 w uv (t) =η δ v x u v + α w uv (t 1) Effekte: bedingt durch die Trägheit können lokale Minima überwunden werden bei gleichbleibender bstiegsrichtung erhöht sich die Schrittweite und damit die Konvergenzgeschwindigkeit LF: IV-47 Machine Learning c STEIN

(t 1) Effekte: bedingt durch die Trägheit können lokale Minima überwunden werden bei gleichbleibender

18 Neuronale Netze Quellen zum Nachlernen und Nachschlagen im Web nwendung und Implementierung: JNNS. Java Neural Network Simulator. SNNS. Stuttgart Neural Network Simulator. LF: IV-48 Machine Learning c STEIN

uni-tuebingen.de/software/javanns SNNS. Stuttgart Neural Network Simulator.

Ähnliche Dokumente

Kapitel LF: IV. Multilayer-Perzeptrons und Backpropagation. Multilayer-Perzeptrons und Backpropagation. LF: IV Machine Learning c STEIN 2005-06

Kapitel LF: IV. Multilayer-Perzeptrons und Backpropagation. Multilayer-Perzeptrons und Backpropagation. LF: IV Machine Learning c STEIN 2005-06 Kapitel LF: IV IV. Neuronale Netze Perzeptron-Lernalgorithmus Gradientenabstiegmethode Multilayer-Perzeptrons und ackpropagation Self-Organizing Feature Maps Neuronales Gas 39 Multilayer-Perzeptrons und