Teil VIII. Künstliche Neuronale Netze MUSTERERKENNUNG. Das menschliche Zentralnervensystem Die nassen Neuronen der anthropomorphen Blaupause

Transkript

1 MUSTERERKENNUNG Vorlesung im Sommersemester 207 Teil VIII Künstliche Neuronale Netze Prof. E.G. Schukat-Talamazzini Stand: 7. März 207 Modellneuronen und ihre Verschaltung Das menschliche Zentralnervensystem Die nassen Neuronen der anthropomorphen Blaupause Das Neuron ist die elementare Verarbeitungseinheit. ca. 0 2 Nervenzellen ca. 0 4 Verbindungen MLPs für Prädiktion, Etraktion, Klassifikation Aon Macht die Grundaktivität einer Nervenzelle in Form elektrischer Impulse verfügbar Synapse Übermittlung an andere Neuronen über synaptische Verbindungen unterschiedlicher Stärke Feuern Überschreitet die gesammelte Eingangserregung einen bestimmten Betrag, führt dies zu einer Aktivitätsänderung (erhöhte Impulsfrequenz)

2 i j n Das Modellneuron Grundbaustein des Paradigmas massiv-paralleler Verarbeitung w w w ik jk nk Gewichtung Schwellwert w Summation Parallel-Distributed Processing Ein Künstliches Neuronales Netz (KNN) ist ein Arrangement von Modellneuronen und ihren Verbindungen. 0k σ k Aktivierungsfunktion f ( ) Ausgangs erregung Dynamisches Verhalten bestimmt durch Aktivierungsbegriff Kombination der Eingänge Aktivierungsfunktion Verschaltungstopologie k Neuronales Aktivierungsniveau Das Ausgabesignal des Modellneurons Ausgangserregung Mit k (t) bezeichnen wir die Ausgangserregung des k-ten Modellneurons zum Zeitpunkt t. Der Gesamtsystemzustand ist durch (t) charakterisiert. Wertebereich Feuern oder ruhen k (t), 0} Quantitatives Erregungspotenzial k (t) IR Aktivierung Schwellenwert: Neuron #k aktiv gdw. k (t) θ Feuerrate: Neuron #k aktiv gdw. Anzahl Spikes/Zeiteinheit θ Zeitraster dynamisch stetige Zeitskala dynamisch diskrete Zeitskala nicht-dynamisch t IR t Z k (t) k Neuronales Aktivierungsniveau Die Eingabesignale des Modellneurons Gewichtung der Eingangserregungen Modellierung der Stärke synaptischer Verbindungen w w 2 w N W = w N w N2 w NN Ezitatorische Synapsen w ij > 0 Inhibitorische Synapsen w ij < 0 Kombination der Eingangserregungen Die gesammelte Eingangserregung des k-ten Modellneurons (zur Zeit t) wird mit σ k bzw. mit σ k (t) bezeichnet und akkumuliert gemäß: w jk j (t) (Linearkombination) j σ k (t) = (w jk j (t)) 2 (Unähnlichkeit) j Neuronale Aktivierungsfunktionen Stufenfunktion Sigmoidfunktion Linearität Glockenkurve Lineare Aktivierung k = a σ k + b lineare Netzwerke Sprungfunktion k = σk > θ k 0 σ k θ k klassisches Perzeptron Zielwertaktivierung k = ep C (σ k θ k ) 2} selbstorganisierende Karten Sigmoidfunktion k = + ep( σ k )

3 Neuronale Verschaltung rekurrent nicht rekurrent MLP Ausgabeschicht Modellneuronen und ihre Verschaltung verborgene Schicht Eingabeschicht Verbindungstopologie Die Gewichtmatri W IR N N definiert einen gerichteten Graphen (N, E) über dem Neuronenvorrat N =,..., N} durch: j k (j, k) E w jk 0, ( j, k N ) MLPs für Prädiktion, Etraktion, Klassifikation Die Verschaltung besitzt Zyklen. dynamisches System Die Verschaltung ist zyklenfrei. endliche Berechnung Nichtrekurrente (zyklenfreie) künstliche neuronale Netze Serielle Traversierbarkeit nichtrekurrenter KNNs Definition Ein KNN mit Gewichtmatri W IR N N und zyklenfreier neuronaler Verknüpfungsrelation heißt nichtrekurrentes KNN oder Vorwärtsnetz. EINGABE AUSGABE u() Die Menge N aller Netzknoten zerfällt in die Teilmengen N E = k N j : j k} N A = j N k : j k} N H = N \ (N E N A ) der Eingabe-, der Ausgabe- bzw. der verborgenen Neuronen. Fakt Die Knoten eines zyklenfreien KNN lassen sich in -verträglicher Weise linear anordnen, d.h., es gilt j, k N : j k j < k nach entsprechender Umnummerierung.

4 Spielarten nichtrekurrenter Netzwerke Neuronenschichten & Verbindungsebenen nichtrekurrent Schichten Module keine Anregungszyklen volle Verdrahtung zwischen zyklenfreier Modulgraph benachbarten Schichten Metakanten voll verdrahtet Definition Zerfällt die Knotenmenge N eines zyklenfreien KNNs in eine Folge N 0,..., N L disjunkter Schichten mit der Eigenschaft w jk 0 ( l) j N l k N l (vollständige Verschaltung benachbarter Schichten), so sprechen wir von einem (MLP = multi-layer perceptron). Berechnungsprozeß in nichtrekurrenten Netzwerken Zyklenfreie KNNs kommen ohne eplizite Zeitrechnung aus Lemma Die Ausgangserregungen k (t) der Neuronen eines s sind nicht von der Zeit, sondern nur von den Zuständen E = ( k k N E ) abhängig und berechnen sich durch die Vorwärtsrekursion k = f w jk j j k bzw. k = f w jk j j N l FFN : k =, 2,..., N für alle mit der Aktivierungsfunktion f ( ). MLP : k N l, l =..L Das Netzwerk definiert folglich eine nichtlineare Abbildung IR N E IR u : N A E u( E ) = A = ( k k N A ). Modellneuronen und ihre Verschaltung MLPs für Prädiktion, Etraktion, Klassifikation Rosenblatt 962 Definition Ein einschichtiges KNN mit N Eingabeknoten, K Ausgabeknoten, der Gewichtmatri W IR N K und dem Systemverhalten N y k () = sign w jk j, k =,..., K j= heißt einstufiges (oder klassisches) Perzeptron. Bemerkungen. Das Perzeptron kann zu Klassifikationszwecken für N-dimensionale Merkmalvektoren aus K Musterklassen herangezogen werden; Prüfgrößen sind die Aktivierungsniveaus y k () der Ausgabeneuronen. 2. Das Verhalten der Ausgabeneuronen eines Perzeptrons ist vollständig entkoppelt; es genügt also, Perzeptren mit einem Ausgabeneuron zu betrachten.

5 mit einem Ausgabeneuron ADALINE adaptive linear engine Die Perzeptron-Lernregel Stapelweise versus instantane Auffrischung der Gewichte 3 2 y ( ) 4 y ( ) 3 y ( ) 2 y ( ) 3 2 y ( ) Gradientenabstieg w jk w jk η w jk Eingabeschicht Ausgabeschicht Eingabeschicht Ausgabeneuron Instantan: Schwellenwertneuron Feuerschwelle als Gewicht des -Neurons: y = sign(w θ) ( = θ, w ) ( ) Überwachtes Lernen Ideale Zielgrößenvorgabe y, +} lautet: sign(w )! = y Mit der Hilfsgröße z := y übersetzt in die Bedingung w! z 0 Auffrischungsvorschrift Korrektur von w proportional zur negativen Projektion von w auf z: w w w z > 0 w η (w z) z sonst Der Koeffizient η heißt Lernrate. w jk = (z) w jk Stapelweise: w jk = z ω (z) w jk Was ein Perzeptron lernen kann... und was ein Perzeptron leider nicht lernen kann Inklusive ODER-Funktion y(, 2 ) = + + = 0 = 2 + sonst affin separierbare Muster Eklusive ODER-Funktion y(, 2 ) = = unmöglich durch Gerade zu trennen Bemerkung Nach dieser Hiobsbotschaft (962) ruhte die Perzeptronforschung in Frieden bis zur (Wieder-)Entdeckung des Backpropagation-Algorithmus (972/85). Modellneuronen und ihre Verschaltung MLPs für Prädiktion, Etraktion, Klassifikation

6 Das (MLP) Asymptotisch universeller Funktionsapproimator Satz Mehrschichtennetzwerke mit nichtlinearer Aktivierungsfunktion (z.b. Signum oder Sigmoid) und mindestens zwei verborgenen Neuronenschichten (L 3 Stufen) können asymptotisch mit wachsender Neuronenzahl beliebige Klassengebiete bzw. Funktionen approimieren. Das (MLP) Beispiel: Perzeptron (drei Schichten zwei Stufen) ¹ y²() ² y¹() y³() Eingabeschicht verborgene Schicht Ausgabeschicht Konfiguration eines MLP als Klassifikator Hyperebenen Konvee Gebiete Mehrfach zshg. Gebiete Beweis. Durch genaues Hinschauen.. D Eingabeneuronen und (K ) Ausgabeneuronen D = 2 und K = 4 im Beispiel 2. Wieviele verborgene Schichten? eine verborgene Schicht im Beispiel 3. Wieviele Neuronen in verborgenen Schichten? 3 verborgene Neuronen im Beispiel 4. Maschinelles Lernen der Gewichtmatrizen (3 3) und (4 3) im Beispiel Optimierung der neuronalen Gewichtmatri Quadratischer Vorhersagefehler zwischer idealer und neuronaler Prüfgröße: ε(ω W ) = ω d() y() 2 Stapelweise Auffrischung (batch learning) W = W η W ε(ω W )}, W ε = [/ w jk ] j k Additive Zerlegung des Gesamtfehlers (ω W ) w jk = w jk ω d() y() 2 = ω ( W ) w jk Satz (Werbos 972) Error-Backpropagation-Algorithmus Gegeben sei ein nichtrekurrentes KNN mit Neuronen N, Gewichtmatri W und sigmoider Aktivierungsfunktion f (σ) = / (+e σ ). Dann gilt für die partiellen Ableitungen des quadratischen Fehlers ε(w ) = / 2 d A 2 zwischen der Zielvorgabe d und der Netzausgabe A zur Netzeingabe E die Aussage / w jk = j k ( k ) β k mit den rekursiv berechenbaren Größen ( j d j ) j N A β j = =. j β k k ( k )w jk j N A k j k

7 Algorithmus Beweis. Unsere gewählte Aktivierungsfunktion besitzt eine besonders schöne erste Ableitung: f (σ) = f (σ) ( f (σ)) Für die gesuchte Gewichtableitung ergibt die Kettenregel = j Der rechte Faktor wird wie folgt zerlegt: Wegen j j = j σ j σ j j = f (σ j ) = f (σ j ) = f (σ j ) ( f (σ j )) = j ( j ) σ j σ j Beweis. Der linke Faktor beschreibt die Fehlerkomponente des j-ten Neurons. Für Ausgabeneuronen gilt einfach β j = j = j 2 Für alle anderen Neuronen gilt die Rekursionsformel β j = j = k N A (d k k ) 2 = ( j d j ) k j k = k j k = k j k k k j k k σ k σ k j β k f (σ k ) w jk und folgt unmittelbar σ j = k k j k w kj = i j = f (σ j ) i = j ( j ) i Insgesamt ergibt sich mit diesen Größen der Ausdruck = β j f (σ j ) i für die partiellen Gewichtableitungen. Die Behauptung des Satzes folgt duch Einsetzen der Sigmoidfunktion. Error-Backpropagation-Algorithmus Initialisiere Gewichtmatri W und setze ν = 0. 2 Initialisiere Akkumulatoren (ν) w ij = 0. 3 Für alle Klassen κ =,..., K und für alle Muster E ω κ : a Berechne Eingangserregungen σ( E ). Berechne Ausgangserregungen ( E ). b Für alle Ausgabeneuronen j N A : Neuron j codiert Ωκ β j = j 0 sonst c Für alle anderen Neuronen j N \N A : β j = β k f (σ k ) w jk k j k d Für alle Neuronen i, j N mit i j: (ν) w ij (ν) w ij + β j f (σ j ) i 4 Berechnen der neuen Gewichte W W + η (ν) W Algorithmus Error-Backpropagation-Algorithmus Mächtiges Lernverfahren mit mangelhaften Konvergenzeigenschaften Anwendbarkeit Alle nichtrekurrenten Netzwerke (incl. MLPs und TDNNs) Alle differenzierbaren Aktivierungsfunktionen Alle differenzierbaren Eingabekombinationen (incl. w k und w k ) Konvergenzverhalten Gradientenabstiegsverfahren findet nur lokale Fehlerminima Heuristische Schrittweite (Lernrate η) Oszillation Konvergenzrate Konvergenzbeschleunigung Der Korrekturterm wird durch Momentumterm erweitert: (ν) w ij = η + α (ν) w ij Resilienter EBP-Algorithmus, Gauß-Newton, Levenberg-Marquardt,... 5 Abbruch? Sonst ν ν + und weiter bei 2.

8 Serielle Notation mit abstrakten Verarbeitungsstufen Berechnung der Vorwärtsvariablen Schichtenparallel von Stufe zu Stufe f f 2 f l f l+ f L f L Ω 0 Ω Ω l Ω L Ω L f f 2 f l f l+ f L f L 0 l L L + L Variablenschichten zu je D l Komponenten: Ω l ˆ= IR D l L Verarbeitungsstufen zu je D l Einzelfunktionen: f l,j : Ω l IR für j =,..., D l Beispielverarbeitungsstufen Lineargewichtungsstufe IR n IR m f l : A + b Kompandierungsstufe (z.b. Sigmoid) IR n IR n f l : (ϕ( ),..., ϕ( n )) Softmastufe o.ä. IR n IR k f l : (e j / i e i ) j=..k Eingabe Ausgabe 0 := IR D 0 := f ( 0 ) 2 := f 2 ( ) l := f l ( l ) L := f L ( L ) Zweistufen-MLP zur Klassifikation 0,i = i für i =..N,j = W 0j + i W ij 0,i für j =..M 2,j = ( + e,j ) für j =..M 3,k = V 0k + j V jk 2,j für k =..K 4,k = ( + e 3,k ) für k =..K ŷ k = 4,k f :L () = (f f 2... f L )() = f L (f L (... (f 2 (f ()))...)) Kosten, Lerndaten und Gütefunktion Optimierung der freien MLP-Parameter θ Ableitung nach den Vorwärtsvariablen Fehlerrückführung vom MLP-Ausgang zum MLP-Eingang Kostenfunktional ε(ŷ, y ) für Wunschergebnis y und MLP-Ausgabe ŷ = f :L () Beispiel für Regression/Klassifikation ε(ŷ, y ) = / 2 ŷ y 2 ε(ŷ, k ) = log(ŷ k ) (OLS) (MAP) ξ l,j def } = / l = 0..L l,j für alle j =..D l f f 2 f l f l+ f L f L ξ 0 ξ ξ l ξ L ξ L Stichprobe ω = ( (t), y (t) ) t=..t für überwachtes Lernen T Näherungsziel: E[ε(f θ (X), Y)] ε(f θ ( (t) ), y (t) ) Gradientenabstieg E[ε(f θ (X), Y)] θ T t= t= (f θ ( (t) ), y (t) ) θ (LLN) Rekursionsbeginn ξ L,j = L,j ε( L, y ) OLS-Regression ξ L,j = L,j 2 = L,i y i i ( L,i y i ) 2 Rekursionsschritt ξ l,j = = k = k l,j l,k ξ l,k γ l,j,k l,k l,j

9 Algorithmus Lokale Ableitungen zwischen den Variablen zweier benachbarter MLP-Stufen γ l,j,k } def l =..L = l,k / l,j für alle j =..D l k =..D l f f 2 f l f l+ f L f L ξ 0 ξ ξ l ξ L ξ L Γ Γ 2 Γ l Γ l+ Γ L Γ L Aktivierungsstufe γ l,j,k = Linearkombination γ l,j,k = l,j ϕ( l,k ) = l,j ( b l,k + i ϕ ( l,k ) j = k 0 j k A l,i,k l,i ) = A l,j,k Kompandierungsfunktionen und ihre Ableitungen nichtlineare, monotone Skalentransformationen für Aktivierungsstufen Name Funktion Ableitung Identität id() Stufe 2 sign() 2 I >0 () 0 für 0 Sigmoid 3 σ() / ( + e ) σ() ( σ()) Tangens 4 tanh() (e 2 ) / (e 2 + ) tanh 2 () Ellbogen 5 ϕ + () ma(0, ) I >0 () µ-gesetz φ µ () sign() log( + µ ) ( + /µ) µ-invers ϕ µ () sign() (e )/µ e /µ Softmastufe γ l,j,k = l,j e l,k i e l,i = l,j l,k + l,k j = k l,j l,k + 0 j k Bemerkung Wertebereiche: IR 2, 0, } 3 (0, ) 4 (, ) 5 IR + Ableitung nach den MLP-Parametern Synaptische Gewichte des Neuronennetzes Kompandierungsparameter Fehlerrückführung in Matrischreibweise L-Stufen-MLP Regressionsaufgabe Methode der kleinsten Quadrate Algorithmus θ l,i = k l,k l,k θ l,i = k ξ l,k f l,k ( l ) θ l,i für alle } l =..L i =..I l Initialisiere die Parameterfelder A l und b l für l =..L 2 Initialisiere Akkumulatorfelder A l und b l zu Null f f 2 f l f l+ f L f L ξ 0 ξ ξ l ξ L ξ L Γ Γ 2 Γ l Γ l+ Γ L Γ L θ θ 2 θ l θ l+ θ L θ L Linearkoeffizienten = l,k = ξ l,k A l,j,k l,k A l,j,k Aktivierungschwellen b l,k = l,k l,k b l,k = ξ l,k A l,j,k b l,k ( ( b l,k + i b l,k + i A l,i,k l,i ) A l,i,k l,i ) = ξ l,k l,j = ξ l,k 3 Für alle Lernstichprobenpaare (, y) ω berechne... l = 0 a Vorwärtsvariable l = A l l + b l linear ϕ( l ) skalar L y l = L b Rückwärtsvariable ξ l = A l+ ξ l+ linear diag(ϕ( l )) ξ l+ skalar c Aktualisiere A l und b l um l ξ l bzw. ξ l 4 Verschiebe die alten Parameter in Gradientenrichtung 5 Abbruch oder weiter bei 2

10 Modellneuronen und ihre Verschaltung MLPs für Prädiktion, Etraktion, Klassifikation (MLP) neuralnet::neuralnet (formula, data, hidden=, algorithm= rprop+,...) dist MLP Prädiktion 'cars$dist' aus 'cars$speed' hidden layer sizes: 2 hidden layer sizes: 3 hidden layer sizes: 2 2 hidden layer sizes: speed dist Funktionsargumente formula Output/Input-Variablen data Datensatz hidden Zwischenschichtengrößen } algorithm return backprop, sag, slr rprop+, rprop- Objekt der Klasse nn -Programmcode require (neuralnet) s <- 00 H <- list (2, 3, c(2,2), c(2,3,2)) plot (cars, pch=9) for (j in seq_along(h)) o <- neuralnet ( dist speed, cars/s, H[[j]]) y <- compute(o,cars$speed/s)$net lines (cars$speed, y*s, col=+j) } plot (o, rep="best") Autoassoziatives neuralnet::neuralnet (formula, data, hidden=, algorithm= rprop+,...) Var3 cos Torsionsdatensatz Var Spiraldatensatz sin Var2 AANN(X, 2)[,2] AANN(X, 2)[,2] Autoassoziatives MLP (N,2,N) AANN(X, 2)[,] Autoassoziatives MLP (N,2,N) AANN(X, 2)[,] Funktionsargumente formula Output/Input-Variablen data Datensatz hidden Zwischenschichtengrößen } algorithm return backprop, sag, slr rprop+, rprop- Objekt der Klasse nn -Programmcode AANN <-function (X, k=2, sd=/3,...) require (neuralnet) X <- scale(x) * sd vn <- colnames(x) iv <- paste (vn, collapse="+") ov <- paste (paste ( vn,, sep="."), collapse="+") fo <- formula (paste (iv, " ", ov)) o <- neuralnet (formula=fo, data.frame(x,x), hid=k,...) compute(o,x)$neurons[[2]][,-] } Error:.6225 Steps: 23 Dreischichtenperzeptron (SHLP) nnet::nnet (, y, size, Wts, mask, linout, entropy, softma, censored, skip=false, MaNWts=000,...) guess guess ERROR: 22 [%] SHLP: hidden units = 0 true ERROR: 7 [%] SHLP: hidden units = 20 true guess guess ERROR: 9 [%] SHLP: hidden units = 5 true ERROR: 20 [%] SHLP: hidden units = 25 true Funktionsargumente, y Matri/Dataframe für E/A formula, data (Formelinterface) size verborgene Neuronen skip Kurzschlusskanten? Wts, MaNWts Startwerte, # ma return Objekt der Klasse nnet -Programmcode require (nnet) for (h in 5*2:5) o <- nnet (CLASS., df[[]], Wts=sin(:nwts), MaNWts=nwts, size=h) guess <- predict (o, df[[2]], type="class") plot (data.frame(true,guess), col=3+:4) }

11 Modellneuronen und ihre Verschaltung CAM Content-Addressable Memory Assoziatives Gedächtnis: Zugriffsschlüssel Datensatz Getaktete Neuronen mit diskreten Zuständen k (t), +}, t IN, k N Nichtlineare Systemdynamik t t+ k (t + ) = sign j w jk j (t) MLPs für Prädiktion, Etraktion, Klassifikation Berechnung eines Gleichgewichtszustandes (Äquilibrium) u: u( 0 ) def = lim t (t) Zustandsraum 0, } N zerfällt in Attraktionsbassins: = y u y Hopfield-Netze Vollständig verschaltetes CAM mit symmetrischer Gewichtmatri Hebb sche Lernregel Definition Das dynamische System mit dem Zustandsübergang N k (t + ) = sign w jk j (t), t IN, k =,..., N j= mit der symmetrischen Gewichtmatri W heißt Hopfield-Netz. Es definiert eine (partielle) Abbildung, +} N, +} N u : z lim (t) (0)=z t im Raum der N-dimensionalen Binärmuster. Lemma Zur Speicherung von K Prototypen y,..., y K sind die Gewichte w jk proportional zum Aktivierungsratenprodukt der vernetzten Neuronen zu wählen: Unter der Voraussetzung w jk = K y λ,j y λ,k λ= K 0.38 N hinreichender Kapazität ist dann jeder Prototyp ein Äquilibrium des gelernten Netzwerks.

12 Hopfield-Netze Beispielanwendung (John S. Denker, 986) Beweis. Für Gleichgewichtspunkte = sign(w ) gilt: w jk j j = j Für einen Prototypen = y ν gilt insbesondere w jk y ν,j j = j y λ,j y λ,k y ν,j λ y λ,j y λ,k j λ = N y ν,k + j y λ,j y λ,k y ν,j y ν ist Gleichgewichtspunkt, wenn der rechte Term betragsmäßig kleiner als N ist. λ ν Telefonbucheinträge (25 Zeichen/Zeile, 5 Bit/Zeichen) John Stewart Denker 828 Lawrence David Jackel 7773 Richard Edward Howard 5952 Wayne P. Hubbard 7707 Brian W. Straughn John Henry Scofield 809 Erfolgreicher Zugriff t E = W CAM-Zustand john s john sdewirubneoimv john sdewirtbnenimv john sdewirtbnenimv john sdewirt nenkmv john sdewart denker john stewart denker 828 Erfolgloser Zugriff t E = W CAM-Zustand garbage garbagee lafj naabd garbaged derjd naabd garbaged derjd naabd gasbafed derjd naabd gasbabed derjd naabd fasjebad derjd naabd fasjebad derjd naabd fasjeb d derjd naabd 773 Zeitverzögerungsnetzwerke TDNN time-delayed neural networks W W W W W Simulation rekurrenter Netzwerke Das Verhalten eines rekurrenten Netzwerks mit ausschließlich einfachen Zyklen k k, k N kann im Rahmen eines T -Takte-Gedächtnisses durch ein Feed-Forward-Netz mit T N Neuronen simuliert werden. Zusammenfassung (8). Das Modellneuron kombiniert seine Eingangssignale und berechnet daraus sein Aktivierungsniveau. 2. Die Verschaltung der Modellneuronen ist durch das Nullenmuster der Gewichtmatri synaptischer Verbindungen definiert. 3. sind durch die Eistenz zyklischer Verbindungen charakterisiert und beschreiben dynamische Systeme, deren Verhalten durch die Attraktionsgebiete ihrer Fipunktzustände definiert ist. 4. Nichtrekurrente Netzwerke beschreiben pure Vorwärtsberechnungen und definieren durch die Zustände ihrer Eingabe- und Ausgabeneuronen eine nichtlineare Vektorabbildung. 5. Das einstufige Perzeptron ist nicht in der Lage, die logische XOR-Funktion zu lernen. 6. Ein mehrstufiges Perzeptron (MLP) mit mindestens vier Neuronenschichten gilt als (asymptotisch) universeller Approimator. 7. Jedes MLP mit differenzierbarer Aktivierungsfunktion kann mittels Error-Backpropagation-Algorithmus seine Gewichtmatri im Sinne kleinster Fehlerquadrate auf eine Lerndatenprobe optimieren. 8. Für die numerische Klassifikation verwendet man MLPs mit D Eingabeneuronen, K Ausgabeneuronen und einer der anvisierten Modellkapazität angemessenen Anzahl verborgener Neuronen.