Computational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20

Transkript

1 Gliederung / Künstliche Neuronale Netze Perzeptron Einschränkungen Netze von Perzeptonen Perzeptron-Lernen Perzeptron Künstliche Neuronale Netze Perzeptron 3 / Der Psychologe und Informatiker Frank Rosenblatt (98-969) entwickelte 957 das Konzept des Perzeptrons. Charakteristika n reellwertige Eingänge x R n n reellwertige, variable Gewichte w R n Reeller Schwellwert θ Nichtlineare Aktivierungsfunktion: f a ( x, w) = sign ( w T x θ ) ( n ) = sign w i x i θ Ausgabefunktion: Identität id( ) Demzufolge bipolare Ausgabe (aktiviert () oder nicht aktiviert (-)) i=

2 Künstliche Neuronale Netze Perzeptron 4 / Signalfluss im Perzeptron Mit explizitem Schwellwert x... w w w n - z f a f o y x n Äquivalenter Signalfluss mit implizitem Schwellwert x =- w = x... w w w n z f a f o y x n Künstliche Neuronale Netze Perzeptron 5 / Funktionsprinzip des Perzeptrons Ein Perzeptron klassifiziert Eingangsbelegungen in die zwei Klassen C und C Die Klassifikation erfolgt durch Separation an einer (n )-dimensionalen Hyperebene Mit explizitem Schwellwert definiert durch y( x) = w T x θ = n w i x i θ = i= Mit implizitem Schwellwert definiert durch y( x) = w T x = n w i x i = i= Die Ausgabe / Zuordnung erfolgt gemäß der Signum-Funktion { falls y( x) = w x θ (d.h. x wird C zugeordnet) y = sonst (d.h. x wird C zugeordnet) Durch ein einzelnes Perzeptron klassifizierbare Eingangsbelegungen heißen linear separierbar

3 Künstliche Neuronale Netze Perzeptron 6 / Modellierung Boolescher Funktionen Ziel Modelliere einfache Boolesche Funktionen mit einem Perzeptron AND OR Implikation... Kodierung (False) wird als kodiert (True) wird als + kodiert Künstliche Neuronale Netze Perzeptron 7 / Beispiele Perzeptron zur Modellierung der Konjunktion x x x x x + y y Perzeptron zur Modellierung der Implikation x x x x x y - - y

4 Künstliche Neuronale Netze Perzeptron 8 / Geometrische Interpretation Perzeptron zur Modellierung der Konjunktion x x y - x Perzeptron zur Modellierung der Implikation x x y x Einschränkungen Künstliche Neuronale Netze Einschränkungen 9 / Biimplikation x : Es existiert keine separierende Gerade x x ? x Beweis wegen (, ) : w w θ () wegen (, ) : w w < θ () wegen (, ) : w + w < θ (3) wegen (, ) : w + w θ (4) () und (4) : θ widerspricht () und (3) : < θ

5 Künstliche Neuronale Netze Einschränkungen / Lineare Separierbarkeit Wieviele linear separierbare Funktionen existieren? Eingänge Boolesche Funktionen Linear separierbare Funktionen , ,8 9 5, 6 Beobachtung count ls count bf Bei vielen Eingänge kann ein.8 Perzeptron kaum noch Funktionen.6 berechnen.4 Netzwerke von Neuronen werden. benötigt, um diese Einschränkung zu überwinden i Dekomposition Idee Künstliche Neuronale Netze Netze von Perzeptonen / Logische Dekomposition: x (x ) ( x ) Löse das Biimplikationsproblem mit einem Netzwerk x - - Berechnet y = x y = x - - Berechnet y = x Berechnet y = y y

6 Künstliche Neuronale Netze Netze von Perzeptonen / Geometrische Interpretation der Dekomposition Die erste Schicht transformiert die Koordinaten der Punkte Nach der Transformation sind die Punkte linear separierbar Schicht Schicht P g P 3 P y P, P 3 - g - y x P - P P Künstliche Neuronale Netze Netze von Perzeptonen 3 / Darstellung beliebiger Boolescher Funktionen Algorithmus Sei y = f (x,..., x n ) eine Boolesche Funktion mit n Variablen Wandle f (x,..., x n ) in die disjunktive Normalform. Bestimme also D f = K K m, wobei alle K j Konjunktionsterme aus n Literalen sind, d.h. K j = l j l jn mit l ji = x i (nichtnegiertes Literal) oder l ji = x i (negiertes Literal). Erzeuge für jeden Konjunktionsterm K j der disjunktiven Normalform ein Neuron mit je n Eingängen, d.h. einem pro Variable, wobei { falls l ji = x i w ji = und θ j = n sonst 3 Erzeuge ein Ausgabeneuron mit m Eingängen, also je einem für die in Schritt erzeugten Neuronen, wobei w (n+)k =, k =,..., m und θ n+ = m +.

7 Perzeptron-Lernen Künstliche Neuronale Netze Perzeptron-Lernen 4 / Wie sind die Gewichte des Perzeptrons zu belegen? Geometrische Interpretation ermöglicht die Konstruktion eines Perzeptrons mit oder 3 Eingängen, aber Keine automatisierte Methode (basiert auf menschlicher Visualisierung) Für mehr als 3 Dimensionen nicht anwendbar Automatisiertes Lernen: Perzeptron-Lernalgorithmus Iterativer Prozess Beginne mit zufälliger Belegung Überprüfe alle Eingangsbelegungen auf Fehlklassifikationen, passe in diesen Fällen die Gewichte entsprechend an Iteriere den Vorgang bis alle Fehlklassifikationen verschwinden Überwachtes Lernen Nur linear separierbare Daten können klassifiziert werden Künstliche Neuronale Netze Perzeptron-Lernen 5 / Perzeptron-Lernalgorithmus Datenstruktur Eingangsvektor mit implizitem Schwellwert x = (, x,..., x n ) T Gewichtsvektor mit implizitem Schwellwert x = (θ, w,..., w n ) T Trainingsdaten X = { x,..., x k x i C } X = {,..., l i C } X = X X Annahme Ziel Die Klassen C und C sind linear trennbar Somit existiert ein Gewichtsvektor w T, so dass w T x i für jedes Trainingsbeispiel aus Klasse C w T i < für jedes Trainingsbeispiel aus Klasse C Finde einen Gewichtsvektor w T, so dass obige Ungleichungen gelten

8 Künstliche Neuronale Netze Perzeptron-Lernen 6 / Perzeptron-Lernalgorithmus Lernprozedur Die Präsentation von Trainigsbeispielen wird in Epochen gezählt In jeder Epoche werden alle Trainigsbeispiele präsentiert Lernregel Wird ein Trainingsbeispiel x richtig klassifiziert, behalte die Gewichte bei w (i+) = w (i) falls ( w (i) ) T x und x C w (i+) = w (i) falls ( w (i) ) T x < und x C Wird ein Trainingsbeispiel x falsch klassifiziert, modifiziere die Gewichte w (i+) = w (i) η (i) x falls ( w (i) ) T x und x C w (i+) = w (i) + η (i) x falls ( w (i) ) T x < und x C Lernrate η (i) Künstliche Neuronale Netze Perzeptron-Lernen 7 / Offensichtlich gilt < η (i) Große Lernrate Gewichte werden stark geändert ( schnelle Änderung) Kann zur Fehlklassifikation bereits richtig klassifizierter Trainingsbeispiele führen Kleine Lernrate Gewichte werden geringfügig geändert ( langsame Änderung) Starke Mittelung über bereits präsentierte Trainingsbeispiele Variabilität der Lernrate Gilt η (i) = η ist die Lernrate konstant Üblich ist auch eine monoton fallende Lernrate, entweder über alle Lernschritte i oder über die Epochen

9 Künstliche Neuronale Netze Perzeptron-Lernen 8 / Perzeptron-Lernalgorithmus Algorithmus Erzeuge einen zufälligen Gewichtsvektor w () Solange fehlklassifizierte Trainingsbeispiele existieren: Wähle ein Trainingsbeispiel x X Bestimme die Soll-Ausgabe { + falls x zur Klasse C gehört d = falls x zur Klasse C gehört ( ) 3 Berechne die Ausgabe y = sign ( w (i) ) T x 4 Aktualisiere das Gewicht w (i+) = w (i) + η(d y) x 5 i = i + Künstliche Neuronale Netze Perzeptron-Lernen 9 / Repräsentierbarkeit und Lernfähigkeit Repräsentierbarkeit Die Möglichkeit der Modellierung einer vorgegebenen Funktion durch ein neuronales Netz Abhängig von der Topologie des Netzes, der Aktivierungs- und der Ausgabefunktion Lernfähigkeit Fähigkeit eines neuronalen Netzes eine repräsentierbare Funktion zu lernen (d.h. passende Gewichte und Schwellenwerte zu finden) Abhängig vom Lernalgorithmus Perzeptron-Konvergenztheorem [Rosenblatt] Der Lernalgorithmus des Perzeptrons konvergiert in endlicher Zeit, d.h. das Perzeptron kann in endlicher Zeit alles lernen, was es repräsentieren kann.

10 Künstliche Neuronale Netze Perzeptron-Lernen / Beispiel zum Klassifikationsfehler Perzeptron zur Modellierung der Negation x w x θ y x y - - Ausgabefehler als Funktion von Gewicht und Schwellwert.75.5 e.5 Θ w.75.5 e.5 Θ w e.5.5 Θ w Fehler für x = Fehler für x = Gesamtfehler