% ' ' & w 1. x 1 M $ # w = x n. w n.,l,x n. x T = (x 1. x i. w i. Treppenfunktion H (Heavisidefunktion) als Aktivierungsfunktion

Transkript

1 Perzeptron (mit Gewichten w 1,..., w n und Schwellwert θ, an dessen Eingänge Werte x 1,...,x n angelegt worden sind) x 1 w 1 θ x n w n Eingabewerte x 1,...,x n (reelle Zahlen, oft zwischen 0 und 1, manchmal binär 0 oder 1) Gewichte w 1,...,w n (reelle Zahlen) Schwellwert θ (reelle Zahl) Eingabevektor x und Gewichtevektor w (Spaltenvektoren) x = M x 1 x n % ' ' & w = M w 1 w n % ' ' & ransponierter Eingabevektor (Zeilenvektor) x = (x 1,L,x n ) Skalarprodukt zwischen x und w (mit zwei dafür gebräuchlichen Schreibweisen) x w = x,w = n i= x i w i Nettoinput net als Funktion von x, w, also genauer net(x,w): net = net(x,w) = x w = x,w = n i=1 x i w i reppenfunktion H (Heavisidefunktion) als Aktivierungsfunktion H(z) = 1 fallsz 0 % 0 fallsz < 0

2 liefert den Ausgabewert y in Abhängigkeit von x, w, und θ : y = y(x,w,) = H(net(x,w) ) Explizit also: % n 1 falls x i w i ' i=1 y = y(x,w,) = & n ' 0 falls x i w i < (' i=1 Die Festlegung H(0) = 1 ist recht willkürlich. Zusammenfassung: Ein Perzeptron liefert den Ausgabewert 1 (es feuert), falls die gewichtete Summe x w mindestens den Wert θ hat, ansonsten liefert es den Ausgabewert 0 (es geht oder bleibt in Ruhe). Wir können auf Schwellwerte θ verzichten (genauer gesagt, durch Schwellwert 0 ersetzen), indem wir die Dimension n um 1 erhöhen und Inputs und Gewichte wie folgt verändern: x 1 w 1 0 w n x n θ 1 Dies macht manche mathematische Formel etwas eleganter und bezieht auch Schwellwerte in den Vorgang der Adaption (via negatives Extragewicht) mit ein.

3 Eine Perzeptron-Lernaufgabe in der Dimension n besteht aus einer endlichen Menge P sog. positiver Vektoren der Dimension n (auch Punkte genannt) und einer zu P disjunkten endlichen Menge N sog. negativer Vektoren der Dimension n. Beispiel in der Dimension 2 (positive Punkte blau, negative Punkte rot): Beispiel in der Dimension 11: Welche der 11 Bauklötzchen aus der vorigen Vorlesungsstunde (siehe auch Skriptum Sperschneider) in einem Baukasten vorhanden sind, wird durch ein Bit 1 an der jeweiligen Vektorkomponente kodiert. Eine Lernaufgabe P, N in der Dimension n wird durch ein Perzeptron mit Gewichtevektor strikt gelöst, falls gilt: w = M w 1 w n % ' ' & x(x P x w > 0) x(x N x w < 0) Geometrische Veranschaulichung: Gewichtevektor w definiert, sofern es sich nicht um den Nullvektor handelt, im n-dimensionalen reellen Raum eine durch den Nullpunkt gehende Hyperebene

4 H(w) = { x R n x w = 0} Im 2-dimensionalen Fall ist H(w) eine Gerade, außer w ist der Nullvektor. Im 3- dimensionalen Fall ist H(w) eine Ebene, außer w ist der Nullvektor. Der durch w definierte positive Halbraum ist Der durch w definierte negative Halbraum ist H pos (w) = { x R n x w > 0}. H neg (w) = { x R n x w < 0}. Im Falle einer Lösung liegen die positiven Punkte im positiven Halbraum und die negativen Punkte im negativen Halbraum: P H pos (w) N H neg (w) Man sagt, auch, dass die Hyperebene P und N linear trennt. Das obige Beispiel in der Dimension 2 ist eine Lernaufgabe, die offensichtlich nicht strikt lösbar ist. rainieren eines Perzeptrons auf eine Lernaufgabe (Perzeptronalgorithmus) Gegeben sei eine Lernaufgabe P, N in der Dimension n. Wenn es in P einen Punkt x mit x w 0 gibt, so sollte man durch eine Adaption der Gewichte versuchen, das Skalarprodukt zu vergrößern. Ein einfacher Weg wäre, jede Komponente von w um den Wert 1 zu vergrößern (und dies ggfs. mehrmals zu wiederholen). Wenn es in N einen Punkt x mit x w 0 gibt, so sollte man durch eine Adaption der Gewichte versuchen, das Skalarprodukt zu vergrößern. Ein einfacher Weg wäre, jede Komponente von w um den Wert 1 zu verkleinern (und dies ggfs. mehrmals zu wiederholen). Der beschriebene simple Ansatz für eine Gewichteadaption ist leider wenig brauchbar, wie das folgende Beispiel zeigt:

5 ( P = 1 % + ) ', * 0& - ( N = 1 % + ) ', * 1& - Wir starten mit Gewichtevektor w(0) = 0.5 & % (. Wir berechnen und adptieren: 0.25' w(0) = 0.5 & % ( 0.25' 1 % ' w(0) = (0.5 < 0 0& w(1) = w(0) + 1% ' = 0.5 % ' 1& 0.75& 1% ' w(1) = 0.5 > 0 0& falsch Adaption richtig 1% ' w(1) =1.25 > 0 1& falsch w(2) = w(1) 1 & % ( = 0.5 & % ( 1' 0.25' Adaption 1% ' w(2) = (0.75 < 0 1& richtig Leider drehen wir uns im Kreise, da wir mit w(2) wieder w(0) hergestellt haben. Das undifferenzierte Vergrößern (Verkleinern) aller Gewichte ist ja auch nicht wirklich sinnvoll: Ist eine der Komponenten von x, beispielsweise x i, gleich 0, so bewirkt eine Veränderung von w i ja sowieso nichts. Wir sollten nur diejenigen w i um den Wert 1 vergrößern (vergrößern), für die x i = 1 gilt. In Vektorausdrucksweise heißt das: Für x P und x w 0, ersetze w durch w + x. Für x N und x w 0, ersetze w durch w x.

6 In dem obigen Beispiel würde nun das Folgende passieren: w(0) = 0.5 & % ( 0.25' 1 % ' w(0) = (0.5 < 0 0& w(1) = w(0) + 1% ' = 0.5 % ' 0& (0.25& 1 % ' w(1) = 0.25 > 0 0& falsch Adaption richtig 1 % ' w(1) = 0.25 > 0 1& falsch w(2) = w(1) 1 & % ( = 0.5 & % ( Adaption 1' 1.25' 1% ' w(2) = (1.75 < 0 1& 1% ' w(2) = (0.5 < 0 0& w(3) = w(2) + 1 % ' = 0.5 % ' 0& (1.25& 1% ' w(3) = 0.5 > 0 0& 1% ' w(3) = (0.75 < 0 1& richtig wieder falsch Adaption richtig immer noch richtig Nun sind wir fertig. Anregung: Der Leser möge einen entsprechenden Ablauf für den Startvektor w(0) = ( 0 0) durchrechnen und verifizieren, dass wiederum nach endlich vielen Schritten eine Lösung entsteht. Das ist kein Zufall gewesen. Zunächst formulieren wir den Perzeptronalgorithmus:

7 t = 0; w(t) wird beliebig initialisiert; WHILE w(t) ist noch keine Lösung für P, N DO waehle x in P mit x w 0 und setze w(t + 1) = w(t) + x oder waehle x in N mit x w 0 und setze w(t + 1) = w(t) x; t = t + 1; END Perzeptronkonvergenztheorem: Wenn P, N eine strikt lösbare Lernaufgabe ist, so endet der Perzeptonalgorithmus nach endlich vielen Schritten mit einem Gewichtevektor, der die Lernaufgabe strikt löst. Dies gilt für jeden beliebigen Startvektor w(0) und unabhängig davon, welcher Punkt nach t Schritten von w(t) zu w(t + 1) geführt hat. Beweis: Es sei w ein Gewichtevektor mit x(x P x w > 0) x(x N x w < 0). Einen solchen Vektor gibt es, wir möchten nun aber sogar einen solchen auch noch konkret durch den Perzeptronalgorithmus berechnen lassen. Wir benötigen im Beweis noch folgende positive reelle Zahl: = min x P U N x w Nun lassen wir den Perzeptronalgorithmus ablaufen. Für jeden in seinem Verlauf erzeugten Gewichtevektor w(t) rechnen wir durch vollständige Induktion nach der Schrittzahl t zwei Abschätzungen nach, nämlich: w w(t) w w(0) + t w(t) w(t) w(0) w(0) + tn Für t = 0 sind die Abschätzungen trivialer Weise korrekt. Seien sie schon für t verifiziert und es werde w(t + 1) gebildet.

8 Fall 1: w(t + 1) = w(t) + x mit x P und x w(t) 0. Dann folgt: w w(t +1) = w (w(t) + x) = w w(t) + w x w w(0) + t + w x (Induktionsvoraussetzung) w w(0) + t + (da x P) = w w(0) + (t +1) w(t +1) w(t +1) = (w(t) + x) (w(t) + x) = w(t) w(t) + 2w(t) x + x x w(0) w(0) + tn + 2w(t) x + x x (Induktionsvoraussetzung) w(0) w(0) + tn + x x (da w(t) x 0) w(0) w(0) + tn + n w(0) w(0) + (t +1)n Fall 2: w(t + 1) = w(t) - x mit x N und x w(t) 0. Dann folgt: w w(t +1) = w (w(t) x) = w w(t) w x w w(0) + t w x (Induktionsvoraussetzung) w w(0) + t + (da x % N) = w w(0) + (t +1) w(t +1) w(t +1) = (w(t) x) (w(t) x) = w(t) w(t) 2w(t) x + x x w(0) w(0) + tn 2w(t) x + x x (Induktionsvoraussetzung) w(0) w(0) + tn + x x (da w(t) x 0) w(0) w(0) + tn + n w(0) w(0) + (t +1)n

9 Nun benötigen wir die Cauchy-Schwarz sche Ungleichung (Beweis siehe Exkurs dazu), in der von der Norm von Vektoren die Rede ist: 2 Norm eines Vektors w = w w Cauchy-Schwarz sche Ungleichung x y x y n 2 = 2 w i i=1 Damit ergibt sich die folgende Ungleichunsgkette: w w(0) + t w w(t) w w(t) w w(t) w 2 w(0) 2 + tn Die linke Seite wächst linear mit t, die rechte Seite im Wesentlichen linear mit der Wurzel von t. Da ε positiv ist, gibt es ein letztes t, für das die Abschätzungskette noch gültig sein kann. Da kein w(t + 1) mehr erzeugt wird, heißt das, dass der Gewichtevektor w(t) die Lernaufgabe strikt gelöst haben muss. Frage: Wenn wir explizite Schwellwerte wieder reaktivieren würden, wie würde der Perzeptronalgorithmus dann in jedem Schritt den aktuellen Schwellwert updaten? Diverse Hintergrundinformationen zum Perzeptronlernen (ohne Beweise aus gutem Grund) 1.) Gegeben sei ein Perzeptron mit Gewichtevektor w und eine Lernaufgabe P, N. Wir definieren wir für jeden Vektor x in P oder N folgenden Fehlerterm δ(x): ( +1 falls x P x w % 0 * (x) = )&1 falls x N x w ' 0 * + 0 sonst Die anschauliche Beschreibung ist, dass δ(x) für jeden Vektor x mit x w 0 die Differenz zwischen dem gewünschten Klassifikationswert d(x) ( desired ) und dem vom Perzeptron abgelieferten Klassifikationswert y(x) angibt, wenn wir definieren:

10 d(x) = 1 x P % 0 x N y(x) = 1 x w > 0 % 0 x w < 0 &(x) = d(x) ' y(x) Nun kann man den Lernschritt des Perzeptronalgorithmus im t-ten Schritt bei ausgewähltem Vektor x auch so schreiben: w(t +1) = w(t) + (x) x w(t +1) w(t) = (x) x %w(t) = (x) x Die Formel würde auch für ein ausgewähltes, bereits korrekt behandeltes x Sinn machen: Hier wäre δ(x) = 0, es fände also keine Gewichteänderung statt. Komponentenweise geschrieben lautet die Lernregel: w i (t) = (x) x i Diese Form von Lernregel nennt man die δ-regel. Sie besagt, dass das Gewicht zwischen zwei Neuronen (hier Inputneuron und Ausgabeneuron) sich um das Produkt zwischen dem Aktivierungswert des präsynaptischen Neurons und dem Fehlerterm des postsynaptischen Neurons ändert: x i Δw ji = x i δ j δ j präsynaptisches Neuron postsynaptisches Neuron Insbesondere wird ein Gewicht nur verändert, wenn sein präsynaptisches Neuron aktiv war (Wert 1 hatte). Dies kennt man von natürlichen neuronalen Netzen, beispielsweise auch bei der berühmten Hebb schen Lernregel (siehe später). Der Fehlerterm des postsynaptischen Neurons gibt das Vorzeichen der Gewichteänderung an (und später auch noch die Größenordnung, die hier stets fest bei 1 lag). Ob auch diesem Verhalten ein kognitives Korrelat entspricht, weiß zumindest ich nicht.

11 2.) Wie lange braucht der Perzeptronalgorithmus im schlimmsten Fall (worst case), bis im Falle einer strikt lösbaren Lernaufgabe ein passender Gewichtevektor w(t) gefunden wird? Da die Wahl des Startvektors w(0) frei stand, nehmen wir den einfachstmöglichen, den Nullvektor. Rechnen wir das maximale t aus, zu dem die linear wachsende Komponente der obigen Ungleichung noch kleiner oder gleich der mit der Wurzel aus t wachsenden Komponente ist: 2 t = w tn t = w 2 n 2 Das nützt uns leider aber gar nichts, denn wir kannten ja weder w noch ε. Eine aufwändige mathematische Analyse würde zeigen, dass man t durch einen exponentiellen erm in n und den Komponenten der Vektoren der Lernaufgabe beschränken könnte. Im Falle binärer Eingabevektoren kann man die etwas einfachere Laufzeitabschätzung (n +1) 2 (n +1) n +1 beweisen. 3.) Immerhin können wir nach dieser exponentiellen Schrittzahl den Algorithmus beenden: Hat er bis dahin keinen strikt lösenden Gewichtevektor gefunden, so kommt auch später keiner mehr: Die Lernaufgabe ist nicht strikt lösbar. 4.) Praktische Erfahrungen zeigen dagegen, dass bei vielen lösbaren Lernaufgaben die Laufzeit des Perzeptronalgorithmus dramatisch kurz ist. Ein solches Beispiel ist die Baukastenaufgabe. 5.) Dennoch sind nicht alle lösbaren Lernaufgaben so harmlos. Mit einigem Aufwand kann ein Komplexitätstheoretiker folgendes beweisen: Es gibt eine fixe Konstante c > 0 und in jeder Dimension n eine strikt lösbare ( bösartige ) Lernaufgabe mit der Eigenschaft, dass jeder diese Lernaufgabe strikt lösende Gewichtevektor mindestens eine Komponente hat, deren Betrag mindestens c2 n groß ist. Starten wir den Perzeptronalgorithmus mit dem Nullvektor, so muss er mindestens c2 n Schritte machen, da in jedem Schritt jede Komponente des aktuellen Gewichtevektors maximal um den Wert 1 verändert wird. Wie eine solche bösartige Lernaufgabe aussieht, können Sie im Skriptum Sperschneider auf Seite 21 nachlesen.

12 6.) Könnte man die Unlösbarkeit einer Lernaufgabe vielleicht auch noch anders erkennen, als exponentiell viele Schritte zu machen. Ja, das sagt das folgende Perzeptronzyklustheorem: Ist eine Lernaufgabe nicht strikt lösbar, so erzeugt der Perzeptronalgorithms, mit dem Nullvektor startend, garantiert einen Gewichtevektor ein zweites Mal. Der Beweis zeigt, dass man die Norm der erzeugten Gewichtevektoren beschränkt bleibt. (Diese Aussage ist nicht etwa trivial, wie man auf den ersten Blick meinen könnte; der Grund ist, dass manche der rainingsvektoren durchaus mehrmals zum Gewichtevektor addiert oder von ihm subtrahiert werden können, wie eines der vorigen simplen Rechenbeispiele bereits zeigte.) Da somit die Menge aller möglichen erzeugbaren Gewichtevektoren eine endliche Menge ist, muss es zu der besagten Wiederholung kommen. Und hat man einmal eine solche entdeckt, weiß man um die Unlösbarkeit der Lernaufgabe. Somit muss man nur alle Gewichtevektoren abspeichern und immer mit dem aktuellen Gewichtevektor vergleichen. Das ist von der Laufzeit gesehen ebenfalls nicht unbedingt berauschend (und dazu noch extrem speicherplatzintensiv). 7.) Um nicht alle jemals erzeugten Gewichtevektoren abspeichern zu müssen, würde sich folgendes simple Vorgehen aufdrängen. Wir merken uns in der Westentasche stets den Gewichtevektor w pocket, der bislang die meisten rainingsvektoren korrekt klassifiziert hat. Stellen wir fest, dass der aktuelle Gewichtevektor w(t) mehr rainingsvektoren korrekt klassifiziert als der Westentaschenvektor, so wird w(t) zum neuen Westentaschenvektor. Nennen wir diesen Algorithmus den Pocket-Algorithmus. Ob man dabei jemals einen optimalen Westentaschenvektor erreicht, also einen, der die maximal mögliche Anzahl an korrekt klassifizierten rainingsvektoren aufweist, hängt von der Auswahl der im jeweiligen Schritt des Perzeptronalgorithmus zum Gewichteupdate verwendeten rainingsvektoren ab. Wir setzen voraus, dass die Lernaufgabe aus Vektoren mit ganzzahligen Einträgen besteht (diese technische Voraussetzung, die nicht besonders gravierend ist, wird im Beweis des folgenden heorems benötigt) und wählen in jedem Schritt unter den aktuell noch falsch klassifizierten rainingsvektoren irgendeinen zum Gewichteupdate nach Gleichverteilung aus. Nun kann man die folgende Aussage beweisen:

13 Pocket-Konvergenztheorem: Zu der gewünschten Konfidenz δ < 1 gibt es eine Schrittzahl (δ), sodass mit Wahrscheinlichkeit mindestens δ ( Wahrscheinlichkeit bezieht sich auf die Zufallsauswahl der verwendeten rainingsvektoren) nach (δ) vielen Schritten ein optimaler Westentaschenvektor erreicht ist. Je näher δ bei 1 liegt, umso größer wird (δ) sein. Über die Größenordnung von (δ) ist nichts ausgesagt. Das folgende heorem aber besagt, dass wir im worst case mit langen Laufzeiten rechnen müssen. 9.) Den Pocket-Algorithmus könnten wir vorzeitig abbrechen, wenn wir für eine Lernaufgabe die maximal mögliche Anzahl k korrekt klassifizierbarer rainingsvektoren bestimmen könnten. Haben wir diese Anzahl mit dem Westentaschenvektor einmal erreicht, so können wir stoppen. Leider aber gilt: heorem: Selbst für binäre Lernaufgaben (das sind solche, bei denen die Vektoren nur Komponenten 0 oder 1 haben) ist das Problem zu entscheiden, ob es zu einer Zahl k einen Gewichtevektor gibt, der mindestens k der rainingsvektoren korrekt klassifiziert, ein NPvollständiges Problem. Was dabei NP-vollständig heißt, lernen wir in einem mathematischen Exkurs demnächst kennen. Intuitiv bedeutet es, dass es eine sehr starke Evidenz gibt, dass es für das beschriebene Problem keinen Entscheidungsalgorithmus mit polynomieller Laufzeit gibt. Der Beweis ist nicht ganz trivial und wird deshalb übergangen. 10.) Ein ganz einfaches Lernproblem, welches nicht strikt lösbar ist, ist das XOR-Problem: ( P XOR = 1 % 0& ', 0 % + ) 1 ', * &- ( N XOR = 1 % 1& ', 0 % + ) 0 ', * &-

14 Es ist offensichtlich, dass eine lineare rennung nicht möglich ist. 11.) Bislang haben wir gelernt, dass der Perzeptron-Algorithmus in vielen natürlichen, lösbaren Anwendungsaufgaben gut funktioniert, ansonsten aber eher Anlass zu Sorge gibt. Erstaunlicherweise liegt dass nicht an der Problemstellung als solcher, denn von dieser weiß man seit längerem, dass sie durch einen Algorithmus mit polynomieller Zeit lösbar ist. Der erste solche Algorithmus war der von Khachyian, ein verbesserter kam von Karmarkar (1984). Unser Problem ist kein anderes als das berühmte Problem der linearen Programmierung. Die genannten Algorithmen haben eine Laufzeit von O(n 7 2 ). 12.) Selbst vor diesen polynomiellen Algorithmen kam man in der Praxis lineares Programmieren ist ein für die Praxis ungemein wichtiges Problem ganz gut zu Recht, und zwar mit Hilfe des berühmten Simplex-Algorithmus. Dass man trotzdem Algorithmen wie den Perzeptron-Algorithmus studiert, hat mehrere Gründe: O(n 7 2 ) ist nicht besonders gut, während der Perzeptron-Algorithmus oft sehr schnell ist; der Perzeptron-Algorithmus hat via δ-regel eine gewisse kognitive Adäquatheit; der Perzeptron-Algorithmus ist Vorbild für spätere kompliziertere Lernalgorithmen.