Statistical Learning

Transkript

1 Statistical Learning M. Gruber KW 42 Rev.1 1 Neuronale Netze Wir folgen [1], Lec 10. Beginnen wir mit einem Beispiel. Beispiel 1 Wir konstruieren einen Klassifikator auf der Menge, dessen Wirkung man in Abb.1 rechts sehen kann. Auf der blauen Teilmenge soll er den Wert annehmen, auf der weißen den Wert. Als Bausteine stehen zwei Perzeptrons zur Verfügung, deren Wirkung in Abb.1 links bzw. mitte zu sehen ist. Wir konstruieren den Klassifikator im Stil eines neuronalen Netzes und wählen Bezeichnungen, die für neuronale Netze üblich sind. Abbildung 1: Zwei Perzeptrons (links und mitte) teilen die Inputmenge. Blaue Bereiche sind - Bereiche, weiße -Bereiche. Der Klassifikator rechts wird aus diesen Perzeptrons als neuronales Netz konstruiert. Typisch für neuronale Netze ist die hierarchische Schichtstruktur. Man stellt sich vor, dass ein Reiz aus der Eingabeschicht zu einem Signal für die nächste Schicht verarbeitet wird, das dort wieder einen Reiz auslöst usw.. Am Ende kommt in der Ausgabeschicht ein Signal an und löst einen Reiz aus. Unser neuronales Netz wird vier Schichten (layers) haben, numeriert mit Ð ¼. Aus Reizen Ü Ð der Schicht Ð werden Signale. Aus diesen gehen die Reize Ü Ðµ der Schicht Ð hervor. Alles wird durch Abbildungen realisiert. Eingabeschicht ist in unserem Fall die Menge. Die Komponente mit der Eins zählt als nullte Komponente. Nullte Komponenten werden zur Verrechnung von Schwellwerten (thresholds) genutzt. Im Signal steckt die Wirkung unserer Perzeptrons. Ist Perzeptron 1 die Abbildung Ü Ò Ù Ì Üµ und Perzeptron 2 die Abbildung Ü Ò ÙÌ Üµ, so ist Ï µ Ì Ü ¼µ mit Ï Ù Ù. Der von ausgelöste Reiz ist Ü µ Ò µ Ò µ Ì. Die Abbildung ist im Wesentlichen eine kompo- mit µ nentenweise Ò-Funktion. Der Übergang von Schicht Ð ¼ zu Schicht Ð wird durch Æ Ï µ Ì realisiert. 1

2 Wir sind nun in Schicht Ð, die zu den verborgenen Schichten (hidden layers) des neuronalen Netzes zählt. Der Übergang zur nächsten verborgenen Schicht Ð ist ähnlich. Er wird durch die Funktion µ Æ Ï µ µ Ì realisiert. Dabei ist µ und Ï µ Ì Ú Ú mit Ú Ì und Ú Ì. Sei Ü µ Ü µ µ Ï Ü µ µ Ì. In Komponente 1 von Ü µ erscheint genau dann, wenn Perzeptron 1 den Wert und Perzeptron 2 den Wert geliefert hat. In Komponente 2 erscheint genau dann, wenn Perzeptron 1 den Wert und Perzeptron 2 den Wert geliefert hat. liefert die Bestandteile einer XOR-Verknüpfung an Schicht Ð. Es fehlt nur noch die OR-Verknüpfung dieser Bestandteile. Die letzte Schicht (Ð ) ist die Ausgabeschicht. Den Übergang zu ihr vermittelt Ì und µ Ò. Die einspaltige Matrix Ï µ µ Æ Ï µ µ Ì. Hier ist Ï µ realisiert die OR-Verknüpfung. Die Ausgabeschicht hat keine nullte Komponente (man braucht keine mehr) und sie ist eindimensional. In ihr steht das Rechenergebnis des neuronalen Netzes. Die Funktion Æ Æ ist ein neuronales Netz mit einer Eingabeschicht, zwei verborgenen Schichten und einer Ausgabeschicht. Die Dimensionen der Schichten sind ¼µ µ, µ (nullte Komponenten zählen nicht). Die Funktion erfüllt die Anforderung genau. Sie klassifiziert fehlerlos. Im Unterschied zu unserem Beispiel sind bei Problemen, die mit neuronalen Netzen gelöst werden, nur die Eingabe- und Ausgabeschicht bekannt. Mit neuronalen Netzen bildet man eine unbekannte Funktion, die sich nur in Trainingsdaten dokumentiert, bestmöglich nach. Man hat ein Fehlermaß, das die Abweichung der Netzfunktion von auf der Trainingsmenge misst. Der Fehler wird minimiert, indem man optimale Gewichte Ï µ findet. Man braucht Differenzierbarkeit nach den Komponenten der Ï µ s. Statt der Ò-Funktion verwendet man deshalb glatte, Ò-artige Funktionen (soft thresholds), beispielsweise ØÒ. Definition 1 (Neuronales Netz, informell) Ein neuronales Netz ist eine Funktion, die zu einem Eingabevektor in Ä Schritten einen skalaren Ausgabewert zwischen und berechnet. Jeder Schritt ist eine Funktion Ð, Ð Ä die aus zwei Operationen besteht. Die eine, lineare, berechnet Signale, die andere, Ò-artige, verarbeitet die Signale zu Reizen oder. Die Anzahl Ä der Schritte und die Dimensionen е der Wertebereiche von Ð können für Ð Ä gewählt werden. Der Wertebereich von Ä ist eindimensional. Die linearen Operationen in den Ð enthalten die Parameter, über die man die Eigenschaften des neuronalen Netzes verändern und an Erfordernisse anpassen kann. Definition 2 (Neuronales Netz, formal) Ein neuronales Netz ist eine Funktion R ¼µ mit folgenden Eigenschaften: 1. Ä Æ Ä Æ Æ mit (a) R ¼µ, (b) РРе für Ð Ä, Ä (c) Ä (d.h. Ä ). Dabei sind die Dimensionen ¼µ Ä N Ò ¼ und ĵ. 2

3 2. Jedes Ð ist von der Form Рܵ е Ï Ðµ µ Ì Ü mit (a) Ï Ðµ R Ð R е für Ð Ä, (b) е R е е, µ е µ Ì für Ð Ä, (c) ĵ. Dabei ist eine Ò-artige glatte Funktion, z.b. ØÒ. Wie kann ein neuronales Netz trainiert werden? Gegeben sei eine Trainingsmenge Ü Ý Ü Æ Ý Æ. Sei die unbekannte Funktion, die die Trainingsmenge erzeugt hat (Ý Ò Ü Ò µ, Ò Æ). Sei das neuronale Netz, das mit möglichst gut übereinstimmen soll. Unser Fehlermaß muss von jenen Parametern abhängen, die wir variieren wollen, um den Fehler zu drücken, d.h. von den Koeffizienten der Ï Ï Äµ. Denken wir uns die Elemente dieser Matrizen in einem Vektor Û angeordnet und schreiben wir Ü Ûµ statt ܵ. Das passende Fehlermaß für unser Vorhaben ist ÖÖ in Ûµ Ü Ò Ûµ Ý Ò µ Æ ÒÆ Zur Minimierung des in-sample errors bietet sich das Gradientenabstiegsverfahren an. Bei der Berechnung des Gradienten muss nach Komponenten von Û differenziert werden. Unter anderem muss man auch differenzieren. Wir wählen µ ØÒ µ Diese Funktion ist für und für und hat zudem die schöne Eigenschaft ¼ µ µ Das klassische Grandientenabstiegsverfahren erfordert einen hohen Rechenaufwand, denn bei jeder Berechnung des Gradienten wird die gesamte Lernmenge ausgewertet. Bei neuronalen Netzen hat sich das stochastische Gradientenabstiegsverfahren als Alternative bewährt. Hier wird bei jedem Schritt ein Ò Æ zufällig bestimmt und der Gradient des Elementarfehlers Ò Ûµ Ü Ò Ûµ Ý Ò µ zur Berechnung des neuen Û herangezogen: Û neu Û alt Ö Ò Û alt µ Der Vollständigkeit halber geben wir an, wie Û konstruiert werden kann. Die Elemente der Matrix Ï Ðµ seien. Die Größe ist das Gewicht, mit dem die -te Komponente des Reizes Ü Ð multipliziert wird und damit zur -ten Komponente des Signals beiträgt. Man denke sich die Spalten zu einem Vektor aneinandergereiht. Die Vektoren denke man sich zum Vektor Û aneinandergereiht. Die Größe Ò Ûµ kann man von der Ð-ten Schicht aus berechnen, wenn man das Signal kennt, denn dann kann man weiterrechnen bis zur Ausgabeschicht. Also kann man Ò auch als Funktion des Signals auffassen und entsprechend differenzieren. Das wollen wir jetzt tun. Wir führen noch eine neue Bezeichnung ein: Æ Ðµ Ò µ 3

4 Im Fall Ð Ä gibt es nur ein, nämlich, und man erhält sofort Æ Äµ ĵ µ Ý Ò µ ĵ µ µ Schicht für Schicht kann man nun weiterrechnen. Angenommen, man hat Æ Ðµ ist mit Æ Ð Ò µ Wegen und ist µ Ð Ì Ðµ µ und Ò µ Ï Ðµ µ Ì Ð µµ Æ Ð µ Æ Ðµ е µ е Ì Æ Ðµ е schon. Dann µ Æ Ðµ µ µ е Ï Ðµ µ Ì Ð µµ µì Ð µ ¼ µ µ µ für Ð Ä (1) Die Beziehung (1) kennt man unter dem Namen back propagation. Damit haben wir nun ein effizientes Verfahren zur Berechnung des Û-Gradienten von Ò in der Hand. Es ist nämlich Ò Die Größe Ò µ ist Æ Ðµ und Ò ist einfach Ü Ð. (2) Beispiel 2 (Computer-Experiment) Mit dem neuronalen Netz aus Beispiel 1 wurde eine Trainingsmenge vom Umfang Æ ¼¼ erzeugt. Ein neuronales Netz mit zwei vierdimensionalen hidden layers wurde an den Daten trainiert. Ergebnis war eine Funktion mit Werten in, dessen Kontur man in Abb. 3 rechts sieht. Als Gewichtsmatrizen des neuronalen Netzes ergaben sich Ï Ï µ ¼ ¼¼ ¼ ¼ ¼ ¼¼ ¼¼ ¼ ¼ ¼¼ ¼ ¼¼¼ ¼¼ ¼ ¼ ¼¼ ¼ ¼ ¼ ¼¼ ¼ ¼ ¼¼ ¼¼¼ ¼¼ ¼ ¼¼ Ï µ ¼ ¼ 4

5 Abbildung 2: Trainingsmenge. Der Lernkoeffizient für den stochastischen Grandientenabstieg war ¼. Die Iteration wurde beendet, sobald das Norm-Quadrat des Gradienten den Wert ¼ ¼ unterschritt. Die obere Schranke für die Anzahl der Iterationen war ¼ Abbildung 3: Trainingsmenge und Konturplot des neuronalen Netzes. Literatur [1] Y. S. Abu-Mostafa. Learning from Data. Caltech CS