Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs)

Transkript

1 6. Neuronale Netze

2 Motivation Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) Abstrakt betrachtet sind alle diese Verfahren in der Lage, eine mathematische Funktion (d.h. Abbildung) zu lernen im Fall von Regression f : R m! R im Fall binärer Klassifikation f : R m! {0, 1} 2

3 Neuronale Netze Künstliche neuronale Netze (artificial neural networks) werden seit den 1940ern als Modell zur Darstellung mathematischer Funktionen erforscht Neuronale Netze unterstützen sowohl Regression als auch Mehrklassen-Klassifikation (z.b. zum Erkennen von Hand geschriebener Ziffern) Renaissance neuronaler Netze in den letzten 5 Jahre: Fortschritte bei tiefen Architekturen (deep learning) und deren Training mit GPUs 3

4 Gehirn als Inspiration Menschliches Gehirn besteht aus ca Nervenzellen (Neuronen), die über Dendriten und Neuriten miteinander verbunden sind Dendriten nehmen Erregung von anderen Zellen auf Neuriten geben Erregung an andere Zellen weiter 4

5 Inhalt 6.1 Perzeptron 6.2 Feed-Forward Netze 6.3 Back Propagation 6.4 Konvolutionale neuronale Netze 6.4 Rekurrente neuronale Netze 5

6 6.1 Perzeptron Wie können wir ein Neuron mathematisch modellieren? es soll Eingaben erhalten und diese kombinieren seine Ausgabe soll von kombinierten Eingaben abhängen Perzeptron (perceptron) wurde in den 1950ern als mathematisches Modell eines Neurons vorgestellt es erhält Eingaben x 0,, x m und berechnet eine Linearkombination dieser Werte ist der resultierende Wert kleiner gleich 0, so bleibt das Perzeptron inaktiv (d.h. gibt den Wert 0 aus), andernfalls feuert es und gibt den Wert 1 aus 6

7 Perzeptron x 0 =1 g, w g Q R mÿ a w j x j b j=0 x m Perzeptron berechnet Linearkombination der Eingaben x j z = mx w j x j j=0 und wendet eine Aktivierungsfunktion g : R æ [0, 1] auf das Ergebnis an, um die Ausgabe zu bestimmen 7

8 Perzeptron Eingabe x 0 wird als 1 angenommen und das zugehörige Gewicht w 0 entspricht damit dem konstanten Term (vgl. multiple lineare Regression) Perzeptron (perceptron) verwendet Treppenfunktion (step function) als Aktivierungsfunktion g(z) = ; 0 : z Æ 0 1 : z>

9 Einschichtige neuronale Netze Ein einschichtiges neuronales Netz, als einfachster Fall, besteht aus einem einzelnen Neuron (z.b. Perzeptron), das zu einer Eingabe (Daten) eine Ausgabe bestimmt Eingabe Ausgabe Welche Funktionen können wir mit solch einem einfachen neuronalen Netzwerk darstellen? 9

10 AND und OR als neuronale Netze Perzeptron beschreibt eine separierende Hyperebene, welche Eingaben in zwei Klassen einteilt x 2 x 2 x 1 AND x 1 OR 10

11 AND als neuronales Netz x 2 Eingabe Ausgabe x 0 x 1 x x x 2 > 0 x 1 AND 11

12 OR als neuronales Netz Eingabe Ausgabe x 0 x 1 x x x 2 > 0 x 2 x 1 OR 12

13 NOT als neuronales Netz Eingabe Ausgabe x x x 1 > 0 13

14 Lernen der Parameter Wie können wir die Parameter (d.h. die Gewichte w j ) eines Perzeptrons aus Trainingsdaten lernen? Idee: Berechne für jeden Datenpunkt Ausgabe o mit aktuellen Gewichten; weicht diese von gewünschter Ausgabe t ab, korrigiere die Gewichte in Richtung der gewünschten Ausgabe Beispiel: Für einen Datenpunkt sei o = 1 und t = 0, daher muss das Gewicht w j bei positiver (negativer) Eingabe x j reduziert (erhöht) werden 14

15 Lernen der Parameter Regel zur Anpassung der Gewichte eines Perzeptrons w j Ω w j + (t o)x j mit Lernrate η (ein gängiger Wert ist 0.1) Zum Training mit mehreren Datenpunkten durchläuft man diese und wendet die Regel für jeden an; dies wiederholt man eine bestimmte Anzahl von Epochen oder bis sich die Gewichte nicht mehr ändern 15

16 Lernen der Parameter Beispiel: Wir lernen die Parameter der Funktion AND unter Verwendung der folgenden Datenpunkte x 0 x 1 x 2 t Prinzipiell können wir die Gewichte zufällig initialisieren, wählen hier jedoch für jedes den initialen Wert 0.5 In jeder Epoche durchlaufen wir die vier Datenpunkte in der angegebenen Reihenfolge 16

17 Lernen der Parameter Initiale Gewichte w 0 =0.5 w 1 =0.5 w 2 =0.5 Gewichte nach erster Epoche w 0 =0.2 w 1 =0.4 w 2 =0.4 Gewichte nach zweiter Epoche w 0 = 0.1 w 1 =0.3 w 2 =0.3 Gewichte nach dritter Epoche w 0 = 0.3 w 1 =0.2 w 2 =0.2 Nach der dritten Epoche stimmt die Ausgabe für alle Datenpunkte, so dass keine weitere Anpassung nötig ist 17

18 Lernen der Parameter in Python # Lernrate eta = 0.1 # Parameter (als 0.5 initialisiert) w = [0.5, 0.5, 0.5] # Datenpunkte X = [[1, 0, 0], [1, 0, 1], [1, 1, 0], [1, 1, 1]] # Gewünschte Ausgabe t = [0, 0, 0, 1] # Lerne für 10 Epochen for epoch in range(0, 10): for i in range(0, len(x)): # Ausgabe für Datenpunkt berechnen o = (0 if w[0]*x[i][0] + w[1]*x[i][1] + w[2]*x[i][2] <= 0 else 1) # Parameter aktualisieren for j in range(0, len(w)): w[j] = w[j] + eta*(t[i]-o)*x[i][j] print(w) Vollständiges Jupyter-Notebook unter:

19 Darstellungskraft einfacher neuronaler Netze Können wir mit einem einfachen neuronalen Netz, bestehend aus einem Perzeptron, alle binären Booleschen Funktionen darstellen? Nein! XOR lässt sich z.b. nicht mit einem einzelnen Perzeptron darstellen x 2 :o( x 1 XOR 19

20 Neuronale Netze mit verborgenen Schichten XOR lässt sich mittels eines mehrschichtigen neuronalen Netzes darstellen; innere Schichten von Neuronen werden als verborgen (hidden) bezeichnet Eingabe Innere Schicht x 0 x 1 x x x x 4 x 3 =(x 1 x 2 ) Ausgabe x 2 x 4 =( x 1 x 2 ) x 5 =(x 3 x 4 ) x 1 XOR 20

21 Neuronale Netze mit verborgenen Schichten Alternativ können wir die Perzeptren zur Darstellung von AND, OR und NOT als Bausteine verwenden und daraus ein mehrschichtiges neuronales Netz zur Darstellung von XOR zusammensetzen Auf diese Art und Weise lassen sich beliebige Boolesche Funktionen mittels mehrschichtiger neuronaler Netze darstellen 21

22 Neuronale Netze mit verborgenen Schichten Eingabe Innere Schichten Ausgabe x 0 x 0 x 0 x 1 x 2 x 1 x 1 x 2 x 2 x 1 x 2 x 1 x 2 (x 1 x 2 ) ( x 1 x 2 ) Gewichte (vgl. Übungsblatt 6) 22

23 Zusammenfassung Neuronale Netze sind von der Arbeitsweise des Gehirns inspiriert und dienen der Darstellung von Funktionen Perzeptron, als eine Art von künstlichem Neuron, kombiniert seine Eingaben linear und wendet dann eine Schrittfunktion als Aktivierungsfunktion an; seine Parameter lassen sich aus Daten lernen Mehrschichtige neuronale Netze von Perzeptren können beliebige Boolesche Funktionen darstellen 23

24 Literatur [1] S. Raschka: Machine Learning in Python, mitp, 2017 (Kapitel 2 und 12) [2] T. Mitchell: Machine Learning, McGraw Hill, 1997 (Kapitel 4) [3] M. A. Nielsen: Neural Networks and Deep Learning, Determination Press,