6.2 Feed-Forward Netze

Transkript

1 6.2 Feed-Forward Netze Wir haben gesehen, dass wir mit neuronalen Netzen bestehend aus einer oder mehreren Schichten von Perzeptren beispielsweise logische Funktionen darstellen können Nun betrachten wir sogenannte vorwärtsgerichtete neuronale Netze (feed forward networks), die verwendet werden können, um Regressionsund Klassifikationsprobleme zu lösen Auch wenn vorwärtsgerichtete Netze keine Perzeptren verwenden, heißen sie auch Multilayer Percepton (MLP) 25

2 Sigmoid-Neuron x 0 =1 g, w g Q R mÿ a w j x j b j=0 x m Perzeptron berechnet Linearkombination der Eingaben x j z = mx w j x j j=0 und wendet eine Aktivierungsfunktion g : R æ [0, 1] auf das Ergebnis an, um die Ausgabe zu bestimmen 26

3 Sigmoid-Neuron Bei einem Sigmoid-Neuron kommt die logistische Funktion, die wir bereits bei logistischer Regression gesehen haben, zum Einsatz g(x) = 1 1+e x = ex 1+e x

4 Feed-Forward Netze Ein vorwärtsgerichtetes neuronales Netz besteht aus einer Eingabeschicht (input layer) mit den Eingabewerten einer oder mehrerer verborgener Schichten (hidden layers) bestehend aus mehreren Sigmoid-Neuronen einer Ausgabeschicht (output layer) bestehend aus einem oder mehreren Sigmoid-Neuronen Jede Einheit der l-ten Schicht ist mit jeder Einheit der (l + 1)-ten Schicht verbunden, daher auch die Bezeichnung vorwärtsgerichtet 28

5 Feed-Forward Netze Beispiel: Vorwärtsgerichtetes neuronales Netz mit zwei verborgenen Schichten bestehend aus zwei Neuronen Eingabe Verborgene Schichten Ausgabe x 0 a (1) 0 a (2) 0 a (3) 0 w (1) 1,0 x 1 a (1) 1 a (2) 1 a (3) 1 a (4) 1 x 2 a (1) 2 a (2) 2 a (3) 2 29

6 Feed-Forward Netze Die Ausgaben der Neuronen a (l) 0 werden für die Eingabeschicht und alle inneren Schichten als 1 angenommen Das Gewicht der Verbindung zwischen dem k-ten Neuron der l-ten Schicht a k (l) und dem j-ten Neuron der (l + 1)-ten Schicht a j (l + 1) wird als w j,k (l) bezeichnet 30

7 Feed-Forward Netze Die verborgenen Schichten eines vorwärtsgerichteten neuronalen Netzes können sich in der Anzahl ihrer Neuronen unterscheiden Die Anzahl verborgener Schichten sowie die jeweilige Anzahl von Neuronen sind Hyperparameter, die wir mit den bekannten Validierungsverfahren (z.b. Kreuzvalidierung) optimieren können 31

8 Vorwärtspropagierung Die Ausgabe eines vorwärtsgerichteten neuronalen Netzes berechnen mir mittels Vorwärtspropagierung (d.h. von links nach rechts) berechne die Ausgaben der Neuronen der zweiten Schicht basierend auf den Eingaben berechne die Ausgaben der Neuronen der dritten Schicht basierend auf den Ausgaben der Neuronen der zweiten Schicht 32

9 Vorwärtspropagierung Die Ausgabe des k-ten Neuron der l-ten Schicht a k (l) wird hierbei berechnet als z (l) k = a(l 1) 0 w (l 1) k,0 + a (l 1) 1 w (l 1) k, a (l 1) m w (l 1) k,m a (l) k = g(z(l) k ) mit m als Anzahl von Neuronen in der (l - 1)-ten Schicht 33

10 Vorwärtspropagierung Beispiel: Eingabe Verborgene Schichten Ausgabe 1 x 0 1 a (2) 0 a (3) x 1 x a (2) a (2) a (3) a (3) a (4) a (2) 1 = g( )

11 Logistische Regression als neuronales Netz Eingabe Ausgabe 35

12 Mehrfachklassifikation als neuronales Netz Eingabe Ausgabe Die Ausgaben spiegeln Klassenwahrscheinlichkeiten wider 36

13 6.3 Back-Propagation Wie können wir die Gewichte eines vorwärtsgerichteten neuronalen Netzes anhand von Trainingsdaten lernen? Trainingsdaten bestehen aus Eingaben x (i) und den zugehörigen erwarteten Ausgaben y (i) bei logistischer Regression ist die Ausgabe ein Wert in {0,1} bei Mehrfachklassifikation ist die Ausgabe ein binärer Vektor (one-hot encoding) 37

14 Back-Propagation Wie beim Perzeptron betrachten wir in jeder Epoche jede der Eingaben, in zufälliger Reihenfolge, und berechnen mittels Vorwärtspropagierung die Ausgabe des neuronalen Netzes mit den aktuellen Gewichten Stimmt die Ausgabe des neuronalen Netzes nicht mit der gewünschten Ausgabe überein, müssen wir seine Gewichte derart anpassen, dass seine Ausgabe näher an die gewünschte Ausgabe rückt 38

15 Back-Propagation Das Anpassen der Gewichte erfolgt mittels einer Rückwärtspropagierung (d.h. von rechts nach links) des beobachteten Fehlers durch die Schichten der neuronalen Netzes Ist die l-te Schicht unsere Ausgabeschicht, so erhalten wir den beobachteten Fehler für eine Eingabe als (l) = a (l) y 39

16 Back-Propagation Wir propagieren den Fehler wie folgt rückwärts zur (l - 1)-ten Schicht, indem wir für jedes Neuron seinen Fehler berechnen als (l 1) j = ÿ k w (l 1) k,j (l) k a(l 1) j (1 a (l 1) j ) 40

17 Back-Propagation Das Gewicht der Verbindung zwischen dem i-ten Neuron der (l +1)-ten Schicht a i (l+1) und dem j-ten Neuron der l-ten Schicht a j (l) wird dann wie folgt aktualisiert mit Lernrate η w (l) i,j = w(l) i,j a(l) j (l+1) i 41

18 Back-Propagation Eingabe Verborgene Schichten Ausgabe 1 x 0 1 a (2) 0 a (3) 0 = (3) 1 = x 1 x a (2) a (2) a (3) (3) 2 =0.05 a (3) (3) 2 = a (4) (4) 1 =

19 Andere Architekturen neuronaler Netze Andere Architekturen neuronaler Netze existieren neben den vorwärtsgerichteten Netzen Rekurrente neuronale Netze (recurrent neural networks) enthalten Zyklen, d.h. eine Schicht kann Ausgabe nachgelagerter Schicht als Eingabe erhalten Konvolutionale neuronale Netze (convolutional neural networks) berücksichtigen die räumliche Struktur der Eingabe (z.b. eines Bildes) und fassen diese hierarchisch zusammen 43

20 Implementierung neuronaler Netze Zur Implementierung neuronaler Netze haben sich in den letzten Jahren verschiedene Bibliotheken etabliert TensorFlow ( und Theano ( erlauben das Training von Modellen auf CPU und GPU Keras ( erlaubt die einfache Spezifikation der Architektur eines neuronalen Netzes und kann zum Training auf andere TensorFlow und Theano zurückgreifen 44

21 MNIST-Datensatz Ein häufig verwendeter Datensatz im Bereich Machine Learning sind die sogenannten MNIST-Daten ( Der Datensatz enthält von Hand geschriebene Ziffern (0-9), wobei jede als Bild bestehend aus 28x28 Pixeln mit Grauwerten (0-255) abgelegt ist 45

22 MNIST-Datensatz Insgesamt sind Ziffern als Trainingsdaten und Ziffern als Testdaten enthalten Die Ziffern wurden von 250 verschiedenen Personen geschrieben, 125 davon Studierende und 125 davon Mitarbeiter des National Institute of Standards and Technology (NIST) 46

23 Neuronales Netz zur Klassifikation von Ziffern Wir verwenden nun Keras, um ein neuronales Netz zu implementieren, welches die Ziffern in die Klassen (0-9) klassifiziert Das neuronale Netz soll folgende Architektur haben die Eingabeschicht besteht aus 784 Eingabewerten zwei verborgene Schichten mit jeweils 128 Neuronen die Ausgabeschicht besteht aus 10 Neuronen 47

24 Neuronales Netz zur Klassifikation von Ziffern import numpy as np from keras.datasets import mnist from keras.models import Sequential from keras.layers.core import Dense, Activation from keras.optimizers import SGD from keras.utils import np_utils np.random.seed(1671) # Parameter des neuronalen Netzes und bzgl. Training NB_EPOCH = 100 BATCH_SIZE = 128 VERBOSE = 1 NB_CLASSES = 10 OPTIMIZER = SGD() N_HIDDEN = 128 VALIDATION_SPLIT=0.2 # MNIST-Daten herunterladen und vorbereiten (X_train, y_train), (X_test, y_test) = mnist.load_data() RESHAPED = 784 X_train = X_train.reshape(60000, RESHAPED) X_test = X_test.reshape(10000, RESHAPED) X_train = X_train.astype('float32') X_test = X_test.astype('float32') # MNIST-Daten normalisieren X_train /= 255 X_test /=

25 Neuronales Netz zur Klassifikation von Ziffern # One-Hot Encoding durchführen Y_train = np_utils.to_categorical(y_train, NB_CLASSES) Y_test = np_utils.to_categorical(y_test, NB_CLASSES) # Architektur des neuronalen Netzes beschreiben model = Sequential() model.add(dense(n_hidden, input_shape=(reshaped,))) model.add(activation('sigmoid')) model.add(dense(n_hidden)) model.add(activation('sigmoid')) model.add(dense(nb_classes)) model.add(activation('sigmoid')) model.summary() # Modell umsetzen model.compile(loss='categorical_crossentropy', optimizer=optimizer, metrics=['accuracy']) # Modell trainieren history = model.fit(x_train, Y_train, batch_size=batch_size, epochs=nb_epoch, verbose=verbose, validation_split=validation_split) # Gütemaße ausgeben score = model.evaluate(x_test, Y_test, verbose=verbose) print("test score:", score[0]) print("test accuracy:", score[1]) vgl. A. Gulli und S. Pal: Deep Learning with Keras, Packt Publishing,

26 Neuronales Netz zur Klassifikation von Ziffern Vollständiges Jupyter-Notebook unter: Das trainierte neuronale Netz erreicht auf den Testdaten nach 100 Epochen eine Genauigkeit (accuracy) von 91.85% Die Genauigkeit lässt sich durch Verwendung anderer Aktivierungsfunktionen (Rectified Linear Unit, Softmax) weiter steigern 50

27 Zusammenfassung Sigmoid-Neuron verwendet die logistische Funktion als Aktivierungsfunktion Vorwärtsgerichtete neuronale Netze besitzen mehrere verborgene Schichten, von denen aufeinanderfolgende vollständig miteinander verbunden sind Backpropagation erlaubt das Lernen von Gewichten eines vorwärtsgerichteten neuronalen Netzes Keras als aktuelle Bibliothek zur Implementierung neuronaler Netze und Training auf CPU/GPU 51

28 Literatur [1] S. Raschka: Machine Learning in Python, mitp, 2017 (Kapitel 2 und 12) [2] T. Mitchell: Machine Learning, McGraw Hill, 1997 (Kapitel 4) [3] M. A. Nielsen: Neural Networks and Deep Learning, Determination Press, [4] A. Gulli and S. Pal: Deep Learning with Keras Packt Publishing,