Wissensentdeckung in Datenbanken

Transkript

1 Wissensentdeckung in Datenbanken Deep Learning Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz von 11

2 Überblick Künstliche Neuronale Netze Motivation Formales Modell Aktivierungsfunktionen Vorhersage Parameterscätzung Varianten Faltungsnetze Rekurrente Netze Autoencoder 2 von 11

3 Motivation 3 von 11

4 Motivation 4 von 11

5 Motivation (Deep Vs. Not-Deep) x y Beispiel für Eingabeneuronen (x): Pixel (Farbwerte) einer Bilddatei, Wortvektoren (bag-of-words, TF-IDF),... 5 von 11

6 Formalisierung Künstliches Neuronales Netz f: Graph G = (V, E). Knoten heißen Neuronen Jedes Neuron liegt in einer Schicht L V {0, 1, 2,..., K}, Eine Aktivierungsfunktion pro Knoten: a v R R, v V Schicht 0 heißt Eingabeschicht, Schicht K heißt Ausgabeschicht Jedes Neuron v auf Schicht k > 0 (d.h. L(v) = k) repräsentiert eine Funktion v X v Y v : Eingabe ist eine gewichtete Summe der Ausgaben alle Neuronen auf Schichte k 1 Ausgabe ist eine Reele Zahl 6 von 11

7 Formalisierung Künstliches Neuronales Netz f: Graph G = (V, E). Knoten heißen Neuronen Jedes Neuron liegt in einer Schicht L V {0, 1, 2,..., K}, Eine Aktivierungsfunktion pro Knoten: a v R R, v V Schicht 0 heißt Eingabeschicht, Schicht K heißt Ausgabeschicht Jedes Neuron v auf Schicht k > 0 (d.h. L(v) = k) repräsentiert eine Funktion v X v Y v : Eingabe ist eine gewichtete Summe der Ausgaben alle Neuronen auf Schichte k 1 Ausgabe ist eine Reele Zahl 6 von 11

8 Formalisierung (II) Jedes Neuron v auf Schicht L(v) > 0 repräsentiert eine Funktion v X k 1 X v Notation: Ausgabe von Neuron v ist out(v). out(v) = a v β vw out(w) w L(w)=L(v) 1 X k 1 ist der gemeinsame Ausgaberaum aller Neuronen auf Ebene k 1 X v ist der Ausgaberaum von v Dann ist das gesamte Netz eine Funktion f X 0 X K 7 von 11

9 Aktivierungsfunktionen an Neuron v V 1 Sigmoid: a sig 1 v (z) = 1 + exp( z) Output Tangens Hyperbolicus (tanh): Rectified linear unit (ReLU): a tanh exp(z) exp( z) v (z) = exp(z) + exp( z) a ReLU v (z) = max{0, z} Output Output Input Input Input 8 von 11

10 Parameter lernen Neuronales Netz ist eine Modellfunktion f. Grundsätzlich sind alle aus der Vorlesung bekannten Verlustfunktionen l(f, D) möglich. Allgemein: Die Anzahl der Parameter eines Neurons v ist gleich der Anzahl der Neuronen in Schicht L(v) 1 Berechnung des Gradienten l(f, D) durch Anwendung der Kettenregel (Backpropagation) Optimierung mittels stochastischem Gradientenabstieg β t+1 = β t + η l(β t, S) S D, Extremfall: S = {(x, y)} (nur ein Datenpunkt pro Gradientenschritt) 9 von 11

11 Beispiel: AlexNet max max pooling 3 pooling Input (stride 4) Conv 1 Conv 2 Conv max pooling Conv 4 Conv Full 1 & 2 Out Gewinner der ImageNet 2012 Challenge 10 von 11

12 Representationslernen mittel Faltung Abbildung: Gelernte Filter in AlexNet Schicht Conv1 : Gabor Filter & Color Blobs Beobachtung: Tiefe des Netzes erhöht Abstraktionsgrad der internen Representation Erste Schichten: Allgemein, lokale Representation Tiefe Schichten: Spezifisch, globale Representation 11 von 11