Neuronale Netze R. Neubecker, WS 2016 / 2017

Transkript

1 Mustererkennung Neuronale Netze R. Neubecker, WS 2016 / 2017

2 Übersicht 2 Historisches. Biologische und andere Hardware. Aufbau: Neuronen und Netze Das Perzeptron Lernen Convolutional Neural Networks

3 Historisches 3 Die Anfänge 1943 McCulloch & Pitts: erstes Modell für ein neuronales Netzwerk 1947 McCuloch & Pitts: Erkennung räumlicher Muster als erste praktische Anwendung 1949 Hebb: erste klassische Lernregel 1951 Minsky: erster Neurocomputer Snarc, mit automatisch justierten Gewichten 1957/78 Rosenblatt et al.: Mark I Perceptron, Ziffernerkennung mit 20x20 Bildsensor 1959 Rosenblatt: neue Perceptron-Varianten, Konvergenz-Theorem, Lernregel 1960 Widrow & Hoff: erstes kommerziell verbreitet eingesetztes System ADALINE (Echounterdrückung in Analogtelefonen) 1969 Minsky & Papert: genaue mathematische Analyse der Perceptrons, Beweis, dass nur linear separierbare Probleme lösbar sind (XOR-Problem) vorläufiger Stopp des Forschungsgebietes ab dann auf kleiner Flamme, dennoch einige relevante Beiträge (darunter 1974 Werbos: erstes Backpropagation-Lernen) Die Renaissance 1985 Hopfield: Lösung des Travelling Salesman Problems 1986: mehrschichtige Neuronale Netze lösen nichtlinear-separierbare Probleme, Backpropagation-Verfahren wird verallgemeinert bis heute rege Aktivität, in jüngster Zeit besondere Erfolge

4 Biologische Hardware 4 Biologischer Hintergrund Neuronen sind informationsverarbeitende (Nerven-) Zellen Typisches Säugetier-Neuron Zellkörper (Signalverarbeitung) Dendriten (Eingänge) Axon (Ausgang) Signaltransport innerhalb Dendriten / Axon = elektrische Erregung Kontaktstellen zu anderen Neuronen: Synapsen (chemische Signalstoffe, Ionenströme) Einwegverbindung Verbindungsstärke ist regulierbar Dendrite Zellkörper Axonterminale Funktionsweise: wenn die Summe aller über die Dendriten zusammengeführten und gewichteten Anregungen eine Schwelle überschreitet, wird das Neuron aktiv, es feuert = gibt Signal über Axon ab Bildquelle: Wikipedia

5 Biologische Hardware 5 Neuronale Netze Menschliches Hirn enthält geschätzte 100 Mrd. bis 1 Billionen Neuronen Fadenwurm: ~ 300 Neuronen Ameise: ~ 10 4 Neuronen Hund: ~ 1,6 x 10 8 Neuronen, Katze: ~ 3 x 10 8 Reaktionszeit nur ~ 1ms, aber sehr stark vernetzt hoch-parallele Informationsverarbeitung (Künstliche) Neuronale Netze = Technisches System mit biologischem Vorbild Bottom-Up-Ansatz zum Verständnis von Intelligenz (dagegen Top-Down: Nachbildung von intelligentem Verhalten in Algorithmen, Artificial Intelligence) Hier implementiert als Computeralgorithmus (alternativ spez. Hardware); Ziel ist Ausnutzung besonderer Eigenschaften, nicht Simulation des Gehirns. Neuron = einzelnes informationsverarbeitendes Element, zusammengeschaltet in größerem Netzwerk Große Vielfalt von künstlichen Neuronalen Netzen, im Folgenden nur Grundlagen

6 Elektronische Hardware 6 Die Masse macht s? Transistor Count: Spitzenwerte (2016) in Altera-FPGA = 30 Mrd Transistoren, bzw. GPU (NVIDIA GP100 Pascal)= 15,3 Mrd Transistoren Eine logische Einheit (NOT, AND, XOR, ) benötigt 2 8 Transistoren + 1 Transistor für Speicher (DRAM) Taktraten > 1GHz ~ 10 9 /s Aber: CPUs: serielle Abarbeitung von-neumann-bottleneck beim Speicherzugriff Bildquelle: Wgsimon, CC BY-SA 3.0,

7 Elektronische Hardware 7 Die Architektur macht s! August 2014: IBM stellt TrueNorth vor = Prozessor mit der Struktur Neuronaler Netze ( Chip enthält 4096 Kerne (Cores), mit je 256 Neuronen und Synapsen zusammen 1 Mio. Neuronen und 256 Mio. Synapsen Energieverbrauch 70 mw, 5.4 Mrd. Transistoren, skalierbares System Ergebnis eines 10-jährigen Forschungsprogramms mit 53 Mio US$ Kosten (staatliche Förderung durch das DARPA) Weitere Ansätze für Spezial-Prozessoren Neural Processing Unit (Qualcomm 2015) Tensor Processing Unit (Google 2016) Bildquelle: IBM

8 Übersicht 8 Historisches. Biologische und andere Hardware. Aufbau: Neuronen und Netze Das Perzeptron Lernen Convolutional Neural Networks

9 Aufbau: das Neuron 9 Künstliches Neuron ein Modell Drastische Vereinfachung der biologischen Vorgänge Eingabe Mehrere Eingangsgrößen x i (in der Natur ) Ausgabe Eine Ausgangsgröße x y x, w, θ = φ w i x i θ, kann auf beliebige viele Eingänge verteilt werden Parameter Gewichte w i w Schwellwert θ, lässt sich über einen konstant aktiven Eingang mit eigenem Gewicht darstellen (Bias-Neuron, θ = w 0 1), dadurch alle Parameter w Freiheitsgrad: Aktivierungsfunktion φ() Bildquelle: Wikipedia

10 Aufbau: das Neuron 10 Aktivierungsfunktion Schwellwertverhalten im einfachsten Fall Sprungfunktion (Heaviside-Funktion) 0 für x < 0 y x = H(x) = { 1 für x 0 Nachteil: nicht differenzierbar Approximation durch glatte Funktionen (Sigmoid-Funktionen) Logistische oder Fermifunktion 1 φ x = 1 + e x/ x Tangens hyperbolicus y x = tanh x x = ex/ x e x/ x e x/ x + e x/ x x Steilheitsparameter y y x x

11 Aufbau: das Netz 13 Netzwerke Netzwerke sind als Graphen darstellbar Typische Topologie neuronaler Netze: azyklische gerichtete Graphen (gerichtet: Unterscheidung Ein-/Ausgänge) Meist Schichtstruktur (Layer) Eingabeschicht (formale Schicht, ohne Verarbeitungsfähigkeit) Verdeckte Schicht(en) (Hidden Layer(s)) = eigentliche Informationsverarbeitung Eingabeschicht Ausgabeschicht Am weitesten verbreitet sind Feedforward-Netz: Ausgänge jedes Neurons sind nur mit der nächsten Schicht (in Richtung Ausgabeschicht) verbunden Andere Topologien auch möglich. Z.B. Rekurrente Netze = Rückkopplung ggf. Gedächtnis/Speicher

12 Aufbau: das Neuronale Netz 14 Lernfähigkeit Fähigkeit zur Informationsverarbeitung Neuronaler Netze ist bestimmt durch Anzahl der Neuronen Netzwerktopologie (Verbindungen, Anzahl Schichten, ) Aktivierungsfunktion (ggf. für jede Schicht eine eigene) Trainingsverfahren (Art der Bestimmung Gewichtsfaktoren) Gewichtsfaktoren Training Lernen (wie bei anderen Klassifikatoren auch): Gegeben Trainingsdaten x und Zielwerte t, Variation der Gewichte w so, dass Ausgabewerte = Zielwerte: y! (überwachtes Lernen) Lernen ist meist iterativer Prozess. Typischer Ansatz: Minimierung des Fehlers (Soll-Ist-Abweichung) Optimierungsproblem (deshalb auch Notwendigkeit von differenzierbaren Aktivierungsfunktionen) t Design

13 Aufbau: das Neuronale Netz 15 Neuronale Netze für Klassifikationsaufgaben In-/Output von Neuronalen Netzen sind i.a. kontinuierliche Größen sehr vielfältige Probleme lösbar (z.b. Fitten von Messwerten) Bei Klassifikation: Input = Merkmale Anzahl Inputs = Dimension Merkmalsraum Output = Klassen Verschiedene Realisierungsmöglichkeiten: Anzahl Outputs = Anzahl Klassen digitale Output-Werte und immer nur 1 Output aktiv 1 Output und Zuordnung Output-Signal zu Klassen diskrete Output-Werte Anzahl verborgener Schichten, Anzahl Neuronen darin, Form der Aktivierungsfunktion(en)? Try & Error / erfahrungsbasiert

14 Übersicht 16 Historisches. Biologische und andere Hardware. Aufbau: Neuronen und Netze Das Perzeptron Lernen Convolutional Neural Networks

15 Das Perzeptron: Die Anfänge Neuronaler Netze 17 Single-Layer Perceptron Einfachste Realisierung (Rosenblatt): Eingabeschicht + 1 Neuron = Ausgabe Aktivierungsfunktion = Sprungfunktion x 1 x 2 x 3 x 4 y = Linearer Klassifikator y = H w i x i + w 0 = H(w t x + w 0 ) Lernalgorithmus konvergiert immer (sofern eine Lösung existiert)

16 Das Perzeptron: Die Anfänge Neuronaler Netze 18 Single-Layer Perceptron: Boolsche Funktionen Einfache logische Funktionen, 2 Eingänge, 1 Ausgang AND OR x 1 x 2 y x 1 x 2 y x 2 x 2 x 1 x 1

17 Das Perzeptron: Die Anfänge Neuronaler Netze 19 Single-Layer Perceptron: Boolsche Funktionen Einfache logische Funktionen, 2 Eingänge, 1 Ausgang AND OR x 1 x 2 y x 1 x 2 y x 2 x 2 x 1 x 1 x 2 = 1.5 x 1 w 0 = 1.5, w 1 = 1, w 2 = 1 x 2 = 0.5 x 1 w 0 = 0.5, w 1 = 1, w 2 = 1

18 Das Perzeptron: Die Anfänge Neuronaler Netze 20 Single-Layer Perceptron: Boolsche Funktionen Einfache logische Funktionen, 2 Eingänge, 1 Ausgang AND x 1 x 2 y x 2 x 1 x y x 1 x 2 = 1.5 x 1 w 0 = 1.5, w 1 = 1, w 2 = 1 OR x 1 x 2 y x 2 x 1 x y x 1 x 2 = 0.5 x 1 w 0 = 0.5, w 1 = w 2 = 1

19 Das Perzeptron: Die Anfänge Neuronaler Netze 21 Single-Layer Perceptron: Das XOR-Problem XOR x 1 x 2 y x XOR-Problem ist nicht linear separierbar x 1?

20 Das Perzeptron: Die Anfänge Neuronaler Netze 22 Single-Layer Perceptron: Das XOR-Problem XOR x 1 x 2 y x XOR-Problem ist nicht linear separierbar x 1? Neuronale Netze können nur langweilige Probleme lösen

21 Das Perzeptron: Vielschichtigkeit 23 Single-Layer Perceptron: Das XOR-Problem XOR x 1 x 2 y x 2? XOR-Problem ist nicht linear separierbar Aber: Alle Boolschen Funktionen lassen sich durch Kombination von Grundfunktionen darstellen: x 1 x 1 x 2 = x 1 x 2 x 1 x 2 Kaskadierung von Neuronen x 1 x 2 y

22 Das Perzeptron: Vielschichtigkeit 24 Single-Layer Perceptron: Das XOR-Problem XOR x 1 x 2 y x 2 XOR-Problem ist nicht linear separierbar Aber: Alle Boolschen Funktionen lassen sich durch Kombination von Grundfunktionen darstellen: x 1 x 1 x 2 = x 1 x 2 x 1 x 2 Kaskadierung von Neuronen x 1 x y

23 Das Perzeptron: Vielschichtigkeit 25 Multi-Layer Perzeptron Hinzufügen zusätzlicher verborgener Schichten (Hidden Layers) zwischen Eingabe und Ausgabeschicht Simpelste Realisierung = 2 Lagen: In Hidden Out Keine Aktivierungsfunktion für Ausgabeschicht (φ out = 1), nur Summation Eingabe -schicht Jede Boolesche oder binäre Funktion y = f(x 1, x 2, x n ) mit y, x k ε {0, 1} lässt sich durch ein mehrstufiges Perzeptron mit einer verborgenen Schicht realisieren Jede stetige reellwertige Funktion y = f(x 1, x 2, x n ) mit y, x k ε R lässt sich durch ein mehrstufiges Perzeptron mit höchstens 2 verborgenen Schichten realisieren

24 Übersicht 26 Historisches. Biologische und andere Hardware. Aufbau: Neuronen und Netze Das Perzeptron Lernen Convolutional Neural Networks

25 Lernen: eine Optimierungsaufgabe 27 Lernen durch Fehler Trainieren Neuronaler Netze = Bestimmung der Gewichte w i Geg.: Trainingsdaten x k + entsprechende Soll-Werte t k der Ausgänge Konzept: Fehler = Abweichung zwischen Ist-Werten und Sollwerten berechnen und diesen Fehler durch Variation der Gewichte w minimieren Für diese Optimierungsaufgabe verschiedene Zielfunktionen möglich, klassisch: Summe der quadratischen Abweichungen E = 1 2 k,l y k,l t k,l 2 Summe über alle Ausgänge l und über alle Trainingsvektoren x k I.A. iterative Optimumssuche w ij n+1 = w ij n + Δw ij z.b. über Gradientenverfahren: Δw ij = η E w ij = δ j x i

26 Lernen: Backpropagation 28 Rückwärtsgewandt Information über den Fehler (Abweichung von der gewünschten Klassifizierung) liegt am Ausgang des Neuronalen Netzes vor Geändert werden müssen aber die Gewichte der Neuronen in den davor liegenden Layern (Error) Back-Propagation φ 2 x i w ji φ 1 v lj z l y j E(Δ) Δ= Ist Soll Nur Gewichtsfaktoren in letztem Layer wirken direkt auf Zielfunktion, alle davor liegenden wirken nur mittelbar schrittweise von hinten nach vorne durch die Layer arbeiten. Ziel ist Minimum der Zielfunktion: E w n = 0. Dazu benötigt wird Abhängigkeit der Zielfunktion von jedem Gewichtsfaktor w n.

27 Lernen: Backpropagation 29 (Error) Backpropagation: Beispiel Beispiel: Zweilagiges Perzeptron Fehler für einen festen Trainingsvektor x t, der zum Soll-Ausgang t l führen soll E k = 1 2 l z l t l 2 Trainieren der Ausgabeschicht E k v lj = z l t l φ 2 y j δ l y j Trainieren der verborgenen Schicht E k = z w l t l φ 2 v lj φ 1 x i δ j x i ji l δ j = φ 1 l v lj δ l φ 2 x i w φ z ji 1 v lj l y j y j = φ 1 i w ji x i z l = φ 2 j v lj y j Änderungen der Gewichte in verborgener Schicht ~ Änderungen der Gewichte in der dahinter liegenden Ausgabeschicht der Fehler wird rückwärts durch das Netz gereicht Error Backpropagation

28 Lernen: Backpropagation 30 Backpropagation, Grenzen der - Keine Konvergenzgarantie Lokale Minima Diskretisierter Gradient keine monotone Abnahme des Fehlers

29 Lernen: Backpropagation 31 Backpropagation-Variante: Backpropagation mit Trägheitsterm Verwendung eines (variablen) Trägheitsterms (Momentum) α aktuelle Änderung der Gewichte hängt zusätzlich von vorangegangener Änderung ab Δ w ij n+1 Analogie: Kugel, die Berg hinunter rollt. = η δ j x i + α Δ w ij (n) Backpropagation-Variante: Alternative Zielfunktion Cross-Entropy E = [y k ln t k + 1 y k ln(1 ln t k )] Bessere Konvergenz bei Gradientenverfahren k

30 Lernen: Training und Test 32 Trainieren Neuronaler Netze Neuronale Netze können viele Freiheitsgrade haben (~ Anzahl Gewichtsfaktoren) Gefahr der Überanpassung (Overfitting) Anzahl Merkmalsvektoren im Trainingssatz Anzahl zu trainierender Gewichte! Option für Trainieren: Trainings- und Validierungsdatensatz verwenden. Konvergenz auf Validierungsatz beobachten: Fehler E kann zwar mit Anzahl Lernschritte auf Trainingssatz immer weiter abnehmen, auf Validierungssatz nach Durchlaufen eines Minimums wieder zunehmen vorzeitiger Abbruch Option: Mehrere Trainingsdurchläufe mit unterschiedlichen (Zufalls-) Startwerten Identifikation von lokalen Minima Bildquelle: Duda, Hart, Stork, Pattern Classification

31 Übersicht 33 Historisches. Biologische und andere Hardware. Aufbau: Neuronen und Netze Das Perzeptron Lernen Convolutional Neural Networks

32 Convolutional Neural Networks (CNN) 34 Deep Learning Fähigkeit eines Neuronalen Netzes wächst mit Anzahl der Layer / - der Neuronen Problem der Implementierung (Hardware) extrem hohe Anzahl an Gewichtsfaktoren (= Freiheitsgrade) zu trainieren Moderne GPUs und billiger Speicher ermöglichen Parallelverarbeitung Revival der Neuronalen Netze in den letzten Jahren "Deep Neural Nets" = Neuronale Netze mit vielen Layers, "Deep Learning" (allgemein: moderne Verfahren des Machine Learning) März 2016: AlphaGo schlägt einen der weltbesten Go-Spieler

33 CNN: Aufbau 35 Convolutional Neural Networks (CNN) Bildverarbeitung ist DIE Anwendung für CNN CNN enthalten meist auch viele Layer ( Deep Neural Networks) Input eines CNN = alle Pixel eines Bildes (Grauwerte der -) Output = je ein Neuron für jede Klasse Layer-Arten Convolution-Layer Pooling-Layer (Subsampling) Voll-vernetzte Layer Bildquelle: Aphex34, CC-BY-SA 4.0,

34 CNN: Aufbau 36 Convolution-Layer CNNs sind nicht komplett voll-vernetzt. Wenn jedes Neuron des 1. Layers mit allen N M Pixeln eines Bildes vernetzt wäre, hätte dieser Layer bereits N M Gewichtsfaktoren. Statt dessen: Jedes Neuron nutzt als Input eine lokale Umgebung eines Pixels = Faltung mit Filtermaske

35 CNN: Aufbau 37 Convolution-Layer CNNs sind nicht komplett voll-vernetzt. Wenn jedes Neuron des 1. Layers mit allen N M Pixeln eines Bildes vernetzt wäre, hätte dieser Layer bereits N M Gewichtsfaktoren. Statt dessen: Jedes Neuron nutzt als Input eine lokale Umgebung eines Pixels = Faltung mit Filtermaske Analogie zur Retina, wo Zellen lokal interagieren

36 CNN: Aufbau 38 Convolution-Layer 1 Neuron (mit k 2 -Inputs) = 1 Filter (der Kantenlänge k) für eine feste Position im Bild (Gewichtsfaktoren = Einträge Filtermaske), d.h. pro Bildpixel ein Neuron Alle "Filtermasken" werden gleich gewählt (tanslationsinvariant) sehr viel weniger zu trainierende Gewichtsfaktoren Filter werden automatisch "gelernt", d.h. Neuronales Netz wählt entsprechend der Aufgabe (der Trainingsdaten) selbst geeignete Filtermaskeneinträge Parallel mehrere (alternative) Filter unterschiedliche Bildmerkmale (z.b. Kanten in untersch. Orientierungen) Ausgabe jedes Convolution-Layers = mehrere gefilterte Input-Bilder weiterhin hohe Informationsmenge

37 CNN: Aufbau 39 Pooling-Layer Pooling = Subsampling zur Datenreduktion (z.b. über max-filter) Klassifizierungs-Layer Am Ende voll vernetzte Layer (fully connected) 1 Output-Neuron / Klasse Ausgabewert = Wahrscheinlichkeit Training CNN haben extrem viele Freiheitsgrade, d.h. Gefahr des Overfitting ist groß Trainingsvarianten um robustes Klassifikationsverhalten zu erreichen Dropout: während des Trainings werden zufällig einzelne Neuronen (in den Hidden-Layers) abgeschaltet Stochastic Pooling: zufällige Wahl der Pooling-Bereiche

38 CNN: Beispiele 40 Interaktives Beispiel im Netz: Erkennung handschriftlicher Ziffern

39 CNN: Beispiele 41 Beispiel Bilderkennung Large Scale Visual Recognition Challenge 2010 (ImageNet LSVRC-2010) : davon 1.2 Millionen Bilder (256x256 Pixel) 1000 Klassen Neuronales Netz mit Neuronen, 5 Convolutional Layer 60 Millionen freie Parameter. Implementiert auf 2 GPUs. Fehlklassifikationsrate 37.5% - Spitzenwert für Convolutional Layer mit 96 Filtermasken (11 x 11 x 3): A. Krizhevsky et al., "ImageNet Classification with Deep Convolutional Neural Networks", NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada

40 CNN: Beispiele 42 Beispiel: Lächelt er? Bildquelle: M. Matsugu et al, Neural Networks 16 (2003)

41 CNN: Beispiele 43 Beispiel: Inspektion von heißen Stahlprodukten Quelle: A. Alvarez-Gila et al., "Deep Convolutional Neural Networks for surface quality inspection, EMVA Forum 2016

42 Convolutional Neural Networks (CNN) 44 Diskussion CNN müssen Segmentierung und Merkmalsextraktion selbst bewältigen, sowie translations- und rotationsinvariant reagieren! Andere Sichtweise: Millionen von Gewichtsfaktoren festzulegen sehr große Trainingsstichprobe notwendig Bei CNN gibt beim Design mehr zu entscheiden: Anzahl der Filter Größe der Filter (-masken) Art des Pooling / Subsampling Anzahl / Abfolge der verschiedenen Layer In letzter Zeit große Erfolge im Vergleich zu anderen (Bild-) Klassifikatoren Aktuelle Diskussion über Einsatz von CNN in der Machine Vision Klassifikationssicherheit? Robustheit gegen variierende Bildeigenschaften? Eignung für industrielle Anwendungen? Eignung für sicherheitskritische Anwendungen (z.b. Autonomes Fahren)?

43 Neuronale Netze 45 Fazit Künstliche Neuronale Netze bestehen aus vielen, untereinander vernetzten, nichtlinearen Verarbeitungselementen (Neuronen) Sie sind trainierbar, das Trainingsergebnis wird in den Gewichten der Verbindungen untereinander gespeichert Sehr großes Spektrum unterschiedlicher Neuronaler Netze. Klassifikation und Bildverarbeitung sind nur ein Teil aktueller Anwendungen. Kritik Keine Konvergenzgarantie für das Training (auch wenn das betrachtete Problem mit gewählter Konfiguration nachgewiesenermaßen prinzipiell lösbar ist) Training muss nicht zu optimaler Lösung führen Overfitting muss vermieden werden Umsetzung macht vor allem Sinn mit parallelisierter Hardware Black Box, Klassifikationsverhalten undurchsichtig