Mustererkennung. Neuronale Netze. R. Neubecker, WS 2019 / Moritz Sperling, OBV-Preis-Vortrag Worum geht es bei Künstlicher Intelligenz?

Transkript

1 Mustererkennung Neuronale Netze R. Neubecker, WS 2019 / 2020 Moritz Sperling, OBV-Preis-Vortrag Worum geht es bei Künstlicher Intelligenz? Quelle: Website (supervise), URL: 1

2 3 Warum ist KI so attraktiv für BV-Anwendungen? Coding Saved experts, saved time = saved $ What customers hope Übersicht 4 Historisches. Biologische und andere Hardware Aufbau: Neuronen und Netze Das Perzeptron Lernen Convolutional Neural Networks 2

3 Historisches 5 Die Anfänge 1943 McCulloch & Pitts: erstes Modell für ein neuronales Netzwerk 1947 McCuloch & Pitts: Erkennung räumlicher Muster als erste praktische Anwendung 1949 Hebb: erste klassische Lernregel 1951 Minsky: erster Neurocomputer Snarc, mit automatisch justierten Gewichten 1957/78 Rosenblatt et al.: Mark I Perceptron, Ziffernerkennung mit 20x20 Bildsensor 1959 Rosenblatt: neue Perceptron-Varianten, Konvergenz-Theorem, Lernregel 1960 Widrow & Hoff: erstes kommerziell verbreitet eingesetztes System ADALINE (Echounterdrückung in Analogtelefonen) 1969 Minsky & Papert: genaue mathematische Analyse der Perceptrons, Beweis, dass nur linear separierbare Probleme lösbar sind (XOR-Problem) vorläufiger Stopp des Forschungsgebietes ab dann auf kleiner Flamme, dennoch einige relevante Beiträge (darunter 1974 Werbos: erstes Backpropagation-Lernen) Die Renaissance 1985 Hopfield: Lösung des Travelling Salesman Problems 1986: mehrschichtige Neuronale Netze lösen nichtlinear-separierbare Probleme, Backpropagation-Verfahren wird verallgemeinert bis heute rege Aktivität, in jüngster Zeit besondere Erfolge Biologische Hardware 6 Biologischer Hintergrund Neuronen sind informationsverarbeitende (Nerven-) Zellen Typisches Säugetier-Neuron Zellkörper (Signalverarbeitung) Dendriten (Eingänge) Axon (Ausgang) Signaltransport zwischen Dendriten und Axon = elektrische Erregung Kontaktstellen zu anderen Neuronen: Synapsen (chemische Signalstoffe, Ionenströme) Einwegverbindung Verbindungsstärke ist regulierbar Dendrite Zellkörper Axonterminale Funktionsweise: wenn die Summe aller über die Dendriten zusammengeführten und gewichteten Anregungen eine Schwelle überschreitet, wird das Neuron aktiv, es feuert = gibt Signal über Axon ab Bildquelle: Wikipedia 3

4 Biologische Hardware 7 Neuronale Netze Menschliches Hirn enthält geschätzte 100 Milliarden Neuronen mit je ~7000 Synapsen Fadenwurm: ~ 300 Neuronen Ameise: ~ 10 4 Neuronen Hund: ~ 1,6 0 8 Neuronen, Katze: ~ Reaktionszeit nur ~ 1ms, aber sehr stark vernetzt hoch-parallele Informationsverarbeitung (Künstliche) Neuronale Netze = Technisches System mit biologischem Vorbild Bottom-Up-Ansatz zum Verständnis von Intelligenz (im Unterschied zu Top-Down: Nachbildung von intelligentem Verhalten in Algorithmen) Hier implementiert als Computeralgorithmus (alternativ in spez. Hardware); Ziel ist Ausnutzung besonderer Eigenschaften, nicht Simulation des Gehirns. Neuron = einzelnes informationsverarbeitendes Element, zusammengeschaltet in größerem Netzwerk Große Vielfalt von künstlichen Neuronalen Netzen, im Folgenden nur Grundlagen Elektronische Hardware 8 Die Masse macht s? Transistor Count: Spitzenwerte (2019) in GPU: GP100 Pascal (NVIDIA)= 15,3 Mrd Transistoren FPGA: Strati0 (Intel) = 43 Mrd Transistoren Deep-Learning Wafer Scale Engine by Cerebras= 1,2 Billionen Transistoren Eine logische Einheit (NOT, AND, XOR, ) benötigt 2 8 Transistoren + 1 Transistor für Speicher (DRAM) Taktraten > 1GHz ~ 10 9 /s Klassische Rechnerarchitektur mit CPU Serielle Abarbeitung von-neumann-bottleneck beim Speicherzugriff ist ungeeignet GPUs, FPGAs oder andere Parallelarchitekturen viel besser geeignet Bildquelle: Wgsimon, CC BY-SA 3.0, 4

5 Elektronische Hardware 9 Die Architektur macht s! 2014: TrueNorth von IBM = Prozessor mit der Struktur Neuronaler Netze ( Chip enthält 4096 Kerne (Cores), mit je 256 Neuronen und Synapsen zusammen 1 Mio. Neuronen und 256 Mio. Synapsen Energieverbrauch 70 mw, 5.4 Mrd. Transistoren, skalierbares System Seitdem zunehmend weitere Spezial-Prozessoren, u.a.: Neural Processing Unit (Qualcomm 2015) Tensor Processing Unit (Google 2016) Nervana Neural Network Processor (NNP, Intel 2018), NNP-T (Training): 27 Mrd Transistoren, 32 GB, ~200 W, NNP-I (Inference): ~20 W... Bildquellen: IBM, Intel Elektronische Hardware 10 Spezial-Hardware (Stand 2019) Cerebras Wafer Scale Engine: kompletter Wafer mm 2 chip cores mit Transistoren 18 GB on-chip SRAM 100 Pb/s interconnect 20 kw (max) Quelle: ( ) 5

6 Elektronische Hardware 11 Deep Learning Fähigkeit eines Neuronalen Netzes wächst mit Anzahl der Neuronen Problem der Implementierung (Hardware) Extrem hohe Anzahl an Parametern festzulegen (zu trainieren) Moderne GPUs und billiger Speicher ermöglichen Parallelverarbeitung Revival der Neuronalen Netze in den letzten Jahren Deep Neural Networks = Neuronale Netze mit vielen Schichten Deep Learning März 2016: AlphaGo schlägt einen der weltbesten Go-Spieler 2018: Christie's versteigert KI-Gemälde für VISION 2018: Digitalkameras mit integrierten Neuronalen Netzen China 2020: 600 Millionen Überwachungskameras mit automatischer Gesichtserkennung (Zutrittskontrolle, Social Scoring,...) Übersicht 12 Historisches. Biologische und andere Hardware. Aufbau: Neuronen und Netze Das Perzeptron Lernen Convolutional Neural Networks 6

7 Aufbau: das Neuron 13 Künstliches Neuron ein Modell Drastische Vereinfachung der biologischen Vorgänge Eingabe Mehrere Eingangsgrößen x i Ԧx (in der Natur ) Ausgabe Eine Ausgangsgröße y Ԧx, w, θ = φ σ w i x i θ, kann auf beliebige viele Eingänge nachfolgender Neuronen verteilt werden Parameter Gewichte w i w Schwellwert θ, lässt sich über einen konstant aktiven Eingang mit eigenem Gewicht darstellen (Bias-Neuron, θ = w 0 1), dadurch alle Parameter w Freiheitsgrad: Aktivierungsfunktion φ() Bildquelle: Wikipedia Aufbau: das Neuron 14 Aktivierungsfunktion Schwellwertverhalten im einfachsten Fall Sprungfunktion (Heaviside-Funktion) 0 für x < 0 y x = H(x) = ቊ 1 für x 0 y x Nachteil: nicht differenzierbar Approximation durch glatte Funktionen (Sigmoid-Funktionen) Logistische oder Fermifunktion 1 φ x = 1 + e x/ x Tangens hyperbolicus y x = tanh x x = ex/ x e x/ x e x/ x + e x/ x... x Steilheitsparameter y x 7

8 Aufbau: das Neuron 15 Künstliches Neuron plausibilisiert Fiktives Problem: Kredit an einen Bankkunden vergeben? Eingabe Eingangsgrößen x i Gehalt Schufa-Auskunft Rating Wohngebiet, Käuferbewertung ebay, Auto Ausgabe Eine Ausgangsgröße: Entscheidung über Kreditvergabe Parameter Gewichte w i : Wie wichtig sind die Eingangsgrößen, wie sehr sollen sie die Entscheidung beeinflussen? Bildquelle: Wikipedia Aufbau: das Netz 16 Netzwerke Verbindung vieler Neuronen Netz(werk) Viele mögliche Verbindungsstrukturen (Topologien) Meist Schichtstruktur (Layer) Eingabeschicht (Puffer ohne Verarbeitungsfähigkeit) Verdeckte Schicht(en) (Hidden Layer(s)) = eigentliche Informationsverarbeitung Ausgabeschicht Eingabeschicht Feedforward-Netze: Ausgänge jedes Neurons sind nur mit der nächsten Schicht (in Richtung Ausgabeschicht) verbunden Informationsfluss nur in Richtung von Eingabe- nach Ausgabeschicht Hier noch offen: jedes Neuron mit allen Eingängen der Folgeschicht verbunden? Andere Topologie z.b. Rekurrente Netze = Rückkopplung u.a. Gedächtnis- / Speicherfunktionalität 8

9 Aufbau: das Neuronale Netz 17 Lernfähigkeit Fähigkeit zur Informationsverarbeitung Neuronaler Netze ist bestimmt durch Anzahl der Neuronen Netzwerktopologie (Verbindungen, Anzahl Schichten, ) Art der Aktivierungsfunktion Trainingsverfahren (Art der Bestimmung Gewichtsfaktoren) Festes Design Gewichtsfaktoren Training Lernen (wie bei anderen Klassifikatoren auch): Gegeben Trainingsdaten Ԧx und Sollwerte (Target) Ԧt, Variation der Gewichte w so, dass Ausgabewerte = Zielwerte: Ԧy! Ԧt Lernen ist meist ein iterativer Prozess Typischer Ansatz: Minimierung des Fehlers (Soll-Ist-Abweichung) Optimierungsproblem Aufbau: das Neuronale Netz 18 Neuronale Netze für Klassifikationsaufgaben In- / Output von Neuronalen Netzen sind i.a. kontinuierliche Größen sehr vielfältige Probleme lösbar (z.b. Fitten von Messwerten) Wertebereich Outputs hängt von Aktivierungsfunktion ab (typ ) Klassifikation Übertragung auf bisherige Klassifikator-Ansatz: Input = Merkmale Anzahl Inputs = Dimension Merkmalsraum Anzahl Outputs = Anzahl Klassen Output ist kontinuierliche Größe Score / Wahrscheinlichkeit für diese Klasse weitere Entscheidung notwendig (Auswahl der Klasse mit dem höchsten Score) Besondere Aktivierungsfunktion für Output-Layer: Softmax-Funktion φ z j = ez j σ e z i Normiert alle Output-Werte auf σ = 1 9

10 Übersicht 19 Historisches. Biologische und andere Hardware. Aufbau: Neuronen und Netze Das Perzeptron Lernen Convolutional Neural Networks Das Perzeptron: Die Anfänge Neuronaler Netze 20 Single-Layer Perceptron Einfachste Realisierung (Rosenblatt 1958): Eingabeschicht + 1 Neuron = Ausgabe Aktivierungsfunktion = Sprungfunktion x 2 x 3 x 4 y = Linearer Klassifikator y = H w i x i + w 0 = H(w t Ԧx + w 0 ) Lernalgorithmus konvergiert immer (sofern eine Lösung existiert) 10

11 Das Perzeptron: Die Anfänge Neuronaler Netze 21 Single-Layer Perceptron: Boolsche Funktionen Einfache logische Funktionen, 2 Eingänge, 1 Ausgang AND OR x 2 y x 2 y x 2 x 2 Das Perzeptron: Die Anfänge Neuronaler Netze 22 Single-Layer Perceptron: Boolsche Funktionen Einfache logische Funktionen, 2 Eingänge, 1 Ausgang AND OR x 2 y x 2 y x 2 x 2 x 2 = 1.5 w 0 = 1.5, w 1 = 1, w 2 = 1 x 2 = 0.5 w 0 = 0.5, w 1 = 1, w 2 = 1 11

12 Das Perzeptron: Die Anfänge Neuronaler Netze 23 Single-Layer Perceptron: Boolsche Funktionen Einfache logische Funktionen, 2 Eingänge, 1 Ausgang AND x 2 y x 2 x x 2 = 1.5 w 0 = 1.5, w 1 = 1, w 2 = 1 y OR x 2 y x 2 x 2 x 2 = 0.5 w 0 = 0.5, w 1 = w 2 = y Das Perzeptron: Die Anfänge Neuronaler Netze 24 Single-Layer Perceptron: Das XOR-Problem XOR x 2 y x XOR-Problem ist nicht linear separierbar? 12

13 Das Perzeptron: Die Anfänge Neuronaler Netze 25 Single-Layer Perceptron: Das XOR-Problem XOR x 2 y x XOR-Problem ist nicht linear separierbar? Neuronale Netze können nur langweilige Probleme lösen Das Perzeptron: Vielschichtigkeit 26 Single-Layer Perceptron: Das XOR-Problem XOR x 2 y x 2 XOR-Problem ist nicht linear separierbar Aber: Alle Boolschen Funktionen lassen sich durch Kombination von Grundfunktionen darstellen? x 2 = x 2 ڀ x 2 Kaskadierung von Neuronen x 2 y 13

14 Das Perzeptron: Vielschichtigkeit 27 Single-Layer Perceptron: Das XOR-Problem XOR x 2 y x XOR-Problem ist nicht linear separierbar Aber: Alle Boolschen Funktionen lassen sich durch Kombination von Grundfunktionen darstellen: x 2 = x 2 ڀ x 2 Kaskadierung von Neuronen x y Das Perzeptron: Vielschichtigkeit 28 Multi-Layer Perzeptron Hinzufügen zusätzlicher verborgener Schichten (Hidden Layers) zwischen Eingabe und Ausgabeschicht Simpelste Realisierung = 2 Schichten In Hidden Out Ggf. keine / spezielle Aktivierungsfunktion für Ausgabeschicht (φ out = 1) Eingabe -schicht Jede Boolesche oder binäre Funktion y = f(, x 2, x n ) mit y, x k ε {0, 1} lässt sich durch ein mehrstufiges Perzeptron mit einer verborgenen Schicht realisieren Jede stetige reellwertige Funktion y = f(, x 2, x n ) mit y, x k ε R lässt sich durch ein mehrstufiges Perzeptron mit höchstens 2 verborgenen Schichten realisieren Jede weitere Schicht steigert die Leistungsfähigkeit. Viele Schichten = Tiefes Netz = Deep Neural Network (typ. bei >2 Schichten). Im Verlauf der Schichten ändert sich der Informationsgehalt von Merkmalen zu Klassen (oder z.b. von Bildeigenschaften / Pixeln zu Objekteigenschaften) zunehmende Generalisierung / Abstraktion 14

15 Übersicht 29 Historisches. Biologische und andere Hardware. Aufbau: Neuronen und Netze Das Perzeptron Lernen Convolutional Neural Networks Übersicht 30 Historisches. Biologische und andere Hardware. Aufbau: Neuronen und Netze Das Perzeptron Lernen Überblick: Lernen durch Fehler Basics: 1 Neuron, 1 Trainingspartner Lernen im Netz, Back-Propagation Die ganze Trainingsstichprobe Vermeiden von Overfitting Abkürzung Convolutional Neural Networks 15

16 Lernen: eine Optimierungsaufgabe 31 Überblick: Lernen durch Fehler (überwachtes Lernen) Trainieren Neuronaler Netze = Festlegung der Gewichte w i Geg.: Trainingsstichprobe Ԧx l und zugehörige Soll-Werte Ԧt l der Ausgänge Konzept Fehler = Abweichung zwischen Ist-Werten und Sollwerten berechnen Diesen Fehler durch Variation der Gewichte w minimieren Optimierungsproblem Zielfunktion mit Gewichten w i als unabhängige Variable Zielfunktion bewertet den Fehler. Verschiedene Zielfunktionen möglich. Klassisch: Quadratische Abweichungen J = Soll Ist 2 Suche nach Optimum iterativ, z.b. über Gradientenverfahren Lernen: eine Optimierungsaufgabe 32 Überwachtes Lernen Trainingsstichprobe Merkmalsvektor Ԧ Ԧx Ԧy Wahre Klasse Ԧt 1 Ԧx 2 Ԧt 2 Ԧx 3 Ԧt 3 Ԧx l Optimierung Anpassung durch der Gewichtsfaktoren Anpassung der w i an Gewichtsfaktoren gegebene Ԧx und wԧt i Ԧt l Allgemeine Struktur Überwachtes Lernen mit Trainings-Stichprobe: Viele Inputs viele Soll-Outputs Lernen aus Fehlern Abweichung zwischen den Sollwerten Ԧt und Reaktion Ԧy des Netzes auf gegebenen Input Ԧx 16

17 Übersicht 33 Historisches. Biologische und andere Hardware. Aufbau: Neuronen und Netze Das Perzeptron Lernen Überblick: Lernen durch Fehler Basics: 1 Neuron, 1 Trainingspartner Lernen im Netz, Back-Propagation Die ganze Trainingsstichprobe Vermeiden von Overfitting Abkürzung Convolutional Neural Networks Lernen: Basics 34 Trainingsstichprobe Merkmalsvektor Ԧx 2 x 2 x 3 w 1 w 2 w 3 σ φ σ y Wahre Klasse t 1 t 2 Ԧx 3 x 4 w 4 t 3 Ԧx l t l Vereinfachungen! Nur 1 Neuron mit 1 Ausgang Nur 1 Trainingspartner 17

18 Lernen: Basics 35 Training eines Neurons mit einem Trainingspartner x 2 x 3 w 1 w 2 w 3 σ y Sollwert (Target) t w 4 x 4 Vereinfachungen! Nur 1 Neuron mit 1 Ausgang Nur 1 Trainingspartner Keine Aktivierungsfunktion y = φ σ w i x i Neuron erzeugt Outputwert y, der (noch) von Sollwert t abweicht y = σ w i x i Lernen: Basics 36 Training eines Neurons mit einem Trainingspartner x 2 x 3 w 1 w 2 w 3 σ y = σ w i x i Sollwert (Target) t w 4 x 4 Einzelner Lernschritt Fehler e = t y. Zu minimierende Zielfunktion J = 1 2 e2. Fehler e = t y Anpassung ein Gewicht: w neu i = w i + Δw i = w i + e x i Alle Gewichte: w neu = w + e Ԧx Ggf. mit Lernrate η: w neu = w + η e Ԧx 18

19 Lernen: Basics 37 Training eines Neurons mit einem Trainingspartner x 2 x 3 w 1 w 2 w 3 σ y = σ w i x i Sollwert (Target) t w 4 x 4 Einzelner Lernschritt Fehler e = t y. Zu minimierende Zielfunktion J = 1 2 e2. Fehler e = t y Anpassung ein Gewicht: w neu i = w i + Δw i = w i + e x i Alle Gewichte: w neu = w + e Ԧx Anschaulich: y war zu klein ( e > 0), obwohl x i groß war Ggf. mit Lernrate η: w neu = w + η e Ԧx Einfluss von x i stärken w i vergrößern und zwar um so mehr, je größer e war Lernen: Basics 38 Training eines Neurons mit einem Trainingspartner x 2 x 3 w 1 w 2 w 3 σ φ σ y = φ σ w i x i Sollwert t Einzelner Lernschritt mit Aktivierungsfunktion x 4 w 4 Fehler e = t y Jetzt y = φ σ w i x i Fehler e = t φ σ w i x i. Zielfunktion J = 1 2 e2 = 1 2 t φ σ w ix i 2 Gradientenverfahren 1. Ableitung der Aktivierungsfunktion φ w neu = w + η e φ Ԧx 19

20 Lernen: Basics 39 Training eines Neurons mit einem Trainingspartner x 2 x 3 w 1 w 2 w 3 σ φ σ y = φ σ w i x i Sollwert t Einzelner Lernschritt mit Aktivierungsfunktion x 4 w 4 Fehler e = t y Jetzt y = φ σ w i x i Fehler e = t φ σ w i x i. Zielfunktion J = 1 2 e2 = 1 2 t φ σ w ix i 2 Gradientenverfahren 1. Ableitung der Aktivierungsfunktion φ w neu = w + η e φ Ԧx Von der Aktivierungsfunktion wird nur die lokale Steigung benutzt (für Empfindlichkeit der Gewichtsanpassung) Übersicht 40 Historisches. Biologische und andere Hardware. Aufbau: Neuronen und Netze Das Perzeptron Lernen Überblick: Lernen durch Fehler Basics: 1 Neuron, 1 Trainingspartner Lernen im Netz, Back-Propagation Die ganze Trainingsstichprobe Vermeiden von Overfitting Abkürzung Convolutional Neural Networks 20

21 Lernen: Backpropagation 41 Mehrere Neuronen 1 Schicht Gewichte bekommen 2 Indices, w ji verbindet Eingang i mit Neuron j So viele Ausgänge y j wie Neuronen Output-Werte Ԧy, Soll-Werte Ԧt, Fehler Ԧe x 2 x 3 w 11 w 12 w 13 w 21 w 22 φ σ y 1 Ԧy Sollwert Ԧt Fehler Ԧe = Ԧt Ԧy w 14 w 23 φ σ y 2 x 4 w 24 Am Trainingskonzept ändert sich wenig (bleibt für jedes individuelle Neuron gleich) w ji neu = w ji + η e j φ x i Lernen: Backpropagation 42 Mehrere Schichten Beispiel: 2 Schichten Eingang: x i Ausgang Hidden Layer: y j Ausgang Netzwerk: z k Gewichte Input Hidden Layer: w ji verbindet x i mit y j Hidden Layer Ausgang Netz: w kj verbindet y j mit z k x i w ji φ 2 φ w kj 1 y j z k Aktivierungsfunktion (mit Zwischensummen): y j = φ 1 σ i w ji x i z k = φ 2 σ j w kj y j Achtung: w kj wirkt nur auf einen einzelnen Ausgang k aber w ji kann auf viele Ausgänge wirken 21

22 Lernen: Backpropagation 43 Lernen bei 2 Schichten Fehler für einen festen Trainingsvektor Ԧx, der zum Soll-Ausgang t k führen soll: J = 1 2 σ k t k z k 2 φ 2 x i w ji φ 1 w kj z k y j Trainieren der Ausgabeschicht J w kj = t k z k φ 2 y j = e k y j Δw kj Trainieren der verborgenen Schicht J = σ w k t k z k φ ji 2 w kj φ 1 x i = e j Ƹ x i Δw ji mit e j Ƹ =: φ 1 σ k w kj δ k y j = φ 1 (σ i w ji x i ) z k = φ 2 ( σ j w kj y j ) φ φ u =: u Änderungen der Gewichte in verborgener Schicht ~ Änderungen der Gewichte in der dahinter liegenden Ausgabeschicht Notwendig für iteratives Gradientenverfahren: J w mn... also alles andere wie zuvor Lernen: Backpropagation 44 Zusammenfassung: Rückwärtsgewandt Information über den Fehler (Abweichung von der gewünschten Klassifizierung) liegt am Ausgang des Neuronalen Netzes vor Aber: die Gewichte in davor liegenden Schichten müssen angepasst werden (Error) Back-Propagation φ 2 x i w ji φ 1 w kj z k y j Fehler e k Nur die Gewichtsfaktoren der letzten Schicht wirken direkt auf Zielfunktion (Fehler), alle davor liegenden wirken nur mittelbar Schrittweise von hinten nach vorne durch die Schichten arbeiten. Anpassung erfolgt iterativ, z.b. mit Gradientenverfahren oder einem anderen, schneller konvergierenden Optimierungsverfahren 22

23 Lernen: Backpropagation 45 Backpropagation, Probleme der - Keine Konvergenzgarantie Lokale Minima Diskretisierter Gradient keine monotone Abnahme des Fehlers Vanishing Gradient Änderung der Gewichte Δw ~ Gradient ~ 1. Ableitung der Aktivierungsfunktion Gradient kann sehr klein werden keine großen Änderungen Δw sehr langsame Konvergenz Besonders relevant in vorderen Layern (Produkte mehrere Gradienten) Gegenmaßnahmen Nicht-sättigende Aktivierungsfunktionen Geschickte Initialisierung der Gewichte y y ReLU-Funktion (Rectified Linear Unit) x x Lernen: Backpropagation 46 Backpropagation-Varianten Gradientenverfahren mit Trägheitsterm Verwendung eines (variablen) Trägheitsterms (Momentum) α aktuelle Änderung der Gewichte hängt zusätzlich von vorangegangener Änderung ab (Art gleitender Mittelwert) Δ w ji n+1 Analogie: Kugel, die Berg hinunter rollt n = η e j Ƹ x i + α Δ w ji Überwindung lokaler Minima, insgesamt stabileres Konvergenzverhalten Optimierung Nutzung schneller konvergierender Verfahren aus der numerischen Optimierung 23

24 Lernen: Backpropagation 47 Alternative Zielfunktion Allgemeines Ziel: bewerteter Vergleich zwischen Ist-Ausgang y und Sollwerten t Bisher: J = 1 2 e 2 k = 1 2 t k y 2 k k k J(t, y) kann auch anders formuliert werden z.b. Beträge statt Quadrate J = 1 2 k e k = 1 2 k t k y k Oft benutzt: Cross-Entropy J = [y k ln t k + 1 y k ln(1 ln t k )] Bessere Konvergenz bei Gradientenverfahren k Übersicht 48 Historisches. Biologische und andere Hardware. Aufbau: Neuronen und Netze Das Perzeptron Lernen Überblick: Lernen durch Fehler Basics: 1 Neuron, 1 Trainingspartner Lernen im Netz, Back-Propagation Die ganze Trainingsstichprobe Vermeiden von Overfitting Abkürzung Convolutional Neural Networks 24

25 Lernen: Die ganze Trainingsstichprobe 49 Leider noch nicht fertig denn bislang wurde nur ein einziges Mitglied der Trainingsstichprobe benutzt. Wie können wir alle Trainingspartner zum Einsatz bringen? Lernen: Die ganze Trainingsstichprobe 50 Benutzen der Trainingsstichprobe Ԧ Ԧx 2 Ԧx 3 Ԧx l Fehler Ԧe 1 Ԧe 2 Ԧe 3 Ԧe l Viele Ԧx l Ԧy l und viele Sollwerte Ԧt (l) viele Fehler Ԧe l = Ԧt (l) Ԧy l 25

26 Lernen: Die ganze Trainingsstichprobe 51 Benutzen der Trainingsstichprobe Ԧ Ԧx 2 Ԧx 3 Ԧx l Trainingsstrategien Individuelle Aktualisierung w für jedes Ԧx l, e l Situativ großer Einfluss jedes Trainingswert, instabiles / unruhiges Lernen Fehler Ԧe 1 Ԧe 2 Ԧe 3 Ԧe l Lernen: Die ganze Trainingsstichprobe 52 Benutzen der Trainingsstichprobe Ԧ Ԧx 2 Ԧx 3 < Ԧe l > l Fehler Ԧe 1 Ԧe 2 Ԧe 3 Ԧx l Trainingsstrategien Alle Trainingswerte Ԧx l nacheinander anbieten, jeweils Fehler Ԧe l berechnen, Anpassung der Gewichte aus mittlerem Gesamtfehler < Ԧe l > l w Wenig Einfluss der Variation innerhalb der Trainingsdaten, aber stabiles Lernen Ԧe l 26

27 Lernen: Die ganze Trainingsstichprobe 53 Benutzen der Trainingsstichprobe Ԧ Ԧx 2 Ԧx 3 Ԧx l Trainingsstrategien Kompromiss Batch-Verfahren: Einen Teil der Trainingsdaten Ԧx m jeweils Fehler Ԧe m berechnen, Anpassung der Gewichte aus Batch-Mittelwert < e m > m w Iterationen 1 Epoche = 1x Durchlaufen aller Trainingsdaten Gesamtes Training = mehrere Epochen < Ԧe m > m anbieten, Fehler Ԧe 1 Ԧe 2 Ԧe 3 Ԧe l Übersicht 54 Historisches. Biologische und andere Hardware. Aufbau: Neuronen und Netze Das Perzeptron Lernen: Überblick: Lernen durch Fehler Basics: 1 Neuron, 1 Trainingspartner Lernen im Netz, Back-Propagation Die ganze Trainingsstichprobe Vermeiden von Overfitting Abkürzung Convolutional Neural Networks 27

28 Daten: Test Valid. Training Lernen: Overfitting 55 Overfitting Neuronale Netze können sehr viele Freiheitsgrade haben, neigen zu Overfitting Unterschiedliche Maßnahmen möglich, meist als Regularisierung bezeichnet Zusatzbedingungen Zusätzliche Bedingungen auferlegen z.b. Summe der Gewichtsfaktoren σ i w ji pro Neuron limitieren oder zusätzliche Bedingung in Zielfunktion aufnehmen, z.b. E E + w 2 Dropout Jedes Neuron mit einer gewissen Wahrscheinlichkeit (pro Trainingsschritt) vorübergehen ausfallen lassen Damit nicht jedes einzelne Neuron kritisch für Gesamtfunktion, Funktionalität wird tendenziell auf mehrere Neuronen verteilt (Redundanz) Steigert zugleich die Robustheit gegen Variationen der Inputdaten Lernen: Overfitting 56 Early Stopping Während des Trainings: Lernerfolg (z.b. Klassifizierungsfehler) an Trainings- und an Validierungsstichprobe beobachten / miteinander vergleichen Neuronales Netz wird immer besser bzgl. Trainingsdaten, sobald es ins Overfitting geht wird Fehler bezgl. Validierungsdaten wieder größer an dieser Stelle Training abbrechen Stichprobe Training Netz Abbruch? = Finaler Test Bildquelle: Duda, Hart, Stork, Pattern Classification 28

29 Übersicht 57 Historisches. Biologische und andere Hardware. Aufbau: Neuronen und Netze Das Perzeptron Lernen Überblick: Lernen durch Fehler Basics: 1 Neuron, 1 Trainingspartner Lernen im Netz, Back-Propagation Die ganze Trainingsstichprobe Vermeiden von Overfitting Abkürzung Convolutional Neural Networks Lernen: Abkürzung 58 Mühen Design Netzwerk-Topologie Anzahl der Layer, Anzahl der Neuronen pro Layer Wahl der Aktivierungsfunktion(en) Wahl des Trainingsverfahrens... Training Große Trainingsstichproben notwendig Zeit- / rechenaufwendig Keine Standardregeln, keine Gebrauchsanleitung Abkürzung: Nutzung vortrainierter Netze! Wie in der Schule: Abschreiben Transfer learning = Übernehmen eines bereits gut trainierten Netzes, nur noch nach-trainieren auf eigene Aufgabe / eigenen Datensatz Benutzte Vorlage muss auf eine ähnliche Aufgabe trainiert worden sein Vorzugsweise nur untere Layer kopieren ( ähnliche Verarbeitung der Input-Daten) 29

30 Übersicht 59 Historisches. Biologische und andere Hardware. Aufbau: Neuronen und Netze Das Perzeptron Lernen Convolutional Neural Networks CNN: Aufbau 60 Convolutional Neural Networks (CNN) Bildverarbeitung ist DIE Anwendung für (C)NN CNN enthalten meist auch viele Layer ( Deep Neural Networks) Input eines CNN = alle Pixel eines Bildes (Grauwerte der -) Output = je ein Neuron für jede Klasse Layer-Arten Convolution-Layer Pooling-Layer (Subsampling) Voll-vernetzte Layer Bildquelle: Aphex34, CC-BY-SA 4.0, 30

31 CNN: Aufbau 61 Convolution-Layer CNNs sind nicht komplett voll-vernetzt. Wenn jedes Neuron des 1. Layers mit allen N M Pixeln eines Bildes vernetzt wäre, hätte dieser Layer bereits N M Gewichtsfaktoren. Statt dessen: Jedes Neuron nutzt als Input eine lokale Umgebung eines Pixels CNN: Aufbau 62 Convolution-Layer CNNs sind nicht komplett voll-vernetzt. Wenn jedes Neuron des 1. Layers mit allen N M Pixeln eines Bildes vernetzt wäre, hätte dieser Layer bereits N M Gewichtsfaktoren. Statt dessen: Jedes Neuron nutzt als Input eine lokale Umgebung eines Pixels = Faltung (Convolution) mit Filtermaske Biologische Analogie zur Retina, wo Sehzellen auch lokal interagieren 31

32 CNN: Aufbau 63 Convolution-Layer 1 Neuron (mit k 2 -Inputs) = 1 Filter (der Kantenlänge k) für eine feste Position im Bild, d.h. pro Bildpixel ein Neuron Gewichtsfaktoren = Einträge in Filtermaske Alle Filtermasken werden gleich gewählt (=Translationsinvarianz) sehr viel weniger zu trainierende Gewichtsfaktoren Filter werden automatisch "gelernt", d.h. Neuronales Netz wählt entsprechend der Aufgabe (der Trainingsdaten) selbst geeignete Filtermaskeneinträge Jedes Filter hat nur eine Funktionalität Parallel mehrere Filter im Convolutional Layer Ausgabe = unterschiedlich gefilterte Input-Bilder, tragen unterschiedliche Bildmerkmale (z.b. Kanten in untersch. Orientierungen) CNN: Aufbau 64 Pooling-Layer Pooling = Subsampling zur Datenreduktion Vorgegebene Bereiche werden zu einem Pixel zusammen gefasst (z.b. Mittelwert oder Maximum) Keine Filteroperation (i.s.v. keine Faltung), alle Inputs eines Neurons gleich gewichtet Danach weitere Convolution-Layer... Fully connected-layer Als Letztes (mehrere) voll vernetzte Layer für eigentliche Klassifizierung 1 Output-Neuron / Klasse Ausgabewert = Wahrscheinlichkeit 32

33 CNN: Beispiele 65 Interaktives Beispiel im Netz: Erkennung handschriftlicher Ziffern CNN: Beispiele 66 Beispiel Bilderkennung Large Scale Visual Recognition Challenge 2010 (ImageNet LSVRC-2010) : davon 1.2 Millionen Bilder (256x256 Pixel) 1000 Klassen Neuronales Netz mit Neuronen, 5 Convolutional Layer 60 Millionen freie Parameter. Implementiert auf 2 GPUs. Fehlklassifikationsrate 37.5% - Spitzenwert für Convolutional Layer mit 96 Filtermasken (11 1 x 3): A. Krizhevsky et al., "ImageNet Classification with Deep Convolutional Neural Networks", NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada 33

34 CNN: Beispiele 67 Beispiel Bilderkennung ff Entwicklung der Fehlerrate im Large Scale Visual Recognition Challenge durch Deep Neural Networks By Gkrusze - Own work, CC BY-SA 4.0, CNN: Beispiele 68 Beispiel: Lächelt er? Bildquelle: M. Matsugu et al, Neural Networks 16 (2003)

35 CNN: Beispiele 69 Beispiel: Inspektion von heißen Stahlprodukten Quelle: A. Alvarez-Gila et al., "Deep Convolutional Neural Networks for surface quality inspection, EMVA Forum 2016 Convolutional Neural Networks (CNN) 70 Diskussion CNN müssen Segmentierung und Merkmalsextraktion selbst bewältigen, sowie translations- und rotationsinvariant reagieren! Andere Sichtweise: Millionen von Gewichtsfaktoren festzulegen sehr große Trainingsstichprobe notwendig Bei CNN gibt es beim Design mehr zu entscheiden: Anzahl der Filter Größe der Filter (-masken) Art des Pooling / Subsampling Anzahl / Abfolge der verschiedenen Layer In letzter Zeit große Erfolge im Vergleich zu anderen (Bild-) Klassifikatoren Aktuelle Diskussion über Einsatz von CNN in der Machine Vision Klassifikationssicherheit? Robustheit gegen variierende Bildeigenschaften? Eignung für industrielle Anwendungen? Eignung für sicherheitskritische Anwendungen (z.b. Autonomes Fahren)? 35

36 Neuronale Netze 71 Fazit Künstliche Neuronale Netze bestehen aus vielen, untereinander vernetzten, nichtlinearen Verarbeitungselementen (Neuronen) Sie sind trainierbar, das Trainingsergebnis wird in den Gewichten der Verbindungen untereinander gespeichert Sehr großes Spektrum unterschiedlicher Neuronaler Netze. Klassifikation und Bildverarbeitung sind nur ein Teil aktueller Anwendungen. Im Gegensatz zu anderen BV-Lösungen: Keine problemspezifische Algorithmen-Programmierung, keine BV-Expertise notwendig! Kritik Wahl des richtigen Netz-Designs erfordert Deep-Learning-Expertise Viele freie Parameter große Datenmengen zum Training notwendig Training muss nicht konvergieren / muss nicht zu optimaler Lösung führen Kritisch: Balance zwischen Leistungsfähigkeit und Overfitting Umsetzung macht vor allem Sinn mit parallelisierter Hardware Black Box, Klassifikationsverhalten ist undurchsichtig Extras 72 Anhang: Neuronale Matlab 36

37 Neural Matlab 74 Matlab: Neuronale Netze erzeugen und konfigurieren (Flache) Netzwerke können mit net = network()erzeugt werden Es gibt vorgefertigte Netzwerkstrukturen, z.b. feeforwardnet() patternnet() perceptron() net ist ein Objekt, das alle Eigenschaften speichert Design festlegen / abfragen: - net.numinputs: Anzahl der Inputs - net.numlayer: Anzahl der Layer - net.numoutputs: Anzahl der Outputs - - net.biasconnect: xx - net.inputconnect: xx - net.layerconnect: xx - net.outputconnect: xx - (Als logische Arrays. Geben an, welche Inputs/Layer/Outputs miteinander verbunden werden, damit sind auch (Rückwärts-) Verbindungen über Layer hinweg möglich) Neural Matlab 75 Matlab: Neuronale Netze erzeugen und konfigurieren net ist ein Objekt,... Nützliche Methoden - configure: Automatisches Design aufgrund von Trainingsdaten. Legt Anzahl Inputs / Outputs und deren Größe fest - view: Grafische Ausgabe der Netzarchitektur - init: passende Initialwerte für Gewichte und Bias-Gewichte setzen. Führt die (wählbare) net.initfcn aus. - train:... Gewichte (+ Bias) werden gemäß Trainingsdaten optimal gewählt - perform: Berechnet eine bewertete Abweichung des aktuellen Outputs von den Sollwerten (Target). Benutzt dazu die die (wählbare) net.performfcn mit zugehörigen (wählbaren) net.performparam - sim: Wendet das Netz auf gegebenen (Test-) Daten an (mit trainierten Gewichten) 37

38 Neural Matlab 76 Matlab: Neuronale Netze erzeugen und konfigurieren net ist ein Objekt,... Parameter festlegen / abfragen - net.iw: Alle Input-Gewichte - net.lw: Alle Gewichte der jeweiligen Layer - net.b: Bias-Werte - (Geben jeweils cell-arrays zurück) Neural Matlab 77 Matlab: Neuronale Netze erzeugen und konfigurieren net ist ein Objekt,... Trainingseinstellungen festlegen / abfragen... - net.trainfcn: Wahl des numerischen Optimierungsverfahrens, z.b. Backpropagation mit Gradientenverfahren, mit zugehörigen (wählbaren) Parametern net.trainparam - net.performfcn: Funktion zum Bewerten der Abweichung vom Soll-Output (= Zielfunktion ), mit zugehörigen (wählbaren) Parametern net.performparam - net.dividefcn : Funktion, die bestimmt wie die Trainingsstichprobe aufgeteilt wird in Teile zum eigentlichen Trainieren und Teile zum Validieren (Test der Trainingsperformanz, Vermeidung von Overfitting), mit zugehörigen (wählbaren) Parametern net.divideparam und net.dividemode - net.initfcn : Funktion zur Initialisierung der Gewichts und ggf. der Bias-Werte vor Start der Trainingsiterationen - net.plotfcns : Hinterlegt Möglichkeiten, das Training mithilfe verschiedener Plots auszuwerten 38

39 Neural Matlab 78 Grafische Darstellung Neural Matlab 79 Grafische Darstellung Input für N-dimensionale Merkmalsvektoren (hier N=2, optional >1 Inputs) Output (formal) Verborgener Layer mit K Neuronen (hier K=10) Gewichten für jede Verbindung zum Input Bias (optional) Summierung (eigene) Aktivierungsfunktion Output-Layer mit K Neuronen (hier K=2) = 2 Outputs Gewichten für jede Verb. zu vorher. Layer Bias (optional) Summierung (eigene) Aktivierungsfunktion 39

40 Neural Matlab 80 Grafische Darstellung 40