Vorlesung Digitale Bildverarbeitung Sommersemester 2013

Transkript

1 Vorlesung Digitale Bildverarbeitung Sommersemester 2013 Sebastian Houben (Marc Schlipsing) Institut für Neuroinformatik

2 Inhalt Crash-Course in Machine Learning Klassifikationsverfahren Grundsätzliches K-Nearest-Neighbour-Klassifizierer (KNN) Linear Discriminant Analysis (LDA) Support Vector Machine (SVM)

3 Was ist maschinelles Lernen (Machine Learning)? Nachbildung menschlicher Lern- und Verständnisleistungen Überwachtes Lernen (Supervised Learning) Unüberwachtes Lernen (Unsupervised Learning) Verstärkendes Lernen (Reinforcement Learning) Mischformen Vertiefende Vorlesungen Laurenz Wiskott: Machine Learning: Unsupervised Methods Tobias Glasmachers: Machine Learning: Supervised Methods Rolf Würtz: Artificial Neural Networks, Sehen in Mensch und Maschine

4 Was ist ein Klassifikator? Regression vs. Klassifikation Regression versucht einen kontinuierlichen Wert zu erlernen (Lernen einer Funktionsvorschrift) Klassifikation versucht einen diskreten von endlich vielen Werten zu erlernen Regression kann über Einführung von Schwellen in Klassifikation umgewandelt werden Wert Klasse Klasse Merkmal Merkmal Merkmal

5 Was ist ein Klassifikator? Einteilung in Trainings- und Testphase Label aus 1,..., k für jede der k möglichen Klassen Training (Daten, Label) Klassifikator Test (Daten,?) Vorfahrt achten / Fahrtrichtichtung links / Gefahr Baustelle Gesicht / kein Gesicht Heimmannschaft / Auswärtsmannschaft / Torwart / Schiedsrichter

6 Was ist ein Klassifikator? Im Rahmen dieser Vorlesung behandeln wir nur binäre Klassifikation, Label = 0 / 1 Training (Daten, Label) Klassifikator Test (Daten,?) Vorfahrt achten / Fahrtrichtichtung links / Gefahr Baustelle Gesicht / kein Gesicht Heimmannschaft / Auswärtsmannschaft / Torwart / Schiedsrichter

7 Was ist ein Klassifikator? Beim Training werden an Hand von bekannten Beispielen die Parameter des Klassifikators gewählt Der Klassifikator kann selbst mit optimalen Parametern noch Fehler auf der Testmenge machen Beispiele sind falsch gelabelt Modell der Klassifkators reicht nicht aus für die Trainingsmenge Die Merkmale erlauben keine genaue Trennung Anteil der falsch klassifizierten Beispiele heißt Trainingsfehler Beim Test wird an Hand von bekannten Beispielen die Performance des Klassifkators ermittelt Anteil der falsch klassifizierten Beispiele heißt Testfehler

8 Feature-Räume Zu klassifizierende Beispiele werden durch Charakteristika (Features) beschrieben Diese lassen sich durch Punkte in einem Vektorraum abstrahieren Wir betrachten bis auf Weiteres nur binäre Klassifikation (genau zwei Klassen)

9 Ein erster Klassifikator: K-Nearest-Neighbour Idee: Merke Dir alle Beispiele aus dem Training Gib beim Test die Klasse des Trainingsbeispiels zurück, das am nächsten zum betrachteten liegt

10 Ein erster Klassifikator: K-Nearest-Neighbour Idee: Merke Dir alle Beispiele aus dem Training Gib beim Test die Klasse des Trainingsbeispiels zurück, das am nächsten (im Feature-Raum) zum betrachteten liegt

11 Ein erster Klassifikator: K-Nearest-Neighbour Merke Dir alle Beispiele aus dem Training Gib beim Test die Klasse DER MEHRHEIT DER K TRAININGSBEISPIELE zurück, die am nächsten zum betrachteten liegen

12 Ein erster Klassifikator: K-Nearest-Neighbour Merke Dir alle Beispiele aus dem Training Gib beim Test die Klasse DER MEHRHEIT DER K TRAININGSBEISPIELE zurück, die am nächsten zum betrachteten liegen

13 Datentreue vs. Generalisierung Wie sollte man k wählen? Je höher k ist, desto rauschunempfindlicher sollte die Klassifizierung sein. => bessere Performance Je höher k ist, desto größer ist der Bereich des Feature-Raums, aus dem die Beispiele stammen. => schlechtere Performance k zu klein => Overfitting (Überanpassung) k zu groß => Underfitting (Unteranpassung)

14 KNN Hallo, wach! Was sind Vor- und Nachteile des KNN-Klassifikators?

15 KNN Hallo, wach! Was sind Vor- und Nachteile des KNN-Klassifikators? Einfach Training ist schnell (bzw. nicht nötig) Test ist langsam Bessere Datenstrukturen: Angepasste Suchbäume Clustern der Trainingsmenge zu Prototypen In der Praxis sind die Ergebnisse brauchbar

16 Linear Discriminant Analysis (LDA) Idee: Stelle Menge der Beispiele einer Klasse durch parametrisierte Verteilung dar Mehrdimensionale Normalverteilung ist parametrisiert durch Mittelwert und Kovarianzmatrix

17 Linear Discriminant Analysis (LDA) Idee: Stelle Menge der Beispiele einer Klasse durch parametrisierte Verteilung dar Mehrdimensionale Normalverteilung ist parametrisiert durch Mittelwert und Kovarianzmatrix

18 Linear Discriminant Analysis (LDA) Mathematische Einfachheit durch Annahme gleicher Kovarianz Es existiert dann eine Trennebene

19 Linear Discriminant Analysis (LDA) Mathematische Einfachheit durch Annahme gleicher Kovarianz Es existiert dann eine Trennebene

20 Linear Discriminant Analysis (LDA) Gleichsetzen um Trennebene zu finden

21 Linear Discriminant Analysis (LDA) Gleichsetzen um Trennebene zu finden

22 Linear Discriminant Analysis (LDA) Gleichsetzen um Trennebene zu finden

23 Linear Discriminant Analysis (LDA) Gleichsetzen um Trennebene zu finden

24 Linear Discriminant Analysis (LDA) Gleichsetzen um Trennebene zu finden

25 Linear Discriminant Analysis (LDA) Gleichsetzen um Trennebene zu finden

26 Linear Discriminant Analysis (LDA) Linearer Klassifizierer Lesbar (hohe Werte in stehen für wichtige Features) Einfach Schnell

27 Einfaches Beispiel Training

28 LDA Hallo, wach! Was sind die Vor- und Nachteile des LDA?

29 LDA Hallo, wach! Was sind die Vor- und Nachteile des LDA? Einfach Training schnell In der Praxis gute Ergebnisse Gute Generalisierung durch starke Modellannahmen Abhängig von Wahl der Features (dazu später mehr) In manchen Fällen ungeeignet

30 LDA Hallo, wach! Was sind Unterschiede zwischen LDA und KNN?

31 LDA Hallo, wach! Was sind Unterschiede zwischen LDA und KNN? LDA Schnelles Training Starke Modellannahmen Linearer Klassifikator (schnell) Teils gute Generalisierung KNN kein Training Keine Modellannahmen Gute Datentreue Langsamer Test Teils gute Generalisierung

32 Machine Learning Hallo, wach! Wie sieht ein linearer Klassifikator aus, wenn man nur ein Feature hat?

33 Machine Learning Hallo, wach! Wie sieht ein linearer Klassifikator aus, wenn man nur ein Feature hat? 0 x

34 Machine Learning Hallo, wach! Wie sieht ein linearer Klassifikator aus, wenn man nur ein Feature hat? 0 x

35 Linear Discriminant Analysis (LDA) Reicht ein linearer Klassifikator immer aus? 0 x

36 Linear Discriminant Analysis (LDA) Reicht ein linearer Klassifikator immer aus? x 2 0 x 0 x

37 Dimension des Feature-Raums Dimension => Komplexität des Klassifikators Komplexität vs. Generalisierung Trainings-Performance vs. Test-Performance Um in einem Feature-Raum hoher Dimension zu lernen, benötigt man viele Trainings- Beispiele.

38 Zurück zur Bildverarbeitung Übergabe von Bilddaten an den Klassifikator Vorfahrt / Links abbiegen Klassifikator Gesicht / Kein Gesicht Heim / Auswärts

39 Feature Extractor Bilder sind komplexe, hochdimensionale Datenstrukturen Feature Extractor Reduziert die Feature-Dimension Implementiert Vorwissen Feature Extractor Vorfahrt / Links abbiegen Klassifikator Gesicht / Kein Gesicht Heim / Auswärts

40 Haar(-like) Feature Ähnlich zu den Haar-Wavelets (daher der Name) Gesichtsdetektion (2001) Heute in genereller Objektdetektion einsetzbar

41 Haar(-like) Features Definiert durch Position von zwei oder mehr Rechtecken einer Vorzeichenzuordnung dieser Rechtecke Berechnung: Summe der Helligkeitswerte unter der weißen Region minus Summe der Helligkeitswerte unter der schwarzen Region

42 Haar(-like) Features Definiert durch Position von zwei oder mehr Rechtecken einer Vorzeichenzuordnung dieser Rechtecke Berechnung: Summe der Helligkeitswerte unter der weißen Region minus Summe der Helligkeitswerte unter der schwarzen Region Haar-Features geben also an, ob bestimmte einfache Kanten an bestimmten Stellen im Bild vorhanden sind

43 Haar(-like) Features Trick zur effizienten Berechnung: Integralbild Integralbild enthält für jedes Pixel die Summe aller Helligkeitswerte, die eine kleinere Zeile oder Spalte haben Berechnung in O(n)

44 Haar(-like) Features Trick zur Berechnung

45 Haar(-like) Features Trick zur Berechnung

46 Haar(-like) Features Trick zur Berechnung

47 Haar(-like) Features Trick zur Berechnung

48 Haar(-like) Features Trick zur Berechnung

49 Haar(-like) Features Umformung der Rechtecksummen

50 Haar(-like) Features - Hallo, wach! Unter welchen Umständen ist der Einsatz eines Integralbildes sinnvoll?

51 Haar(-like) Features - Hallo, wach! Unter welchen Umständen ist der Einsatz eines Integralbildes sinnvoll? Wenn man viele Haar-Features berechnen muss Wenn die Fläche der zu berechnenden Haar-Features größer als die Fläche des Bildes ist

52 Haar(-like) Feature Jedes Haar-Feature liefert einen skalaren Wert Diese können zum Feature-Vektor konkateniert werden

53 Haar(-like) Feature Woher weiß man, welche Haar-Features man nehmen muss, um z.b. ein Gesicht zu erkennen? Dieses Problem nennt sich Feature-Selection.