Vorlesung Digitale Bildverarbeitung Sommersemester 2013

Transkript

1 Vorlesung Digitale Bildverarbeitung Sommersemester 2013 Sebastian Houben Institut für Neuroinformatik

2 Inhalt Crash-Course in Machine Learning Klassifikationsverfahren Grundsätzliches K-Nearest-Neighbour-Klassifizierer (KNN) Linear Discriminant Analysis (LDA)

3 Was ist ein Klassifikator? Im Rahmen dieser Vorlesung behandeln wir nur binäre Klassifikation, Label = 0 / 1 Training (Daten, Label) Klassifikator Test (Daten,?) Vorfahrt achten / Fahrtrichtichtung links / Gefahr Baustelle Gesicht / kein Gesicht Heimmannschaft / Auswärtsmannschaft / Torwart / Schiedsrichter

4 Feature-Räume Zu klassifizierende Beispiele werden durch Charakteristika (Features) beschrieben Diese lassen sich durch Punkte in einem Vektorraum abstrahieren Wir betrachten bis auf Weiteres nur binäre Klassifikation (genau zwei Klassen)

5 K-Nearest-Neighbour Merke Dir alle Beispiele aus dem Training Gib beim Test die Klasse DER MEHRHEIT DER K TRAININGSBEISPIELE zurück, die am nächsten zum betrachteten liegen

6 Linear Discriminant Analysis (LDA) Idee: Stelle Menge der Beispiele einer Klasse durch parametrisierte Verteilung dar Mehrdimensionale Normalverteilung ist parametrisiert durch Mittelwert und Kovarianzmatrix

7 Linear Discriminant Analysis (LDA) Mathematische Einfachheit durch Annahme gleicher Kovarianz Es existiert dann eine Trennebene

8 Einfaches Beispiel Training

9 Dimension des Feature-Raums Dimension => Komplexität des Klassifikators Komplexität vs. Generalisierung Trainings-Performance vs. Test-Performance Um in einem Feature-Raum hoher Dimension zu lernen, benötigt man viele Trainings- Beispiele.

10 Feature Extractor Bilder sind komplexe, hochdimensionale Datenstrukturen Feature Extractor Reduziert die Feature-Dimension Implementiert Vorwissen Feature Extractor Vorfahrt / Links abbiegen Klassifikator Gesicht / Kein Gesicht Heim / Auswärts

11 Haar(-like) Feature Ähnlich zu den Haar-Wavelets (daher der Name) Gesichtsdetektion (2001) Heute in genereller Objektdetektion einsetzbar

12 Feature Selection Problem: Welche Features (z.b. Haar-Features) sind wichtig für mein Klassifikationsproblem? Zwei Features können abhängig sein, d.h., wenn man das eine Feature kennt, hat das andere weniger Information für die Klassifikation Beispiel: Klassifikation von Männern und Frauen Größe und Gewicht korrelieren stark, daher braucht man von diesen Merkmalen nur eines zu nehmen Zwei Features können einzeln wenig Information enthalten, zusammen aber viel Hüft- und Taillenumfang können allein nicht stark zur Klassifikation von Männern und Frauen beitragen, erst ihr Verhältnis liefert wichtige Information

13 Feature Selection Problem: Welche Features (z.b. Haar-Features) sind wichtig für mein Klassifikationsproblem? Zwei Features können abhängig sein, d.h., wenn man das eine Feature kennt, hat das andere weniger Information für die Klassifikation Zwei Features können einzeln wenig Information enthalten, zusammen aber viel. Theoretisch müssen alle Kombinationen von Features durchprobiert werden Aufwand: Um k Features aus n auszuwählen, müsste man theoretisch auf Feature-Mengen trainieren und testen

14 Feature Selection Problem: Welche Features (z.b. Haar-Features) sind wichtig für mein Klassifikationsproblem? Ansätze zur Lösung dieses Problems werden später eingeführt

15 Haar(-like) Feature Vorteile: Schnell (sehr schnell) Skalierbarkeit (für größere Bilder kann man die Feature entsprechend skalieren, ohne zusätzlichen Rechenaufwand) Nachteile: nicht so aussagekräftig

16 Histogram of Oriented Gradients (HOG) Dalal & Triggs 2005 Zuerst bei Fußgängererkennung verwendet Lokale Gradientenverteilung

17 HOG - Methodik Unterteile Bildausschnitt in Zellen (Cells)

18 HOG - Methodik Berechne Gradientenbilder horizontal und vertikal

19 HOG - Methodik Unterteile Bildausschnitt in Zellen Berechne Orientierungshistogramme

20 HOG - Methodik Unterteile Bildausschnitt in Zellen Berechne Orientierungshistogramme Orientierung des Gradientenpixels bestimmt den Balken (das Bin) Betrag des Gradientenpixels bestimmt das Gewicht

21 HOG - Methodik Unterteile Bildausschnitt in Zellen Fasse mehrere benachbarte Zellen in Blöcke zusammen Idee: Setze lokale Gradientenverteilung in Relation zu einer größeren Umgebung

22 HOG - Methodik Unterteile Bildausschnitt in Zellen Fasse mehrere Zellen in Blöcke zusammen Eine Zelle wird i.d.r. von mehreren Blöcken überlappt

25 HOG - Methodik Unterteile Bildausschnitt in Zellen Fasse mehrere Zellen in Blöcke zusammen Eine Zelle wird i.d.r. von mehreren Blöcken überlappt Normiere die Histogramme mit der Summe der Gewichte aller Gradienten im Block

26 HOG - Methodik

27 HOG - Methodik

28 HOG - Hallo, wach! Wie viele Einträge hat ein Feature-Vektor eines Bildausschnitts der Größe 35 x 65, auf dem HOG-Features mit 9 Bins pro Histogramm, 8 x 8 Pixel Zellgröße und 2 x 2 Blocks gerechnet werden?

29 HOG - Hallo, wach! Wie viele Einträge hat ein Feature-Vektor eines Bildausschnitts der Größe 35 x 65, auf dem HOG-Features mit 9 Bins pro Histogramm, 8 x 8 Pixel Zellgröße und 2 x 2 Blocks gerechnet werden? (gehen Sie davon aus, dass die Zellen am Rand des Bildes, die nicht von 4 Blocks überdeckt werden können für die Berechnung ignoriert werden)

30 Hallo, wach! Wie viele Einträge hat ein Feature-Vektor eines Bildausschnitts der Größe 35 x 65, auf dem HOG-Features mit 9 Bins pro Histogramm, 8 x 8 Pixel Zellgröße und 2 x 2 Blocks gerechnet werden? (gehen Sie davon aus, dass die Zellen am Rand des Bildes, die nicht von 4 Blocks überdeckt werden können für die Berechnung ignoriert werden)

31 HOG - German Traffic Sign Recognition Benchmark 50,000 Bildausschnitte 43 Klassen IJCNN loss

32 HOG - German Traffic Sign Detection Benchmark 600 Einzelbilder IJCNN 2013 Area-Under-Curve

35 HOG - Interpolation Trilineare Interpolation: das Gewicht eines Gradientenpixels wird auf die angrenzenden Zellen und Bins verteilt

36 HOG - Interpolation Trilineare Interpolation: das Gewicht eines Gradientenpixels wird auf die angrenzenden Zellen und Bins verteilt A 1 A 2 A 3 A 4 Jede Zelle erhält für sein Histogramm den Betrag des Gradientenpixels gewichtet mit der Fläche des ihm gegenüber liegenden Rechtecks

37 HOG - Interpolation Trilineare Interpolation: das Gewicht eines Gradientenpixels wird auf die angrenzenden Zellen und Bins verteilt A 1 A 2 A 3 A 4 Jede Zelle erhält für sein Histogramm den Betrag des Gradientenpixels gewichtet mit der Fläche des ihm gegenüber liegenden Rechtecks (z.b. oben links)

38 HOG - Interpolation Trilineare Interpolation: das Gewicht eines Gradientenpixels wird auf die angrenzenden Zellen und Bins verteilt: w 1 w 2

39 HOG - Interpolation Trilineare Interpolation: das Gewicht eines Gradientenpixels wird auf die angrenzenden Zellen und Bins verteilt Trilineare Interpolation (= bilineare Interpolation zwischen angrenzenden Zellen + lineare Interpolation zwischen angrenzenden Bins) erhöht die Performance der HOG-Features In laufzeitkritischen Anwendungen kann sie vernachlässigt werden w 1 w 2

40 HOG Farbe HOG-Features können für jeden Farbkanal (R, G,B) einzeln berechnet werden (dies verdreifacht die Dimension des Feature- Vektors) R G B

41 HOG Pro und Contra Was sind Vor- und Nachteile der HOG-Features? PRO: gute Ergebnisse PRO: relativ einfaches Verfahren CON: langsam (verglichen z.b. mit Haar-Features) CON: viele Parameter (Binzahl, Zellgröße, Blockgröße) CON: Ergebnis hängt stark von der Wahl der Parameter ab

42 Rückblick Handwerkzeug um Bildausschnitte binär (!) zu klassifizieren Haar(-like)-Features, HOG-Features K-Nearest-Neughbour, LDA Feature Extractor Klassifikator Vorfahrt / Gefahr Baustelle Gesicht / kein Gesicht Heim / Auswärts

43 Detektion: Sliding-Window Klassifikation: Ordne Bildausschnitte ein Detektion: Finde Objekte von Interesse in größeren Bildern (z.b.) suche Stoppschilder in Kamerabildern

44 Sliding-Window Idee: Trainiere einen binären Klassifikator mit zwei Klassen von Bildausschnitten: dem zu findenden Objekt und Gegenbeispielen Wende den Klassifikator auf alle möglichen Bildausschnitte des Kamerabildes an Dies umfasst alle Positionen, Größen (und ev. Rotationen)

54 Detektion Welche Fehler kann ein Detektor machen? Er findet ein Objekt, wo keines ist. (Falsch positiv, FP) Er findet kein Objekt, wo eines ist. (Falsch negativ, FN) Bewertung über zwei Kenngrößen (TP = richtig erkannte Objekte) Verschiedene Einstellungen (Empfindlichkeit) des Detektors können verschiedene Precision-Recall-Wertepaare ergeben

55 Detektion Verschiedene Einstellungen (Empfindlichkeit) des Detektors können verschiedene Precision-Recall-Wertepaare ergeben

56 AdaBoost Verwende viele einfache ( schwache ) Klassifikatoren, um einen sehr guten Klassifikator zu konstruieren AdaBoost kann auch für Feature-Selection verwendet werden Einfachster denkbarer Klassifikator:

57 AdaBoost Verwende viele einfache ( schwache ) Klassifikatoren, um einen sehr guten Klassifikator zu konstruieren AdaBoost kann auch für Feature-Selection verwendet werden Einfachster denkbarer Klassifikator: Linearer Klassifikator im 1D-Featureraum (Schwellwert auf einem Skalar)

58 AdaBoost Idee 1: Baue den starken Klassifikator schrittweise auf, indem man den schwachen Klassifikator dazunimmt, der im aktuellen Schritt am wertvollsten ist. Idee 2: Gebe jedem Trainingsbeispiel ein Wichtigkeit. Falls das Beispiel vom aktuellen Klassifikator richtig klassifiziert wird, senke sein Gewicht. Falls das Beispiel vom aktuellen Klassifikator falsch klassifiziert wird, erhöhe sein Gewicht. D.h. schwache Klassifikatoren, die aktuell falsch klassifizierte Beispiele richtig klassifizieren, werden wertvoller. Idee 3: Bilde (irgendwie) eine Linearkombination der schwachen Klassifikatoren, um den starken Klassifikator zu konstruieren.

59 AdaBoost Pseudocode Gegeben: Trainingsdaten mit Gewichten und Schwache Klassifikatoren Initialisiere: Wiederhole: 1,..., T die m positiven Trainingsbeispiele die l negativen Trainingsbeispiele Normalisiere Gewichte Trainiere alle Klassifikatoren, so dass der gewichteten Trainingsfehler Merke als schwachen Klassifikator mit minimalem Trainingsfehler minimiert wird

60 AdaBoost Pseudocode Gegeben: Trainingsdaten mit Gewichten und Schwache Klassifikatoren Wiederhole: t = 1,..., T Normalisiere Gewichte Trainiere alle Klassifikatoren, so dass der gewichteten Trainingsfehler Merke als schwachen Klassifikator mit minimalem Trainingsfehler Aktualisiere Gewichte für richtig klassifizierte Beispiele Merke Starker Klassifikator: minimiert wird

61 AdaBoost - Beispiel Gegeben sei folgendes Klassifikationsbeispiel Schwache Klassifikatoren sind 1D-Schwellwerte für jedes Feature

62 AdaBoost - Beispiel Gegeben sei folgendes Klassifikationsbeispiel Schwache Klassifikatoren sind 1D-Schwellwerte für jedes Feature

63 AdaBoost - Beispiel Gegeben sei folgendes Klassifikationsbeispiel Schwache Klassifikatoren sind 1D-Schwellwerte für jedes Feature Feature 1 Feature 2 Feature 3

64 AdaBoost - Beispiel Gegeben sei folgendes Klassifikationsbeispiel Schwache Klassifikatoren sind 1D-Schwellwerte für jedes Feature Feature 1 Fehler: 0,0515 Feature 2 Fehler: 0,039 Feature 3 Fehler: 0,09

65 AdaBoost - Beispiel Gegeben sei folgendes Klassifikationsbeispiel Schwache Klassifikatoren sind 1D-Schwellwerte für jedes Feature 1,231 1,5219 0,9658 Feature 1 Fehler: 0,0515 Feature 2 Fehler: 0,039 Feature 3 Fehler: 0,09

66 AdaBoost - Beispiel Gegeben sei folgendes Klassifikationsbeispiel Schwache Klassifikatoren sind 1D-Schwellwerte für jedes Feature Fehler: Neue Trainings-Gewichte: 1,5219 Normieren. Klassifikator-Gewicht: Feature 2 Aktueller starker Klassifikator: Fehler: 0,039

67 AdaBoost Beispiel Aktueller starker Klassifikator:

68 AdaBoost - Beispiel Verbleiben zwei weitere schwache Klassifikatoren Feature 1 Feature 3

69 AdaBoost - Beispiel Verbleiben zwei weitere schwache Klassifikatoren Neue Gewichte! Feature 1 Feature 3

70 AdaBoost - Beispiel Verbleiben zwei weitere schwache Klassifikatoren Neue Gewichte! 1,7577 1,2499 Feature 1 Fehler: 0,0848 Feature 3 Fehler: 0,1523

71 AdaBoost - Beispiel Verbleiben zwei weitere schwache Klassifikatoren Neue Gewichte! 1,7577 1,2499 Feature 1 Fehler: 0,0848 Feature 3 Fehler: 0,1523

72 AdaBoost - Beispiel Gegeben sei folgendes Klassifikationsbeispiel Schwache Klassifikatoren sind 1D-Schwellwerte für jedes Feature Fehler: Neue Trainings-Gewichte: 1,7577 Normieren. Klassifikator-Gewicht: Feature 1 Aktueller starker Klassifikator: Fehler: 0,0848

73 AdaBoost Beispiel Aktueller starker Klassifikator:

74 AdaBoost Beispiel Aktueller starker Klassifikator: Warum sind die Ergebnisse gleich? Vorheriger Klassifikator Aktueller Klassifikator

75 AdaBoost - Beispiel Verbleibt ein weiterer schwacher Klassifikator Neue Gewichte! Feature 3 Fehler: 0,0818

76 AdaBoost Beispiel Aktueller starker Klassifikator: Vorheriger Klassifikator (Fehler: 7,8 %) Aktueller Klassifikator (Fehler: 4,6 %)

77 Viola-Jones-Detektor Schwacher Klassifikator: Schwellwert für ein Haar-Feature Menge der Klassifikatoren: Ein Klassifikator für jedes Haar-Feature (Position, Größe, Art)

78 Viola-Jones Bei vielen Bildausschnitten kann man schnell (d.h. mit wenigen Features) entscheiden, ob es sich um die relevante Klasse (hier: Gesicht) handelt An diesen einfachen Beispielen sollte man keine Zeit verschwenden Reihenschaltung von mehreren AdaBoost-trainierten Klassifikatoren Jeder starke Klassifikator besteht nur aus wenigen Features Nein Ende Nein Ende Nein Ende Starker Klassifikator Nr. 1 ja Starker Klassifikator Nr. 2 ja Starker Klassifikator Nr. 3 ja

79 Viola-Jones Reihenschaltung von mehreren AdaBoost-trainierten Klassifikatoren Jeder starke Klassifikator besteht nur aus wenigen Features Wähle die Schwelle des starken Klassifikators so, dass ein hoher Recall (z.b. 99%) entsteht Dies verursacht i.d.r. auch eine hohe Precision (z.b. 40 %) Nein Ende Nein Ende Nein Ende Starker Klassifikator Nr. 1 ja Starker Klassifikator Nr. 2 ja Starker Klassifikator Nr. 3 ja

80 Viola-Jones Wähle die Schwelle des starken Klassifikators so, dass ein hoher Recall (z.b. 99%) entsteht Dies verursacht i.d.r. auch eine hohe Precision (z.b. 40 %) Somit werden in der ersten Stufe z.b. 60% der falschen Beispiele aussortiert Nein Ende Nein Ende Starker Klassifikator Nr. 1 ja Starker Klassifikator Nr. 2 ja Starker Klassifikator Nr. 3 Nein Ende ja

81 Viola-Jones Somit werden in der ersten Stufe z.b. 60% der falschen Beispiele aussortiert Die verbleibenden Beispiele sind schwerer und benötigen weitere Klassifikatoren Nimm beim AdaBoost-Training so lange neue Features hinzu, bis die Recall-Precision- Anforderungen eintreten Eventuell ist dies nicht möglich (z.b. wenn der Recall zu hoch gewählt ist)! Trainiere spätere Stufe nur auf Beispielen, die alle bisherigen Stufen als relevant klassifiziert haben Nein Ende Nein Ende Nein Ende Starker Klassifikator Nr. 1 ja Starker Klassifikator Nr. 2 ja Starker Klassifikator Nr. 3 ja

82 Viola-Jones Original-Paper 38 Kaskadenstufe 4916 Gesichtsbeispiele Gegenbeispiele pro Stufe Die ersten Kaskadenstufen haben jeweils 1, 10, 25, 25 und 50 Features Insgesamt verwenden alle Stufen 6061 Features Im Durchschnitt müssen nur die ersten 10 Features ausgewertet werden Nein Ende Nein Ende Nein Ende Starker Klassifikator Nr. 1 ja Starker Klassifikator Nr. 2 ja Starker Klassifikator Nr. 3 ja

83 Hallo wach! Viola-Jones Bei einem Viola-Jones-Detektor werden in jeder Stufe genau 60% der Beispiele aussortiert. Insgesamt besteht der Detektor aus 5 Stufen. Die erste Stufe wertet 3 Features aus, die zweite 4, die dritte 5, die vierte 6 und die fünfte 7 Features. Wie viele Features müssen im Durchschnitt pro Beispiel ausgewertet werden?

84 Hallo wach! Viola-Jones Bei einem Viola-Jones-Detektor werden in jeder Stufe genau 60% der Beispiele aussortiert. Insgesamt besteht der Detektor aus 5 Stufen. Die erste Stufe wertet 3 Features aus, die zweite 4, die dritte 5, die vierte 6 und die fünfte 7 Features. Wie viele Features müssen im Durchschnitt pro Beispiel ausgewertet werden?

85 Hallo wach! Viola-Jones Wieso braucht man i.d.r. immer mehr Features in den späteren Kaskadenstufen als in den frühen?

86 Hallo wach! Viola-Jones Wieso braucht man i.d.r. immer mehr Features in den späteren Kaskadenstufen als in den frühen? Die Beispiele werden schwieriger. Hierdurch sind die einzelnen Features weniger aussagekräftig und das Klassifikationsproblem kann nur mit vielen schwachen Klassifikatoren gelöst werden.

87 Hallo wach! Viola-Jones Was geschieht (qualitativ) mit Recall und Precision des Detektors wenn man eine Kaskadenstufe hinten anhängt?

88 Hallo wach! Viola-Jones Was geschieht (qualitativ) mit Recall und Precision des Detektors wenn man eine Kaskadenstufe hinten anhängt? Der Recall sinkt oder bleibt bestenfalls gleich, da richtige Beispiele fälschlicherweise von der neuen Kaskadenstufe ausgeschlossen werden können. Über die Precision lässt sich keine Aussage machen. Die Erfahrung zeigt, dass sie gerade zu Anfang stark steigt, da viele Gegenbeispiele korrekterweise ausgeschlossen werden. In späteren Kaskadenstufen muss dies nicht mehr der Fall sein.

89 Viola-Jones - Zusammenfassung Kaskade erlaubt frühzeitiges Verwerfen offensichtlich falscher Hypothesen Berechnung der Haar-Features erlaubt schnelle Entscheidung über die meisten Detektionsfenster 40% der Fenster können nach Berechnung von 1-2 Haar-Features verworfen werden Training benötigt viele Beispiele Training benötigt viel Zeit, weil viele schwache Klassifikatoren durchprobiert werden müssen

90 Pro und Contra Viola-Jones Viola-Jones Einfache und schnelle Detektion von Objekten mit bestimmten Eigenschaften Relativ feste Geometrie Geringe perspektivische Veränderung Funktioniert daher gut mit z.b. Gesichtern Schriftzeichen Verkehrsschildern z.t. Fußgängern (aus der Ferne) Ausblick Detektion von beliebigen Objekten (teilweise ungelöst) Fahrzeuge (Perspektive, Geometrie, variable Erscheinung) Fußgängern (Geometrie, nichtrigide Objekte, variable Erscheinung, z.b. Kleidung, Pose) Pflanzen (Geometrie, variable Erscheinung)

91 Ausblick Ausblick Detektion von beliebigen Objekten (teilweise ungelöst) Fahrzeuge (Perspektive, Geometrie, variable Erscheinung) Fußgänger (Geometrie, nichtrigide Objekte, variable Erscheinung, z.b. Kleidung, Pose) Pflanzen (Geometrie, variable Erscheinung) Mit stärkeren Modellen teilweise maschinen-erlernbar Fahrzeugmodelle Skelett- und Gelenkmodelle Part-basierte Ansätze Verwende klassische Detektoren (z.b. Viola-Jones) zur Detektion von Teilen, des Objekts, für die die Einschränkungen (unbeweglich, kaum Perspektive) näherungsweise gelten und erstellt aus den Teilen eine Hypothese des Gesamtobjekts