Vorlesung Digitale Bildverarbeitung Sommersemester 2013

Transkript

1 Vorlesung Digitale Bildverarbeitung Sommersemester 2013 Sebastian Houben Institut für Neuroinformatik

2 Sliding-Window Idee: Trainiere einen binären Klassifikator mit zwei Klassen von Bildausschnitten: dem zu findenden Objekt und Gegenbeispielen Wende den Klassifikator auf alle möglichen Bildausschnitte des Kamerabildes an Dies umfasst alle Positionen, Größen (und ev. Rotationen)

12 Feature Extractor Bilder sind komplexe, hochdimensionale Datenstrukturen Feature Extractor Reduziert die Feature-Dimension Implementiert Vorwissen Feature Extractor Vorfahrt / Links abbiegen Klassifikator Gesicht / Kein Gesicht Heim / Auswärts

13 HOG - Methodik

14 Haar(-like) Feature Ähnlich zu den Haar-Wavelets (daher der Name) Gesichtsdetektion (2001) Heute in genereller Objektdetektion einsetzbar

15 Haar(-like) Feature Vorteile: Schnell (sehr schnell) Skalierbarkeit (für größere Bilder kann man die Feature entsprechend skalieren, ohne zusätzlichen Rechenaufwand) Nachteile: nicht so aussagekräftig

16 Detektion Welche Fehler kann ein Detektor machen? Er findet ein Objekt, wo keines ist. (Falsch positiv, FP) Er findet kein Objekt, wo eines ist. (Falsch negativ, FN) Bewertung über zwei Kenngrößen (TP = richtig erkannte Objekte) Verschiedene Einstellungen (Empfindlichkeit) des Detektors können verschiedene Precision-Recall-Wertepaare ergeben

17 Detektion Falsch-Positiv-Rate Anteil der falsch positiven Detektionen an den Objekten, die in Wirklichkeit negativ sind (TN = True Negative)

18 AdaBoost Verwende viele einfache ( schwache ) Klassifikatoren, um einen sehr guten Klassifikator zu konstruieren AdaBoost kann auch für Feature-Selection verwendet werden Einfachster denkbarer Klassifikator:

19 AdaBoost Verwende viele einfache ( schwache ) Klassifikatoren, um einen sehr guten Klassifikator zu konstruieren AdaBoost kann auch für Feature-Selection verwendet werden Einfachster denkbarer Klassifikator: Linearer Klassifikator im 1D-Featureraum (Schwellwert auf einem Skalar)

20 AdaBoost - Beispiel Gegeben sei folgendes Klassifikationsbeispiel Schwache Klassifikatoren sind 1D-Schwellwerte für jedes Feature

21 AdaBoost - Beispiel Gegeben sei folgendes Klassifikationsbeispiel Schwache Klassifikatoren sind 1D-Schwellwerte für jedes Feature

22 AdaBoost - Beispiel Gegeben sei folgendes Klassifikationsbeispiel Schwache Klassifikatoren sind 1D-Schwellwerte für jedes Feature Feature 1 Feature 2 Feature 3

23 AdaBoost - Beispiel Gegeben sei folgendes Klassifikationsbeispiel Schwache Klassifikatoren sind 1D-Schwellwerte für jedes Feature Feature 1 Fehler: 0,0515 Feature 2 Fehler: 0,039 Feature 3 Fehler: 0,09

24 AdaBoost - Beispiel Gegeben sei folgendes Klassifikationsbeispiel Schwache Klassifikatoren sind 1D-Schwellwerte für jedes Feature 1,231 1,5219 0,9658 Feature 1 Fehler: 0,0515 Feature 2 Fehler: 0,039 Feature 3 Fehler: 0,09

25 AdaBoost - Beispiel Gegeben sei folgendes Klassifikationsbeispiel Schwache Klassifikatoren sind 1D-Schwellwerte für jedes Feature Fehler: Neue Trainings-Gewichte: 1,5219 Normieren. Klassifikator-Gewicht: Feature 2 Aktueller starker Klassifikator: Fehler: 0,039

26 AdaBoost Beispiel Aktueller starker Klassifikator:

27 AdaBoost - Beispiel Verbleiben zwei weitere schwache Klassifikatoren Feature 1 Feature 3

28 AdaBoost - Beispiel Verbleiben zwei weitere schwache Klassifikatoren Neue Gewichte! Feature 1 Feature 3

29 AdaBoost - Beispiel Verbleiben zwei weitere schwache Klassifikatoren Neue Gewichte! 1,7577 1,2499 Feature 1 Fehler: 0,0848 Feature 3 Fehler: 0,1523

30 AdaBoost - Beispiel Verbleiben zwei weitere schwache Klassifikatoren Neue Gewichte! 1,7577 1,2499 Feature 1 Fehler: 0,0848 Feature 3 Fehler: 0,1523

31 AdaBoost - Beispiel Gegeben sei folgendes Klassifikationsbeispiel Schwache Klassifikatoren sind 1D-Schwellwerte für jedes Feature Fehler: Neue Trainings-Gewichte: 1,7577 Normieren. Klassifikator-Gewicht: Feature 1 Aktueller starker Klassifikator: Fehler: 0,0848

32 AdaBoost Beispiel Aktueller starker Klassifikator:

33 AdaBoost Beispiel Aktueller starker Klassifikator: Warum sind die Ergebnisse gleich? Vorheriger Klassifikator Aktueller Klassifikator

34 AdaBoost - Beispiel Verbleibt ein weiterer schwacher Klassifikator Neue Gewichte! Feature 3 Fehler: 0,0818

35 AdaBoost Beispiel Aktueller starker Klassifikator: Vorheriger Klassifikator (Fehler: 7,8 %) Aktueller Klassifikator (Fehler: 4,6 %)

36 Viola-Jones-Detektor Schwacher Klassifikator: Schwellwert für ein Haar-Feature Menge der Klassifikatoren: Ein Klassifikator für jedes Haar-Feature (Position, Größe, Typ)

37 Viola-Jones Bei vielen Bildausschnitten kann man schnell (d.h. mit wenigen Features) entscheiden, ob es sich um die relevante Klasse (hier: Gesicht) handelt An diesen einfachen Beispielen sollte man keine Zeit verschwenden Reihenschaltung von mehreren AdaBoost-trainierten Klassifikatoren Jeder starke Klassifikator besteht nur aus wenigen Features Nein Ende Nein Ende Nein Ende Starker Klassifikator Nr. 1 ja Starker Klassifikator Nr. 2 ja Starker Klassifikator Nr. 3 ja

38 Viola-Jones Reihenschaltung von mehreren AdaBoost-trainierten Klassifikatoren Jeder starke Klassifikator besteht nur aus wenigen Features Wähle die Schwelle des starken Klassifikators so, dass ein hoher Recall (z.b. 99%) entsteht Dies verursacht i.d.r. eine schlechte Precision Nein Ende Nein Ende Nein Ende Starker Klassifikator Nr. 1 ja Starker Klassifikator Nr. 2 ja Starker Klassifikator Nr. 3 ja

39 Viola-Jones Wähle die Schwelle des starken Klassifikators so, dass ein hoher Recall (z.b. 99%) entsteht Dies verursacht i.d.r. eine schlechte Precision Somit werden in der ersten Stufe ein große Anzahl an falschen Beispielen aussortiert Nein Ende Nein Ende Starker Klassifikator Nr. 1 ja Starker Klassifikator Nr. 2 ja Starker Klassifikator Nr. 3 Nein Ende ja

40 Viola-Jones Somit werden in der ersten Stufe ein große Anzahl an falschen Beispielen aussortiert Die verbleibenden Beispiele sind schwerer und benötigen weitere Klassifikatoren Nimm beim AdaBoost-Training so lange neue Features hinzu, bis die festgelegte Anforderungen an Recall (z.b. > 99%) und FP-Rate (z.b. < 40%) eintreten Eventuell ist dies nicht möglich (z.b. wenn der Recall zu hoch gewählt ist)! Trainiere spätere Stufe nur auf Beispielen, die alle bisherigen Stufen als relevant klassifiziert haben Nein Ende Nein Ende Nein Ende Starker Klassifikator Nr. 1 ja Starker Klassifikator Nr. 2 ja Starker Klassifikator Nr. 3 ja

41 Viola-Jones Original-Paper 38 Kaskadenstufe 4916 Gesichtsbeispiele Gegenbeispiele pro Stufe Die ersten Kaskadenstufen haben jeweils 1, 10, 25, 25 und 50 Features Insgesamt verwenden alle Stufen 6061 Features Im Durchschnitt müssen nur die ersten 10 Features ausgewertet werden Nein Ende Nein Ende Nein Ende Starker Klassifikator Nr. 1 ja Starker Klassifikator Nr. 2 ja Starker Klassifikator Nr. 3 ja

42 Hallo wach! Viola-Jones Bei einem Viola-Jones-Detektor werden in jeder Stufe genau 60% der Beispiele aussortiert. Insgesamt besteht der Detektor aus 5 Stufen. Die erste Stufe wertet 3 Features aus, die zweite 4, die dritte 5, die vierte 6 und die fünfte 7 Features. Wie viele Features müssen im Durchschnitt pro Beispiel ausgewertet werden?

43 Hallo wach! Viola-Jones Bei einem Viola-Jones-Detektor werden in jeder Stufe genau 60% der Beispiele aussortiert. Insgesamt besteht der Detektor aus 5 Stufen. Die erste Stufe wertet 3 Features aus, die zweite 4, die dritte 5, die vierte 6 und die fünfte 7 Features. Wie viele Features müssen im Durchschnitt pro Beispiel ausgewertet werden?

44 Hallo wach! Viola-Jones Wieso braucht man i.d.r. immer mehr Features in den späteren Kaskadenstufen als in den frühen?

45 Hallo wach! Viola-Jones Wieso braucht man i.d.r. immer mehr Features in den späteren Kaskadenstufen als in den frühen? Die Beispiele werden schwieriger. Hierdurch sind die einzelnen Features weniger aussagekräftig und das Klassifikationsproblem kann nur mit vielen schwachen Klassifikatoren gelöst werden.

46 Hallo wach! Viola-Jones Was geschieht (qualitativ) mit Recall und Precision des Detektors wenn man eine Kaskadenstufe hinten anhängt? Was ist mit der FP- Rate?

47 Hallo wach! Viola-Jones Was geschieht (qualitativ) mit Recall und Precision des Detektors wenn man eine Kaskadenstufe hinten anhängt? Was ist mit der FP-Rate? Der Recall sinkt oder bleibt bestenfalls gleich, da richtige Beispiele fälschlicherweise von der neuen Kaskadenstufe ausgeschlossen werden können. Die Gesamtdetektionsrate ergibt sich als Produkt der Detektionsraten aller Kaskadenstufen. Über die Precision lässt sich keine Aussage machen. Die Erfahrung zeigt, dass sie gerade zu Anfang stark steigt, da viele Gegenbeispiele korrekterweise ausgeschlossen werden. In späteren Kaskadenstufen muss dies nicht mehr der Fall sein. Die FP-Rate bleibt gleich oder sinkt, da falsche Beispiele korrekterweise von der neuen Kaskadenstufen ausgeschlossen werden können. Die gesamte FP-Rate ergibt sich als Produkt der FP-Raten aller Kaskadenstufen.

48 Hallo wach! Viola-Jones Wieso trainiert man nicht nur eine Kaskadenstufe mit sehr vielen Features? Wieso trainiert man nicht sehr viele Kaskadenstufen mit jeweils nur einem Feature?

49 Hallo wach! Viola-Jones Wieso trainiert man nicht nur eine Kaskadenstufe mit sehr vielen Features? Wieso trainiert man nicht sehr viele Kaskadenstufen mit jeweils nur einem Feature? Wenngleich Precision und Recall bessere Werte annehmen sollten, wächst die Laufzeit bei nur einer Kaskadenstufe sehr stark. So stark, dass nicht mehr alle Sliding Windows ausgewertet werden können. Mit nur einem einzigen Feature wird man i.d.r. keine ausreichende Trennung lernen können, d.h. um den gewünschten hohen Recall zu erreichen, müsste man eine unannehmbar hohe FP-Rate in Kauf nehmen.

50 Viola-Jones - Zusammenfassung Kaskade erlaubt frühzeitiges Verwerfen offensichtlich falscher Hypothesen Berechnung der Haar-Features erlaubt schnelle Entscheidung über die meisten Detektionsfenster 40% der Fenster können nach Berechnung von 1-2 Haar-Features verworfen werden Training benötigt viele Beispiele Training benötigt viel Zeit, weil viele schwache Klassifikatoren durchprobiert werden müssen

51 Pro und Contra Viola-Jones Viola-Jones Einfache und schnelle Detektion von Objekten mit bestimmten Eigenschaften Relativ feste Geometrie Geringe perspektivische Veränderung Funktioniert daher gut mit z.b. Gesichtern Schriftzeichen Verkehrsschildern z.t. Fußgängern (aus der Ferne) Ausblick Detektion von beliebigen Objekten (teilweise ungelöst) Fahrzeuge (Perspektive, Geometrie, variable Erscheinung) Fußgängern (Geometrie, nichtrigide Objekte, variable Erscheinung, z.b. Kleidung, Pose) Pflanzen (Geometrie, variable Erscheinung)

52 Ausblick Ausblick Detektion von beliebigen Objekten (teilweise ungelöst) Fahrzeuge (Perspektive, Geometrie, variable Erscheinung) Fußgänger (Geometrie, nichtrigide Objekte, variable Erscheinung, z.b. Kleidung, Pose) Pflanzen (Geometrie, variable Erscheinung) Mit stärkeren Modellen teilweise maschinen-erlernbar Fahrzeugmodelle Skelett- und Gelenkmodelle Part-basierte Ansätze Verwende klassische Detektoren (z.b. Viola-Jones) zur Detektion von Teilen, des Objekts, für die die Einschränkungen (unbeweglich, kaum Perspektive) näherungsweise gelten und erstellt aus den Teilen eine Hypothese des Gesamtobjekts