Erkennung von Fußgängern

Transkript

1 Erkennung von Fußgängern

2 Sensoren Radar Laserscanner Kameras sichtbares Spektrum Infrarot

3 Verwandte Forschungsgebiete Automatische Überwachung oft feste Kamera Wiedererkennung von Personen Interesse an Aktivitäten Multimedia keine Echtzeitanforderung grafische Präzision Interesse an Haltung

4 Was im Bild ist ein Fußgänger?

5 Zwei Ansätze region of interest + Klassifikation Template-basierte Suche im ganzen Bildraum

6 ROI + Klassifikation

7 ROI+Klassifikation region of interest (ROI) Wie findet man ROIs? IR-Kamera Bild Segmentierer Zusammenhangskomponenten ROI Kamera Kamera Bild Bild Stereoanalyse disparity map Segmentierer Zusammenhangskomponenten ROI

8 ROI+Klassifikation Stereoanalyse Grauwert in der disparity map» horizontaler Abstand der beiden Abbildungen eines Merkmals»Tiefe des Merkmals im Raum Verschiedene Algorithmen für Korrespondenzanalyse

9 ROI+Klassifikation Von ROI zum Featurevektor Schritte vor der Klassifikation ROI Selektion & Trennung nach Proportion ROI Bildausschnitt Auswahl Kamerabild Vorverarbeitung abhängig vom Klassifikator (Kantenerkennung, Normalisierung, Skalierung, etc.) Featurevektor v 2R n

10 ROI+Klassifikation Dimensionsreduktion Probleme hochdimensionaler Merkmalsräume: curse of dimensionality Die benötigte Trainingsmenge für einen Klassifikator wächst exponentiell mit der Anzahl der Dimensionen des Merkmalsraums. Zeit- und Speicherkomplexität der Klassifikatoren (z.b. Neuronales Netz) Overfitting Featurevektor v 2R n Dimensionsreduktion (z.b. PCA) Featurevektor w 2R n-δ Beispielmenge

11 ROI+Klassifikation Klassifikation Klassifikatoren berechnen Aufteilungen des Merkmalsraums in Gebiete, die den einzelnen Klassen entsprechen. Hier zwei Klassen: Fußgänger / kein Fußgänger. Featurevektor Klassifikator (Support Vector Machine, Neuronales Netz, Radial Basis Functions, etc.) Konfidenz c Auswertung Trainingsmenge Fußgänger weitere Systeme kein Fußgänger

12 Nutzung der Zeit

13 ROI+Klassifikation Probleme Probleme: Objekte veschwinden spontan bei Versagen des Segmentierers oder falsch negativer Klassifikation einer ROI. Objekte erscheinen spontan bei falsch positiver Klassifikation einer ROI. Nutzung der Zeit zur Stabilisierung der Erkennungsleistung.

14 ROI+Klassifikation Zeit zur Stabilisierung Tracking: Zuordnung von ROIs in aufeinander folgenden Bildern zu einem Objekt. Kalman-Filter: Vorhersage zukünftiger Positionen anhand von aktueller Position und Bewegungsmodell. t+1 t+2 t t+1 t+2

15 ROI+Klassifikation Zeit zur Stabilisierung Kalman-Filter ermöglicht zeitlich stabile Objektverfolgung trotz Ausfalls einzelner Frames. t t+1 t+1 t+2 t+2

16 ROI+Klassifikation Zeit zur Stabilisierung Objekte veschwinden spontan bei Versagen des Segmentierers oder falsch negativer Klassifikation einer ROI. Lösche ein Objekt aus dem Weltbild nur, wenn du es n Frames lang nicht mehr gesehen / positiv klassifiziert hast. Objekte erscheinen spontan bei falsch positiver Klassifikation einer ROI. Füge ein Objekt nur dann dem Weltbild hinzu, wenn du es n mal positiv klassifiziert hast. Voraussetzung: Objekt über mehrere Frames verfolgen können.

17 ROI+Klassifikation Zeit zur Klassifikation Nutzung von zeitabhängigen Merkmalen zur Klassifikation, z.b. bei Wöhler et al. 98. Die untere Hälfte der ROI enthält die sich bewegenden Beine.

18 ROI+Klassifikation Zeit zur Klassifikation Ein Time Delay Neural Network (TDNN), das auf Erkennung von Mustern in der Zeit spezialisiert ist, wird als Klassifikator verwendet. t t 1 t 2 t n Featurevektoren... Time Delay Neural Network Konfidenz c

19 Template-Suche

20 Template-Suche Naiver Ansatz Naive Template-Suche: Korrelation Template K, m n Pixel Bild I, Pixelwerte von K und I 2 [0,1] Korrelation an Stelle x,y: c x,y =1 bei exakter Übereinstimmung Teuer: An jeder Position, für jedes Template!

21 Template-Suche Chamfer-System, Gavrila 98 Gavrila, 1998 (Daimler Chrysler) Erster Schritt: Vorverarbeitung Kamera Bild Vorverarbeitung Feature-Bild

22 Template-Suche Distanz-Transformation Ansatz zum Problem An jeder Position Binäres Template, binäres Feature-Bild. D x,y = Distanz von I x,y zum nächstgelegenen Pixel mit Farbwert 1 in I

23 Template-Suche Distanz-Transformation Korrelation mit DT-Bild ist ein kontinuierliches Ähnlichkeitsmaß Generalisierung der Templates Korrelation nicht an jeder Stelle nötig. Zeitersparnis durch groberes Suchraster möglich Bild Bildverarbeitung z.b. Kantenerkennung Binarisierung Featurebild Distanztransformation Template Korrelation

24 Template-Suche Template-Hierarchie Ansatz zum Problem Für jedes Template Template-Hierarchie mit Baumstruktur: Gruppen ähnlicher Templates werden durch Prototypen auf höheren Baumebenen repräsentiert. Aufbau der Hierarchie: bottom up k-means-clustering auf jeder Ebene

25 Template-Suche Template-Hierarchie Algorithmus: Suche nach den Templates der obersten Ebene auf dem DT- Bild mit grobem Suchraster und niedrigem Schwellenwert θ für die Korrelation c x,y. An Stellen mit c x,y >θ für Template T: Suche rekursiv in der Umgebung von (x,y) nach den Kindern von T mit feinerem Suchraster und höherem Schwellenwert. )Reduktion der Suchstellen und der zu suchenden Templates

26 Template-Suche Optimierungen Präzisierung des Ähnlichkeitsmaßes zwischen Templates und Bildausschnitten durch Verwendung verschiedener Feature-Bilder. Eine Variante der Template-Hierarchie für jedes Feature. Ähnlichkeiten der einzelnen Features eines Templates werden für jede Stelle aufsummiert. Features z. B.: X-Gradient, Y-Gradient,...

27 Ergebnisse

28 Wie gut funktioniert es? Typische publizierte Erkennungsraten eines Ansatzes: Um 85% bei 1,5% bis 3% falsch positiven. Trainingsmengen: Gavrila99: 1000 Liang00: 8400 Wöhler98: 3900 positiv, 4400 negativ Gavrila all-in-one: 2000 positiv, 2000 negativ Ergebnisse: Gavrila99: 75% - bis 85% pro Frame bei max 2 falsch positiven Liang00: 85% pro Frame bei 3% falsch positiven Wöhler98: 85% pro Frame bei 1,6% falsch positiven Gavrila all-in-one: 94% bei 3% falsch positiven

29 Schwierigkeiten Schönwetter-Vision : Keine Daten zu schlechten Licht- und Witterungsbedingungen. Multisensor-Systeme (IR, Laserscanner) Probleme bei Überdeckungen 3D-Ansätze, Modellannahmen (Proportion) Zerfallen von ROIs beim 3D-Ansatz Gruppierung Geringer Farb- oder Texturkontrast Multisensor-Systeme Irreführende Formen (Fußgänger im Baum) Bewegungsanalyse, Weltwissen Unerwartete Formen & Bewegungen (Rollstuhlfahrer, Lastenträger, etc.)

30 Literatur Fußgängererkennung Gavrila et al., Real-time Object Detection for Smart Vehicles, 1999 Gavrila et al., Multi-feature Hierarchical Template Matching Using Distance Transforms, 1998 Franke et al., Autonomous Driving Approaches Downtown, 1998 Franke et al., From Door to Door - Principles and Applications of Computer Vision for Driver Assistant Systems, 2001 Shashua et al., Pedestrian Detection for Driving Assistance Systems [...], 2004 Grubb et al., 3D Vision Sensing for Improved Pedestian Safety, 2004 Broggi et al., A Multi-resolution Approach for Infrared Vision-based Pedestrian Detection, 2004 Scheunert et. al, Multisensor Based Tracking Of Pedestrians, 2004 Wöhler, A Time Delay Neural Network Algorithm for Real-Time Pedestrian Recognition, 1998 Grundlagen Welch et al., An Introduction to the Kalman Filter Kirkpatrik, Optimization by Simulated Annealing, 1998 Müller et al., An Introduction to Kernel-based Learning Algorithms, 2001 Burges, A Tutorial on Support Vector Machines for Pattern Recognition, 1998 Hearst (Hrsg.), Trends and Controversies: Support Vector Machines (IEEE Intelligent Systems) Looking at People Gavrila, The Visual Analysis of Human Movement: A Survey, 1999 Wren et al, Pedestrian Detection Using Wavelet Templates, 1997 Lipton et al., Realtime Human Motion Analysis By Image Skeletonization, 1998 Haritaoglu, W4: Realtime Surveillance of People and their Activities, 2000

31 Danke fürs Zuhören!

32 Exkurs: Methoden PCA, SVM, TDNN

33 Hauptkomponentenanalyse Ziel: Dimensionsreduktion mit möglichst geringem Informationsverlust y Varianz 2. Hauptkomponente y-varianz x Varianz 1. Hauptkomponente

34 Support Vector Machines d d SVMs sind lineare Klassifikatoren. Trennebene hat denselben Abstand d zu den einander am nächsten liegenden Datenpunkten der verschiedenen Klassen (den sog. support vectors) Berechnung der Trennebene ist ein (konvexes, quadratisches) Optimierungsproblem.

35 Support Vector Machines Kernel Trick Daten, die in einem niedrig-dimensionalen Raum R n nicht linear trennbar sind, können in einem höherdimensionalen Raum H linear trennbar sein. Annahme: Es gibt eine Funktion Φ: R n! H. Im SVM-Algorithmus kommen Datenvektoren nur innerhalb von Skalarprodukten vor: x y. Rechnen wir in H, ersetzen wir x y durch Φ(x) Φ(y). Es gibt Räume, für die Φ(x) Φ(y) durch eine einfache Funktion K(x,y), den Kernel, berechnet werden kann. Kennt man K, so muss man Φ weder explizit kennen noch berechnen. ( Kernel Trick )

36 Time Delay Neural Networks Erweiterung von klassischen NN um raum-zeitlich beschränkte rezeptive Felder. Schicht 3 Äste der 2. Schicht Klasse 1 Klasse 2 Schicht 4 - Ausgabe y t Schicht 2 Schicht 1 - Eingabe x rezeptives Feld (Ausschnitt aus Raum und Zeit)

37 Time Delay Neural Networks Jedes Schicht-2-Neuron fasst ein raum-zeitliches rezeptives Feld der Eingabeschicht zusammen. Innerhalb eines Astes haben alle Eingabeleitungen, die von der selben relativen Position eines rezeptiven Feldes ausgehen, identische Gewichte ( shared weights principle ). Jeder Schicht-2-Ast erhält alle rezeptiven Felder als Eingabe. Jeder Ast spezialisiert sich auf ein Merkmal der Bildsequenz. Jedes Schicht-3-Neuron integriert ein und denselben Zeitausschnitt aus allen Ästen der 2. Schicht. Für jede Klasse gibt es eine Folge von Schicht-3-Neuronen, die sich vollständig über den erfassten Zeitraum erstreckt. Die Ausgabeschicht summiert für jede Klasse die entsprechende Schicht-3-Neuronenfolge. Ein TDNN wird mit Backpropagation trainiert.