Analyse von Videobildern

Transkript

1 Analyse von Videobildern Fahrerassistenzsysteme Mit Videobildern realisierbar Fernlichtassistent Adaptive Cruise Control (Abstandsregeltempomat) Abbiegeassistent Spurhalteassistent (Lane Departure Warning) Spurwechselassistent (Lane Change Assistance) Einparkassistent Verkehrszeichenerkennung Auffahrassistent... Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach 2

2 Beispiel: Auffahrassistent Wie erkennt man Objekte auf der Straße während der Fahrt? Assistenzmaßnahmen Straffung des Gurtes Kopfstütze in optimate Position Ziel Geringeres Verletzungsrisiko für Insassen Lösungsansatz Entzerrung des Kamerabildes Virtuelle Rückprojektion des Kamerabildes auf die Straße Dynamische Speicherung der Straßentextur (Referenz) Erkennung und Verfolgung der Objekte auf der Straße Berechnung der time to collision Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach 3 Schritt 1: Entzerrung des Kamerabildes Voraussetzung: Intrinsische Kameraparameter sind bekannt Verzerrtes Videosignal Entzerrtes Videobild Effizient realisierbar per Lookup-Table Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach 4

3 Schritt 2: Virtuelle Rückprojektion des Kamerabildes auf die Straße Zusätzliche Voraussetzung: Extrinsische Kameraparameter Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach 5 Schritt 3: Dynamische Speicherung der Straßentextur Zusätzliche Voraussetzung: Eigenbewegung des Fahrzeugs a) aktuelles Kamerabild b) aktuelle Top-Down-View c) Straßentextur aus dem letzten Zeitschritt d) verschobene Textur e) aktualisierte Textur Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach 6

4 Schritt 4: Erkennung von Objekten auf der Straße Kamerabild Top-Down- View Straßentextur aus Kamerasicht Straßentextur Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach 7 Problemfälle - Beispiele Blooming- und Smear-Artefakte schwankende Beleuchtung Schatten von Fahrzeugen Wasser auf dem Objektiv / nasse Straße Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach 8

5 Einparkassistent mit irp-sichtsystem Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach 9 Ursprünge der Bildsequenzanalyse Étienne-Jules Marey ( ) Eadweard Muybridge ( ) 1872: Verlassen alle Hufe eines galoppierenden Pferdes den Boden? Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach 10

6 Bewegungsfeld / Optischer Fluss Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach 11 Space-Time-Volume in der Kunst Khronos Projector, A. Cassinelli Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach 12

7 Space-Time-Volume in der Kunst Khronos Projector, A. Cassinelli Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach 13 Spatio-Temporal Video Warping A. Rav-Acha, Y. Pritch, D. Lischinski, S. Peleg Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach 14

8 Spatio-Temporal Video Warping II A. Rav-Acha, Y. Pritch, D. Lischinski, S. Peleg Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach 15 Spatio-Temporal Video Warping III A. Rav-Acha, Y. Pritch, D. Lischinski, S. Peleg Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach 16

9 Oberflächen im Space-Time-Volumen Actions as Space-Time Shapes M. Blank et al., ICCV 2005 Event Detection in Crowded Videos Yan Ke et al., ICCV 2005 Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach 17 Apertur-Problem? Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach 18

10 Apertur-Problem II Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach 19 Barber s pole Bewegungsfeld Optischer Fluss Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach 20

11 Optischer Fluss Bewegungsfeld kein optischer Fluss kein Bewegungsfeld Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach 21 Region mit homogener Helligkeit kleine Gradienten 1 klein, 2 klein Khurram Hassan-Shafique CAP5415 Computer Vision 2003 Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach 22

12 Region mit Kante große Gradienten in gleiche Richtung 1 groß, 2 klein Khurram Hassan-Shafique CAP5415 Computer Vision 2003 Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach 23 Region enthält Ecke (Harris Corner) Gradienten in verschiedene Richtungen 1 groß, 2 groß Khurram Hassan-Shafique CAP5415 Computer Vision 2003 Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach 24