Analyse von Videobildern Fahrerassistenzsysteme Mit Videobildern realisierbar Fernlichtassistent Adaptive Cruise Control (Abstandsregeltempomat) Abbiegeassistent Spurhalteassistent (Lane Departure Warning) Spurwechselassistent (Lane Change Assistance) Einparkassistent Verkehrszeichenerkennung Auffahrassistent... Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach www.rob.cs.tu-bs.de/teaching/courses/cs 2
Beispiel: Auffahrassistent Wie erkennt man Objekte auf der Straße während der Fahrt? Assistenzmaßnahmen Straffung des Gurtes Kopfstütze in optimate Position Ziel Geringeres Verletzungsrisiko für Insassen Lösungsansatz Entzerrung des Kamerabildes Virtuelle Rückprojektion des Kamerabildes auf die Straße Dynamische Speicherung der Straßentextur (Referenz) Erkennung und Verfolgung der Objekte auf der Straße Berechnung der time to collision Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach www.rob.cs.tu-bs.de/teaching/courses/cs 3 Schritt 1: Entzerrung des Kamerabildes Voraussetzung: Intrinsische Kameraparameter sind bekannt Verzerrtes Videosignal Entzerrtes Videobild Effizient realisierbar per Lookup-Table Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach www.rob.cs.tu-bs.de/teaching/courses/cs 4
Schritt 2: Virtuelle Rückprojektion des Kamerabildes auf die Straße Zusätzliche Voraussetzung: Extrinsische Kameraparameter Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach www.rob.cs.tu-bs.de/teaching/courses/cs 5 Schritt 3: Dynamische Speicherung der Straßentextur Zusätzliche Voraussetzung: Eigenbewegung des Fahrzeugs a) aktuelles Kamerabild b) aktuelle Top-Down-View c) Straßentextur aus dem letzten Zeitschritt d) verschobene Textur e) aktualisierte Textur Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach www.rob.cs.tu-bs.de/teaching/courses/cs 6
Schritt 4: Erkennung von Objekten auf der Straße Kamerabild Top-Down- View Straßentextur aus Kamerasicht Straßentextur Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach www.rob.cs.tu-bs.de/teaching/courses/cs 7 Problemfälle - Beispiele Blooming- und Smear-Artefakte schwankende Beleuchtung Schatten von Fahrzeugen Wasser auf dem Objektiv / nasse Straße Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach www.rob.cs.tu-bs.de/teaching/courses/cs 8
Einparkassistent mit irp-sichtsystem Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach www.rob.cs.tu-bs.de/teaching/courses/cs 9 Ursprünge der Bildsequenzanalyse Étienne-Jules Marey (1830-1904) Eadweard Muybridge (1830-1904) 1872: Verlassen alle Hufe eines galoppierenden Pferdes den Boden? Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach www.rob.cs.tu-bs.de/teaching/courses/cs 10
Bewegungsfeld / Optischer Fluss Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach www.rob.cs.tu-bs.de/teaching/courses/cs 11 Space-Time-Volume in der Kunst Khronos Projector, A. Cassinelli www.k2.t.u-tokyo.ac.jp/members/alvaro/khronos/ Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach www.rob.cs.tu-bs.de/teaching/courses/cs 12
Space-Time-Volume in der Kunst Khronos Projector, A. Cassinelli www.k2.t.u-tokyo.ac.jp/members/alvaro/khronos/ Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach www.rob.cs.tu-bs.de/teaching/courses/cs 13 Spatio-Temporal Video Warping www.vision.huji.ac.il/videowarping/ A. Rav-Acha, Y. Pritch, D. Lischinski, S. Peleg Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach www.rob.cs.tu-bs.de/teaching/courses/cs 14
Spatio-Temporal Video Warping II www.vision.huji.ac.il/videowarping/ A. Rav-Acha, Y. Pritch, D. Lischinski, S. Peleg Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach www.rob.cs.tu-bs.de/teaching/courses/cs 15 Spatio-Temporal Video Warping III www.vision.huji.ac.il/videowarping/ A. Rav-Acha, Y. Pritch, D. Lischinski, S. Peleg Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach www.rob.cs.tu-bs.de/teaching/courses/cs 16
Oberflächen im Space-Time-Volumen Actions as Space-Time Shapes M. Blank et al., ICCV 2005 Event Detection in Crowded Videos Yan Ke et al., ICCV 2005 Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach www.rob.cs.tu-bs.de/teaching/courses/cs 17 Apertur-Problem? Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach www.rob.cs.tu-bs.de/teaching/courses/cs 18
Apertur-Problem II Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach www.rob.cs.tu-bs.de/teaching/courses/cs 19 Barber s pole Bewegungsfeld Optischer Fluss Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach www.rob.cs.tu-bs.de/teaching/courses/cs 20
Optischer Fluss Bewegungsfeld kein optischer Fluss kein Bewegungsfeld Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach www.rob.cs.tu-bs.de/teaching/courses/cs 21 Region mit homogener Helligkeit kleine Gradienten 1 klein, 2 klein Khurram Hassan-Shafique CAP5415 Computer Vision 2003 Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach www.rob.cs.tu-bs.de/teaching/courses/cs 22
Region mit Kante große Gradienten in gleiche Richtung 1 groß, 2 klein Khurram Hassan-Shafique CAP5415 Computer Vision 2003 Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach www.rob.cs.tu-bs.de/teaching/courses/cs 23 Region enthält Ecke (Harris Corner) Gradienten in verschiedene Richtungen 1 groß, 2 groß Khurram Hassan-Shafique CAP5415 Computer Vision 2003 Dreidimensionales Computersehen Dr.-Ing. Simon Winkelbach www.rob.cs.tu-bs.de/teaching/courses/cs 24