3D Umfeldrekonstruktion über Structure from Motion

Transkript

1 A HELLA-Group Company 3D Umfeldrekonstruktion über Structure from Motion Dr. Ralph Hänsel, Hella Aglaia Mobile Vision GmbH Symposium Beuth Hochschule Geometrische Modellierung und Computational Engineering in der virtuellen Produktentwicklung

2 Parkroboter Parkroboter Ray im öffentlichen Parkhaus des Düsseldorfer Flughafens Inbetriebnahme 2014

3 Inhalt Anwendungsszenario Umfeldsensorik im Fahrzeug Umfelderkennung mit dem Umfeldkamerasystem Hardwareplattform Weiterführende Anwendungsszenarien Grenzen des Verfahrens Fazit 3

4 Anwendungsszenario 3D Umfeldrekonstruktion über Structure from Motion Hochautomatisiertes Einparken Freiraumdetektion, kombiniert mit z.b. Parkmarkierungserkennung Ermöglicht autonomes Einparken Warnfunktion für Einparkhilfe in Rückfahrkamera Jährlich 210 tödliche Unfälle und 15,000 Verletzungen beim Rückwärts-Einparken (USA) Rückfahrkamera-Pflicht ab 2018 in USA (Neufahrzeuge) Indoor-Navigation 3D-Rekonstruktion in Kombination mit SLAM ermöglicht präzise Innenraumnavigation Bsp.: Automatisiertes Tiefgaragen-Parken (kein GPS möglich) 5

5 Umfeldsensorik im Fahrzeug Lidar Radar Ultra Sonic dgps Surround View Front Camera Maps

6 Anwendungsszenario Umfeldkamerasystem Applikation Automotive Fahrerassistenz Hochautomatisiertes Fahren Ziel Vollständige 360 3D Rekonstruktion des Fahrzeug-Umfelds Erfassungsbereich 0 bis 10m ab der Fahrzeugkontur Vermessung des Freiraumes und der Hindernisse Basistechnologie für z.b. Autonomes Einparken, Rangieren Sensoren 4x 180 Weitwinkel Surround View Mono Kameras Weitwinkelkamera (Beispiel) Rückfahrkamera-Perspektive Rückkamera-Perspektive 7

7 Basistechnologie Fachgebiete Photogrammetrie Structure From Motion Bildaufnahme und 3D Rekonstruktion voneinander getrennt 3D Rekonstruktion der Umgebung / Oberfläche in einem Nachverarbeitungsschritt Globale Optimierung Ggf. Nutzung von Passpunkten in der Photogrammetrie 8

8 Inhalt Anwendungsszenario Umfeldsensorik im Fahrzeug Umfelderkennung mit dem Umfeldkamerasystem Hardwareplattform Weiterführende Anwendungsszenarien Grenzen des Verfahrens Fazit 9

9 Umfelderkennung mit dem Umfeldkamerasystem Funktionsprinzip statisches Objekt Binokulares Stereo Structure from Motion Bewegungs-Stereo statisches Objekt Zeit t 2 Kamera-Bewegung Kamera 1 Kamera 2 Zeit t Basisbreite Vorteil: Tiefeninformation ohne Bewegung Zeit t 1 Kamera Vorteil: Nur 1 Kamera benötigt 10

10 Umfelderkennung mit dem Umfeldkamerasystem Verfahrensschritte Verfahrensschritte (1/2) Detektion markanter Punkte im Bild Corner Detectors, Interest operators Harris, Förstner, Susan, Fast, etc. Bewerten kleine Umgebung auf Markantheit Ziel: Nur Punkte Verfolgen, die sich auch gut verfolgen lassen! Finden von Korrespondenzen zwischen Bildern Zuordnung Interest Points zwischen t 1, t 2 Feature Descriptors SIFT, SURF, LBP, etc. Zuordnung Eigenschaftsvektor Interest Point Ähnlichkeitsbestimmung führt zu Zuordnung Bestimmung der optischen Flusses zwischen aufeinanderfolgenden Sichten Ziel: 2D Bewegungs-Fluss in der Ebene 11

11 Umfelderkennung mit dem Umfeldkamerasystem Verfahrensschritte - 2 Verfahrensschritte (2/2) Bestimmung der Kameraposen Bestimmung der Kameraposen Nutzung der Fahrzeugodometrie Optimierung über alle 4 Kameras Ziel: robuste und akkurate Bestimmung der Kamerabewegung (6D) Bestimmung 3D Position der Interest Points Structure from Motion Triangulation der Bildpunktkorrespondenzen Kombination der Detektionen der 4 Kameras Ziel: Erzeugung einer konsistenten Tiefenkarte 12

12 Umfelderkennung mit dem Umfeldkamerasystem Verfahrensschritte - 3 Verfahrensschritte (3/3) Abstraktion der Umgebung in Freiraum und Hindernisbereich Trennung der Raumpunkte zwischen Bodenbereich und erhöhten Bereichen Erzeugung Hüllkurve um erhabene Bereiche Ziel: Festlegung des Freiraums 13

13 Umfelderkennung mit dem Umfeldkamerasystem Inkrementelle Rekonstruktion Finden markanter korrespondierender Punkte Workflow Inkrementelle 3D Rekonstruktion der Umgebung Jederzeit bestmögliche Messung zur Verfügung stellen Bestimmung der Kameraposen und 3D Rekonstruktion Freiraumbestimmung 14

14 Umfelderkennung mit dem Umfeldkamerasystem Kamerasystem Fishaugenkamera Großer Blickwinkel Geringe Auflösung (Pixel pro Raumwinkel) Zentralbereich auf Lochkameramodell abbildbar Viele in der Literatur verfügbaren Verfahren (Kameraposenschätzung) setzen auf das Lochkameramodell auf 15

15 Inhalt Anwendungsszenario Umfeldsensorik im Fahrzeug Umfelderkennung mit dem Umfeldkamerasystem Hardwareplattform Weiterführende Anwendungsszenarien Grenzen des Verfahrens Fazit 16

16 Hardwareplattform Verarbeitung von 4 Kameras in Echtzeit Jeweils 30 Bilder pro Sekunde Jeweils 1 Megapixel Optimierung für Parallele Architekturen ( CUDA, OpenCL) 17

17 Weiterführende Anwendungsszenarien Hochautomatisiertes Einparken Freiraumdetektion, kombiniert mit z.b. Parkmarkierungserkennung Ermöglicht autonomes Einparken Warnfunktion für Einparkhilfe in Rückfahrkamera Jährlich 210 tödliche Unfälle und 15,000 Verletzungen beim Rückwärts-Einparken (USA) Rückfahrkamera-Pflicht ab 2018 in USA (Neufahrzeuge) Indoor-Navigation SLAM (Simultaneous Localization and Mapping) ermöglicht präzise 3D-Rekonstruktion und Innenraumnavigation Bsp.: Automatisiertes Tiefgaragen-Parken (kein GPS möglich) 18

18 Grenzen des Verfahrens Dunkelheit Keine Funktionalität bei absoluter Dunkelheit Parkplatzbeleuchtung für Parken ausreichend Gegenmaßnahmen: Aktive Beleuchtung, Strukturierte Beleuchtung Unstrukturierte Oberflächen Z.B. Betonwände Bewegte Objekte Z.B. Fußgänger und fahrende Fahrzeuge Längliche Objekte entlang Fahrzeug-Trajektorie 19

19 Fazit Die echtzeitfähige kamerabasierte Umfelderkennung stellt eine notwenige Basistechnologie für autonom rangierende Fahrzeuge dar. Viele spannende Herausforderungen suchen noch ihren Bezwinger. 20

20 Vielen Dank! Impressum HELLA Aglaia Mobile Vision GmbH Treskowstraße Berlin Tel.: +49 (0) Fax: +49 (0) info@aglaia-gmbh.de Geschäftsführer/CEO: Kay Talmi AG Berlin-Charlottenburg HRB B VAT-Nr. DE Images: HELLA