Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte

Transkript

1 Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte Oliver Pink INSTITUT FÜR MESS- UND REGELUNGSTECHNIK KIT - Universität des Landes Baden-Württemberg und nationales Großforschungszentrum in der Helmholtz-Gemeinschaft

2 Übersicht 1. Motivation 2. Methoden zur Fahrzeuglokalisierung 3. Kartengenerierung Automatisierte Erstellung einer Landmarkenkarte aus Luftbildern 2. Videobasierte Lokalisierung Landmarkenextraktion aus Videosequenzen Bestimmung der optimalen Übereinstimmung mit der Karte Robuste Bestimmung der Egoposition 3. Experimentelle Ergebnisse 4. Zusammenfassung und Ausblick 2 Oliver Pink Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte 9. Juni 2010 Institut für Mess- und Regelungstechnik

3 Motivation Kenntnis der Straßengeometrie ermöglicht signifikante Verbesserungen bestehender und zukünftiger Fahrerassistenzsysteme Abstandsregelung Kreuzungsassistent Spurgenaue Zielführung Spurverlassenswarner Spurwechselassistent Umfeldwahrnehmung kann diese Anforderungen nur zum Teil erfüllen Digitale Karte in Verbindung mit hochgenauer Lokalisierung ermöglicht Aussagen über Fahrzeugumfeld und Fahrspurgeometrie 3 Oliver Pink Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte 9. Juni 2010 Institut für Mess- und Regelungstechnik

4 Satellitenbasierte Lokalisierung (GPS) Positionsbestimmung durch Laufzeitmessung zu mehreren Satelliten Genauigkeit: ca. 3 m, mit zusätzlichen Sensoren und Korrektursignalen bis zu ca. 2 cm Etabliertes Verfahren Weltweite Verfügbarkeit Hohe Genauigkeiten möglich Genauigkeit und Zuverlässigkeit u.a. abhängig von geographischen Gegebenheiten Teuer 4 Oliver Pink Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte 9. Juni 2010 Institut für Mess- und Regelungstechnik

5 Kartenbasierte Lokalisierung Kartenerstellung z.b. aus Entfernungsmessungen eines Laserscanners Bestimmung der Position durch Vergleich der Karte mit aktuellen Messungen Hohe Genauigkeit (bis zu ca. 2cm) Hohe Zuverlässigkeit im Kartenbereich Speicheraufwand Aktualität der Karte Aufwändige Erstellung der Karte Lokalisierung und Navigation erfordert vorheriges Abfahren 5 Oliver Pink Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte 9. Juni 2010 Institut für Mess- und Regelungstechnik

6 Kartenerstellung Problem: Kartenbasierte Lokalisierung erfordert aktuelles Kartenmaterial Herkömmliche Kartierungsmethoden erfordern manuelles Abfahren des Straßennetzes und manuelles Nachbearbeiten Foto: Navteq Foto: dpa Automatisierte Kartenerstellung mit vorhandenen Daten? 6 Oliver Pink Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte 9. Juni 2010 Institut für Mess- und Regelungstechnik

7 Kartenbasierte Lokalisierung Erstellung einer Landmarkenkarte aus vorhandenen Daten Extraktion der Landmarken aus Videosequenzen Bestimmung der Position aus optimaler Übereinstimmung Nahezu weltweite Verfügbarkeit Kein aufwändiges Abfahren nötig Karte kann gleichzeitig zur Navigation verwendet werden Geringer Speicheraufwand Aktualität der Karten Niedrigere Genauigkeit als (D-)GPS (aber besser als Standard-GPS) Hoher Rechenaufwand 7 Oliver Pink Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte 9. Juni 2010 Institut für Mess- und Regelungstechnik

8 Landmarkenbasierte Selbstlokalisierung Kartengenerierung Bildverarbeitung Landmarken Landmarken Eigenbewegung GPS Odometrie Bildbasierte Lokalisierung Fahrzeugposition Sensordatenfusion Robuste Schätzung von Fahrzeugposition und Eigenbewegung 8 Oliver Pink Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte 9. Juni 2010 Institut für Mess- und Regelungstechnik

9 Wahl der Landmarken Landmarken müssen in beiden Ansichten erkennbar sein Hier: Fahrspurmarkierungen als Landmarken Ziel: Auffinden und Vergleich der Landmarken aus beiden Ansichten 9 Oliver Pink Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte 9. Juni 2010 Institut für Mess- und Regelungstechnik

10 Kartengenerierung aus Luftbildern Anforderungen Landmarken müssen im Luftbild und im Bild der Fahrzeugkamera erkennbar sein Hohe Genauigkeit bei möglichst wenig manuellem Aufwand Kartenerstellung kann offline erfolgen Möglichst geringer Speicherbedarf der Karte Fahrspurmarkierungen als Landmarken Landmarkenextraktion durch punktweise Klassifikation Speicherung geometrischer Primitive: Position, Länge, Breite, Orientierung 10 Oliver Pink Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte 9. Juni 2010 Institut für Mess- und Regelungstechnik

11 Kartengenerierung 1. Pixelweise Klassifikation Klassifikator: Support Vector Machine Merkmalsvektor: Rotationsinvarianter Deskriptor in lokaler Umgebung Trainingsdaten: 100 manuell gewählte Bildregionen positiv:... negativ: Oliver Pink Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte 9. Juni 2010 Institut für Mess- und Regelungstechnik

12 Kartengenerierung 1. Pixelweise Klassifikation Klassifikator: Support Vector Machine Merkmalsvektor: Rotationsinvarianter Deskriptor in lokaler Umgebung Trainingsdaten: 100 manuell gewählte Bildregionen 12 Oliver Pink Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte 9. Juni 2010 Institut für Mess- und Regelungstechnik

13 Kartengenerierung 2. Segmentierung Zusammenfassen benachbarter Markierungspunkte Filterung zu großer/zu kleiner Regionen Hauptkomponentenanalyse zur Bestimmung der Geometrie 13 Oliver Pink Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte 9. Juni 2010 Institut für Mess- und Regelungstechnik

14 Kartengenerierung Regelbasierte Erkennung von Fahrbahnberandungen: Abmessungen von Markierungen Fahrstreifenbreite Abstand zwischen Markierungen Auswertung von geometrischen Beziehungen Unterdrückung von Fehldetektionen Vorstufe zur Erstellung einer topologischen Karte 14 Oliver Pink Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte 9. Juni 2010 Institut für Mess- und Regelungstechnik

15 Map Matching: Fahrzeugkamera Gegeben: Schwarz/Weiss Stereokamera Ziel: Landmarkenextraktion aus Stereobildern Anforderungen: Schnelle Algorithmen für Echtzeitfähigkeit Kein manuelles Training Originalbild Markierungen in Weltkoordinaten 15 Oliver Pink Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte 9. Juni 2010 Institut für Mess- und Regelungstechnik

16 Map Matching: Fahrzeugkamera Extraktion markanter Bildpunkte Originalbild Konturverfolgung Markierungen in Weltkoordinaten Tiefeninformation aus Disparität 16 Oliver Pink Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte 9. Juni 2010 Institut für Mess- und Regelungstechnik

17 Map Matching: Iterative Closest Point Anfangswert für Position und Orientierung z.b. aus vorherigem Schritt/GPS Suche nach korrespondierenden Markierungen Karte/Video Minimierung eines vorgegebenen Gütemaßes Wiederholung, bis Positionsschätzung konvergiert Gütemaß: Mahalanobis-Distanz aus Positions- und Orientierungsdifferenz Filterung von Ausreißern durch abschließende Iterationen mit zufällig gezogener Untermenge (RANSAC) 17 Oliver Pink Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte 9. Juni 2010 Institut für Mess- und Regelungstechnik

18 Schätzung der Eigenbewegung Korrespondenzsuche zwischen zeitlich aufeinanderfolgenden Bildern Schätzung der Eigenbewegung aus der Disparität und der Verschiebung der markanten Punkte Ausreißer-Unterdrückung mit RANSAC 18 Oliver Pink Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte 9. Juni 2010 Institut für Mess- und Regelungstechnik

19 Sensordatenfusion Fusion von Eigenbewegung und Positionsschätzung in Sigmapunkt-Kalman-Filter Bewegungsmodell: Konstante Geschwindigkeit und Winkelgeschwindigkeit Erweiterbar um zusätzliche Sensordaten 19 Oliver Pink Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte 9. Juni 2010 Institut für Mess- und Regelungstechnik

20 Ergebnisse Beispielsequenz: Eine GPS-Positionsschätzung zur Initialisierung Danach ausschließlich Map Matching und Eigenbewegungsschätzung Rechenzeit: 0,1s/Bild (2,0 GHz Laptop) 20 Oliver Pink Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte 9. Juni 2010 Institut für Mess- und Regelungstechnik

21 Zusammenfassung und Ausblick Verfahren zur videobasierten Selbstlokalisierung: Automatisierte Kartengenerierung aus Luftbildern Videobasierte Lokalisierung mit Hilfe der Landmarkenkarte Zuverlässige Schätzung durch Einbeziehung der Eigenbewegung Erweiterbar für andere Sensordaten Erweiterungsmöglichkeiten: Online-Kartenaktualisierung aus Videodaten der Fahrzeugkamera Automatisierte Erstellung einer topologischen Karte aus Luftbildern 21 Oliver Pink Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte 9. Juni 2010 Institut für Mess- und Regelungstechnik

22 Vielen Dank für Ihre Aufmerksamkeit Kontakt: Dipl.-Ing. Oliver Pink Institut für Mess- und Regelungstechnik Engler-Bunte-Ring Karlsruhe Telefon: Oliver Pink Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte 9. Juni 2010 Institut für Mess- und Regelungstechnik