Der Einsatz von luftgestützter Photogrammmetrie zur Validierung von Fahrerassistenzsystemen

Transkript

1 Tagung Fahrerassistenz, TÜV SÜD München, 25. und 26. Nov Der Einsatz von luftgestützter Photogrammmetrie zur Validierung von Fahrerassistenzsystemen Hartmut Runge, Franz Kurz, Dominik Rosenbaum, Peter Reinartz Deutsches Zentrum für Luft- und Raumfahrt Institut für Methodik der Fernerkundung Oberpfaffenhofen Weßling Corresponding author: Zusammenfassung: Wir berichten über unsere Aktivitäten zur luftgestützten Fahrzeugmessung mittels Motorsegler und Hubschrauber und geben einen Ausblick auf die Möglichkeiten zur Validierung von Fahrerassistenzsystemen (ADAS). Einführung Moderne Fahrer-Assistenzsysteme (ADAS) für das autonome Fahren sind sehr komplexe Systeme, u. a. mit den Komponenten für die Selbst-Lokalisierung des Fahrzeugs, genauen Karten mit den Fahrspuren, die Erfassung der anderen Verkehrsteilnehmer, Trajektorien-Planung und der Fahrzeug- Steuerung. Das System muss voraus berechnen, ob z. B. noch ein anderes Fahrzeug überholt werden kann, bevor die gewünschte Autobahn-Ausfahrt erreicht wird. Weiterhin müssen die gewählten Trajektorien für die Insassen als angenehm empfunden werden. Die Erfassung von Ort und Geschwindigkeit der anderen Verkehrsteilnehmer, die voraus, hinterher oder seitlich fahren, muss durch die Bord-Sensorik sichergestellt werden. Wir schlagen ein Luft-gestütztes Kamera-System vor, mit dem das perfekte Zusammenspiel all dieser Funktionen getestet bzw. überprüft werden kann. Die Vorteile sind der gute Überblick von oben auf die Straße und dass die Überprüfung mit einem komplett unabhängigem und separaten System verwendet wird. Es werden Luftbild-Kameras mit hoher Auflösung und 25 Bildern pro Sekunde verwendet. Aus den Luftbildern lassen sich die Fahrspuren extrahieren und die Ideal-Trajektorien bestimmen, um sie später mit den tatsächlich gefahrenen Trajektorien zu vergleichen. Durch eine genaue Zeitregistrierung jedes Video-Bildes sowie eine Ortho-Rektifizierung, mit Hilfe der Daten eines Inertial Navigation Systems und eines Digitalen Geländemodells, lässt sich exakt der Ort und die Zeit bestimmen, wann z. B. ein bestimmtes Fahrmanöver begonnen wurde. Weiterhin kann überprüft werden, ob die Bord-Sensorik immer ein richtiges Bild vom Fahrzeug-Umfeld aufgenommen hat [1].

2 Das DLR kann durch eine große Zahl von voran gegangenen Projekten auf eine profunde Basis von Systemen und Verarbeitungsalgorithmen zurückgreifen. So wurde in dem Projekt CHICAGO gezeigt, dass eine Fahrzeug-Verfolgung mit Hilfe eines extrem geräuscharmen Elektro-Motorseglers über Strecken von 60km trotz ungeplanter Zwischenstopps und Autobahnwechsel möglich ist [2,3]. Im Rahmen des Projekts VABENE, bei dem es primär um das Verkehrsmonitoring bei Katastrophen und Großereignissen geht wurde ein Kamera-Pod als Außenlast-Behälter für einen Hubschrauber entwickelt [4]. Zu Demonstrationszwecken wurde das System auch erfolgreich zur Fahrzeug- Verfolgung eingesetzt. In beiden Fällen, also beim Motorsegler, wie auch beim Hubschrauber wurde jeweils in großer Höhe (1.000m) über der Autobahn geflogen, um die Verkehrsteilnehmer nicht abzulenken. In dieser Höhe sind der Motorsegler und der Hubschrauber vom Boden aus nur sichtbar, wenn gezielt der Himmel nach ihnen abgesucht wird. Um die Systeme operationell für ADAS Tests einzusetzen wären noch weitere Tests und Entwicklungen notwendig. Trägersystem Motorsegler Bild 1: Elektro-Motorsegler Antares von Lange Aviation in der DLR Version zur Erprobung von Brennstoffzellen und Luftbildkameras zur Fahrzeugverfolgung Der Elektro-Motorsegler (siehe Bild 1) zeichnet sich durch extreme Geräuscharmut aus. Damit der Pilot ohne Sichtkontakt zum Test-Fahrzeug eine punktgenaue Verfolgung erreichen kann, wurden die GPS-Koordinaten vom Fahrzeug in das Navigationssystem im Cockpit übertragen, auf dem auch die Flugzeugposition angezeigt wurde. Als Kameras kamen drei Canon EOS 1Ds zum Einsatz, von denen

3 zwei in Längsrichtung gerade nach unten auf die Straße gerichtet sind und eine weitere Kamera beim Kreisen des Flugzeugs gerade nach unten ausgerichtet war. Die Bilder konnten über eine Datenübertragungsstrecke zu einer Bodenstation übertragen werden. Bild 3 zeigt den Einbau in einem der beiden Wing-Pods [2,3]. Bild 3: Wing-Pod der Antares mit Wasserstoff-Tank für das Brennstoffzellen-System, sowie der Nutzlast bestehend aus drei Still-Kameras, On-Board Rechner, Inertial Navigation System und Daten Downlink Trägersystem Hubschrauber Der Bo-105 Hubschrauber wird von der DLR Abteilung für Flugexperimente für eine Vielzahl von verschiedenen Anwendungen eingesetzt. Daher wurde das Kamerasystem in einem leicht montier baren externen Pod untergebracht (siehe Bild 3). Bild3: Bo-105 Hubschrauber des DLR mit Kamera-Außenlastbehälter In der Hubschrauber Version kommt eine Video-Kamera vom Typ Canon EOS 1D-C zum Einsatz, die Filme mit 4k-Auflösung (Ultra-HD), also mit 4096 x 2160 Pixel und einer Bildrate von 25 fps aufnehmen kann. Je nach Flughöhe und gewünschter Bildgröße können Objektive von Zeiss mit

4 25mm, 35mm, 50mm und 100mm montiert werden. Hinzu kommen zwei Still-Kameras, die einen größeren Bildbereich abdecken (siehe Bild 4). Bild 4: Kamera-Pod für die Bo-105 mit den drei Kameras, dem Inertial Navigation System, den Bordrechnern sowie dem Daten - Downlink mit Verstärker, Radio und zwei nachführbaren Antennen. In Bild 5 wird die Anordnung der verschiedenen Kameras und deren Bodenabdeckung gezeigt. Bei einer Flughöhe von 500m über Grund erreicht die 4k Video-Kamera bei Verwendung eines 50mm Objektivs eine Abdeckung von 143m in Flugrichtung und 253m quer zur Flugrichtung. (Die gewählte Einbaurichtung wurde nicht für die Messung entlang von Straßen optimiert.) Die Pixel-Größe beträgt hierbei knapp 7cm. Wenn der Hubschrauber zentriert über dem Test-Fahrzeug fliegt, können in dieser Konfiguration also rund 72m vor und hinter dem Fahrzeug abgebildet und anschließend ausgewertet werden[4,5]. Bild 5: Blickwinkel (links) und Bodenabdeckung (rechts) der beiden Still-Kameras (lindgrün) und der Video-Kamera bei einer Flughöhe von 500m

5 Datenauswertung Aus den hoch aufgelösten Luftbildern lassen sich die Markierungsstreifen extrahieren und so die Fahrwege und Ideal-Trajektorien bestimmen. Durch eine Verfolgung des Test-Fahrzeugs lässt sich auch seine Trajektorie bestimmen und mit der Ideal-Trajektorie vergleichen. Die genaue Ortho-Rektifizeirung der Luftbilder erlaubt es, die zurückgelegte Strecke der einzelnen Fahrzeuge von Bild zu Bild exakt zu bestimmen. Es wurde gezeigt, dass die so ermittelten Geschwindigkeiten sehr präzise sind [6,7]. Bild 6 zeigt einen Bildausschnitt aus der 4k-Video Kamera und die gemessenen Geschwindigkeiten von vier Fahrzeugen. Für die Tests von ADAS Systemen muss noch weitere Auswerte-Software entwickelt werden. Bild 6: Momentaufnahme des Verkehrs auf einem Teilstück der Autobahn A23 Referenzen [1] Kurz, F.; Rosenbaum, D.; Runge, H.; Reinartz, P.; Validation of advanced driver assistance systems by airborne optical imagery; Mobil.TUM 2015 International Scientific Conference on Mobility and Transport June 30 th and July 1 st 2015, Munich (2015) [2] Runge, H.; Kallo, J.; Rathke, Ph.; Stephan, T.; Kurz, F.; Rosenbaum, D.; Meynberg, O.; CHICAGO - An Airborne Observation System for Security Applications, erschienen in: 7th Security Research Conference, Future Security 2012, Bonn, Germany, September 4-6, Proceedings, Springer Verlag, Volume 318 of the series Communications in Computer and Information Science, pp (2012) [3] Runge, H.; Kallo, J.; DLR untersucht Beobachtungssystem mit Motorsegler (2015)

6 [4] Rosenbaum, D.; Kurz, F.; Neues Kamerasystem auf Hubschrauber zur Verkehrsüberwachung, 2. Juli 2014, DLR VABENE Homepage (2014): [5] Kurz, F.; Rosenbaum, D.; Meynberg, O.; Mattyus, G.; Reinartz, P.: Performance of a real-time sensor and processing system on a helicopter. In: ISPRS Archives, Seiten ISPRS Archive, Pecora 19 Symposium in conjunction with the Joint Symposium of ISPRS Technical Commission I and IAG Commission 4, Nov. 2014, Denver, USA. (2014) [6] Kurz, F.; Türmer, S.; Meynberg, O.; Rosenbaum, D.; Runge, H.; Reinartz, P.; Leitloff, J.: Lowcost optical Camera System for real-time Mapping Applications, Photogrammetrie Fernerkundung Geoinformation, 2012 (2), pp (2012) [7] Leitloff, J.; Rosenbaum, D.; Kurz, F.; Meynberg, O.; Reinartz, P.: An Operational System for Estimating Road Traffic Information from Aerial Images. Remote Sensing (MDPI), 2014, 6(11), pp (2014)