3D-Objektverfolgung mit Stereokameras zur bildbasierten Navigation autonom fliegender Luftfahrzeuge

Transkript

1 3D-Objektverfolgung mit Stereokameras zur bildbasierten Navigation autonom fliegender Luftfahrzeuge Bachelorarbeit zur Erlangung des Grades eines Bachelor of Science (B.Sc.) im Studiengang Computervisualistik Florian Bäthge Betreuer: Betreuender Professor: Dr.-Ing. Franz Andert, Deutsches Zentrum für Luft- und Raumfahrt (DLR), Institut für Flugsystemtechnik, Abt. Unbemannte Luftfahrzeuge Prof. Dr.-Ing. habil. Holger Theisel, Otto-von-Guericke- Universität Magdeburg, Fakultät für Informatik, Institut für Simulation und Grafik, Arbeitsgruppe Visual Computing Magdeburg, 2. April 2012

2 ii Erklärung Hiermit erkläre ich, dass ich diese Abschlussarbeit selbständig verfasst habe, keine anderen als die angegebenen Quellen und Hilfsmittel verwendet habe und alle Stellen, die wörtlich oder sinngemäß aus veröffentlichten Schriften entnommen wurden, als solche kenntlich gemacht habe. Darüber hinaus erkläre ich, dass diese Abschlussarbeit nicht, auch nicht auszugsweise, bereits für eine andere Prüfung angefertigt wurde. Florian Bäthge Magdeburg, 2. April 2012

3 iii Kurzfassung Unbemannte Luftfahrzeuge finden heutzutage in vielen Szenarien Anwendung. Da je nach Einsatzgebiet eine Kollision oder gar ein Absturz fatal wären, ist es für moderne autonome Flugsysteme unabdingbar, sich auch in unbekannten Umgebungen orientieren und Hindernissen ausweichen zu können. Dafür kommen immer häufiger Kamerasysteme, insbesondere Stereokameras, zum Einsatz, die eine optische Navigation ermöglichen. Im Rahmen dieser Bachelorarbeit wird ein Verfahren zur Gewinnung dreidimensionaler Vektordaten zur Bestimmung des optischen Flusses mithilfe von Stereokameras entwickelt und getestet. Um dies zu erreichen, werden über die Zeit homologe Punkte in beiden Kamerabildern detektiert und verfolgt. Die durch stereoskopische Betrachtung ermittelten dreidimensionalen Positionen und Bewegungsvektoren können dann zur relativen Bewegungsschätzung des Fluggeräts oder in weiteren Anwendungen zur Generierung einer Umgebungskarte genutzt werden. Die Ergebnisse des Verfahrens werden an Testdaten aus Flugversuchen und mit bekannten und vermessenen Objekten getestet. Abstract Nowadays, unmanned aerial vehicles (UAV) are used in many scenarios. Since a collision or even a crash would be fatal, it is important for a UAV to be able to navigate even in an unknown environment. To achieve this, camera systems, especially stereo camera systems can be used to optain an optical navigation solution. This bachelor thesis goal is to develop an algorithm to detect and track homologous points in a stereo image series over time. Using stereo-geometric calculations it is possible to calculate the position of those features in three-dimensional space. These points and vectors can be used to calculate relative position changes of the vehicle itself or in further projects to create an obstacle map of the environment. The results are validated using image data from a manual flight test on measured reference objects.

4 Inhaltsverzeichnis Abbildungsverzeichnis Tabellenverzeichnis Abkürzungsverzeichnis vi viii ix 1 Einleitung Zielsetzung Versuchsträger ARTIS Aufbau der Arbeit Grundlagen Lochkameramodell Gewinnung von 3D-Informationen aus Stereobilddaten Epipolargeometrie Standard-stereoskopischer Kameraaufbau Kameraparameter Linsenverzeichnung Rektifizierung Stand der Forschung Rekonstruktion von Raumpunkten aus Kamerabildern Berechnung der relativen Eigenbewegung Tracking und Stereo-Matching mittels eines Lucas-Kanade-Trackers Implementierung DIP-Framework Erkennen und Verfolgen markanter Punkte Stereo-Matching homologer Bildpunkte Finden korrespondierender Punkte in Stereobildpaaren iv

5 Inhaltsverzeichnis v Kontrolltracking im rechten Bildverlauf Koordinatentransformation und Filterung Berechnung der Eigenbewegung Bestimmung der relativen Kamerabewegung zwischen zwei Zeitschritten Rekonstruktion der Flugbahn Evaluierung des Verfahrens Auswertung von Flugversuchsdaten Stereobilddaten aus Kamerafahrt an einem Rollwagen Trageversuch mit Landmarken und nach vorne gerichteter Kamera Flugversuch mit nach unten gerichteter Kamera Landmarkenvermessung mit Hilfe eines Tachymeters Genauigkeitsüberprüfungen an Referenzmessungen Bestimmung der Eigenbewegung und Vergleich mit Navigationsdaten Zusammenfassung Verfahren im Überblick Ausblick auf zukünftige Arbeiten Literaturverzeichnis 55

6 Abbildungsverzeichnis 1.1 Versuchsträger midiartis im Flugversuch Aufbau des midiartis-hubschraubers mit den wichtigsten Komponenten Zentralprojektion Herleitung der Zentralprojektion per Strahlensatz Schematischer Aufbau der Epipolargeometrie Achsparalleler standard-stereoskopischer Aufbau Entfernungsauflösung mit Stereokamera Transformation zweier Kamerabilder zur Stereoanalyse Featuretracking und Korrespondenzsuche in Stereobildern DIP-Framework in Simulation und Flug SPICE-Benutzerschnittstelle Filter-Pipeline im Experimentalcommander Einstellungsfenster der cl_featuretracker Klasse Verfolgte Punkte im Kamerabild Einstellungsfenster des entwickelten TrackedObjectsFilters Stereo-Feature-Tracking: Verfolgte Punkte und Korrespondenzen Trackingbestätigung durch zeitliches Tracking in den rechten Kamerabildern Abweichung der vertikalen Disparität d y nach Entzerrung und Rektifizierung Verwendete Koordinatensysteme Korrespondierende Punkte im Bilddatensatz der Kamerafahrt Korrespondierende Punkte im Bilddatensatz des Trageversuchs Korrespondierende Punkte im Bilddatensatz des Flugversuchs Tachymeter Leica Viva TS15 zur Vermessung der Landmarken Entfernungsschätzung durch optische Analyse - Datensatz Entfernungsschätzung durch optische Analyse - Datensatz Vergleich der x-position - optische Navigation und Navigationslösung vi

7 Abbildungsverzeichnis vii 4.8 Vergleich der y-position - optische Navigation und Navigationslösung Vergleich der Flughöhe - optische Navigation und Navigationslösung Vergleich der Trajektorie aus Navigationslösung und optischer Navigation aus Sicht von oben Vergleich x-position aus Nav-Lösung und optischer Navigation mittels TransformationEstimationSVD Vergleich y-position aus Nav-Lösung und optischer Navigation mittels TransformationEstimationSVD Vergleich Flughöhe aus Nav-Lösung und optischer Navigation mittels TransformationEstimationSVD

8 Tabellenverzeichnis 1.1 Technische Daten des midiartis Flugversuchsträgers Parameter der verwendeten Stereokamera Intrinsische Kameraparameter Geeignete Parameter zum Stereo-Feature-Tracking Werte der Landmarkenvermessung des TrackedObjectFilters zu Datensatz Werte der Landmarkenvermessung des TrackedObjectFilters zu Datensatz viii

9 Abkürzungsverzeichnis ARTIS DIP ICP IMU OBDIP OGDIP OpenCV RANSAC SPICE SVD UAV Autonomous Rotorcraft Testbed for Intelligent Systems Digital Image Processing Framework Iterative Closest Point Inertial Measurement Unit, Inertialsensorik OnBoard DIP OnGround DIP Open Computer Vision Library Random Sample Consensus Smart Program for Image Computing Experiments Singular Value Decomposition Unmanned Aerial Vehicle, Unbemanntes Luftfahrzeug

10 KAPITEL 1 Einleitung Der Einsatz unbemannter Luftfahrzeuge stößt heutzutage in vielen Bereichen von Wirtschaft und Forschung auf großes Interesse. So lassen sich unbemannte Luftfahrzeuge in vielen Szenarien einsetzen, sei es zur Erkundung unwegsamen Geländes oder zukünftig sogar zur Unterstützung bei der Bergung von Menschen, beispielsweise bei Katastropheneinsätzen. Dabei steht auch besonders der Wunsch des autonomen Handelns der Luftfahrzeuge im Vordergrund, also das selbständige Fliegen und Ausführen von Aufgaben ohne direkte menschliche Kontrolle oder Steuerung. Um dies zu erreichen, sind moderne autonome, unbemannte Luftfahrzeuge häufig mit verschiedensten Sensoren ausgerüstet, zum Beispiel GPS, Radar, Laserscanner oder Kamerasysteme. Da insbesondere Sensoren wie GPS, welche Informationen von Satelliten empfangen müssen, unter gewissen Umständen gestört werden oder der Empfang ausfallen kann, rückt der Einsatz von Kamerasystemen zur optischen Navigation immer stärker in den Fokus. 1.1 Zielsetzung Ziel dieser Arbeit ist die Entwicklung eines Verfahrens zur Gewinnung von räumlichen Positionsinformationen verfolgter markanter Objekte (Features) auf Basis von Stereobilddaten. Dazu sollen in den Kamerabildern gut verfolgbare Merkmale bestimmt und deren Position im anderen Stereobild ermittelt werden. Anhand dieser Bildpositionen kann über stereogeometrische Berechnungen die Position dieser Punkte im Raum rekonstruiert werden. 1

11 1.2 Versuchsträger ARTIS 2 Die so ermittelten Punktdaten sind vielfältig einsetzbar und können beispielsweise zur sichtgestützten Navigation (visuelle Odometrie) oder zur Erstellung von Umgebungskarten zum Erkennen und Ausweichen von Hindernissen genutzt werden. In dieser Arbeit sollen die zu jedem Zeitschritt ermittelten 3D-Punktmengen dazu dienen, relative Bewegungsänderungen zu bestimmen und mit der durch GPS und IMU ermittelten Navigationslösung zu vergleichen. Um die Richtigkeit der ermittelten Werte zu zeigen, sollen die berechneten Raumpunkte mit aufgenommenen, vermessenen Landmarken verglichen werden. 1.2 Versuchsträger ARTIS Das Institut für Flugsystemtechnik des Deutschen Zentrums für Luft- und Raumfahrt (DLR) in Braunschweig verfügt mit der ARTIS-Reihe über eine Flotte von Hubschraubern verschiedener Größenordnungen. Diese sind mit Sensoren und Computern ausgestattet, um unterschiedliche Szenarien autonom fliegender Luftfahrzeuge (UAV) sowohl in der Simulation als auch im Flugversuch testen zu können. Abb. 1.1: Versuchsträger midiartis im Flugversuch Abbildung 1.1 zeigt den für diese Arbeit verwendeten Hubschrauber midiartis (technische Daten siehe Tabelle 1.1) im Flug. Abbildung 1.2 zeigt den modularen Aufbau des Fluggeräts. Der Hubschrauber kann je nach Versuchsszenario mit verschiedenen Kameras an der Vorder-

12 1.2 Versuchsträger ARTIS 3 seite ausgerüstet werden. Dafür stehen sowohl Mono-, Stereo- oder Infrarotkameras sowie ein Laserscanner zur Verfügung. Für die Aufnahme von Videodaten für diese Arbeit wurde der Hubschrauber mit einer zum Boden gerichteten Stereokamera der Firma Videre-Design ausgestattet. Die genauen Kameraspezifikationen können der Tabelle 1.2 entnommen werden. Für die Bildverarbeitungsprozesse steht im midiartis ein eigener Rechner zur Verfügung, welcher sich lediglich mit dem Aufzeichnen und Auswerten der Daten aus den optischen Sensoren beschäftigt. Über ein LAN-Interface kann der Bildverarbeitungsrechner mit dem Flugrechner kommunizieren und beispielsweise gewonnene Informationen aus Bildern dort in die Navigation oder Missionsplanung einfließen lassen. Die von den Kameras aufgezeichneten Bilddaten können dabei für das autonome Fliegen direkt an Bord des Hubschraubers im Bildverarbeitungsrechner ausgewertet und genutzt werden oder für eine Bearbeitung in der Simulation oder die Entwicklung neuer Verfahren gespeichert und später verarbeitet werden. GPS-Antenne Prisma Magnetometer Freewave-Antenne WLAN Sonar Stromversorgung Stereokamera IMU/GPS/Telemetrie Bildverarbeitungsrechner Flugsteuerrechner Abb. 1.2: Aufbau des midiartis-hubschraubers mit den wichtigsten Komponenten Tab. 1.1: Technische Daten des midiartis Flugversuchsträgers Rotorkreisdurchmesser 1,9 m Rotordrehzahl 25 Hz Antrieb 1,5 kw Verbrennungsmotor Leermasse 6 kg Max. Abflugmasse 12 kg Flugsteuerrechner Intel P4 1,4 GHz, QNX Neutrino OS Bildverarbeitungsrechner Intel Core2Duo 1,5 GHz, Linux OS

13 1.3 Aufbau der Arbeit 4 Tab. 1.2: Parameter der verwendeten Stereokamera Hersteller/Typ Bildgröße Bildfrequenz Brennweite Basisabstand Videre Design STOC 640 px 480 px 30 Hz 700 px 30 cm Neben den Bilddaten der Kameras kann der midiartis-hubschrauber auch Daten des GPS- Sensors, der Inertialsensorik (IMU) oder eine daraus gefilterte Navigationslösung aufzeichnen, um Berechnungen an den Bildern auch in Bezug auf das geodätische sowie das Weltkoordinatensystem durchführen zu können. 1.3 Aufbau der Arbeit Im folgenden Kapitel wird der grundlegende Aufbau stereogeometrischer Kamerasysteme sowie die wichtigsten Berechnungsverfahren vorgestellt und erläutert. Dazu sollen die Grundlagen optischer Abbildungen auf eine oder mehrere Kameras erläutert werden, um einen Einblick in die Funktionsweise und typischen Charakteristiken von Stereokamerasystemen zu liefern. Außerdem wird dort ein Überblick über den aktuellen Stand der Forschung gegeben. Ausgehend aus den Anforderungen und den Erkenntnissen aus bisherigen Forschungsarbeiten wird dann der entwickelte eigene Ansatz kurz erläutert. Kapitel 3 soll einen tieferen Einblick in die Implementierung des geplanten Verfahrens bieten. Dazu wird eine grundlegende Übersicht über das verwendete Entwicklungsframework gegeben sowie die Integration des neuen Verfahrens in das System beschrieben. Des Weiteren wird in dem Kapitel das genaue Vorgehen zum Verfolgen markanter Punkte und die Rekonstruktion der Raumpunkte beschrieben. In Kapitel 4 werden die zur Verfügung stehenden Videodaten analysiert und die Ergebnisse des Verfahrens an Referenzwerten ausgewertet. Anschließend wird das Thema in Kapitel 5 zusammengefasst und ein Ausblick auf weitere Arbeiten gegeben.

14 KAPITEL 2 Grundlagen In diesem Kapitel wird ein grundlegender Einblick in optische Abbildungen durch Kameras gegeben. Dabei werden die mathematischen Grundlagen von Projektionen auf Kameras und auch die geometrischen Zusammenhänge in Stereokameras erläutert, sowie die Eigenschaften realer Kamerasysteme näher gebracht. Des Weiteren wird ein Überblick über bestehende Forschungsarbeiten auf diesem Gebiet sowie über das entwickelte Verfahren gegeben. 2.1 Lochkameramodell Um geometrische Betrachtungen an Kamerasystemen durchzuführen, wird normalerweise von dem vereinfachten Lochkameramodell ausgegangen, da somit Punkte im dreidimensionalen Raum durch einfache geometrische Projektionen auf eine Bildebene abgebildet werden können. Das Lochkameramodell beschreibt dabei eine projektive Abbildung von Punkten aus dem sichtbaren Bereich des dreidimensionalen Raums R 3 durch ein projektives Zentrum c auf eine projektive Bildebene B des Raums R 2, wobei c nicht auf B liegen darf [Fau95]. Der Abstand von Projektionszentrum und Bildebene wird dabei als Brennweite f bezeichnet. 5

15 2.1 Lochkameramodell 6 z c q(x,y) f c y c x c p c (x c,y c,z c ) Abb. 2.1: Zentralprojektion Abbildung 2.1 veranschaulicht die Zentralprojektion als skalierte, gespiegelte Projektion von Objektpunkten auf die Bildebene. Ein Punkt p c = (x c,y c,z c ) T wird dabei wie in Abbildung 2.2 mittels ( (x c, y c, z c ) T f x c,f y ) T c (2.1) z c z c auf einen Punkt q c der Bildebene abgebildet [HZ04, S. 153ff]. In homogenen Koordinaten ausgedrückt entspricht diese projektive Transformation einer Multiplikation mit der so genannten Projektionsmatrix P x c x c y fx c f c z c y fy c = c 0 f 0 0 (2.2) z c z c zq c = Pp c (2.3) q c = (x c /z, y c /z) T. (2.4) y z c Bildebene y c y c z f Abb. 2.2: Herleitung der Zentralprojektion - Es gilt: y = f yc z c (analoges gilt in x-richtung)

16 2.2 Gewinnung von 3D-Informationen aus Stereobilddaten 7 Da üblicherweise der Ursprung des Bildkoordinatensystems nicht mit dem Durchstoßpunkt der optischen Achse übereinstimmt, muss zur Transformation der Punkte von Sensorkoordinaten in Bildkoordinaten, der so genannten inneren Transformation, um den Bildhauptpunkt (x 0,y 0 ) verschoben werden. Des Weiteren werden oftmals unterschiedliche horizontale und vertikale Brennweiten (f x, f y ) verwendet, wenn die Einheiten in x- und y-richtung unterschiedliche Größen haben [And11], sowie eventuell eine Scherung s des Bildsensors, falls die Sensorachsen nicht orthogonal sind. Diese Parameter können somit zur intrinsischen Kamerakalibrierungsmatrix K zusammengefasst werden mit der Form f x s x 0 K = 0 f y y 0. (2.5) Gleichzeitig ist es durch diese Transformationsvorschrift auch umgekehrt möglich, die eigentlichen Bildkoordinaten zu normieren. Dabei kann man dann von einer Projektion mit der Brennweite f = 1 und dem Bildhauptpunkt (0,0) rechnen. Um die Raumposition eines Punktes nicht nur in Bezug auf die Kamera sondern auch auf das Weltkoordinatensystem zu bestimmen, muss in der so genannten externen Transformation auch die Translation t und Rotation R der Kamera selbst beachtet werden. Die externe Transformation p c = R p w + t kann dabei in die gesamte Transformation integriert werden. Somit kann man durch zq c = K [R t] p w (2.6) einen Raumpunkt in Weltkoordinaten auf einen Bildpunkt abbilden. Bei der Abbildung von Raumpunkten auf eine Bildebene geht allerdings immer eine Dimension verloren. Somit ist es auch trotz der Kameraparameter nicht möglich, aus einem einzelnen Bildpunkt q(x,y) den ursprünglichen Punkt in R 3 ohne weitere Informationen zu rekonstruieren. 2.2 Gewinnung von 3D-Informationen aus Stereobilddaten Um die bei der Projektion auf die Kamerabildebene verlorene Tiefeninformation von Raumpunkten rekonstruieren zu können, werden häufig Stereokameras eingesetzt. Bei solchen Kamerasystemen wird der (annähernd) gleiche Bereich von mehreren Kameras aufgenommen, was zusätzliche Informationen liefert und die Rekonstruktion der Punkte im Raum ermöglicht.

17 2.2 Gewinnung von 3D-Informationen aus Stereobilddaten Epipolargeometrie Mathematisch beschrieben werden diese geometrischen Beziehungen durch die so genannte Epipolargeometrie [Luh00]. Abbildung 2.3 zeigt eine schematische Darstellung, welche die Epipolargeometrie mit zwei Kameras beschreibt. Ein Punkt p w wird dabei im linken Bild auf den Bildpunkt q l und im rechten Bild auf q r abgebildet. Betrachtet man nun einen weiteren Punkt ˆp w, welcher auf der Geraden p w c l liegt, so wird deutlich, dass dieser im linken Bild ebenso auf q l abgebildet wird, im rechten Bild allerdings auf einen anderen Punkt ˆq r. E p w ˆp w c l l 1 q l ˆq r q r l 2 z l e l e r z r x r x l c r y l R, t y r Abb. 2.3: Schematischer Aufbau der Epipolargeometrie Allgemein gilt dabei, dass die Linie p w c l im rechten Bild auf die Gerade e r q r abgebildet wird sowie äquivalent die Linie p w c r auf die Gerade e l q l. Das sind die so genannten Epipolarlinien. Die Punkte e l und e r werden als Epipole bezeichnet. Die Punkte c l, c r und p w spannen die Epipolarebene E des Punkts p w auf. Alle Punkte dieser Ebene werden auf die gleichen Epipolarlinien abgebildet. Die geometrischen Beziehungen der Punkte im Stereofall spiegeln sich in der so genannten 3 3-Essentialmatrix E und der 3 3-Fundamentalmatrix F wieder [Fau93; Lon87; Zha98]. An den verwendeten Kamerasystemen können diese durch die Kamerakalibrierung ermittelt werden. Durch diese Information vereinfacht sich das 2D-Korrespondenzproblem auf die Suche nach den korrespondierenden Features entlang der Epipolarlinie. Um diesen Vorteil möglichst einfach auch am Rechner nutzen zu können, wird mit Hilfe der Rektifizierung eine Art virtuelles achsparalleles Stereosystem erzeugt [AH88; TV98]. Sind die intrinsischen und extrinsischen Parameter der Kamera bekannt, können die beiden Stereobilder derart auf eine gleiche Bildebene rückprojiziert werden, dass alle Epipolarlinien horizontal verlaufen und korrespondierende Punkte fortan auf

18 2.2 Gewinnung von 3D-Informationen aus Stereobilddaten 9 der gleichen Bildzeile liegen. Man spricht dann von einem standard-stereoskopischen Aufbau. Die Rektifizierung und Entzerrung der Bildpunkte wird in Abschnitt 2.3 näher erläutert Standard-stereoskopischer Kameraaufbau Projektionslinie c l p c verschoben um b z c p c(x c,y c,z c) z c d q l (x l,y l ) f c l q r(x r,y r) y c x c b f c r y c x c q r(x r,y r) Abb. 2.4: Achsparalleler standard-stereoskopischer Aufbau Abbildung 2.4 zeigt den standard-stereoskopischen Aufbau mit zwei parallel ausgerichteten Kameras. Die zwei Projektionsstrahlen zeigen dabei, wie ein Raumpunkt p c über die beiden Projektionszentren c l und c r auf zwei Bildpunkte q l und q r der beiden Bildebenen abgebildet wird. Der Projektionsstrahl des Punkts p c auf das rechte Bild sowie der Bildpunkt q r wird in der Grafik auch um den Basisabstand b auf das linke Bild verschoben dargestellt, um den Zusammenhang der beiden Bildpunkte zu verdeutlichen. Da sich beim standard-stereoskopischen Fall beide Bildpunkte auf der gleichen Bildzeile befinden, existiert zwischen ihnen nur ein horizontaler Abstand d (Disparität). Somit lässt sich die Abbildung durch ein einfaches Strahlensatzproblem beschreiben und da sowohl Basisabstand b, Brennweite f und die Disparität d bekannt sind, ist auch die Bestimmung des Tiefenwerts (z-richtung) möglich.

19 2.2 Gewinnung von 3D-Informationen aus Stereobilddaten 10 Relativ zum linken Kamerakoordinatensystem gilt dabei x c = z c (x l x 0 ) f y c = z c (y l y 0 ) f z c = bf d. (2.7a) (2.7b) (2.7c) Aufgrund der diskreten Natur der Pixel digitaler Kameras ist das Finden zusammengehörender Merkmale in beiden Bildern, und somit die Berechnung der Disparität, immer mit einer gewissen Ungenauigkeit verbunden. Allerdings liegt dieser Fehler bei modernen Algorithmen dank Interpolation im Subpixelbereich. Als realistische Werte gelten d = 0,25 px [Wil98] oder d = 0,5 px [SS02]. Bei zunehmender Entfernung des Punkts wird die Disparität deutlich kleiner und die Ungenauigkeit der Tiefenwerte nimmt zu x c = d z c f y c = d z c f z c = d z2 c bf. (2.8a) (2.8b) (2.8c) Gleichung 2.8c zeigt, dass die Ungenauigkeit der Tiefe quadratisch zunimmt [And11, S. 30], wie in Abbildung 2.5 dargestellt. Aufgrund der stark zunehmenden Ungenauigkeit bei höherer Tiefe sollten zu weit entfernte Punkte verworfen werden. Welche Grenzwerte dabei gewählt werden, hängt von der verwendeten Stereokamera ab. Für die verwendete Kamera wurde als Grenzwert z max = 45 m gewählt, da die Tiefenungenauigkeit bei d = 0,5 px dort bereits knapp 5 m beträgt. zc[m] z c [m] Abb. 2.5: Entfernungsauflösung mit Stereokamera: b = 0,3 m, f = 700 px, d = 0,5 px (durchgezogene Linie), d = 0,25 px (gestrichelte Linie)

20 2.3 Kameraparameter Kameraparameter Zwar lassen sich anhand des Lochkameramodells die generellen geometrischen Betrachtungen durchführen, allerdings verhalten sich reale Kameras nicht wie dieses optimale Modell. Aufgrund der verwendeten Linsen kommt es, insbesondere bei Linsen mit niedriger Brennweite, zu einer Verzeichnung des Bilds. Des Weiteren müssen spezielle Kameraeigenschaften wie unterschiedliche horizontale und vertikale Brennweiten oder ein leicht zur Bildmitte verschobenes optisches Zentrum betrachtet werden. Um also in praktischen Anwendungen genaue Ergebnisse zu erhalten, müssen verschiedene Parameter des Kamerasystems durch eine Kalibrierung ermittelt werden. Das verwendete Stereokamerasystem der Firma Videre Design verfügt dazu über Tools [SRI08], welche anhand einer Reihe von Aufnahmen eines Kalibrierungsmusters in verschiedenen Positionen des Bilds die intrinsischen und extrinsischen Parameter der Kamera ermitteln können. Für die intrinsischen Kameraparameter (siehe Tabelle 2.1) wird dabei das Modell von Brown [Bro71] verwendet. Tab. 2.1: Intrinsische Kameraparameter (x 0, y 0 ) Kamerazentrum (px) f x, f y horizontale und vertikale Brennweite (px) κ 1, κ 2, κ 3 Radiale Verzerrungsparameter τ 1, τ 2 Tangentiale Verzerrungsparameter Linsenverzeichnung Um für die Stereobetrachtung genaue Werte zu haben, muss besonders die Linsenverzerrung der Kameras berücksichtigt werden. [Bro71] und [TV98] beschreiben die radiale Verzeichnung eines Punkts q u (x u,y u ) zu einem Punkt q d (x d,y d ) in normierten Koordinaten mit x d = x u (1 + κ 1 r 2 + κ 2 r 4 + κ 3 r 6 ) + dx y d = y u (1 + κ 1 r 2 + κ 2 r 4 + κ 3 r 6 ) + dy (2.9a) (2.9b) und r 2 = x 2 d + y2 d. Der Grad der Verzerrung wird mit κ 1, κ 2 und κ 3 angegeben. dx und dy spiegeln dabei die tangentiale Verzeichnung wider dx = 2τ 1 x u y u + τ 2 (r 2 + 2x 2 u) dy = 2τ 2 x u y u + τ 1 (r 2 + 2y 2 u). (2.10a) (2.10b)

21 2.3 Kameraparameter 12 Neben der radialen und tangentialen Verzerrung ermittelt das Kalibrierungswerkzeug auch die manchmal leicht unterschiedlichen horizontalen und vertikalen Brennweiten der Kamera sowie die Position des Kamerazentrums im Bild [SRI08] Rektifizierung Sind die relativen Orientierungen der Stereokameras zueinander bekannt, werden bei der Kalibrierung außerdem die 3 4-Projektionsmatrix P sowie eine 3 3-Rektifizierungsmatrix R bestimmt. Mit Hilfe der Rektifizierungsmatrix kann ein entzerrter Bildpunkt q d (x d,y d ) so transformiert werden, wie er im rektifizierten Kamerabild liegt. Liegt die Projektionsmatrix P 1 (hier am Beispiel der linken Kamera) in der Form p 11 p 12 p 13 p 14 p 21 p 22 p 23 p 24 (2.11) p 31 p 32 p 33 p 34 vor, mit den Zeilen p j = (p j1, p j2, p j3 ) (die vierte Spalte wird dabei nicht betrachtet) und den Kamerazentren c 1 und c 2, so wird die Rektifizierungmatrix durch R 1 = ((c 1 c 2 ) c 1 ) T (c 1 c 2 ) T ((c 1 c 2 ) (c 2 c 1 )) T (p 2 p 3 p 3 p 1 ) p 1 p 2 (2.12) beschrieben [And06]. Gleiches gilt für die Rektifizierungsmatrix R 2 der rechten Kamera, welche aus der Projektionsmatrix P 2 gebildet werden kann. Zwei Bildpunkte q 1 = (x 1,y 1 ) T und q 2 = (x 2,y 2 ) T können dann durch Multiplikation der jeweiligen Rektifizierungsmatrix in ihre rektifizierten Bildpunkte transformiert werden: u 1 x 1 u 2 x 2 v 1 = R 1 y 1 und v 2 = R 2 y 2. (2.13) w 1 1 w 2 1 Die rektifizierten Bildkoordinaten sind dann ( ) ( ) q 1 x = 1 u1 /w y 1 = 1 v 1 /w 1 und q 2 = ( x 2 y 2 ) ( ) u2 /w = 2. (2.14) v 2 /w 2

22 2.3 Kameraparameter 13 Anhand dieser Gleichungen lässt sich die komplette Verarbeitung der von den Kameras aufgezeichneten Punkten beschreiben. Die Punkte in Pixelkoordinaten werden normiert, entzerrt und rektifiziert. Anhand dieser Punkte können dann stereogeometrische Betrachtungen durchgeführt werden und der ursprünglich von den Kameras aufgezeichnete Raumpunkt rekonstruiert werden. Abbildung 2.6 zeigt das Schema der Verarbeitung der Bildpunkte der beiden Kameras. Raumpunkt p = (x,y,z) T Bildpunkt links (Pixelkoordinaten) q 1 = (x 1, y 1) T Bildpunkt rechts (Pixelkoordinaten) q 2 = (x 2, y 2) T Kameramatrix Kameramatrix Verzeichnungskorrektur Verzeichnungskorrektur Rektifizierung Rektifizerung Bildpunkt (normierte Koordinaten) q 1 = (x 1, y 1) T Bildpunkt (normierte Koordinaten) q 2 = (x 2, y 2) T Stereo-Matching und Raumpunktberechnung Rekonstruierter Raumpunkt p = (x,y,z) T Abb. 2.6: Transformation zweier Kamerabilder zur Stereoanalyse

23 2.4 Stand der Forschung Stand der Forschung Verfahren zur Verfolgung markanter Punkte in Bildsequenzen sowie die Berechnung des optischen Flusses oder der Eigenbewegung spielen zunehmend in immer mehr Bereichen eine Rolle. So werden in den verschiedensten Bereichen der Forschung Verfahren zur Auswertung von Bildern mit dem Ziel der Gewinnung von Tiefenwerten entwickelt. Diese können sowohl auf Mono-, Stereo- oder gar Multikamerasystemen basieren oder Tiefeninformationen durch andere Sensoren nutzen Rekonstruktion von Raumpunkten aus Kamerabildern Für die Untersuchung von Stereobildern oder allgemein die Rekonstruktion von Tiefenwerten wurden dabei je nach Anwendungsfall verschiedene Verfahren entwickelt, um korrespondierende Punkte in Stereobildern zu finden. Auch für die Berechnung der Eigenbewegung existieren mehrere bekannte und zuverlässige Verfahren, die anhand von Punktdaten aus Bildern die Kamerabewegung bestimmen können. Bei den Anwendungen, die auf Monokameras und zusätzlichen Sensoren basieren, ist insbesondere die Arbeit von Kanade, Amidi und Ke [KAK04] zu nennen. Darin werden zur optischen Navigation eines autonomen Kleinhubschraubers mit Hilfe eines Lucas-Kanade-Trackers markante Punkte in einem Monokamerabild verfolgt und die Tiefe anhand von Daten eines Lasersensors bestimmt. Die so gewonnenen Raumpunkte dienen dann der Bewegungsschätzung und dem Mapping der Umgebung. Aufgrund ihres relativ günstigen Preises und dem Vorteil eines rein passiven Verfahrens (also ohne Aussenden eigener Signale, wie bei Radar oder Laser) verwenden viele Forschungsarbeiten Stereokamerasysteme für die Rekonstruktion von Raumpunkten oder die optische Navigation. Viele Arbeiten haben dazu das Ziel, Tiefenkarten (Disparity Maps) der gefilmten Umgebung zu erzeugen, also Bilder, welche anstelle der Farbwerte die Entfernung des Bildpunkts zum Kamerasensor codieren. Ein allgemeiner Algorithmus zur Berechnung einer Dense Disparity Map wird in [Fua93] gegeben. Konolige [Kon97] nutzt dazu die so genannte Area Correlation an einer kalibrierten Stereokamera zur Generierung von Tiefenkarten für das SRI Small Vision System. Agrawal, Konolige und Iocchi [AKI05] nutzen generierte Tiefenkarten aus Stereobildern, um die Bewegung einzelner, sich unabhängig bewegender Objekte zu bestimmen. Auch die Arbeit von Hirschmüller, Innocent und Garibaldi [HIG02a] zielt auf die Generierung einer dichten Tiefenkarte mittels kalibrierter Stereokameras ab. Dazu wird die so genannte

24 2.4 Stand der Forschung 15 Sum-of-Absolute-Differences-Korrelation auf rektifizierten Kamerabildern angewendet. Um Unstetigkeiten in bestimmten Bildbereichen ausgleichen, werden weitere Nachverarbeitungsschritte durchgeführt. Generell basieren die meisten Arbeiten in dem Bereich auf rektifizierten Bildern, da auf diesen effizient gerechnet werden kann und die Ergebnisse eine hohe Genauigkeit haben. Für die Rektifizierung von Stereobildern existieren dementsprechend auch mehrere Verfahren, um die Stereobilder so zu transformieren, dass diese dem standard-stereoskopischen Modell entsprechen. Dabei sind insbesondere die Arbeiten von Ayache und Hansen [AH88], Trucco und Verri [TV98] oder [SH10] zu nennen. Die Arbeit von Andert [And06] nutzt das bereits von Konolige [Kon97] präsentierte Small Vision System zur Erzeugung einer Tiefenkarte. Mit Hilfe dieser Tiefenkarte sollen am ARTIS- Hubschrauber im Flug Objekte zur Kollisionsvermeidung detektiert werden. Das gleiche Verfahren zur Tiefenkartengenerierung wird auch von [Isl08] verwendet, um die Eigenbewegung des Hubschraubers zu bestimmen. Auch für die Anwendung in selbständig fahrenden Bodenfahrzeugen werden Stereokameras eingesetzt. [NNB06] zeigen ein Verfahren, welches Mono- als auch Stereokameras für die visuelle Odometrie einsetzen kann. Dabei werden über einen Harris-Detektor markante Punkte gefunden und Korrespondenzen gesucht. Im Stereofall wird dazu erst ein grobes Matching über einen bestimmten Bereich um das Feature durchgeführt und über eine genaue Korrespondenzsuche mittels normierter Kreuzkorrelation ausgewertet und verfeinert. Die so ermittelten Daten dienen dabei zur Lokalisierung des autonomen Bodenfahrzeugs und der Schätzung der Eigenbewegung. Ein weiteres Verfahren zum 3D-Feature-Tracking mit parallel ausgerichteten Stereokameras wird in [ZCL10] gegeben. Dort werden, ähnlich wie in dieser Arbeit präsentiert, Features im linken Kamerabild gewählt und verfolgt und die entsprechenden korrespondierenden Punkte im rechten Kamerabild gesucht. Dabei verwenden die Autoren für das zeitliche Tracken ein Blockmatching-Verfahren in einem bestimmten Bildbereich. Für das Finden korrespondierender Punkte im rechten Bild dient zur groben Lokalisierung der Bewegungsvektor des linken Bildes, da die Bewegung der Features in beiden Kameras annähernd gleich sein sollte Berechnung der relativen Eigenbewegung Auch für die Berechnung der Eigenbewegung aus den Kamerabildern gibt es verschiedene Ansätze. Zu den gängigen Verfahren zählt beispielsweise das auch in dieser Arbeit verwendete

25 2.5 Tracking und Stereo-Matching mittels eines Lucas-Kanade-Trackers 16 Iterative Closest Point-Verfahren (ICP) nach [MS06] und [BM92]. Zur Berechnung der Bewegung wird dabei das Least Squares Fitting von [AHB87] genutzt. Um den ICP-Algorithmus zur Bewegungsberechnung nutzen zu können, sollte eine geeignete Methode zum Ausfiltern von Außenseitern verwendet werden, beispielsweise das RANSAC-Verfahren. Ein alternativer Algorithmus zum Schätzen der Kamerabewegung mit Stereokameras wird in [HIG02b] gegeben. Anstelle von statistischen Methoden wie etwa RANSAC zur Eliminierung von Außenseitern wird dies durch ein zweiseitiges Tracking von Features gewährleistet, also dem Suchen korrespondierender Punkte vom linken im rechten Bild sowie in die andere Richtung. Stimmen die so gefundenen Korrespondenzen nicht überein, wird der Punkt verworfen. Zwar kann es dadurch eine hohe Anzahl von Außenseitern geben, allerdings sind die verbleibenden Features normalerweise von hoher Güte und eignen sich somit sehr gut für die Bestimmung der relativen Kamerabewegung. Die bisherigen Arbeiten zeigen, dass fast alle bekannten Forschungarbeiten, die Stereokameras zur 3D-Objektverfolgung nutzen, dies auf vorher rektifizierten Bilddaten oder durch die Nutzung vorher generierter Tiefenkarten machen. Als Verfahren für das Tracking und die Korrespondenzanalyse gibt es verschiedene Verfahren mit verschiedenen Vorteilen. Daher liegt es nahe, zu untersuchen, ob ähnlich genaue Ergebnisse auch auf nicht vorher rektifizierten Bilddaten erreichbar sind mit dem Ziel, dies zur optischen Navigation eines autonomen Kleinhubschraubers zu nutzen. 2.5 Tracking und Stereo-Matching mittels eines Lucas-Kanade-Trackers Der neue Ansatz hat das Ziel, eine Menge von räumlichen Punktkoordinaten markanter Features im Kamerakoordinatensystem mit Hilfe einer Folge von Stereobilddaten zu rekonstruieren und diese Punkte auch im zeitlichen Verlauf zu verfolgen. Dazu soll ein Algorithmus implementiert werden, welcher anhand der Disparität homologer Punkte in beiden Stereobildern die Raumkoordinaten berechnen kann. Um den Rechenaufwand zum Entzerren und Rektifizieren der Stereobilddaten gering zu halten, wurde der Algorithmus für ungefilterte Bilddaten entwickelt. Zwar beschränkt sich dadurch die Suche nach korrespondierenden Bildpunkten nicht nur auf eine Bildzeile, allerdings sind die Versuchskameras von vornherein parallel ausgerichtet und verfügen über große gemeinsame Bildbereiche, was den standard-stereoskopischen Fall zumindest annähert.

26 2.5 Tracking und Stereo-Matching mittels eines Lucas-Kanade-Trackers 17 Statt nun, wie in anderen Ansätzen üblich, korrespondierende Punkte in den Stereobildern anhand rektifizierter Bilder zu suchen, wird im neuen Ansatz ein Lucas-Kanade-Tracker [LK81] auf den ungefilterten, also nicht entzerrten und nicht rektifizierten, Bilddaten angewendet. Um die Genauigkeit der Berechnungen zu gewährleisten, werden lediglich die erkannten Feature- Punkte entzerrt und mit Hilfe der Rektifizierungsmatrix aus der Kamerakalibrierung in ihre rektifizierte Position transformiert. Abbildung 2.7 zeigt die entwickelte Verarbeitungs-Pipeline der Bilder. In Schritt 1 (siehe grüner Kreis) werden im linken Kamerabild markante Bildpunkte detektiert und in Schritt 2 mittels eines Lucas-Kanade-Trackers die korrespondierenden Bildpunkte im rechten Kamerabild gesucht. Entzerrt man nun zwei korrespondierende Punkte im linken und rechten Bild und rektifiziert sie durch Multiplikation mit der jeweiligen Rektifizierungsmatrix, besteht zwischen beiden Bildpunkten lediglich eine horizontale Disparität, siehe Schritt 3. Diese Disparitäten dienen nun dazu, die Tiefenkoordinate des Bildpunktes bezüglich des Kamerakoordinatensystems der linken Kamera zu bestimmen und somit den Raumpunkt zu rekonstruieren. Die so berechnete Menge von Raumpunkten kann nun im Schritt 4 in eine so genannte TrackedObjectsList gespeichert werden, welche dann weiterverwendet werden kann. Zusätzlich zum Bestimmen der 3D-Punkte während eines Zeitschritts werden in Schritt 5 die detektierten markanten Punkte über einen Lucas-Kanade-Tracker im linken Bild des Zeitschritts t 1 wiedergefunden. Zusätzlich ist eine Validierung dieses Trackings möglich, indem man auch in den rechten Bilddaten im zeitlichen Verlauf die korrespondierenden Punkte verfolgt und die Ergebnisse vergleicht, um Außenseiter eliminieren zu können. Dieses Vorgehen wird dann in jedem Zeitschritt t n wiederholt. Durch die zeitliche Featureverfolgung aus Schritt 5 wird gewährleistet, dass die bestimmten Raumpunkte immer zum gleichen Objekt gehören. Ist ein verfolgtes Feature bereits als TrackedObject in der Liste gespeichert, wird dieses lediglich aktualisiert, sodass die aktuelle und die vorherige Raumposition gespeichert wird. Da auch die Raumkoordinaten aus dem vorherigen Zeitschritt bekannt sind, verfügt man ab dem zweiten Zeitschritt für ein verfolgtes Feature nicht nur über dessen räumliche Position, sondern auch über die relative Bewegung innerhalb des letzten Zeitschritts.

27 2.5 Tracking und Stereo-Matching mittels eines Lucas-Kanade-Trackers 18 t Linkes Bild (ungefiltert) 4 2 Korrespondenzen finden Disparität bestimmen Rechtes Bild (ungefiltert) zeitliche Featureverfolgung TrackedObjectsList (optionaler) Featurevergleich 3 t 1 Linkes Bild (ungefiltert) Rechtes Bild (ungefiltert) TrackedObjectsList t 2 Linkes Bild (ungefiltert) Rechtes Bild (ungefiltert) TrackedObjectsList Abb. 2.7: Featuretracking und Korrespondenzsuche in Stereobildern

28 KAPITEL 3 Implementierung In diesem Kapitel wird näher auf die Umsetzung des beschriebenen Verfahrens eingegangen. Dazu soll erst kurz die genutzte Test- und Entwicklungsumgebung erklärt und dann die wichtigsten Bestandteile der Implementierung aufgeführt und beschrieben werden. 3.1 DIP-Framework Für die Entwicklung und Simulation von bildverarbeitenden Verfahren steht in der Abteilung für unbemannte Luftfahrzeuge des DLR ein eigens entwickeltes Framework zur Verfügung. Dieses so genannte DIP-Framework ist in C++ geschrieben und ermöglicht die Nutzung und Entwicklung vieler Bildverarbeitungsalgorithmen und anderer relevanter Verfahren. Das Framework ist vielfältig sowohl direkt an Bord des Fluggeräts (OBDIP), an der mobilen Bodenstation (OGDIP) oder durch die Benutzerschnittstelle SPICE [Goo04] [Gut04] nutzbar. Abbildung 3.1 zeigt die Verbindung des DIP-Frameworks in der Testumgebung sowie im Flug [And06]. Dabei verwenden sowohl SPICE als auch OBDIP die gleichen Algorithmen, Bildverarbeitungsfilter und Schnittstellen. 19

29 3.1 DIP-Framework 20 L L R SPICE LAN Simulation R OBDIP LAN Flugsteuerung Bedienung/Anzeige WLAN OGDIP Bedienung/Anzeige Abb. 3.1: DIP-Framework für den Einsatz in der Simulations- und Testumgebung (links) und im Flug (rechts) Das SPICE-Programm (siehe Abbildung 3.2) ermöglicht dabei das Laden verschiedener Daten wie Kamerabilder, Sensordaten oder der Navigationslösung sowie das synchronisierte Abspielen der Daten, beispielsweise Bilddaten und Tiefenkarten oder Stereobilddaten. Zusätzlich zu den Bilddaten steht auf Wunsch auch die aktuelle gemittelte und gefilterte Position und Ausrichtung des Hubschraubers aus Daten des Flugrechners zur Verfügung, falls diese mit aufgezeichnet wurden. Um die geladenen Daten zu verarbeiten, können verschiedene modularisierte Filter in einer Verarbeitungspipeline kombiniert werden. Dafür stehen sowohl eigene Entwicklungen als auch die freie OpenCV-Bibliothek zur Bildverarbeitung zur Verfügung. Die Verarbeitung von Bild- und Sensordaten erfolgt dabei über so genannte Commander. Ein Commander ist dabei eine Zusammenstellung verschiedener Algorithmen und Filter für eine spezifische Aufgabe, beispielsweise die Generierung von Umgebungskarten, die Evaluierung der Umgebung zur Kollisionsvermeidung oder für die Kalibrierung von Kameras. Dafür hat jeder Commander im unteren Bereich der Benutzeroberfläche des SPICE-Programms einen Bereich für eigene Kontroll- und Steuerelemente. Besonders für die Entwicklung neuer Verfahren existiert ein so genannter Experimentalcommander. Statt einer Benutzeroberfläche, die speziell auf eine Aufgabenstellung ausgerichtet ist, können hier die einzelnen Filter und Verarbeitungsalgorithmen für Testzwecke kombiniert und zusammengestellt werden. Der modulare Aufbau des DIP-Frameworks im Experimantalcommander unterteilt sich in eine Pipeline von Bildfiltern, mit denen geladene Bild- und Sensordaten direkt verarbeitet werden können. Dazu gehören unter anderem bildverbessernde Operationen oder Algorithmen zur

30 3.1 DIP-Framework 21 Abb. 3.2: SPICE-Benutzerschnittstelle Erkennung und Verfolgung markanter Punkte, so genannter TrackedObjects. Aufbauend auf diesen TrackedObjects können dann in einer Pipeline von TrackedObjectsFiltern und einer Pipeline von TrackedObjectsListObservern für weitere Berechnungen wie die Rekonstruktion von 3D-Raumpunkten, die Berechnung der Kamerabewegung, zum Aufbau von Umgebungskarten, zur Filterung von Werten oder zur Kommunikation mit dem Flugrechner genutzt werden. Abbildung 3.3 zeigt den schematischen Aufbau eines Experimentalcommanders. Als Eingabe eines Experimentalcommanders dient die EnvironmentSensor-Klasse, die als Wrapper für die beliebigen optischen Sensoren dient. Zu jedem Zeitschritt t wird dabei das aktuelle Bild an den FilterMaster (linke Box) übergeben und darin von den verschiedenen eingesetzten Bildfiltern (ImageFilter) nacheinander verarbeitet.

31 3.2 Erkennen und Verfolgen markanter Punkte 22 EnvironmentSensor Tr.Obj.List Experimentalcommander ImageFilter TrackedObjectsFilter Tr.Obj.ListObserver ImageFilter TrackedObjectsFilter Tr.Obj.ListObserver ImageFilter TrackedObjectsFilter Tr.Obj.ListObserver Abb. 3.3: Filter-Pipeline im Experimentalcommander Zu jedem Zeitschritt wird auch eine leere TrackedObjectsList erzeugt, die von den Bildfiltern gefüllt werden kann. Beispiel ist dafür der verwendete FeatureTracker, welcher die Position getrackter markanter Features in der TrackedObjectsList speichert. Als weitere Informationen können in den Filtern auch zusätzliche Informationen wie Kalibrierungsdaten oder weitere Sensorinformationen (z. B. Stereobilder oder Tiefenkarten) geladen werden. Nach der Verarbeitung durch die Bildfilterpipeline wird die TrackedObjectsList an eine Pipeline von TrackedObjectsFiltern und TrackedObjectsListObservern übergeben. TrackedObjectsFilter können dabei die einzelnen TrackedObjects löschen, bearbeiten oder neue hinzufügen, während die TrackedObjectsListObserver nur Lesezugriff auf die TrackedObjectsList haben. Die TrackedObjectsListObserver dienen im Normalfall zum Logging generierter Informationen, zum Beispiel von relativen Bewegungsdaten oder zur Übertragung von Daten an den Flugrechner. 3.2 Erkennen und Verfolgen markanter Punkte Für die Rekonstruktion von Raumpunkten anhand Stereobilddaten wie in Abschnitt 2.5 beschrieben, müssen zuerst markante Punkte im linken Kamerabild gefunden werden. Dazu wird die bereits existierende Filterklasse cl_featuretracker verwendet. Diese implementiert den von [ST94] entwickelten GoodFeaturesToTrack-Algorithmus aus der freien OpenCV-Bibliothek. Die so bestimmten Punkte im linken Kamerabild werden nun im Feature-Tracker im zeitlichen Verlauf mit Hilfe eines Lucas-Kanade-Trackers [LK81] verfolgt. Dazu dient die von [Bou00] entwickelte pyramidische Implementation des Lucas-Kanade-Trackers der OpenCV-Bibliothek.

32 3.2 Erkennen und Verfolgen markanter Punkte 23 Die cl_featuretracker-klasse bietet viele Einstellungsmöglichkeiten, um die Anzahl der zu verfolgenden Punkte, den Mindestabstand zwischen den Punkten oder die Suchregion für neue Features zu wählen. Es ist außerdem möglich, die Tiefe der Bildpyramiden zu bestimmen, in denen getrackt werden soll sowie die Anzahl der Suchiterationen pro Ebene. Abbildung 3.4 zeigt das Einstellungsfenster der cl_featuretracker-klasse. Abb. 3.4: Einstellungsfenster der cl_featuretracker Klasse Der Filter ist so ausgelegt, zu jedem Zeitschritt eine Mindestanzahl von Featurepunkten zu verfolgen. Gehen im zeitlichen Verlauf einige Features verloren, beispielsweise weil sie das Bild verlassen oder nicht wiedergefunden werden, wird mit Hilfe der goodfeaturestotrack()-funktion nach neuen markanten Punkten gesucht, um die Mindestanzahl der Punkte einzuhalten. Die verfolgten Features werden dazu zu jedem Zeitschritt als cl_trackedobject gespeichert und zu einer TrackedObjectsList zusammengefasst. TrackedObjects speichern dabei die aktuelle und die vorherige Bildposition sowie weitere Informationen zu den Features wie zum Beispiel den rekonstruierten Raumpunkt. Verfolgte Punkte können mit Hilfe der Klasse cl_trackedobjectsdraw als überlagerte Elemente auf den Bildern visualisiert werden. Abbildung 3.5 zeigt ein Kamerabild mit eingezeichneten verfolgten Punkten. Die aktuelle Bildposition eines Features wird dabei durch einen gelben Kreis dargestellt, die vorherige Position durch die Spitze der Linie am Kreis. Abb. 3.5: Verfolgte Punkte im Kamerabild

33 3.3 Stereo-Matching homologer Bildpunkte Stereo-Matching homologer Bildpunkte Zur Rekonstruktion der Raumkoordinaten der getrackten Features dient ein so genannter TrackedObjectsFilter, welcher mit Hilfe von Informationen aus dem rechten Kamerabild die cl_trackedobjects der cl_trackedobjectslist aus dem FeatureTracker weiterverarbeitet Finden korrespondierender Punkte in Stereobildpaaren Wie in Abschnitt 2.5 beschrieben, muss zur Bestimmung des Tiefenwerts und somit der Raumkoordinaten, zu einem verfolgten Bildpunkt des linken Kamerabildes der korrespondierende Bildpunkt im rechten Bild wiedergefunden werden. Da die Bilddaten nicht entzerrt und rektifiziert sind, beschränkt sich die Korrespondenzsuche nicht nur auf eine einzige Bildzeile, da allerdings für die ARTIS-Hubschrauber nahezu parallel ausgerichtete Stereokameras verwendet werden, können die korrespondierenden Feature-Punkte im rechten Bild auch nur in einem gewissen Bereich liegen. Der schon für die Verfolgung der markanten Punkte im linken Kamerabild eingesetzte Lucas-Kanade-Tracker eignet sich daher auch hier sehr gut, um die korrespondierenden Punkte zu finden. Zum einen sehen aufgrund der Entfernung der aufgenommenen Objekte sowie der parallelen Anordnung die Features im linken und im rechten Bild nahezu gleich aus. Zum anderen ermöglicht der Feature-Tracker das Angeben initialer Schätzungen für die Position der korrespondierenden Punkte. Der entwickelte TrackedObjectsFilter arbeitet dazu mit der übergebenen TrackedObjectsList, welche die verfolgten Punkte enthät, dem linken Kamerabild sowie aus Performanzgründen der bereits berechneten Bildpyramide des FeatureTrackers. Zu jedem Zeitschritt wird mit Hilfe des Lucas-Kanade-Trackers versucht, für alle Punkte der TrackedObjectsList die korrespondierenden Punkte im rechten Bild zu finden. In der Benutzeroberfläche des TrackedObjectsFilters (siehe Abbildung 3.6) können verschiedene Suchparameter eingestellt werden, um das Tracking zu verbessern. Beispielsweise kann durch die WinSize-Option die Größe des Suchfensters variiert werden, also die Größe des Blocks, welcher als Feature wieder gesucht wird. Die optimale Einstellung ist dabei abhängig von der aufgenommenen Szene. Abb. 3.6: Einstellungsfenster des entwickelten TrackedObjectsFilters

34 3.3 Stereo-Matching homologer Bildpunkte 25 Um die Trackingergebnisse zu verbessern und trotzdem die Echtzeitfähigkeit (30 Hz Framerate) zu bewahren, sollte auch das Abschlusskriterium für das Tracking gut gewählt sein. Echtzeitfähig bedeutet in diesem Zusammenhang, die Bilddaten auch im Flug bei höheren Geschwindigkeiten und stärkeren Vibrationen ruckelfrei zu verarbeiten. Der FeatureTracker führt dabei entweder eine gewisse Anzahl an Iterationen aus oder bricht vorher ab, wenn sich das Suchfenster pro Iteration nur noch um einen geringen Wert ɛ verschiebt. Tests mit verschiedenen Videosequenzen ergaben, dass für ein ausreichend genaues Tracking 20 maximale Iterationen sowie ein ɛ von 0,005 px ausreichen und die Berechnung trotzdem ausreichend schnell durchgeführt wird. Die Tracking-Parameter sind in Tabelle 3.1 zusammengefasst. Zur Visualisierung der gefundenen korrespondierenden Feature-Punkte können mit Hilfe der cl_trackedobjectsdraw Klasse Overlays auf das rechte Kamerabild gezeichnet werden. Abbildung 3.7 zeigt das linke und rechte Kamerabild eines Zeitpunkts t mit eingezeichneten getrackten Punkten (gelbe Kreise im linken Bild) sowie deren Position zum Zeitpunkt t 1. Die Kreise im rechten Bild entsprechen der getrackten Position des Features. Das andere Ende der Linie im rechten Bild entspricht der Bildposition im linken Bild. Die Linie veranschaulicht dadurch die Disparität d der Punkte. Aufgrund eines möglichen Tracking-Fehlers sowie noch vorhandener radialer Verzerrung sind diese Linien nicht immer direkt horizontal, wie es beim standard-stereoskopischen Modell wäre. Auch kann es beim Tracken zu Fehlschätzungen kommen, besonders wenn die Features schwach texturiert sind oder das Bild sehr verrauscht ist. Daher ist in späteren Verarbeitungsschritten eine Filterung nötig. Parameter Wert Breite des Suchfensters 30 px Höhe des Suchfensters 10 px Maximale Iterationen 20 Minimale Suchfensterverschiebung ɛ 0,005 px Tab. 3.1: Geeignete Parameter zum Stereo-Feature-Tracking

35 3.3 Stereo-Matching homologer Bildpunkte 26 (a) linkes Kamerabild (b) rechtes Kamerabild Abb. 3.7: Stereo-Feature-Tracking: Verfolgte Punkte im linken Kamerabild mit korrespondierenden Punkten im rechten Kamerabild (grüne Kreise). Die Linien im rechten Bild repräsentieren die Disparität der ungefilterten Bildpunkte. Die Linien des linken Bildes stellen die 2D-Bewegung der Punkte dar Kontrolltracking im rechten Bildverlauf Um die Genauigkeit des Trackings zu verbessern und falsch erkannte Korrespondenzen zu eliminieren, ermöglicht der TrackedObjectsFilter auch das Tracken von Features im zeitlichen Verlauf der rechten Kamerabilder. Dazu wird versucht, ähnlich wie auch im linken Bild, die zum Zeitpunkt t 1 gefundenen Features zum Zeitpunkt t wiederzufinden. Auch hierzu dient der Lucas-Kanade-Tracker. Idealerweise befinden sich zum Zeitpunkt t die erkannten Feature- Punkte aus dem links/rechts-tracking und den Tracking im rechten Bildverlauf an der gleichen Stelle. Tests ergaben, dass dies aufgrund des Fehlers beim Tracking nur selten der Fall ist. Dennoch ermöglicht die Verfolgung von Features im rechten Bildverlauf eine gewisse Kontrolle. So können zum Beispiel weit auseinander liegende erkannte Feature-Positionen ein Indikator für eine Fehlschätzung sein und die Punkte somit verworfen werden. Abbildung 3.8 zeigt das überlagerte Ergebnis des Trackings im rechten Bildverlauf als rote Markierungen. Idealerweise müssten sowohl rote als auch grüne Markierungen an genau der gleichen Stelle liegen. Auf dem verwendeten Testrechner wird durch das zusätzliche Kontroll-Tracking der Rechenaufwand allerdings erkennbar höher, sodass die Framerate darunter leidet und das Verfahren je nach Rechner nicht immer flüssig mit 30 Hz läuft. Zwar ist das in einigen Situationen akzeptabel, führt aber bei der Bewegungsschätzung zu größeren Abweichungen und wird besonders bei größeren Fluggeschwindigkeiten kritisch. Da fast alle der vom Kontroll-Tracking verworfenen

36 3.4 Koordinatentransformation und Filterung 27 Abb. 3.8: Trackingbestätigung durch zeitliches Tracking in den rechten Kamerabildern Punkte auch in der späteren Verarbeitung gefiltert werden, bietet das Kontroll-Tracking zwar eine brauchbare Erweiterung, auf welche aber auch in vielen Fällen verzichtet werden kann. 3.4 Koordinatentransformation und Filterung Zwar ist es durch das optionale Kontroll-Tracking über den rechten Bildverlauf möglich, grobe Außenseiter zu eliminieren, allerdings ist es für eine ausreichend genaue Berechnung der Raumpunkte unabdingbar, weitere Außenseiter rauszufiltern. Zusätzlich müssen die erkannten Punkte so transformiert werden, dass sie dem standard-stereoskopischen Modell entsprechen, damit die in Abschnitt 2.2 hergeleiteten Gleichungen anwendbar sind. Dazu müssen zuerst alle Punkte, sowohl die getrackten Features im linken Bild als auch die korrespondierenden Punkte des rechten Bilds, entzerrt und rektifiziert werden. Zum Entzerren können die aus der Kamerakalibrierung gewonnenen Verzerrungsparameter κ 1, κ 2, κ 3, τ 1 und τ 2 verwendet werden. Das DIP-Framework verfügt dafür bereits über die Funktion pixeltosensorcoordinates(), welche die Punkte zum einen entzerrt und auch in normierte Kamerakoordinaten umwandelt. Da aus der Kamerakalibrierung neben den Entzerrungsparametern auch eine Rektifizierungsmatrix erzeugt wird, wurde die pixeltosensorcoordinates()-funktion so erweitert, dass die entzerrten Punkte durch Multiplikation mit der Rektifizierungsmatrix auch an ihre entsprechende Position im rektifizierten Kamerabild transformiert werden. Das folgende Codebeispiel zeigt einen Ausschnitt der verwendeten pixeltosensorcoordinates()- Funktion, die zum Normieren, Entzerren und Rektifizieren der Featurepunkte genutzt wird.

37 3.4 Koordinatentransformation und Filterung 28 Dabei werden die Punkte um den Bildhauptpunkt verschoben und mit dem Reziproken der Brennweite normiert. Anschließend werden die Gleichungen (2.9) und (2.10) angewendet, um den Punkt zu entzerren. Die entzerrte Koordinate wird anschließend noch mit der aus der Kalibrierung bekannten Rektifizierungsmatrix multipliziert (vgl. Gleichung (2.13)). Dies entspricht dabei der in Abbildung 2.6 dargestellten Abbildungspipeline. cl_3dvector p i x e l T o S e n s o r C o o r d i n a t e s ( cl_2dvector c o o r d i n a t e s ) { // Normierung der Koordinaten cl_2dvector i n _ v a l = c o o r d i n a t e s o p t i c a l _ a x i s ; i n _ v a l. s c a l e ( r e c i p r o c a l _ f o c a l _ l e n g t h ) ; // I t e r a t i v e s E n t z e r r e n des B i l d s cl_2dvector temp = i n _ v a l ; double r_2, x, y ; f o r ( i n t j = 0 ; j < 2 0 ; j ++) { r_2 = i n _ v a l. s q u a relength ( ) ; x = i n _ v a l. getx ( ) ; y = i n _ v a l. gety ( ) ; i n _ v a l = ( temp } cl_2dvector (2 d i s t o r t i o n. p1 x y+d i s t o r t i o n. p2 ( r_2+2 x x ), d i s t o r t i o n. p1 ( r_2+2 y y ) +2 d i s t o r t i o n. p2 x y ) ) (1/(1 + d i s t o r t i o n. k1 r_2 + d i s t o r t i o n. k2 r_2 r_2 + d i s t o r t i o n. k3 r_2 r_2 r_2 ) ) ; } // R e k t i f i z i e r u n g durch M u l t i p l i k a t i o n mit Rect Matrix cl_3dvector norm_coord ( in_val, 1. 0 f ) ; cl_3dvector r e c t _ c o o r d = s t e r e o _ r e c t norm_coord ; r e c t _ c o o r d /= r e c t _ c o o r d. getz ( ) ; r e t u r n r e c t _ c o o r d ; Durch diese Transformation wird der standard-stereoskopische Fall angenähert, sodass die gefundenen korrespondierenden Punkte (nahezu) auf der gleichen Bildzeile liegen. Abbildung 3.9 zeigt die dennoch auftretende vertikale Abweichung der korrespondierenden Punkte einer Video-

38 3.4 Koordinatentransformation und Filterung 29 sequenz. Dazu werden die einzelnen vertikalen Disparitäten aller Features einer Videosequenz als Histogramm dargestellt. Die Rektifizierung hat zum Ziel, diese für alle Punkte möglichst nah an den Wert d y = 0 zu bringen. Das Histogramm zeigt, dass für die meisten Features der Betrag der vertikalen Disparität d y geringer ist als 0,0025 (grüner Bereich). Dies entspricht einem vertikalen Abstand von 1,75 px. Verfolgte Features mit einer größeren vertikalen Disparität als d y,max (roter Bereich) können somit auch verworfen werden. Das Histogramm zeigt eine leichte Verschiebung der vertikalen Disparität in den positiven Bereich. Dies lässt sich auf kleinere Ungenauigkeiten der Rektifizierungsmatrix aus der Kamerakalibrierung zurückführen. Diese Verschiebung ist aber sehr gering, sodass die Rektifizierung dennoch als gültig angesehen werden kann. Da die mittlere vertikale Verschiebung der rektifizierten Punkte 0,0015 (entspricht 1,0455 px) beträgt, entspricht der gewählte Schwellwert d y,max einer deutlich kleineren Wert vertikalen Abweichung, in etwa 0,69 px. 1,600 1,400 1,200 1,000 Häufigkeit d 10 3 y (normierte Koordinaten) Abb. 3.9: Abweichung der vertikalen Disparität d y nach Entzerrung und Rektifizierung - Häufigkeitsverteilung der vertikalen Dispartität aller verfolgten Features einer Videosequenz Neben der vertikalen Disparität kann auch anhand der horizontalen Disparität d x gefiltert werden. So lassen sich auch für die horizontale Disparität zwei Schwellwerte d x,min und d x,max wählen, um Punkte, die zu nah an der Kamera sind oder zu weit von der Kamera entfernt sind und somit zu ungenau sind, zu verwerfen. Dies ist insbesonders notwendig, da

39 3.5 Berechnung der Eigenbewegung 30 die Tiefenungenauigkeit mit zunehmender Entfernung zur Kamera quadratisch wächst (vgl. Gleichung (2.8c)). Sofern die horizontale und vertikale Disparität eines Punktpaars innerhalb der bestimmten Grenzen liegt, kann nun mittels Gleichungen (2.7) die Raumkoordinate der Punkte in Kamerakoordinaten berechnet werden. Die so rekonstruierten 3D-Raumpunkte werden dann in den TrackedObjects gespeichert und können in weiteren Anwendungen beliebig genutzt werden. 3.5 Berechnung der Eigenbewegung Als Teil der Evaluierung des Verfahrens und um dessen Eignung zur optischen Navigation zu zeigen, sollen die gewonnenen Punktdaten dazu genutzt werden, zu jedem Zeitschritt die relative Bewegungsänderung des Fluggeräts zu bestimmen. In der Evaluierung soll dies dazu dienen, die Flugbahn des Hubschraubers zu rekonstruieren Bestimmung der relativen Kamerabewegung zwischen zwei Zeitschritten Zur Berechnung dieser relativen Eigenbewegung wurde ein so genannter TrackedObjectsListObserver implementiert, welcher die ermittelten Daten des TrackedObjectsFilters aus den Abschnitten 3.3 und 3.4 weiterverarbeitet. Der entwickelte TrackedObjectsListObserver filtert dazu aus den zur Verfügung stehenden TrackedObjects alle Objekte heraus, für welche sowohl die aktuelle sowie die vorherige 3D-Position bekannt sind. Die so gewählten Punktmengen können nun zur Bestimmung der Transformation zwischen den beiden Punktmengen und somit implizit auch der Kamera selbst genutzt werden. Für die Bestimmung der Eigenbewegung wird das so genannte Iterative Closest Point (ICP) Verfahren [MS06; BM92] verwendet. Eine effiziente und genaue Implementation dieses Verfahrens steht mit der freien PointClouds Library [RC11] zur Verarbeitung von Punktmengen zur Verfügung. Beim ICP wird anhand des Approximate-Nearest-Neighbor-Verfahrens iterativ eine Modellpunktmenge an eine Datenmenge angenähert und die entsprechende Transformation (Rotation und Translation) zwischen den beiden Punktmengen mittels Singulärwertzerlegung (SVD) bestimmt [AHB87]. Probleme könnten dann auftreten, wenn in den Punktmengen Symmetrien

40 3.5 Berechnung der Eigenbewegung 31 auftreten und somit die Transformation nicht mehr eindeutig ist. Da allerdings keine sprunghaften Änderungen der Punktmengen zwischen zwei Zeitschriten auftreten, ist das Risiko einer Fehlschätzung vernachlässigbar klein. Die Implementation der PointClouds Library unterstützt dabei zum Verwerfen von Außenseitern das so genannte RANSAC-Verfahren. Da die gewählte Implementation des ICP-Verfahrens die korrespondierenden Punkte aus beiden Zeitschritten selbst wählt, kann dies unter Umständen zu Fehlschätzungen und somit einer Abweichung der Bewegungsschätzung führen. Um dies zu untersuchen, wird in dieser Arbeit neben dem ICP-Algorithmus auch versucht, die Relativbewegung mit Hilfe der TransformationEstimationSVD-Klasse der PointClouds-Library zu bestimmen. Diese Klasse verwendet auch wie das ICP-Verfahren die Singulärwertzerlegung zur Bestimmung der Rotation und Translation, nutzt aber dafür die bereits gegebenen Korrespondenzen der Punkte aus zwei Zeitschritten. Nachteil dieser Klasse ist die fehlende Filterung von Ausreißern. Bei beiden Verfahren wird dann zu jedem Zeitpunkt, solange ausreichend korrespondierende Punkte vorhanden sind, die Translation und Rotation zwischen den beiden Punktmengen berechnet und als 3 3-Rotationsmatrix und Translationsvektor ausgegeben [Isl08] Rekonstruktion der Flugbahn Anhand der aus dem ICP-Algorithmus zu jedem Zeitpunkt t berechneten relativen Bewegung V t lässt sich durch Akkumulation der Werte die Trajektorie des Fluggeräts rekonstruieren [Isl08]. Die relative Bewegung zwischen zwei Zeitschritten t 1 und t lassen sich als 4x4-Matrix R 11 R 21 R 31 t 1 R V t = 21 R 22 R 23 t 2 R 31 R 32 R 33 t (3.1) darstellen. Ausgehend von einer initialen Position und einer Orientierung P 0 kann nun zu jedem Zeitpunkt t durch Multiplikation mit V t die aktuelle Position ermittelt werden: O 11 O 12 O 13 p 1 O 21 O 22 O 23 p 2 O 31 O 32 O 33 p 3 = P t = V t P t 1. (3.2)

41 3.5 Berechnung der Eigenbewegung 32 Die ermittelte Position p t und die Orientierung O t (als Rotationsmatrix) sind allerdings noch im Kamerakoordinatensystem und müssen, insbesondere zum Vergleich mit der Flugbahn der bestehenden Navigationslösung, in das globale Weltkoordinatensystem umgewandelt werden. Dazu sind, wie in Abbildung 3.10 dargestellt, eine Transformation in das Hubschrauberkoordinatensystem sowie von dort in das Weltkoordinatensystem notwendig. M h w x w yw y h x h M c h z h y c z w xc z c Abb. 3.10: Verwendete Koordinatensysteme Dafür können entweder die im Kamerakoordinatensystem bestimmten Positionen der Trajektorie durch Rotation und Translation in das Weltkoordinatensystem überführt werden (siehe [Isl08]) oder bereits die Startposition und -ausrichtung P 0 auf die Position und Ausrichtung des Hubschraubers zum Beginn der Auswertung gesetzt werden. Die Transformation der Position und Ausrichtung von Kamerakoordinaten in das Hubschrauberkoordinatensystem besteht dabei aus der Rotation der Kamera am Hubschrauber (in drei Freiheitsgraden) und der Verschiebung vom Kamerazentrums zum Zentrum des Hubschraubers (siehe [CDL04]): R 11,c h R 12,c h R 13,c h t 1,c h R M c h = 21,c h R 22,c h R 23,c h t 2,c h R 31,c h R 32,c h R 33,c h t 3,c h. (3.3)

42 3.5 Berechnung der Eigenbewegung 33 Für die verwendete Aufnahme wurde die Kamera um 90 nach unten rotiert am Hubschrauber montiert. Mit der bekannten Verschiebung der Kamera (in [m]) zum Zentrum des Hubschraubers ergibt das , ,15 M c h = ,12. (3.4) Allerdings ist dabei zu beachten, dass bei der Montage der Kamera auch geringe Abweichungen auftreten können und exakte Rotationswerte nur durch eine Kalibrierung gewonnen werden können. Dennoch sind die verwendeten Werte für eine Auswertung geeignet R 11,h w R 12,h w R 13,h w t 1,h w R M h w = 21,h w R 22,h w R 23,h w t 2,h w R 31,h w R 32,h w R 33,h w t 3,h w. (3.5) Um die berechnete Trajektorie an die der Navigationslösung anzugleichen, wurden für M h w die Werte der bekannten Position und Ausrichtung des Hubschraubers zum Startzeitpunkt der Analyse genutzt. Diese sind aus der Navigationslöung bekannt. Für die Auswertung lautet die Transformationsmatrix dann 0, , , , , , , , M c h = 0, , , , (3.6) Sind diese Transformationen bekannt, ist es möglich, die Startposition und -ausrichtung mit P 0 = M h w M c h (3.7) zu bestimmen. Auf diese so bestimmte Position P 0 können nun wie in Gleichung (3.2) die relativen Bewegungen akkumuliert werden und somit die Trajektorie rekonstruiert werden.

43 KAPITEL 4 Evaluierung des Verfahrens In diesem Kapitel soll das entwickelte Verfahren zur Bestimmung der Raumpositionen markanter Features und deren Verfolgung auf seine Richtigkeit und Genauigkeit untersucht werden. Dazu sollen zum einen die verwendeten Bilddaten der einzelnen Versuche bewertet und auf ihre Eignung zur 3D-Objektverfolgung untersucht werden. Des Weiteren sollen die Ergebnisse des Verfahrens auf ihre Genauigkeit untersucht werden, indem aufgenommene und vermessene Landmarken betrachtet werden sowie die geflogene Trajektorie des Hubschraubers mit Hilfe der gewonnenen Daten rekonstruiert wird. 4.1 Auswertung von Flugversuchsdaten Für die Entwicklung des Verfahrens und zur Auswertung der Ergebnisse stehen verschiedene Bilddaten aus kalibrierten Stereokameras zur Verfügung, die in verschiedenen Versuchen aufgezeichnet wurden. In diesem Abschnitt werden die zur Verfügung stehenden Videosequenzen analysiert und auf ihre Eignung für das Verfahren untersucht Stereobilddaten aus Kamerafahrt an einem Rollwagen Als erste Grundlage für die Entwicklung des Verfahrens zur Verfolgung markanter Punkte und zum Finden der korrespondierenden Punkte im anderen Stereobild konnte eine ältere Videosequenz einer auf einem Rollwagen montierten Stereokamera genutzt werden (siehe 34

44 4.1 Auswertung von Flugversuchsdaten 35 Abbildung 4.1). Zwar sind die Bilddaten der Videosequenz aufgrund der Überbelichtung, der ungenauen Ausrichtung und Kalibrierung der Kameras und fehlender sekundärer Daten wie einer Navigationslösung für eine genaue Evaluation ungeeignet, dennoch konnte daran gut das allgemeine Suchen korrespondierender Punkte in den Stereobildern entwickelt und getestet werden. Bei näherer Betrachtung der Bilddaten ist aufgefallen, dass aufgrund einer ungenauen Montage der einzelnen Kameras korrespondierende Punkte vertikal um ungefähr sechs Pixel verschoben sind. Zwar wird bei dem entwickelten Verfahren auch ein solcher Versatz durch Anpassung der Parameter bei der Suche nach korrespondieren Punkten kompensiert und die richtigen korrespondierenden Punkte gefunden, da allerdings für diese Videosequenz keine Referenzwerte vorlagen, wurde dieser Datensatz für die genaue Auswertung des entwickelten Verfahrens nicht weiter betrachtet. (a) linkes Kamerabild (b) rechtes Kamerabild Abb. 4.1: Korrespondierende Punkte im Bilddatensatz der Kamerafahrt Trageversuch mit Landmarken und nach vorne gerichteter Kamera Um das entwickelte Verfahren genauer testen zu können, sollten Bilddaten aus einem Flugversuch dienen. Dazu sollte im November 2011 ein Flugversuch mit dem midiartis Hubschrauber durchgeführt werden. Da aufgrund eines technischen Defekts der Flugbetrieb nicht möglich war, wurden Bilddaten aus Bodennähe in einem Trageversuch aufgenommen. Zwar verfügen diese Videoaufnahmen nicht über alle Eigenschaften wirklicher Aufnahmen aus dem Flug, wie beispielsweise Störungen durch Vibrationen oder die dort auftretenden Objektentfernungen, die durch den Flug in größeren Höhen als beim tragen auftreten.

45 4.1 Auswertung von Flugversuchsdaten 36 Nichtsdestotrotz liefern die Bilder eine gute Grundlage, um das Verfahren genauer zu testen und auszuwerten. Im Gegensatz zu den Bilddaten der Kamerafahrt am Rollwagen verfügt die hier verwendete Stereokamera über eine integrierte Entzerrung und Rektifizierung der Bilddaten. Wie sich allerdings herausgestellt hat, ist diese nicht sehr genau, sodass trotz Rektifizierung korrespondierende Feature-Punkte einen vertikalen Versatz von ca. zwei Pixeln haben. Daher war es weiterhin notwendig, die Kamera manuell zu kalibrieren und im TrackedObjectsFilter selbst die getrackten Punkte erneut zu entzerren und zu rektifizieren. Somit bleibt auch das Grundziel des Verfahrens, auf ungefilterten Bilddaten anwendbar zu sein, erhalten. Abbildung 4.2 zeigt getrackte und korrespondierende Punkte zu einem Zeitpunkt des Trageversuchs. Dabei fällt besonders der schwarze Rand im rechten Bild auf. Dieser entsteht durch das interne Entzerren und Rektifizieren, welches innerhalb des Chips der Stereokamera selbst stattfindet. Da die Bilddaten auch für andere Experimente nutzbar sein sollen, wurden im gefilmten Bereich gut sichtbare Holzpfosten als Landmarken aufgestellt und mit einem Tachymeter vermessen, um genaue Referenzwerte für die Auswertung zu schaffen. Die vermessenen Landmarken wurden dann im Trageversuch aus verschiedenen Entfernungen mit einer nach vorne gerichteten Stereokamera aufgenommen. (a) linkes Kamerabild (b) rechtes Kamerabild Abb. 4.2: Korrespondierende Punkte im Bilddatensatz des Trageversuchs Die auf Abbildung 4.2 dargestellten getrackten Punkte zeigen deutlich die Schwachstellen des Algorithmus. So werden beispielsweise am Himmel Punkte in Bereichen mit relativ homogenen Hintergrund gefunden und verfolgt, was zu einem ungenauen Gesamtergebnis führt, da die Tracking-Ergebnisse dort sehr ungenau und schwankend sind. Die dort erkannten Punkte können im Verfahren nicht immer als Ausreißer erkannt und gefiltert werden.

46 4.1 Auswertung von Flugversuchsdaten 37 Auch im unteren rechten Bereich des rechten Kamerabilds sind einige offensichtliche Fehlerkennungen sichtbar, da die dort gezeigten Linien nahezu horizontal verlaufen müssten. Ursache für diese Fehlerkennungen ist unter anderem ein starkes Bildrauschen, welches für den Feature- Tracker markante Punkte an Positionen liefert, wo eigentlich keine sind. Auch werden durch die regelmäßige Textur des Bodens einige Korrespondenzen falsch eingeschätzt. Über eine Vorverarbeitung der Eingabebilder lässt sich dieses Rauschen allerdings vermindern und somit insbesondere die Fehlerkennungen am Himmel vermeiden. Auch die Erkennung am Boden wird dadurch besser, zeigt aber dennoch einige falsche Korrespondenzen. Aufgrund dieser doch vergleichsweise großen Störungen lassen die Bilddaten zwar eine Untersuchung mit Hilfe des Tachymeters zu, beinhalten aber für eine ausreichend genaue Berechnung der Eigenbewegung zu viele Ausreißer und zu wenige brauchbare Punkte Flugversuch mit nach unten gerichteter Kamera Da Bilddaten, die aus einem wirklichen Flugversuch aufgenommen wurden, noch andere Eigenschaften als bei einem Trageversuch aufweisen, sollte der erste Flugversuch wiederholt werden, was auch erfolgreich gelang. Im Gegensatz zum ersten Flugversuch wurden die Landmarken nun allerdings nicht stehend, sondern flach auf dem Boden liegend mit dem Tachymeter vermessen. Außerdem wurde die Stereokamera am midiartis-hubschrauber nach unten gerichtet befestigt. Wie auch beim ersten Flugversuch wurde für die Bilder bereits die interne Rektifizierung der Kamera genutzt, welche aber aufgrund der geringen Genauigkeit nicht ausreichend war und somit durch manuelle Kalibrierung verbessert werden musste. Auch zeigen die Bilder ein geringeres Rauschen und eignen sich dadurch besser für die Verfolgung mittels des Lucas- Kanade-Trackers. Abbildung 4.3 zeigt getrackte Features mit korrespondierenden Punkten. Die auf dem Boden sichtbaren Pfähle mit Markierungen sind die an ihren Eckpunkten vermessenen Landmarken. Die Untersuchung der Kameradaten hat gezeigt, dass die meisten der Korrespondenzen passend gefunden werden und sich das Material somit sowohl für die Auswertung mittels der Tachymeterdaten eignet sowie für die Berechnung der relativen Eigenbewegung des Hubschraubers.

47 4.2 Landmarkenvermessung mit Hilfe eines Tachymeters 38 (a) linkes Kamerabild (b) rechtes Kamerabild Abb. 4.3: Korrespondierende Punkte im Bilddatensatz des Flugversuchs 4.2 Landmarkenvermessung mit Hilfe eines Tachymeters Die im Flugversuch aufgezeichneten Landmarken wurden für das Experiment mit einem Leica-Viva-TS15-Tachymeter der Firma Leica Geosystems (siehe Abbildung 4.4) vermessen. Dafür wurde das Tachymeter an einem exakt vermessenen Georeferenzpunkt aufgebaut und ausgerichtet. Dafür stehen am Flugfeld zwei Messpunkte des DLR und der TU Braunschweig zur Verfügung. Das initialisierte Tachymeter ermöglicht so ein exaktes Einmessen von Punkten mit einer Genauigkeit im Millimeterbereich, auch in Bezug auf das geodätische Koordinatensystem.

48 4.3 Genauigkeitsüberprüfungen an Referenzmessungen 39 Abb. 4.4: Tachymeter Leica Viva TS15 zur Vermessung der Landmarken Für die Vermessung der Landmarken wurde dann ein retroreflektierendes Prisma an den Ecken der Landmarken positioniert. Durch Anpeilen dieses Prismas war es möglich, die Position der Punkte im Koordinatensystem des Tachymeters zu bestimmen. Das Tachymeter ist dabei auf etwa 3 mm bis 5 mm genau. Allerdings ist auch beim Positionieren des Prismas mit einer gewissen Ungenauigkeit zu rechnen. Aufgrund der hohen Genauigkeit dieser Punkte konnten die so bestimmten Eckpunkte als Referenzwerte für die Auswertung des TrackedObjectsFilters genutzt werden. 4.3 Genauigkeitsüberprüfungen an Referenzmessungen Da sich der midiartis-hubschrauber im Flugversuch in einem Schwebeflug über den am Boden liegenden Landmarken befunden hat und die Kameras nach unten ausgerichtet waren, ermöglicht eine optische Auswertung der Bilddaten eine grobe Einschätzung der Genauigkeit des entwickelten Verfahrens. Da keine direkten Referenztiefenwerte oder -raumkoordinaten (z. B. durch andere Sensoren) in direktem Bezug zum Kamerabild vorhanden sind, muss ein

49 4.3 Genauigkeitsüberprüfungen an Referenzmessungen 40 anderer Weg gefunden werden, um die rekonstruierten Raumpunkte zu validieren. Zwar liegen durch die Vermessung mit Hilfe des Tachymeters Referenzpunkte vor, allerdings wäre insbesondere aufgrund von Ungenauigkeiten der Navigationslösung ein Umrechnen der ermittelten Punkte im Kamerakoordinatensystem in das Tachymeterkoordinatensystem zu fehlerhaft und somit für eine exakte Auswertung zu ungenau. Stattdessen lässt sich für eine solche Auswertung die bekannte Größe (Länge) der Pfähle der Landmarken ausnutzen. Diese wurden zum einen manuell per Maßband ausgemessen sowie deren Eckpunkte mittels des verwendeten Tachymeters vermessen. In diesem Abschnitt werden mehrere im Bild aufgenommene Landmarken in einem bestimmten Zeitraum der Videosequenz ausgewertet. Dazu wurde für jeden Datensatz ein kurzer Ausschnitt gewählt, welcher vollständig eine aufgenommene Landmarkenstange zeigt. Die Eckpunkte der Landmarkenpfähle wurden für die Auswertung im FeatureTracker markiert und verfolgt. Zu jedem Zeitschritt des Ausschnitts konnten so im TrackedObjectsFilter die Raumkoordinaten der Punkte in Kamerakoordinaten berechnet werden. Die Längen der einzelnen Landmarken sind durch die Vermessungsdaten des Tachymeters sowie ein manuelles Ausmessen bekannt. Im Idealfall entspricht die euklidische Distanz zwischen den beiden getrackten Punkten der vermessenen Länge der Landmarke. Mit zunehmender Entfernung zum Objekt, also den Landmarken, ist allerdings mit einer steigenden Ungenauigkeit zu rechnen. Die folgenden Datensätze zeigen Aufnahmen der flach auf dem Boden liegenden Landmarken mit der dazugehörigen Länge l sowie den vom TrackedObjectsFilter bestimmten Eckpunkten und deren Vergleich zur vermessenen Länge der Stangen.

50 4.3 Genauigkeitsüberprüfungen an Referenzmessungen 41 Datensatz 1 (a) linkes Kamerabild (b) rechtes Kamerabild Abb. 4.5: Entfernungsschätzung durch optische Analyse - Datensatz 1 Abbildung 4.5 zeigt ein Bild des gewählten Videoausschnitts mit der rot markierten Landmarke, an der die Punktdaten validiert werden sollen. Die manuelle Vermessung der Landmarke per Maßband ergab eine Länge von l manuell = 3,0 m. Für den Vergleich wird allerdings die mit Hilfe des Tachymeters bestimmte Länge genutzt. In Tachymeterkoordinaten befinden sich die beiden Eckpunkte der Landmarke bei p lmark0002 tachy ( 19,58700, 46,14591, 0,29186) p lmark0003 tachy ( 17,20755, 48,01043, 0,28724) was einen euklidischen Abstand von l tachy = 3,023 m als Referenzwert ergibt. Tabelle 4.1 zeigt die vom TrackedObjectsFilter rekonstruierten Raumkoordinaten der verfolgten Eckpunkte der Landmarke in Kamerakoordinaten aus einer Flughöhe von etwa sieben Metern. Jede Tabellenzeile entspricht dabei einem ausgewerteten Zeitschritt. Die dritte Tabellenspalte zeigt die euklidische Distanz der beiden Eckpunkte, die in einem Frame rekonstruiert wurde. Die Abweichung dieser Länge zum Referenzwert l tachy ist in der vierten Spalte dargestellt. Die durchschnittliche Distanz zwischen den Punkten p 1 und p 2 ist leicht größer als der Referenzwert. Dies liegt aber an einigen wenigen Ausreißern, bei denen die Punkte nicht exakt getrackt wurden, beziehungsweise das Ergebnis der Korrespondenzsuche nicht exakt war. Allerdings liegen die auftretenden Abweichungen noch im Rahmen der in Abbildung 2.5

51 4.3 Genauigkeitsüberprüfungen an Referenzmessungen 42 Tab. 4.1: Werte der Landmarkenvermessung des TrackedObjectFilters zu Datensatz 1 Eckpunkt p 1 Eckpunkt p 2 Distanz Abweichg. [m] [m] (0,9145, 0,4124, 7,3642) (3,2935, 0,8769, 6,3968) 2,8736 0,1493 (0,7528, 0,4744, 7,2589) (3,3945, 0,8766, 6,9347) 2,9848 0,0381 (0,5940, 0,5305, 7,3396) (3,2779, 0,8413, 7,0495) 3,0281 0,0051 (0,4317, 0,5618, 7,3329) (3,1580, 0,8194, 7,1696) 3,0606 0,0377 (0,2840, 0,5873, 7,3974) (3,0042, 0,7941, 7,1655) 3,0596 0,0367 (0,1554, 06104, 7,4707) (2,8459, 0,7698, 7,0857) 3,0483 0,0254 (0,0483, 0,6200, 7,1541) (2,7933, 0,7503, 7,2580) 3,0698 0,0469 ( 0,0557, 0,6677, 7,2520) (3,0012, 0,7930, 7,1576) 3,3893 0,3664 ( 0,1508, 0,7402, 7,3279) (2,5923, 0,6371, 7,2741) 3,0700 0,0471 ( 0,2350, 0,8290, 7,3661) (2,4871, 0,5588, 7,2098) 3,0595 0,0366 ( 0,3225, 0,9049, 7,2962) (2,4148, 0,4913, 7,2846) 3,0729 0,0500 ( 0,4424, 0,9930, 7,4527) (2,3475, 0,4224, 7,4261) 3,1287 0,1058 ( 0,5911, 1,0628, 7,4634) (2,1645, 0,3391, 7,2828) 3,0971 0,0742 ( 0,7307, 1,1082, 7,6089) (2,0619, 0,2954, 7,3402) 3,1371 0,1142 ( 0,8464, 1,1488, 7,6407) (1,9561, 0,2535, 7,3788) 3,1448 0,1219 ( 0,9223, 1,1515, 7,3351) (1,8214, 0,2116, 7,3258) 3,0637 0,0408 ( 1,0067, 1,2441, 7,4409) (1,7498, 0,1350, 7,3024) 3,0855 0,0626 ( 1,0876, 1,3188, 7,3827) (1,6949, 0,0533, 7,4657) 3,1036 0,0807 ( 1,1524, 1,4176, 7,4188) (1,5862, 0,0382, 7,2606) 3,0705 0,0476 ( 1,2003, 1,4913, 7,3434) (1,4846, 0,1228, 7,0848) 3,0247 0,0018 ( 1,4181, 1,7254, 8,0265) (1,4425, 0,2102, 7,2591) 3,3268 0,3039 ( 1,3692, 1,7156, 7,6221) (1,3590, 0,2673, 7,1093) 3,1310 0,1081 Mittelwert: 3,0923 m Standardabw.: 0,1039 m

52 4.3 Genauigkeitsüberprüfungen an Referenzmessungen 43 beschriebenen Entfernungsauflösung. Zu beachten ist dabei auch, dass für die Analyse zwei Punkte getrackt und deren Raumpositionen rekonstruiert werden müssen und sich der zu erwartende Fehler dadurch im Endergebnis kumuliert. Die Daten zeigen allerdings, dass aus einer Objektentfernung von etwa 7,5 m die Positionen der Landmarken ausreichend genau rekonstruiert werden können. Datensatz 2 (a) linkes Kamerabild (b) rechtes Kamerabild Abb. 4.6: Entfernungsschätzung durch optische Analyse - Datensatz 2 Als zweite Testsequenz wurde die Landmarke aus Abbildung 4.5 über einen zeitlichen Verlauf von 20 Frames analysiert. Die dort gezeigte Landmarke wurde im Flug aus einer Höhe von ca. 19 Metern aufgenommen und eignet sich somit gut dazu, das Verfahren auch bei größerer Objektentfernung zu analysieren. Die verfolgte Landmarke ist dabei im Bild wieder rot markiert. Das manuelle Ausmessen der Landmarke ergab eine Länge von l manuell = 2,99 m. In Tachymeterkoordinaten befinden sich die beiden Eckpunkte der Landmarke bei p lmark0029 tachy ( 33,08079, 49,25439, 0,40573) p lmark0019 tachy ( 30,24416, 50,18602, 0,37627) was einen euklidischen Abstand von l tachy = 2,986 m als Referenzwert ergibt, der zur Analyse verwendet wird.