Deutsches Zentrum für Luft- und Raumfahrt e.v. Maschinelles Sehen zur Schwebeflugstabilisierung. Carl-Henrik Oertel

Transkript

1 Deutsches Zentrum für Luft- und Raumfahrt e.v. Forschungsbericht Maschinelles Sehen zur Schwebeflugstabilisierung Carl-Henrik Oertel Institut für Flugsystemtechnik Braunschweig DLR

2 Inhaltsverzeichnis Abbildungsverzeichnis Tabellenverzeichnis Liste der verwendeten Abkürzungen und Symbole xi xiii xv 1 Einleitung Hubschraubereinsatz beim Schwebeflug Verwendung eines abbildenden Sensors Maschinelles Sehen für Hubschrauber Aufbau der Arbeit 10 2 Verfahren zum maschinellen Sehen D-Ansatz zum maschinellen Sehen Methodik des 4D-Ansatzes Zustandsgrößenschätzer Diskretes Kaimanfilter mit sequentieller Innovation Gaußsche Ausgleichsrechnung zur Initialisierung Ähnlichkeitsmaße zur Verfolgung von Szenenmerkmalen Flächenbasierte Ähnlichkeitsmaße Extraktion lokaler Merkmale Berechnungsverfahren Bewertung und Auswahl Wahl der Masken- und Bildgröße Vergleich normierter Kreuzkorrelationen Suche nach Szenenmerkmalen im Bild Lokale Kanten und ihre Betrachtung im Bildausschnitt Bestimmung des Kantenrichtungsbildes Bildausschnitte mit zueinander orthogonalen Kanten Bildausschnitte mit einer lokalen Häufung von Kanten Verwendung von ternären Masken Allgemeine ternäre Masken Spezielle ternäre Masken Erzeugung von allgemeinen ternären Masken 32

3 3 Quadratverfolgung Architektur Occam und Transputer Transputer und Videobus Aufbau des Sensors Betrieb des Systems Objektsuche Faltung ternärer Kantenmasken mit Bildausschnitten Suche nach dem Quadrat ; Objektverfolgung Faltung ternärer Eckenmasken mit Bildausschnitten Verfolgung des Quadrats 49 4 Allgemeine Objektverfolgung Architektur Systemkonzept Rahmenbedingungen Aufbau des Sensors Korrelator Subsystem Bildverarbeitung Suche nach Szenenmerkmalen Verfolgung von Szenenmerkmalen Nachführung von Szenenmerkmalen Anpassung des 4D-Ansatzes Innovation des Systemzustands Prädiktion der Zustands- und Meßgrößen Handhabung der Szenenmerkmale Initialisierungsphase 66 5 Systemerprobung und Bewertung Erprobung der Quadratverfolgung Hubschrauber in-flight Simulator ATTHeS Erprobung am Boden Erprobung im Flugversuch Systembewertung Erprobung der allgemeinen Objektverfolgung Positionsbestimmung im Langsamflug Erprobung der Bildverarbeitung Meßgenauigkeit der Korrelation Systemtests in der Bodensimulation Systembewertung Technologieerfahrungen 86 6 Zusammenfassung und Ausblick 87

4 Literaturverzeichnis 91 Anhänge 100 A Geometrisches Abbildungsmodell 100 A.l Koordinatentransformationen 100 A.2 Aufstellung der Transformationsgleichungen 102 A.3 Zusammenfassung mit Vereinfachungen 105 A.4 Inversion der Abbildungsgleichungen 108 B Zustandsgrößenschätzer 109 B.l UDU-Faktorisierung einer Matrix 109 B.2 Gültigkeit von Szenenmerkmalen 109 B.3 Sequentielle, skalare Innovation 110 B.4 Aufstellung der Jacobi-Matrix 111 C Ausgewählte Bildoperatoren 112 C.l Bild, Bildausschnitt, Maske und Operator 112 C.2 Faltung und unnormierte Kreuzkorrelation 114 C.3 Norm, Ähnlichkeit und normierte Kreuzkorrelation 115 C.4 Kantenextraktion mittels Sobeloperator 117 C.5 Punktfunktion und Bereichsfunktion 117 C.6 Medianfilter 118 D Flächenbasierte Ähnlichkeitsmaße 119 E Vergleich normierter Kreuzkorrelationen 122 E.l Definition eines signifikanten Beispiels 122 E.2 Einfluß eines dunklen Bildbereichs 130 E.3 Einfluß einer exemplarischen Bildstörung 130 E.4 Einfluß einer exemplarischen Bilddrehung 134 F Suche nach Szenenmerkmalen 139 F.l Bestimmung des Kantenrichtungsbildes 139 F.2 Bildausschnitte mit zueinander orthogonalen Kanten 140 F.3 Bildausschnitte mit einer lokalen Häufung von Kanten 141 G Allgemeine ternäre Masken 143 G.l Verwendung von allgemeinen ternären Masken 143 G.2 Maskenerzeugung über offenen Kantenverlauf 145 G.3 Maskenerzeugung über geschlossenen Kantenverlauf 149 G.4 Maskenerzeugung über ein Histogramm 150 H Quadratverfolgung 151

5 I Allgemeine Objektverfolgung Hierarchische Analyse des Korrelationsergebnisses Subpixelgenauigkeit vom Korrelationsergebnis Rotation einer Korrelationsmaske 156