Ausgewählte Kapitel der Photogrammetrie (PAK) 2011 WS

Transkript

1 Technische Universität München Ausgewählte Kapitel der Photogrammetrie (PAK) 2011 WS UAV - Sensoren Studentische Ausarbeitung von Axel Brück Photogrammetrie & Fernerkundung Prof. Dr.-Ing. U. Stilla Motivation UAVs als neues Messsystem im Bereich der Photogrammetrie Vorteile der UAVs ggü. satelliten- oder flugzeuggetragener Systeme: keine Gefahr für menschliches Leben in Risikosituationen (Vulkanausbruch, militärische Krisengebiete, etc.) automatische oder halbautomatische Steuerung erhöhte Wendigkeit des Systems aufgrund der geringeren Größe (Flüge nahe an Objekten) Aufnahmen auch bei Wolkenbedeckung durch geringere Flughöhen Indoor-Einsatz möglich keine Kosten für on-board Personal geringere Herstellungs- und Beschaffungskosten geringere Flugdurchführungskosten (Treibstoff, etc.) geringere Gesamtkosten schaffen neue Anwendungsgebiete und Märkte für die Photogrammetrie BRÜCK ( ) PAK: UAV - Sensoren 2

2 Inhalt UAV - Sensoren 1 Herausforderungen an UAV-Sensoren 2 Sensoren zur Überwachung und Steuerung 2.1 Inertial Navigation System (INS) 2.2 Global Navigation Satellite System (GNSS) Empfänger 2.3 Gelände-gestützte Navigation mit bildgebenden Sensoren 3 Sensoren zur Erfassung von Oberflächeninformation 3.1 Sichtbarer Bereich (VIS) 3.2 Hyperspektralbereich 3.3 Thermischer Bereich (IR) 3.4 Mikrowellenbereich (RADAR) 3.5 Light Detection And Ranging (LiDAR) BRÜCK ( ) PAK: UAV - Sensoren 3 1 Herausforderungen an UAV-Sensoren Unterschiede am Sensorträger Klassisch: Bsp. Cessna 425 UAV: Bsp. Oktokopter Falcon [Aerowest, 2012] [Bäni, 2011] Größe und Zuladungsvermögen: geringeres maximales Zuladungsgewicht bei UAVs Distanz zum Objekt: unterschiedliches Auflösungsvermögen Wendigkeit: hohe Aufnahmefrequenz für Bildreihen bei UAVs Stabilität während des Fluges: genauere und häufigere Positionierung bei UAVs BRÜCK ( ) PAK: UAV - Sensoren 4

3 2.1 Inertial Navigation System (INS) Komponenten Komponenten: Inertial Measurement Unit bestehend aus drei Akkzelerometern (Beschleunigungsmessern) und drei Gyroskopen (Drehratenmessern), davon jeweils ein Sensorpaar pro Trägheitsachse zur Bestimmung der Beschleunigung und der Winkelgeschwindigkeit Navigations-Prozessor Verarbeitung der insgesamt sechs Parameter einer Messung zu einer relativen Position und einer relativen Orientierung [Knedlik, 2012] BRÜCK ( ) PAK: UAV - Sensoren Inertial Navigation System (INS) UAV Probleme beim Einsatz von Gyroskopen: technische kompliziert sehr kostspielig hoher Energieverbrauch großes Gewicht für UAVs nur bedingt nutzbar [Knedlik, 2012] Alternative: Gyroskop-freie IMU durch Verwendung von je drei Akkzelerometern am Schwerpunkt sowie im Abstand d von diesem auf den Hauptträgheitsachsen Probleme beim alleinigen Einsatz von INS: Ungenauigkeiten bei den Inertialsensoren verursachen über die Zeit einen Sensordrift, d.h. die reale Position weicht zunehmend von der berechneten Position ab Kombination des INS mit einer externen Positionsbestimmung BRÜCK ( ) PAK: UAV - Sensoren 6

4 2.2 Global Navigation Satellite System (GNSS) Empfängern (I) Anforderungen an GNSS Empfänger für UAVs: Echtzeitfähigkeit hohe Positionsgenauigkeit geringes Gewicht geringe Kosten Umsetzung in der Realität: Verwendung von GNSS Einzel-Frequenz Empfängern (L1- Trägerfrequenz) wie z.b. u-blox LEA-4T oder LEA-6T Verwendung von kompakten Antennen wie z.b. u-blox ANN-MS oder Trimble Bullet III Möglichkeit zu Linearkombinationen durch Verwendung einer Referenzstation (DGPS) BRÜCK ( ) PAK: UAV - Sensoren Global Navigation Satellite System (GNSS) Empfängern (II) Beispiele: [u-blox, 2012] u-blox ANN-MS 48 x 40 x 13 mm³ G = 42 g [Trimble, 2012] Trimble Bullet III D = 77.5 mm H = 66.2 mm G = 170 g [u-blox, 2012] u-blox LEA- 6T 17 x 22.4 x 2.4 mm³ G = 2.1 g Gesamtgewicht inklusive Ports, Feuchtigkeitsschutzhülle und WiFi-Modul: G = 350 g BRÜCK ( ) PAK: UAV - Sensoren 8

5 2.2 Global Navigation Satellite System (GNSS) Empfängern (III) Beispiel eines GNSS-Gesamtsystems für UAVs: [Stempfhuber 2011] Erreichbare Positionsgenauigkeit liegt im Zentimeterbereich! BRÜCK ( ) PAK: UAV - Sensoren Gelände nde-gestützte tzte Navigation mit bildgebenden Sensoren Komponenten: Bilderfassungssensor Bildverarbeitungssoftware Visuelle Odometrie (Wegstreckenmessung) Georeferenzierte Bildregistrierung zur Bestimmung der absoluten Posititon Potential im Vergleich zu den genannten Systemen: Stabile Navigation bei unausreichender oder nicht-vorhandener Absolutpositionierung via GNSS (schlechte Satellitenkonfiguration, Störsignal, Indooranwendungen) See and Avoid : Erkennen von Hindernissen für das UAV im Raum und Durchführung entsprechender Ausweichmanöver Simultaneous Localization and Mapping: Steuerung und Kontrolle durch on-line Erfassung und Prozessierung, sodass keine Referenzdaten benötigt werden BRÜCK ( ) PAK: UAV - Sensoren 10

6 2.3 Gelände nde-gestützte tzte Navigation mit bildgebenden Sensoren Visuelle Odometrie Bestimmung der relativen Position Verwendung von projektiver Geometrie und projektiver Transformation (Homographie) Schätzung der Homographie zur Bestimmung von Rotation und Translation der Kamera zwischen zwei Aufnahmen Georeferenzierte Bildregistrierung Bestimmung der absoluten Position Skalierung des aktuellen Bildes entsprechend dem Referenzbild Abgleich zwischen aktuell betrachteter Szene und Referenzbilddaten Kartierung eines Ähnlichkeitsmaßes aus einer Kreuzkorrelation BRÜCK ( ) PAK: UAV - Sensoren Sichtbarer Bereich (VIS) Allgemeines analog zur klassischen Luftbildphotogrammetrie erfolgt die Erfassung bei UAVs durch digitale Aufnahmesysteme verwendet werden überwiegend handelsübliche Kameras, welche auch im privaten Verbraucherbereich eingesetzt werden insbesondere wegen der Faktoren Gewicht und Kosten (vgl. privater Verbraucherbereich) gibt es keine speziell für UAVs mit geringer Nutzlast entwickelten Kameras Auflösung liegt je nach Anwendung (Flughöhe, Kameratyp) im Zentimeterbis Dezimeterbereich Formate: Kleinbild: 3.5 x 3.5 cm² Medium: 6 x 4.5 cm² Panorama: 6 x 12 cm² Es werden kleine Brennweiten bevorzugt um niedrige Flughöhen der UAVs zu ermöglichen und gleichzeitig einen ausreichend großen Abbildungsbereich zu erhalten BRÜCK ( ) PAK: UAV - Sensoren 12

7 3.1 Sichtbarer Bereich (VIS) Beispiele (I) Beispiele: Canon D10 Nikon D300 Canon EOS 5D Mark II Gewicht: 210 g Maße: 104 x 67 x 49 mm³ Brennweite: 6,2-18,6 mm Gewicht: 925 g Maße: 147 x 114 x 74 mm³ Brennweite: abh. Objektiv Sensor: 23 x 15 mm CMOS Gewicht: 810 g Maße: 152 x 114 x 75 mm³ Brennweite: abh. Objektiv Sensor: 36 x 24 mm CMOS Sensor: 1/2,3-Typ-CCD [Amazon, 2012] [Chip online, 2012] [Canon, 2012] BRÜCK ( ) PAK: UAV - Sensoren Sichtbarer Bereich (VIS) Beispiele (II) Beispiele: Leica RCD30 mit Kamera CH62, Steuermodul CC32 und Schale Gewicht: g (Kamera: 3500 g) Maße: 480 x 314 x 314 mm³ Brennweite: 50 mm Sensorgröße: 8956 x 6708 Pixel CCD Pixelgröße: 6 μm Zusätzliche Ausstattung: Motion Compensation in zwei Achsen (forward, lateral) RGB + nahes Infrarot [Leica Geosystems, 2012] BRÜCK ( ) PAK: UAV - Sensoren 14

8 3.2 Hyperspektralbereich (I) Grundsätzliches: Erfassung mit hoher spektraler Auslösung hohe Anzahl an Wellenlängenbereichen, mind. 15 spektrale Kanäle, bis zu 240 möglich Wellenlängen überwiegend im Bereich des sichtbaren Lichts und im nahem Infrarotbereich (300 nm 1100 nm) Konfiguration von Hyperspektral Sensoren: zeilenweise Erfassung (eindimensionaler Sensor) Pushbroom Imager flächenhafte Erfassung (zweidimensionaler Sensor) BRÜCK ( ) PAK: UAV - Sensoren Hyperspektralbereich (II) Probleme beim Einsatz an UAVs: Zeilensensor: Rekonstruktion eines Bildes aus den einzelnen Bildstreifen (quer zur Flugrichtung) wird durch die instabile Flugbahn sowie die geringe Positionsgenauigkeit sehr aufwändig Flächensensor: Spektralkanäle können nur nacheinander, d.h. zeitlich gering versetzt, erfasst werden, es ist eine Koregistrierung der einzelnen Spektralbilder notwendig Einschränkung durch Auswahl an Spektralkanälen BRÜCK ( ) PAK: UAV - Sensoren 16

9 3.2 Hyperspektralbereich (III) Beispiel: Hyperspektral Imager des VTT für UAVs Spektraler Arbeitsbereich: nm Spektrale Auflösung: < 10 nm bei FWHM Fabry-Pérot-Interferometer zur Auswahl der Spektralkanäle Bildöffnungswinkel: > 20 in Flugrichtung > 30 quer zur Flugrichtung Geometrische Auflösung: 7.5 cm bei 100 m Flughöhe Brennweite: 8 mm Bildgröße: 480 x 750 Pixel Gewicht: 350 g Größe: 100 mm x 70 mm x 53 mm [Nackaerts, 2010] BRÜCK ( ) PAK: UAV - Sensoren Thermischer Bereich (IR) Überblick Unterteilung der Infrarotstrahlung: nahes IR: μm mittleres IR: 3 5 μm fernes IR: μm } thermisches IR: 3 14 μm Wichtige Aspekte bei IR-Kameras für UAVs: Wellenlängenbereich (nahes, mittleres, fernes IR) Temperaturmessbereich Bereich, innerhalb welchem gemessen werden kann thermische Auflösung Temperaturabstufungen, welche bei 30 C gerade noch unterschieden werden können Bildrate Sensorformat Größe der Bildebene in Pixel Sensortyp Gewicht BRÜCK ( ) PAK: UAV - Sensoren 18

10 3.3 Thermischer Bereich (IR) Sensortypen Zwei verschiedene IR-Sensortypen: Photonensensorenmatrix Nutzung des fotoelektrischen Effekts in Halbleiterelementen Energiegehalt der fernen Infrarotstrahlung nur sehr gering, daher muss die Sensortemperatur sehr niedrig sein, um die Strahlung detektieren zu können Kühlung der Sensorelemente auf Temperaturen um die 80 K (-193 C!) Kühlung ist sehr energieintensiv kostspielig in der Herstellung Mikrobolometermatrix Thermischer Sensor zur Detektion von Strahlungsleistung Messung der Widerstandsänderung am Detektorelement keine Kühlung notwendig, Empfindlichkeit unabhängig von der Wellenlänge geringere Temperaturauflösung preiswert in der Herstellung, geringerer Energieverbrauch BRÜCK ( ) PAK: UAV - Sensoren Thermischer Bereich (IR) Beispiele Beispiele: Tau 640 PIR uc 180 ThermoVision A40 M [FLIR, 2012] [InfraTec, 2012] Gewicht: < 70 g Maße: 29 x 29 x 8 mm³ therm. Auflösung.: < 0.05 K Sensorgröße: 640 x 512 Bildrate: 30 Hz Messbereich: C Gewicht: 280 g Maße: 51 x 51 x 65 mm³ therm. Auflösung.: 0.08 K Sensorgröße: 160 x 120 Bildrate: 100 Hz Messbereich: C [FLIR, 2012] Gewicht: 1400 g Maße: 207 x 92 x 109 mm³ therm. Auflösung.: 0.08 K Sensorgröße: 320 x 240 Bildrate: 60 Hz Messbereich: C BRÜCK ( ) PAK: UAV - Sensoren 20

11 3.4 Mikrowellenbereich (Radar) Überblick Unterschiede zu den bisher betrachteten bildgebenden Sensoren: aktives System, beobachtet wird ein vom System ausgesendetes und an der Erdoberfläche reflektiertes Signal wetterunabhängig, auch Messungen unter Konditionen (Nebel, Wolken, Regen, Schnee, Nacht) möglich, bei welchen die Systeme des sichtbaren Wellenlängenbereiches nicht eingesetzt werden können (Ausnahme IR) Bestandteile: Transmitterantenne Empfängerantenne Frequenzgenerator Digitizing and Storage Unit Energiequelle BRÜCK ( ) PAK: UAV - Sensoren Mikrowellenbereich (Radar) ARTINO (I) ARTINO: Airborne Radar for Three-dimensional Imaging and Nadir Observations Einsatzziele: rechtzeitige Datenerfassung durch kleine und flexible Plattform Datenerfassung zu jedem Zeitpunkt möglich Aufnahmegeometrie: geringe Flughöhe des UAV (Flugzeug) in ca. 200 m Höhe Radar in Nadirausrichtung (weniger Verdeckungen) kurze Entfernungen zu den zu erfassenden Objekten [Fraunhofer FHR, 2009] BRÜCK ( ) PAK: UAV - Sensoren 22

12 3.4 Mikrowellenbereich (Radar) ARTINO (II) Antennenkonfiguration: nur geringe Reichweite aufgrund niedriger Flughöhe erforderlich geringe Reichweite ermöglicht niedrige mittlere Sendeleistung und somit geringen Energieaufwand zusätzlich reduzierte Leistungsspitzen durch das FMCW (Frequency Modulated Continous Wave) Prinzip (geringerer Energieaufwand) kurze Antennen durch Verwendung des Ka-Bandes (geringes Gewicht) virtuelles lineares Antennen-Array über die gesamte Flügelspannweite jeweils 22 Transmitterantennen an den Flügelspitzen in Blockform 32 Empfängerantennen gleichmäßig über den Flügel verteilt vollständiges Array über Synthetisierung, d.h. ausgewählte Abfolge des sendenden Transmitterelements synthetisches Array mit 1408 Elementen [Fraunhofer FHR, 2009] BRÜCK ( ) PAK: UAV - Sensoren Mikrowellenbereich (Radar) ARTINO (III) Auflösungsvermögen: in range: in across-track: in along-track: 20 cm durch kohärentes FMCW 20 cm durch virtuelles lineares Antennen-Array 20 cm durch Synthetische Apertur Radar (SAR) Besonderheiten ggü. herkömmlichen Radar: geringe Flughöhe von 200 m ermöglicht hochauflösende Erfassung Streifenbreite von 230 m Nadirausrichtung ermöglicht Aufnahmen von Straßenschluchten und engen Tälern und vermeidet große Verdeckungen niedrigerer Energieverbrauch geringeres Gewicht durch leichtere Antennen, Batterien zur Energieversorgung BRÜCK ( ) PAK: UAV - Sensoren 24

13 3.5 Light Detection And Ranging (LiDAR) Überblick Anwendungsgebiete: Ermittlung von Baumhöhen Erfassung von Masten (Laternen, Stromleitungen) Straßenextraktion Generierung von Digitalen Geländemodellen (DGMs) Beobachtungsverfahren: aktives Verfahren, beobachtetes Signal wird vom Sensor ausgesendet Entfernungsermittlung aus Laufzeitmessung eines Laserpulses Analyse von Mehrfachantworten (first pulse, last pulse) Berücksichtigung der Intensität des erfassten Signals BRÜCK ( ) PAK: UAV - Sensoren Light Detection And Ranging (LiDAR) Sensei-Projekt (I) Laser Scanner: ibeo LUX Pulse-Echo-System (multi-echo, bis zu 3 Messungen pro Pulse) Nadirausrichtung, Reichweite bis zu 200 m Laser Klasse 1, Wellenlänge 905 nm Sichtfeld: Horizontal: 110 Vertikal: 3.2 Winkelauflösung: Horizontal: bis zu Vertikal: 0.8 Entfernungsauflösung: 4 cm theoretisch Erfassung von bis zu Punkten/Sekunde Gewicht: 1.2 kg BRÜCK ( ) PAK: UAV - Sensoren 26

14 3.5 Light Detection And Ranging (LiDAR) Sensei-Projekt (II) Vorteile des UAV-LiDAR ggü. dem klassischen Verfahren: geringe Flughöhe ermöglicht sehr hohe Punktdichten bis zu 1500 Punkten je m² Puls-Mehrfachantworten ermöglichen zusammen mit der höheren Punktdichte die Herstellung genauerer DGMs [Lin, 2010] BRÜCK ( ) PAK: UAV - Sensoren 27 Literatur (I) Blaha M, Eisenbeiss H, Grimm D, Limpach P (2011) Direct Georeferencing of UAVs. In: ISPRS Archives (38-1/C22): Conference on Unmanned Aerial Vehicle in Geomatics, 2011 Conte G, Doherty P (2011) A Visual Navigation System for UAS based on geo-referenced Imagery. In: ISPRS Archives (38-1/C22): Conference on Unmanned Aerial Vehicle in Geomatics, 2011 Stempfhuber W, Buchholz M (2011) A Precise, Low-Cost RTK GNSS System for UAV Applications. In: ISPRS Archives (38-1/C22): Conference on Unmanned Aerial Vehicle in Geomatics, 2011 (ISSN ) Patterson M C L, Brescia A (2008) Integrated Sensor Systems for UAS. In: Bristol UAVS Conference, 2008, 23 rd conference Nackaerts K, Delauré B, Everaerts J, Michiels B, Holmlund C, Mäkynen J, Saari H (2010) Evaluation of a lightweigth UAS-prototype for hyperspectral imaging. In: ISPRS Archives (38) Commission V Mid-Term Symposium 'Close Range Image Measurement Techniques': BRÜCK ( ) PAK: UAV - Sensoren 28

15 Literatur (II) Budzier H, Gerlach G (2011) Thermische Infrarot-Sensoren für die Thermografie Stand und Tendenzen. LIFIS online, Sensor- und Aktorsysteme / Ubiquitäre Elektronik ( ): (ISSN ) Weiss M, Gilles M (2010) Initial ARTINO Radar Experiments. In: European Conference on Synthetic Aperture Radar (EUSAR), 2010 Lin Y, Hyyppä J, Jaakkola A (2010) Mini-UAV-Borne LIDAR for Fine-Scale Mapping. In: Geoscience and Remote Sensing Letters, 2011 (8): BRÜCK ( ) PAK: UAV - Sensoren 29 Bildquellen (I) Aerowest, 2012: ( ) Bäni, 2011: ( ) Knedlik, 2012: ( ) ( ) u-blox, 2012: blox.ch/images/downloads/product_docs/ann_data_sheet%28gps-x %29.pdf ( ) 6_DataSheet_%28GPS.G6-HW-09004%29.pdf ( ) Trimble, 2012: ftp://ftp.trimble.com/pub/sct/misc/bin/exact%20imaging%20folder%201 0_07/BulletIII/ A_Bullet%20III_DS_0907_US_hr.pdf ( ) BRÜCK ( ) PAK: UAV - Sensoren 30

16 Bildquellen (II) Amazon, 2012: S-01.jpg ( ) Chip online, 2012: ( ) Canon, 2012: ( ) Leica Geosystems, 2012: ( ) FLIR, 2012: 86 ( ) archer%20datasheet.pdf ( ) BRÜCK ( ) PAK: UAV - Sensoren 31 Bildquellen (III) InfraTec, 2012: ( ) Fraunhofer FHR, 2009: ( ) BRÜCK ( ) PAK: UAV - Sensoren 32

17 Lernziele Einblick in die folgenden Themen: Welche Limitationen gibt es bei der Verwendung von Sensoren an UAVs? Welche Sensoren werden zur Steuerung von UAVs verwendet? Warum werden sowohl zur Überwachung als auch zur Georeferenzierung zwei Systeme miteinander kombiniert? Welche bildgebenden Sensoren können an UAVs verwendet werden? Welche Vorteile bieten bildgebende Sensoren im sichtbareren Bereich an UAVs ggü. den entsprechenden Sensoren der klassischen Photogrammetrie und Fernerkundung? Bewerten Sie die aktiven, bildgebenden Systeme an UAVs ggü. ihrer ursprünglichen Form in der klassischen Photogrammetrie und Fernerkundung! Welche Sensoren würde ein UAV-System zur Detektion von elektrischen Oberleitungen der Deutschen Bahn benötigen und könnte es dafür sinnvoll eingesetzt werden? BRÜCK ( ) PAK: UAV - Sensoren 33