Zur Georeferenzierung von UAV Bildflügen: direkt oder indirekt, was braucht man dafür? Lasse Klingbeil Christian Eling Heiner Kuhlmann

Transkript

1 Zur Georeferenzierung von UAV Bildflügen: direkt oder indirekt, was braucht man dafür? Lasse Klingbeil Christian Eling Heiner Kuhlmann Institut für Geodäsie und Geoinformation Rheinische Friedrich-Wilhelms-Universität Bonn

2 Vermessung mit UAVs Flugplanung Automatischer Wegpunktflug Direkte und/oder indirekte Georeferenzierung Bildauswertung (z.b. mit Pix4D oder Agisoft) Punktwolken, Orthofotos Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 2

3 Georeferenzierung Herstellung des Bezugs zwischen den Sensordaten (hier Bilder), bzw. den daraus abgeleiteten Größen (hier Punktwolken oder Orthofotos) und einem übergeordneten Koordinatensystem (z.b. GPS-System) Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 3

4 Georeferenzierung Indirekt: Beobachtung im Objektraum befindlicher im Zielkoordinatensystem bekannter Punkte (Passpunkte) Bestimmung der äußeren Orientierung (Position und Rotation) mittels photogrammetrischer Methoden (Bündelblockausgleichung, Aerotriangulation) Direkt: Bestimmung von Kameraposition und orientierung mittels mitgeführtem Sensorsystem (meist GNSS/IMU) Kombination von direkt und indirekt: integrierte Sensororientierung Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 4

5 Direkte Georeferenzierung Ziel: Äußere Orientierung der Kamera zum Zeitpunkt der Bildaufnahme 1. Position + Rotation des GNSS/IMU Sensorsystems 2. Zeitliche Synchronisierung zwischen GNSS/IMU und Kamera 3. Translation + Rotation zwischen GNSS/IMU und Kamera Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 5

7 Positionsbestimmmung (GNSS) Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 7

9 Positionsbestimmung (GNSS) Single Point Positioning mit 1-Frequenz Pseudoranges ( Bezeichnung hier: Code ) Genauigkeit im Meterbereich Gut genug für Wegpunktflug Günstige, kleine, leichte Empfänger (~, ~g, ~cm 3 ) Standardmäßig verfügbar auf UAVs Zur Georeferenzierung einsetzbar In Kombination mit Passpunkten Ohne Passpunkte, aber dann ungenau Zeitliche Synchronisierung unkritisch Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 9

11 Positionsbestimmung (GNSS) Kinematische relative Auswertung mit 2-Frequenz-Trägerphasenbeobachtungen ( Bezeichnung hier: RTK ) Genauigkeit im Zentimeterbereich Nicht gut einsetzbar für Wegpunktflug Teure, unhandliche Empfänger (~5000, mehr dazu später) Kommerziell noch nicht lange erhältlich (mehr dazu später) Zur genauen Georeferenzierung ohne Passpunkte einsetzbar Zeitliche Synchronisierung sehr wichtig Korrekturdaten oder Beobachtungen einer Referenzstation notwendig (während oder nach dem Flug) Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 11

12 Positionsbestimmung (GNSS) Kinematische relative Auswertung mit 2-Frequenz-Trägerphasenbeobachtungen ( Bezeichnung hier: RTK ) Genauigkeit im Zentimeterbereich Nicht gut einsetzbar für Wegpunktflug Teure, unhandliche Empfänger (~5000, mehr dazu später) Kommerziell noch nicht lange erhältlich (mehr dazu später) Zur genauen Georeferenzierung ohne Passpunkte einsetzbar Zeitliche Synchronisierung sehr wichtig Korrekturdaten oder Beobachtungen einer Referenzstation notwendig (während oder nach dem Flug) Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 12

13 Positionsbestimmung (GNSS) RTK Postprocessing NetzRTK Korrekturdaten/ Beobachtungen Beobachtungen Logfile Rover Logfile Master Beobachtungen Auswertesoftware am Boden Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 13

14 Positionsbestimmung (GNSS) Echtzeit RTK am Boden NetzRTK Korrekturdaten/ Beobachtungen Beobachtungen Regelung Beobachtungen Auswertesoftware am Boden Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 14

15 Positionsbestimmung (GNSS) Echtzeit RTK onboard NetzRTK Korrekturdaten/ Beobachtungen Regelung Auswertesoftware onboard Beobachtungen Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 15

17 Rotationsbestimmung Warum überhaupt? 1. Korrektur des Hebelarmes zwischen GNSS/IMU und Kamera (wenn Kamera außerhalb des Rotationszentrums ) 2. Verbesserung der Bildauswertung (beschleunigen und robustifizieren, finden korrespondierender Punkte) 3. Autonomer Flug bzw. automatischer Wegpunktflug Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 17

18 Rotationsbestimmung Inertialsensoren Drehratensensoren acc x Unbekannte Startwerte Sensordrift acc y gravity Beschleunigungssensoren Sensitiv auf translatorische Beschleunigungen Durch entsprechende Filter (Kalman) können Roll und Pitch gut bestimmt werden. Der Azimuth bleibt unbeobachtet. Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 18

19 Azimuthbestimmung Aus Bewegungsrichtung Nicht möglich bei Multikoptern Magnetfeldsensoren als Kompass Kleine, leichte, günstige Sensoren ABER: starke Störung durch ferromag. Materialien + hohe Ströme (Rotoren) Gute Kalibrierung notwendig Multiantennensysteme Zusätzl. Beobachtung von 2 Winkeln (Azimuth + Roll oder Pitch) Höherer Aufwand (zusätzliche Antenne, evtl. zusätzlicher Empfänger, mehr Auswertung) GNSS/IMU Fusion Rotationsbestimmung Der Winkel zwischen der Geschwindigkeit im körperfesten System (aus Beschleunigungssensoren) und der Bewegungsgeschwindigkeit (aus GNSS- Positionen) entspricht dem Azimuth und kann indirekt geschätzt werden Nur bei Bewegung beobachtbar Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 19

20 Azimuthbestimmung Aus Bewegungsrichtung Nicht möglich bei Multikoptern Magnetfeldsensoren als Kompass Kleine, leichte, günstige Sensoren ABER: starke Störung durch ferromag. Materialien + hohe Ströme (Rotoren) Gute Kalibrierung notwendig Multiantennensysteme Rotationsbestimmung Zusätzl. Beobachtung von 2 Winkeln (Azimuth + Roll oder Pitch) Höherer Aufwand (zusätzliche Antenne, evtl. zusätzlicher Empfänger, mehr Auswertung) GNSS/IMU Fusion siehe z.b. Vortrag Zwiener/Jäger Der Winkel zwischen der Geschwindigkeit im körperfesten System (aus Beschleunigungssensoren) und der Bewegungsgeschwindigkeit (aus GNSS- Positionen) entspricht dem Azimuth und kann indirekt geschätzt werden Nur bei Bewegung beobachtbar Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 20

22 Zeitsynchronisierung Warum überhaupt? Bestimmung des Bildauslösepunktes im Zeitsystem der Trajektorie WO wurde das Bild ausgelöst? Flächenleistung Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 22

23 Zeitsynchronisierung Variante A Das System löst die Kamera zu einem genau bekannten Zeitpunkt aus Meist unbekannte und variable Zeitspanne zwischen Trigger und wirklichem Auslöser Zuverlässig bei Industriekameras Zuverlässig bei klassische Photogrammetriekameras, aber ungeeignet für kleine UAVs Ermöglicht Positionsgesteuerte Auslösung. Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 23

24 Zeitsynchronisierung Variante B Die Kamera wird irgendwann ausgelöst. Der Moment des Auslösens wird durch ein Signal angezeigt, welches vom System empfangen und mit einem Zeitstempel versehen wird. Schwierig bei Konsumerkameras Manche Kameras bieten ein direkten Zugang zum Signal des Shuttervorhangs Prinzipiell kann auch über den Blitzschuh der Zeitpunkt erfasst werden, ABER: manchmal beschränkt eine detektierter Blitz die minimale Verschlusszeit Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 24

25 Zeitsynchronisierung: Eigene Erfahrungen Panasonic Lumix GX1 16MPix Consumer Kamera Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 25

26 Direkte Georeferenzierung Ziel: Äußere Orientierung der Kamera zum Zeitpunkt der Bildaufnahme 1. Position + Rotation des GNSS/IMU Sensorsystems 2. Zeitliche Synchronisierung zwischen GNSS/IMU und Kamera 3. Translation + Rotation zwischen GNSS/IMU und Kamera Unterschiedliche Kalibrierverfahren, hier nicht weiter betrachtet Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 26

27 Eigene Entwicklung

28 Eigene Entwicklung System zur direkten Georeferenzierung Eigenschaften: Klein: 10.2 x 11.0 x 4.5 cm Leicht: < 400 g (inklusive der GPS Antennen) Positions- und Orientierungsbestimmung in Echtzeit! hohe Genauigkeiten: < 1 cm Position, < 0.5 deg Orientierung Eigene Algorithmen (hohe Robustheit) Sensoren: Geodätischer dual-frequenz GPS Empfänger Single-Frequenz low-cost GPS Empfänger 3-Achs Gyroskope, Akzelerometer und Magnetometer Barometer Funkmodul für RTK GPS Schnittstellen zu externen Sensoren (Kameras, Laserscanner) Hohe Flexibilität (Sensorintegration, Anpassung von Algorithmen) unter idealen Bedingungen Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 28

29 Eigene Entwicklung 2-Frequenz GNSS-Empfänger für hohe Genauigkeit Zweiter GNSS-Empfänger (Azimuthbestimmung) IMU für Rotationen und GNSS/IMU Fusion +(Magnetfeld) Echtzeitdatenausgabe für Regelung Eigene Algorithmen für schnelle Mehrdeutigkeitsfixierung Echtzeit- Referenzstationsdaten FPGA Echtzeitsystem für zeitdeterministische Berechnungen + Synchronisierung Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 29

30 Eigene Entwicklung Kopter für UAV Vermessung außerhalb des Systems Hochgenaue Synchronisierung Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 30

31 Eigene Entwicklung Genauigkeit Abweichung der Kamerapositionen: direkt vs. indirekt Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 31

32 OEM Boards ~ Kommerzielle Systeme Trimble MB-One ComNav K5xx series Novatel OEM6xx series Hemisphere Eclipse Pxx series Die meisten Hersteller bieten eine kleine/leichte Variante, Varianten mit verschiedene GNSS und Varianten mit zwei Antenneneingängen Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 32

33 Kommerzielle Systeme OEM Boards ~ Applanix APX-15 UAV Septentrio AsteRx-m UAS Multifrequenz Multi-Constellation IMU Onboard Speziell für UAVs Multifrequenz Multi-Constellation Speziell für AUVs Eingang für Kamerasync Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 33

34 Kommerzielle Systeme Fertige Module ~ SBG Systems Ellipse-D OXTS xnav x550 Komplettsystem mit IMU, Multi-Frequenz GNSS Sensorfusion/Auswertesoftware inklusive ABER: BlackBox, Synchronisierung unklar, Echtzeitfähig? Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 34

35 Kommerzielle Systeme Fluggeräte mit integrierten Systemen ??? Mavinci Sirius Pro SenseFly ebee RTK Leica Aibotix X6 mit RTK Fertige Rundumsorglos Systeme mit Flugplanung, direkter Georeferenzierung, Auswertesoftware Flexibilität? BlackBox? Kameraauswahl? Keine eigene Erfahrung bisher Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 35

36 Anwendungsbeispiele DFG Forschergruppe Mapping on Demand Hochgenaue Georeferenzierung in Echtzeit Robustifizierung der Georeferenzierung durch Verbindung von GNSS, Inertialsensoren, Stereokameras und Laserscans Rekonstruktion der Geometrie schon während des Fluges Autonome Steuerung des Fluggerätes auf Basis bereits erfasster Daten Hindernisserkennung und -vermeidung Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 36

37 Anwendungsbeispiele DFG Forschergruppe Mapping on Demand Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 37

38 Mapping on Demand Punktwolke aus 4 Einzelflügen (keine Passpunkte, keine Registrierung) Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 38

39 Mapping on Demand Distanz (m) Vergleich mit terrestrischen Laserscan Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 39

40 Anwendungsbeispiel: Deformationsanalyse Testfeld mit verschiedenen Objekten Befliegung (20m) des Feldes zu drei Epochen Veränderung der Objekte nach der 1. und 3. Epoche Erzeugung von Punktwolken mit Agisoft und direkter Georeferenzierung TLS Scans zum Vergleich Eingemessene Passpunkte zum Vergleich Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 40

41 Anwendungsbeispiel: Deformationsanalyse Ausschnitt der photogrammetrisch erzeugten Punktwolke Punktgenauigkeit der direkten Georeferenzierung an den Passpunkten Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 41

42 Anwendungsbeispiel: Deformationsanalyse Fußabdrücke durch die Verwendung des TLS (3 Standpunkte) Punkt zu Punkt Vergleich (Nächster Nachbar) zwischen der photogrammetrischen und der TLS Punktwolke Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 42

43 Anwendungsbeispiel: Deformationsanalyse Differenz zweier nur über die direkte Georeferenzierung registrierter photogrammetrisch erzeugter Punktwolken Als signifikant eingestufte Veränderungen sind farbig dargestellt Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 43

44 Zusammenfassung Ja, direkte Georeferenzierung von leichten UAVs mit hoher Genauigkeit ist möglich (<10cm) Der Einsatz von Passpunkten kann so reduziert oder vermieden werden Es gibt immer mehr verfügbare Module für Systementwickler Komplettsysteme sind noch selten, werden aber auch mehr Herausforderungen sind immer noch: Robustheit unter nicht idealen Bedingungen Echtzeitfähigkeit/Einsatz zur Regelung Synchronisierung der Kameras Lasse Klingbeil, DVW Seminar Vermessung mit unbemannten Flugsystemen - UAV 2016, Bonn Folie 44

45 Vielen Dank!