6 Jahre operationelle Verarbeitung von Satellitendaten Erfahrungen und Empfehlungen. Thomas Krauß (DLR, Institut für Methodik der Fernerkundung)

Transkript

1 6 Jahre operationelle Verarbeitung von Satellitendaten Erfahrungen und Empfehlungen Thomas Krauß (DLR, Institut für Methodik der Fernerkundung) 50. AgA-Tagung , Frankfurt am Main

2 Prozesskette CATENA CATENA ist ein frei konfigurierbares vollautomatisches Allzweck- Prozessierungssystem für die Prozessierung von Massendaten des gleichen Typs mit vordefinierten Prozessketten Auswahl aus den mehr als 25 von CATENA unterstützten Sensoren 2

3 CATENA System Architektur 3

4 CATENA Definitionen 4

5 CATENA Architektur Das Framework verteilt Aufträge (jobs) auf viele verschiedene Nodes existiert in 2 Versionen: stand alone und DIMS (DLR-Archiv) erlaubt Überwachung und Kontrolle der Aufträge via web-interface oder Kommandozeile 5

6 CATENA Bedienoberfläche local control 6

7 CATENA Prozessierungsablauf 7

8 Beispiel 1/2: Orthoprozessierungskette Import der Originalsensordaten Referenzbild und -DEM aus Referenzdatenbank holen Matching von Originalbild auf Referenzbild Korrektur des Sensormodells mit den Passpunkten aus dem Matching Projektion des Originalbilds auf DEM mit korrigiertem Sensormodell Optionale manuelle Qualitätskontrolle Optionale Verwendung manuell gemessener Passpunkte für Sensormodellkorrektur 8

9 Beispiel 1/2: Orthokette Kettenbeschreibung PARAMETERS="ProcessChain=$MYNAME Export=O:Ortho_Image;OPS:Pan-sharpened_Ortho_Image; Q:Atmospheric_corrected_Image;OCM:Cloud_Mask SuperTileSize=1" CHAIN=`cat <<EOT A/_aux:cmimport D/_aux:cmmakedem:A/_aux R/_aux:cmmakeref:A/_aux T/_aux:cmmaket:R/_aux,A/_aux TxWM/_aux:cmmakewatermaskT:Tx/_aux TxCM/_aux,TxHCW/_aux:cmmakecloudmaskT:Tx/_aux A/_gcp:cmgcpfromprocpar:A/_aux A/_gcp:cmmatchoption:T/_aux,R/_aux,A/_aux A/_boresight:cmcorrectnav:A/_nav,A/_gcp A/A.RPCCORR.AFFTRS:cmcorrectrpc:A/_rpc,A/_gcp A/_geolayer.corr:cmcorrectgeolayer:A/_geolayer,A/_gcp O/_aux:cmorthofromgeo:A/_aux,A/_geolayer O/_aux:cmortho:A/_aux,A/_nav O/_aux:cmorthorpc:A/_aux,A/_rpc O/_aux:cmaffin2ref:A/_aux,A/_gcp E/_aux:cmreprojectref:R/_aux OWM/_aux:cmmakewatermask:O/_aux OCM/_aux,OHCW/_aux:cmmakecloudmask:O/_aux OD/_aux:cmdemortho:D/_aux Q/_aux:cmatcor:O/_aux OPS/_aux:cmpansharpening:O.2/_aux :cmchecklist export.xml:cmexport :cmdeliver EOT` benötigte Eingabedaten Erstellte Ausgabedaten Module ortho chain 9

10 Beispiel 1/2: Orthokette Ergebnisse Operationell seit 2008 Nativer Import für mehr als 25 Sensoren, z.b. SPOT 3/4/5 HRG/HRS/Vegetation, IRS-P6 LISS3/AWiFS, ALOS Prism/AVNIR, Landsat, EnviSat AATSR/Meris, ERS ATSR2, DMC, Formosat, KompSat, RapidEye, Ikonos, QuickBird, GeoEye, WorldView 1/2, ZY-3, Pleiades... Originaldaten müssen Level1-A/B sein (nur radiometrisch korrigiert mit Sensormodell) Genauigkeit ca. ½ max( GSD(Sensor), GSD(Referenz) ) Bereits über Szeneen prozessiert Verwendet für ESA Image2006/2009/2012 Lizensiert an EuroMap (Neustrelitz) 10

11 Beispiel 2/2: DSM-Kette multistereo Import von zwei oder mehr Originalbildern Optional: Referenz-DEM und Passpunkte Bündelblockausgleich zwischen allen Eingabeszenen DSM-Erstellung pro Eingabebildpaar Optionales Füllen der DSMs (weighted distance fill mit Referenz-DEM) Erzeugung eines (True-)Ortho-Bildes aus allen Eingabebildern und dem erzeugten DSM 11

12 Beispiel 2/2: DSM-Kette multistereo Unterkette stereo multistereo verwendet das CATENA-framework rekursiv zur Verteilung von Unter-Jobs Nach dem Bündelblockausgleich werden kleine Kacheln aller möglichen Bildpaare als neue Jobs für die (Unter-)Kette stereo abgesendet stereo erstellt mittels SGM ein dichtes DSM jeweils eines Stereopaars und füllt dies optional aus dem Referenz-DEM Hauptkette multistereo wartet auf Ende aller Unterketten, sammelt die Ergebnisse und erzeugt daraus das endgültige Ergebnis- DSM 12

13 Beispiel 2/2: DSM-Kette multistereo Ergebnisse Operationell seit 2010 Erlaubt vollautomatische DSM-Erzeugung von Sensoren wie Cartosat, ALOS-Prism, SPOT-HRS, Ikonos, QuickBird, Worldview 1/2, Pléiades oder ZY-3 Über 150 (Multi-)Stereo-Szenen prozessiert Mit ähnlicher Cartosat-Kette über 1600 Beste Ergebnisse (pro Kosten) mit in-orbit Stereo-Triple-Szenen mit 0 und ±

14 Andere Prozessketten Prozessketten können universell wie z.b. die Orthokette oder sehr projektspezifisch auf die Anforderungen eines Projekt abgestimmt sein (Sensor(en), Ausgabedaten/ -formate, An-/Auslieferung der Daten) Beispiele universeller Ketten: ortho: orthorektifizierung von Level-1-Daten multistereo: DSM-Erzeugung aus in-orbit Stereodaten isurf: Bodenversiegelung für multispektrale Sensoren atcor: Atmosphärenkorrektur für multispektrale Sensoren bundlerad: Radiometrischer Bündelblockausgleich Beispiele projektspezifischer Ketten: image20xx: GMES fast track land Image2009/12 ccifire: Vorprozessierung für ESAs CCI Fire Disturbance gioforest: Vorprozessierung GMES Initial Operation Forest p5: DSM-Erstellung für Cartosat-1 (IRS-P5) von ganz Europa... Image2009/12 Cartosat DSM 14

15 IT-Infrastructure / Verteiltes Rechnen Server job-control job web-interface database Storage reference databases input data and delivery space crontab work Node 5 crontab work crontab work Node 1 crontab work Node 4 crontab work Node 2 crontab work Node 6 Grid crontab work Node 3 crontab work Node n... Hinzufügen einer neuen Node: lokales Arbeitsverzeichnis erstellen CATENA-job-scheduler in crontab eintragen Fertig. (Node wird automatisch beim ersten Start des job-schedulers in Datenbank eingetragen) 15

16 Hintergrundprozessierungsservice CATENA erlaubt vollautomatische Hintergrundprozessierung mit automatischem Datenaustausch Einspielen der Daten: Bilddaten und job-order-datei auf ftp-server abgelegt CATENA schaut laufend nach neuen Aufträgen Download des Auftrags und optional der Bilddaten Automatische Prozessierung mit im Auftrag angegebenen oder Standardparametern Automatische Auslieferung: CATENA-Ergebnisse werden wieder auf ftp-server hochgeladen Log-Dateien stündlich/täglich erzeugt und hochgeladen Bei aufgetretenen Fehlern zusätzlich Error-Logs erzeugt und hochgeladen ftp job order Log ftp Results Image data OK? Error log 16

17 Häufige Fehler und Probleme % Modul Ursache Analyse der häufigsten Prozessierungsfehler zeigt meist Benutzer-Fehler (falsche Daten, Parameter, Referenzdaten, ) oder Systemfehler (fehlende Lizenzen, Speicherplatz, Zugriffsrechte, ) 28 cmatcor keine IDL Lizenz verfügbar 17 cmmakegcp Zu wenige oder schlechte Passpunkte gefunden 15 cmchecklist Zurückgewiesen durch Manuelle Qualitätskontrolle (z.b. Wolken) 12 cmmatchoption Matching fehlgeschlagen (z.b. zu viele Wolken, Wasser) 8 cmmakeref Geforderte Referenzdaten decken Szene nicht ab 8 cmimport Fehler in Eingabedatei (falscher Dateiname, nicht lesbar, ) 5 cmmakedem Gefordertes Referenz-DEM deckt Szene nicht ab 3 cmdeliver Ausgabeverzeichnis voll oder nicht beschreibbar 17

18 Ergebnisse und Erfahrungen Prozessierung von ca Szenen zwischen 2007 und 2013 Vollautomatische Prozessierung hängt extrem stark von Qualität der Eingabeund Referenzdaten ab Prozessierungsmodule benötigen sauber standardisierte Ein-/Ausgabeformate für Bilder und alle benötigten Metadaten (!) Proprietäre Satellitendaten erfordern für jeden Sensor einen eigenen Import dessen Entwicklung kann zwischen 1 Tag bis zu mehreren Monaten (! wenn Sensordokumentation unvollständig oder widersprüchlich) dauern Ketten benötigen immer gleichartige Daten fehlerhafte oder lückenhafte Daten werden von Satellitenanbietern aber z.b. oft in zeitkritischen Situationen wie Krisen oder zur International Charter for Major Disasters geliefert Empfohlene Anwendung vollautomatischer Prozessierungsketten: Verarbeitung gleichartiger Massendaten oder Zeitserien Engpässe sind meist Speicherplatz und Netzwerkkapazität Häufigste Fehler durch fehlerhafte Eingabe- oder Referenzdaten, falsche Prozessierungsparameter oder Speicherengpässe 18

19 Fazit CATENA ist Beispiel eines operationellen, Mehrzweckprozessierungssystems entwickelt durch das DLR Freie Definition einer beliebigen Prozesskette (Chain) bestehend aus Modulen mit standardisierten Schnittstellen Module ihrerseits kapseln wissenschaftliche/organisatorische Tools Typische Prozessketten: Orthorektifizierung, DSM-Erstellung Momentan mehr als 25 Sensoren unterstützt niedrige Auflösung wie EnviSat Meris/AATSR, mittlere Auflösung wie ALOS, IRS-P6, SPOT, hohe Auflösung wie Ikonos, WorldView or Pléiades Automatische Auftragsverteilung und Grid-Computing (Framework) Erfahrungen aus mehr als prozessierten Szenen / 20 Ketten Derartiges System erfordert dennoch erfahrene Operatoren System zertifiziert nach ISO9001:2008 seit 2012 Nächste Aufgaben: Hinzufügen neuer Sensoren, Ketten, (thematischer) Module, Erweitern der ISO-Zertifikation, Verbesserung Fehlerhandling, Re-Implementation lizensierter Software, Framework Chain Module Tool for more information: Thomas.Krauss@dlr.de 19

20 Catena at work 20