Langzeitarchivierung von Satellitendaten: ESA Missionen Sentinel 1 und Sentinel 3. Technische Besonderheiten der SAM-QFS Konfiguration und Nutzung

Transkript

1 Langzeitarchivierung von Satellitendaten: ESA Missionen Sentinel 1 und Sentinel 3 Technische Besonderheiten der SAM-QFS Konfiguration und Nutzung Charlotte Wehn, Stephan Schropp Deutsches Zentrum für Luft- und Raumfahrt, Earth Observation Center

2 DLR.de Folie 2 Agenda Das ESA Copernicus Programm Satelliten Sentinel 1 und Sentinel 3 Überblick über das Langzeitarchiv Oracle HSM Konfigurationen: QFS über Firewall SAM-QFS: Manuelle Hochverfügbarkeit SAM-QFS Library Anbindung über Netzwerk (ACSLS) durch eine Firewall

3 DLR.de Folie 3 Das Copernicus Programm der ESA Copernicus ist ein umfassendes satellitengestütztes Erdbeobachtungsprogramm der ESA. Seine Aufgaben sind: Katastrophen- und Krisenmanagement Informationen zur Verbesserung der Reaktionsfähigkeit auf Katastrophen und Unterstützung von Rettungskräften Landüberwachung Informationen über Landbedeckung und -nutzung sowie Veränderungen der Landoberfläche für z.b. urbane Planung, Stadtentwicklung, Flächenversiegelung Überwachung der Meeresumwelt Informationen über den Zustand der Ozeane, Küstengebiete sowie für die Schifffahrt (z.b. Eisdienst) Überwachung der Atmosphäre Informationen zur Zusammensetzung der Atmosphäre für die Überwachung der Luftqualität und die Überwachung globaler Abkommen und deren Wirksamkeit Überwachung des Klimawandels Aufbau von Klimainformationsdiensten Zivile Sicherheit Überwachung der EU-Außengrenzen und maritime Überwachung

4 DLR.de Folie 4 Die ESA Sentinel Satellitenfamilie Sentinel 1 SAR imaging a Sentinel 2 Multispectral imaging a b b c c d d Sentinel 3 Ocean and global land monitoring a b c d Sentinel 4 Geostationary Atmosphere Payload on EUMETSAT geostationary a + b S5 Precursor Sentinel 5 Low-orbit Atmosphere/ Air quality Payload on EUMETSAT polar orbiting Sentinel 6 Low-orbit Altimetry CNES JASON heritage a + b +c a + b

5 DLR.de Folie 5 Sentinel 1 Sentinel-1A Sentinel-1B Zwei Satelliten: Sentinel 1a und Sentinel 1b - C-Band SAR (Synthetic Aperture Radar) in der Kontinuität der ESA-Missionen ERS (seit 1991) und ENVISAT - wetter- und beleuchtungsunabhängig - Je nach Modus bis zu 5x5m Auflösung ESA

6 Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken DieDLR.de Ostalpen Folie , Sentinel-1A: IW Modus, GRD Copernicus Sentinel Daten (2014) C.Wehn, S.Schropp

7 DLR.de Folie 7 Eisberg-Überwachung mit Sentinel-1 Copernicus Sentinel data (2015)/ESA Polar TEP, Polar View, C-CORE, Canadian Ice Service, Danish Meteorological Institute, International Ice Patrol

8 DLR.de Folie 8 Hochwasserkartierung nach Zyklon Roanu, Mai 2016, Sentinel-1A 30 h von der Aktivierung bis zur ersten Karte Copernicus Service information (2016) / Copernicus EMS / e-geos

9 DLR.de Folie 9 Erdbeben de am Chart 9 in Mittel-Italien: Interferogramm aus Sentinel-1-Daten ( ) Contains modified Copernicus Sentinel data (2016)/ESA/CNR-IREA

10 DLR.de Folie 10 Sentinel 3 - Zwei Satelliten: Sentinel 3a (gestartet), Sentinel 3b (Start geplant März 2018) - mittelaufgelöste, tägliche Information über Land und Ozeanen mittels optischer und passiver und aktiver Radarsensoren - Messungen der Landbedeckung, Ozeanfarbe, Ozean-Oberflächentemperatur und -höhe

11 DLR.de Folie 11 Sandsturm über dem Roten Meer, Sentinel-3A OLCI Contains modified Copernicus Sentinel Sandsturm data (2016), über dem Roten Meer, processed by ESA Sentinel-3A OLCI Contains modified Copernicus Sentinel data (2016), processed by ESA

12 DLR.de Folie 12 Hurrrikan Matthew, Thermal-Infrared, Oberflächen- Temperaturen, Sentinel-3A SLSTR Contains modified Copernicus Sentinel data (2016), processed by ESA

13 DLR.de Folie 13 Schwankungen des Meeresspiegels, , Sentinel-3A Radar Altimeter Sentinel-3A SRAL contains modified Copernicus Sentinel data (2016), processed by ESA and CNES

14 DLR.de Folie 14 Zugang zu Sentinel Daten Copernicus Daten sind öffentlich und kostenfrei zugänglich. Für Deutschland betreibt das DLR Earth Observation Center die Plattform. Copernicus Data and Exploitation Platform Deutschland

15 DLR.de Folie 15 DLR Sentinel Processing and Archiving Center Dateneingang der Sentinel-Daten von den CGSs und EDRS via GMES-WAN (2*10Gbit/s) systematische Prozessierung aller Daten zu höherwertigeren Produkten Datenarchivierung im Langzeitarchiv (LTA) des DLR- EOC Datenaustausch mit Partner- Einrichtung (UK-PAC) Redundanz! Verteilung der Sentinel-Daten ESA Sentinel Space Segment X EDRS-Stations Weilheim Harwell Redu S-1A S-1B S-2A S-2B S-3A S-3B S2-PAC Indra S2-MPC CS X X GMES-WAN / ESA Data Circulation and Dissemination Network (T-Systems) S2-PAC Airbus Svalbard KSAT Ka-Band S1-PAC Airbus S1-MPC CLS Inuvik KSAT S1-PAC DLR X-Band S3-PAC OLCI DLR X Matera e-geos S1S3-PAC-DLR & S-5P PAC S-5P PAC DLR X Maspalomas S3-PAC SLSTR+ Synergy ACRI INTA S3-MPC ACRI ESA Sentinel Payload Data Ground Segment S3-PAC SRAL CLS S-5P PDMC ESRIN CDS Copernicus Services Users Copernicus-Nutzlastbodensegment

16 DLR.de Folie 16 Erwarteter Zuwachs des Datenvolumens für S1/S3 am DLR Processing and Archiving Center (in Terabyte) Sentinel-1A: 03. April 2014 Sentinel-1B: 25. April 2016 Sentinel-3A: 16. Feb Sentinel-3B: März 2018

17 DLR.de Folie 17 Die Sentinel LTA Umgebung = failover Archivserver Archivserver Archivserver Archivserver SamFS + Appl. SamFS + Appl. SamFS + Appl. SamFS + Appl. QFS 1 QFS 1 QFS 2 QFS 2 HA Server / Appl Server Appl. Zone Internal Networks Archive Net Firewall ACSLS 1 ACSLS 2 1st Copy 2nd Copy SAM-QFS Appl. Zone QFS 1 Appl. Zone QFS 2 Appl. Zone Appl. Server Appl. Server Appl. Server data transfer from/to ESA SAN Switches Zone FS. SAM-FS config ESA

18 DLR.de Folie 18 QFS über Firewall Ausgangslage: Ursprünglich wenig performante Firewall zwischen Quell- und Zielsystem Große Datenmengen zur Auslieferung Zwei Quellsysteme, ein Zielsystem Zielsystem muss Daten nach Verarbeitung löschen können Gemeinsame SAN Infrastruktur und Storage vorhanden

19 DLR.de Folie 19 QFS über Firewall Lösung: QFS Daten laufen nur über SAN Metadaten werden über Firewall übertragen Primärer und Sekundärer Metadatenserver auf den Quellsystemen Zielsystem fungiert als Client Firewallfreischaltung: Port 7105 von Client zu Metadatenservern

20 DLR.de Folie 20 QFS über Firewall: Konfiguration Anlegen des Filesystems mit : # samfsinfo QFS1 samfsinfo: filesystem QFS1 is mounted. name: QFS1 version: 2A shared [ ] Host File (/etc/opt/sunwsamfs/hosts.qfs1): # samsharefs QFS1 # # Host file for family set QFS1' # # Version: 4 Generation: 13 Count: 5 # Server = host 0/Archive-Server-1, length = 210 # Archive-Server-1 A.B.X.x 1 - server Archive-Server-2 A.B.X.y 2 - Appl-Server-1 A.B.Y.a - - Appl-Server-HA A.B.Y.b - - Archive-Server-HA A.B.X.z - -

21 DLR.de Folie 21 Die Sentinel LTA Umgebung = failover Archivserver Archivserver Archivserver Archivserver SamFS + Appl. SamFS + Appl. SamFS + Appl. SamFS + Appl. QFS 1 QFS 1 QFS 2 QFS 2 HA Server / Appl Server Appl. Zone Internal Networks Archive Net Firewall ACSLS 1 ACSLS 2 1st Copy 2nd Copy SAM-QFS Appl. Zone QFS 1 Appl. Zone QFS 2 Appl. Zone Appl. Server Appl. Server Appl. Server data transfer from/to ESA SAN Switches Zone FS. SAM-FS config ESA

22 DLR.de Folie 22 Manueller Failover von SAM-QFS - Ausgangslage Ausgangslage: Vier Archivserver, ein Zielserver für Failover Zeitliche Anforderung: mehrere Stunden Downtime sind OK Gemeinsame SAN Infrastruktur und Storage vorhanden Identische Hardware mit identischen Controllerpfaden zu Platten Ziele: HA-Lösung mit Sun Cluster aus Komplexitäts- und Kostengründen nicht erwünscht Möglichst wenig fehleranfällige Lösung

23 DLR.de Folie 23 Manueller Failover von SAM-QFS Lösung Dokumentiert und getestet Sekundärer Metadatenserver Metadatenserver Archivserver Metadatenserver Anwendungsprozesse SAM Services Service IP Adresse HA Server Anwendungsprozesse SAM Services Service IP Adresse Zpool mit Anwendungsverzeichnissen SAMFS Konfig und Runtime /etc/opt/sunwsamfs /var/opt/sunwsamfs SAM-QFS Devices/FS

24 DLR.de Folie 24 Manueller Failover von SAM-QFS Herunterfahren Auf dem Archivserver: aridle, möglichst abwarten Anwendung herunterfahren IP Adresse wegkonfigurieren Wenn nötig: Metadatenserver umziehen auf sekundären Metadatenserver Alle SAM-QFS unmounten Service sam-fsd in SMF disablen Unser SAM-QFS Log liegt unter /var/opt/sunwsamfs -> in /etc/syslog.conf auskommentieren, Refresh auf Service system-log Zpool exportieren

25 DLR.de Folie 25 Manueller Failover von SAM-QFS Hochfahren Falls Crash eines primären Metadatenservers, auf sekundärem Metadatenserver: Metadatenserver mit Force holen! Auf dem HA-Server: Zpool importieren nach Crash mit Force! Unser SAM-QFS Log liegt unter /var/opt/sunwsamfs -> in /etc/syslog.conf vorbereitete Zeile ent-kommentieren, Refresh auf Service system-log Service sam-fsd in SMF enablen. Häufig samd config nötig -> warum? Alle SAM-QFS Filesysteme mounten Eigenes Mount-Skript mit eigener vfstab in /etc/opt/sunwsamfs Service IP Adresse konfigurieren. Vorsicht vor Wiederhochfahren eines gecrashten Servers! Anwendung hochfahren Bei uns: arrun, da nicht automatisch

26 DLR.de Folie 26 Die Sentinel LTA Umgebung = failover Archivserver Archivserver Archivserver Archivserver SamFS + Appl. SamFS + Appl. SamFS + Appl. SamFS + Appl. QFS 1 QFS 1 QFS 2 QFS 2 HA Server / Appl Server Appl. Zone Internal Networks Archive Net Firewall ACSLS 1 ACSLS 2 1st Copy 2nd Copy SAM-QFS Appl. Zone QFS 1 Appl. Zone QFS 2 Appl. Zone Appl. Server Appl. Server Appl. Server data transfer from/to ESA SAN Switches Zone FS. SAM-FS config ESA

27 DLR.de Folie 27 ACSLS über Firewall - Ausgangslage Zwei Storage TEK Libraries mit ACSLS Anbindung, jeweils eigener ACSLS Server ACSLS Server / Libraries für verschiedene Umgebungen in eigenem Netz Netze getrennt durch Firewall ACSLS funktioniert asynchron: Auftrag für Mount/Dismount und Bestätigung über getrennte Verbindungen Verbindung zum ACSLS Server nutzt als Default RCP Bind Firewall SAM-QFS Seite (ACSLS Client) nutzt je einen ACSLS Client Prozess (ssi_so) mit zwei TCP Ports pro Library: Port für lokale Verbindung von Sam Prozessen, Default zwei Prozesse Port für Rückverbindungen von ACSLS Server, Default dynamisch Firewall ssi_so 111/UDP rpcbind Sam Prozesse SAM-QFS Server ssi_so dynamisch ACSLS ACSLS Server

28 DLR.de Folie 28 ACSLS über Firewall - Lösung Verbindung zum ACSLS Server: Port fix konfiguriert, kein rpcbind Unterschiedliche fixe Ports für die ACSLS Client-Prozesse (ssi_so) auf SAM-QFS Server Einfache Firewall-Freischaltungen: Verbindung vom SAM-QFS Server zum ACSLS Server: Immer Port Verbindung vom ACSLS Server zum SAM/QFS Server: Ports und Sam Prozesse ssi_so ssi_so Fix Fix Fix ACSLS ACSLS Server 1 ACSLS SAM-QFS Server ACSLS Server 2 Fix 30032

29 DLR.de Folie 29 ACSLS über Firewall - Konfiguration Library Parameter File 1 (Auszug): hostname = acsls-1 # ACSLS Server portnum = # lokaler Port csi_hostport # Port auf ACSLS Server ssi_inet_port # Port für Rückverbindung vom ACSLS Server Library Parameter File 2 (Auszug): hostname = acsls-2 portnum = csi_hostport ssi_inet_port 30032

30 DLR.de Folie 30 Fragen?