Copernicus Data Access and Exploitation Collaborative Infrastructure COPACI

Transkript

1 Folie 1 Copernicus Data Access and Exploitation Collaborative Infrastructure COPACI Konzept und Status 06. März 2014 Bonn-Oberkassel

2 Folie 2 Copernicus wird Wirklichkeit EU Copernicus Programm: 4,4 Mrd bis 2020 Sentinel-1A Start am 3. April Neue nationale Copernicus Maßnahmen angelaufen

3 Folie 3 Copernicus Datenzugang Courtesy of ESA

4 Folie 4 Copernicus Datenzugang

5 Folie 5 Copernicus Datenzugang Copernicus Dienste EO Data Users CGS MPC circulation network CQC PAC POD dissemination network Data Hub Sentinel Core PDGS

6 Folie 6 Sentinel Betriebsplanung Langfristige Aufnahmeplanung kein individuelles Tasking! Aufnahmeplanung wird regelmäßig (~6 Monate) aktualisiert auf Basis von Nutzeranforderungen High-Level Operations Plan (HLOP) Systematischer Datendownlink / Prozessierung

7 Folie 7 Forderungen für CollGS 1. X-Band Datenempfang auch an Stationen in Neustrelitz und Inuvik 2. Ka-Band Datenempfang auch in Deutschland (OP, NZ) 3. Verwendung des ESA Prozessors an CollGS Stationen 4. Zugang zu L-0, L-1a, L-1b Produkten 5. Berücksichtigung bestimmter Regionen in Aufnahmeplanung 6. Datenzugang zu Produkten des Core Ground Segments in Deutschland: effizient schnell flexibel

8 Folie 8 Sentinel Kern-Nutzlast-Bodensegment

9 Folie 9 Das Konzept des collaborative Ground Segment GMES Space Component Programmdeklaration (2005): National utilisation of Sentinel data by Participating States will be supported by the right of data access, with agreed priorities in terms of operations planning. Das CollGS soll zusätzliche Verwendungen von Sentinel-Daten ermöglichen: 1. NRT Produkte (Direktempfang bei zusätzlichen Stationen) 2. Ergänzende Datenprodukte oder Algorithmen 3. Besserer/schnellerer Zugang (mirror sites) 4. Neue Tools / Entwicklungen 5. Ergänzende Cal/Val Aktivitäten

10 Folie 10 Optimale Nutzung von Copernicus in Deutschland Informieren Abstimmen und Vernetzen Befähigen und Begleiten Bereitstellen

11 Folie 11 Nationale Copernicus-Maßnahmen des BMVI Informationsarbeit Unterstützung der Fachkoordination Technische Implementierungs- und Validierungsprojekte fördern Offene Datenpolitik / Nationale Copernicus IT-Infrastruktur

12 Folie 12 COPACI Funktionen Zugang Verarbeitung Erweitertes Portfolio (Monitoring)

13 Folie 13 COPACI - Systemkonzept Search & Portrayal Applications & Projects Portal Website Marketplace Provisioning Archive Access Processing National Archive Bulk Data Access LTA Catalogue Local Storage National Mirror Download Subsetting & Distribution Subscription Ingestion Applications s Hosting Hosted Processing Copernicus Space Component Data Access External Entities Collaborative Acquisition Station Core PDGS Data Hub Catalogues Third-Party Data NRT Data Provisioning

14 Folie 14 Szenario Landanwendung Große, regionale Datensätze (~10 Tbyte). reference data Benötigt externe Datensätze data input other mission or in-situ data reference data selection and correlation atmospheric correction physical sensor model improvements ortho-correction and geocoding digital elevation model Planbar, oft data-driven Pre-processing typisch (geocoding, Atmosphärenkorrektur, Wolkenmaske). application specific classification/processing Format conversion Verarbeitung lokal oder remote. delivery Massenverarbeitung muss automatisierbar und kosteneffizient sein

15 Folie 15 Szenario Überwachung von Küstengewässern Subscription, oft NRT Anforderung Systematisches pre-processing Externe Daten (Wettervorhersage, usw.) nötig Automatisierte Veröffentlichung

16 Folie 16 Szenario Globale Zeitserien (re)processing full mission datasets, several missions (Level 1) algorithm development validation (global) Level 3/4 products based on consistent long time series new requirements Komplette Missions-Datensätze Regelmäßiges re-processing Bulk processing bis Level 3/4 Regelmäßiges Ergänzen mit neuen Daten.

17 Folie 17 Szenario made-to-order selected inputs regional subsets a few terabytes catalogue and data access value-added processing hosted processors dissemination and accounting customerrequested products Effiziente Katalogsuche Regelmäßiges Harvesting des Katalogs Interaktive Datenauswahl und - zugriff Kommerzielle Produktion

18 Folie Download external user N external user 1 Szenario Data Driven data Processing driven production user downloads product 9 notification informs user Subscription Catalogue Subsetting & Distribution 4 8 subscription handling concurrent & direct access by services notification triggers production 5 2 Application (production) 7 3 Local Storage National Mirror Archiving 1 archiving and cataloguing of newly ingested product Ingestion 6 product access archiving and cataloguing of output products retrieval from data hub Subscription für automatische Datenauswahl und Trigger Direkter Zugriff auf Input- Daten Anforderungen an Metadaten Hohe Datenraten bei gleichzeitiger Nutzung

19 Folie 19 Zugang zu Copernicus Daten via COPACI Search & Portrayal Applications & Projects Portal Website Marketplace Provisioning Archive Access Processing National Archive Bulk Data Access LTA Catalogue Local Storage National Mirror Download Subsetting & Distribution Subscription Ingestion Applications s Hosting Hosted Processing Copernicus Space Component Data Access External Entities Collaborative Acquisition Station Core PDGS Data Hub Catalogues Third-Party Data NRT Data Provisioning

20 Folie 20 Zugang zu Copernicus Daten via COPACI (1/3) Access Download Zugang zu Produkten im COPACI Archiv Subsetting & Distribution Push-service für Auswahl eingehender Produkte Subscription Erlaubt Definition von Filtern und Triggering (von Prozessierung, ) Ingestion Lädt Daten vom Data Hub

21 Folie 21 Zugang zu Copernicus Daten via COPACI (2/3) Archive Catalogue Katalog der Daten und Produkte, die über COPACI verfügbar sind. Local Storage Produkte (value-added, erweitertes Portfolio) National Mirror Online gehaltene Sentinel-Produkte

22 Folie 22 Zugang zu Copernicus Daten via COPACI (3/3) National Archive Bulk Data Access Effizientes on-the-fly nachladen Copernicus Space Component Data Access Core PDGS Data Hub LTA Collaborative Acquisition Station NRT Data Provisioning ESA Archiv Schnittstelle für Direct Access Station ESA Bodensegment Daten Dritter Catalogues Primärer Zwischenspeicher der ESA External Entities Third-Party Data

23 Folie 23 Verarbeitung von Copernicus Daten in COPACI Search & Portrayal Applications & Projects Portal Website Marketplace Provisioning Archive Access Processing National Archive Bulk Data Access LTA Catalogue Local Storage National Mirror Download Subsetting & Distribution Subscription Ingestion Applications s Hosting Hosted Processing Copernicus Space Component Data Access External Entities Collaborative Acquisition Station Core PDGS Data Hub Catalogues Third-Party Data NRT Data Provisioning

24 Folie 24 Verarbeitung von Copernicus Daten in COPACI Processing Applications Anwendungen, die auf COPACI laufen. s Hosting Cloud Infrastruktur (Virtuelle Maschinen) Hosted Processing Cluster Infrastuktur (high-performance)

25 Folie 25 Weitere COPACI Funktionen Search & Portrayal Applications & Projects Portal Website Marketplace Provisioning Archive Access Processing National Archive Bulk Data Access LTA Catalogue Local Storage National Mirror Download Subsetting & Distribution Subscription Ingestion Applications s Hosting Hosted Processing Copernicus Space Component Data Access External Entities Collaborative Acquisition Station Core PDGS Data Hub Catalogues Third-Party Data NRT Data Provisioning

26 Folie 26 Weitere COPACI Funktionen Search & Portrayal Portal Website Marketplace Provisioning Darstellung der auf COPACI verfügbaren Dienste Steuerung der COPACI Prozessierung

27 distribution site (close to German backbone network) Collaborative GS site (close to LTA) Folie 27 Architekturkonzept (Option) early data switch (option for high bandwidth users) DMZ FTP/HTTP server Cloud infrastructure short term cache concurrent push to CollGS input point Cluster platform Ingestion Ingestion to/from LTA NRT input one-time retrieval from Sentinel Data Hub

28 Folie 28 Erweitertes Portfolio convenience products Search & Portrayal Applications & Projects Portal Website Marketplace Provisioning Archive Access Processing National Archive Bulk Data Access LTA Catalogue Local Storage National Mirror Download Subsetting & Distribution Subscription Ingestion Applications s Hosting Hosted Processing Copernicus Space Component Data Access External Entities Collaborative Acquisition Station Core PDGS Data Hub Catalogues Third-Party Data NRT Data Provisioning

29 Folie 29 Erweitertes Portfolio convenience products Deutschland-Mosaike Sentinel 1: monatliche Mosaike, IWS VV Mode (Interferometric Wide Swath), 30m Auflösung Sentinel 2: jährliches Mosaik (Daten nach Möglichkeit aus Vegetationsperiode), 10-60m Auflösung Sentinel 3 (OLCI): ½ jährliche Mosaike Sentinel 2A Produkte Thematische Masken Biophysikalische Standardprodukte Standard Applications oder Prozessoren

30 Folie 30 Diskussionsfragen Welche Anforderungen bestehen an ein nationales Copernicus Collaborative Ground Segment? Welche Anforderungen haben Sie an den Sentinel Datenzugang? Gibt es Anforderungen an die Datenvorhaltung?

31 Folie 31 Diskussionsfragen Welche Anforderungen bestehen an eine nationale Exploitation Collaborative Infrastructure? Werden durch die Szenarien alle Anforderungen und Anwendungsfälle abgedeckt? Gibt es Sicherheitsanforderungen? Wie sehen Ihre Anforderungen hinsichtlich Stabilität und Verfügbarkeit aus?

32 Folie 32 Diskussionsfragen Welche Produkte sollten sinnvollerweise zentral für alle Nutzer bereitgestellt werden?