Datenbereitstellung in ESGF 1 und internationale Nutzung

Transkript

1 Workshop DKRZ Datendienste Datenbereitstellung in ESGF 1 und internationale Nutzung 1) Earth System Grid Federation Stephan Kindermann (DKRZ)

2 Research Data Environment DKRZ Projects External ESGF data sources /esgf_projects HOME /pf /scratch /work Disseminated results: new questions, new data producing projects. Production Selection and postprocessing process ESGF Portal Dissemination / Usage During Project Dissemination DOI publication W D C C Long Term Archive Environment /hpss/....arch /hpss/....double Standard Archiving At the end of blocking period CERA CERA MD + GUI /hpss/....doku Container files Long-Term Archiving Selection for 10 years storing Stephan Kindermann (DKRZ) 2

3 Übersicht IPSL, BADC, LIU,.. NASA, PCMDI,.. Research Data Environment /esgf_projects DKRZ (1) Datenbereitstellung (0) ESGF ESGF Portal (2) Datensuche / Zugriff Dissemination / Usage process (3) Datenauswertung Stephan Kindermann (DKRZ). 3

4 ESGF Research Data Environment /esgf_projects ESGF Portal ESGF (Earth System Grid Federation, Weltweites, offenes Konsortium von Institutionen, Laboren und Zentren, die Klimaforschung unterstützen. ESGF wird aus unterschiedlichen, unabhängigen Quellen gefördert (z.b. NASA, NOAA, NSF in den USA and IS-ENES in Europe) Modulare open source Komponenten zur Datenbereitstellung / Datensuche und zum Datenzugriff Stephan Kindermann (DKRZ). 4

5 ESGF P2P Architecture: Data Node, Index Node, Compute Node, IdP Stephan Kindermann (DKRZ). 5

6 ESGF: mehr als CMIP5 Über ESGF angebotene Projekt-Daten: Phases 3 and 5 of the Coupled Model Intercomparison Project (CMIP3 and CMIP5) Coordiated Regional climate Downscaling Experiment (CORDEX) Climate Science for a Sustainable Energy Future (CSSEF) European Union Cloud Intercomparison, Process Study & Evaluation Project (EUCLIPSE) Geo-engineering Model Intercomparison Project (GeoMIP) Land-Use and Climate, Identification of robust impacts (LUCID) Paleoclimate Modeling Intercomparison Project (PMIP) Transpose-Atmospheric Model Intercomparison Project (TAMIP) Clouds and Cryosphere (cloud-cryo) Observational products more accessible for coupled model intercomparison (obs4mips) Reanalysis for the coupled model intercomparison (ana4mips) Dynamical Core Model Intercomparison Project (DCMIP) Community Climate System Model (CCSM) Parallel Ocean Program (POP) North American Regional Climate Change Assessment Program (NARCCAP) Carbon Land Model Intercomparison Project (C-LAMP) Atmospheric Infrared Sounder (AIS) Microwave Limb Sounder (MLS) Stephan Kindermann (DKRZ). 6

7 DKRZ Datenbereitstellung in der ESGF Stephan Kindermann (DKRZ). 7

8 Datenbereitstellung in ESGF Technische Sicht: Metadaten Daten Verzeichnisse Daten-Namen Daten (.nc) (Key, Value) Liste Suchindex Portale APIs, Clients (versionierter) File-Speicher Datenserver Basis-System sehr flexibel Stark kontrollierte Datenbereitstellung notwendig! Stephan Kindermann (DKRZ). 8

9 Datenbereitstellung in ESGF Datenprojekt Sicht: Festlegungen notwendig!! Festlegung einer Schablone für die Directory Struktur zur Ablage von files z.b.../myproj/institute/model/m_version/run/variable/filename Festlegung einer Daten-Namens Schablone (DRS mit Vokabularen) z.b. pr_day_mpi-esm-lr_1pctco2_r1i1p1_ nc Festlegung der File-Metadaten (z.b. netcdf header info) z.b. netcdf CF + Festlegung von Vokabularen für bestimmte Attribute Metadaten Daten (versionierter) File-Speicher Verzeichnisse Daten-Namen Daten (.nc) Stephan Kindermann (DKRZ). 9

10 Beispiel: CORDEX Festlegungen Mehrere Dokumente: Archive design, quality control, node admin File naming conventions: VariableName_Domain_GCMModelName_CMIP5ExperimentName_CMIP5EnsembleMembe r_rcmmodelname_rcmversionid_frequency_starttime-endtime.nc Required attributes:, NetCDF and CF conventions: We require the global attributes institute_id, model_id (identifying the RCM, the same as RCMModelName in the file name), experiment_id, experiment, contact, product, Conventions, creation_date, frequency as defined in CMIP5 // global attributes: :Conventions = "CF-1.4" ; :contact = "rossby.data@smhi.se" ; :creation_date = " T16:01:08Z" ; :experiment = "Evaluation run with reanalysis forcing" ; :experiment_id = "evaluation" ; :driving_experiment = "ECMWF-ERAINT, evaluation, r1i1p1" ; :driving_model_id = "ECMWF-ERAINT" ; :driving_model_ensemble_member = "r1i1p1" ; :driving_experiment_name = "evaluation" ; :frequency = "day" ; :institution = "Swedish Meteorologi cal and Hydrological Institute, Rossby Centre" ; :institute_id = "SMHI" ; :model_id = "SMHI-RCA4" ; :rcm_version_id = "v1" ; :project_id = "CORDEX" ; :CORDEX_domain = "AFR-44" ; :product = "output" ; :references = " ; :tracking_id = "d3afe e ca469c0078ec" ; :rossby_comment = "201106: CORDEX AFRICA 0.44 deg RCA4 v1 ECMWF ERA- INTERIM L40" ; :rossby_run_id = "201106" ; :rossby_grib_path = "/nobackup/ross by15/rossby/joint_exp/cordex/201106/raw/" ; Stephan Kindermann (DKRZ)

11 Datenbereitstellung (in ESGF) DKRZ Dienstleistungen: Metadaten Daten Unterstützung bei Projekt-Festlegungen von Schablonen Entwicklung von automatisierten Daten-Prüf Routinen der Projektfestlegungen (bzw. Entwicklungsunterstützung) Veröffentlichung der Daten auf DKRZ ESGF Datenknoten (versionierter) File-Speicher Verzeichnisse Daten-Namen Daten (.nc) Stephan Kindermann (DKRZ). 11

12 Datensuche und Zugriff Stephan Kindermann (DKRZ)

13 ESGF Stephan Kindermann (DKRZ)

14 DEMO Stephan Kindermann (DKRZ)

15 ESGF / CERA WDCC Integration Research Data Environment CERA CERA MD + GUI External ESGF data sources /esgf_projects /hpss/....doku Container files CERA / ESGF Datenknoten process ESGF Portal Dissemination / Usage During Project WDCC / CERA kann als ESGF Datenknoten fungieren (für bestimmte Projekt-Daten) Stephan Kindermann (DKRZ) EGU

16 ESGF / CERA WDCC Integration Auch langzeitarchivierte Daten können über ESGF such- und zugreifbar gemacht werden Für CMIP5 Daten umgesetzt Bei Bedarf auch für andere ESGF Daten möglich (benötigt Anpassungs-arbeiten des DKRZ internen workflows) Stephan Kindermann (DKRZ) EGU

17 300 TB!!??? 1 kb subset?? Datenauswertung und Nutzung Stephan Kindermann (DKRZ)

18 DKRZ: Status DKRZ: Status Community Werkzeuge Basis-Software DKRZ ESGF Server Cluster CMIP5 / Miklip Analyse System Community Werkzeuge Basis-Software DKRZ Analyse Cluster ESGF Daten HPC Daten Basis-Software ist z.b.: Name Bereitsteller Beschreibung ESGF Verwendung Netcdf4 (+opendap) Netcdf4 linked clients z.b. netcdf4-python, matlab, R,.. cdo nco Unidata Basis-Bibliothek Arbeiten auf heruntergeladenen files (remote netcdf file Zugriff) Verschiedene MPI-M NCAR Community Werkzeuge Auswerte ToolBox UV-CDAT PCMDI Auswerte und Visualisierungs- Toolbox Direkter ESGF Zugriff über opendap der netcdf4 Bibliothek Arbeiten auf ESGF files Arbeiten auf und Visualisieren von ESGF files Stephan Kindermann (DKRZ)

19 DKRZ: nächste Schritte Analyse Software Community Werkzeuge Basis-Software DKRZ Analyse Cluster / Datenserver WPS Analyse Knoten ESGF Daten Knoten Einheitlich nutzbare Analysefunktionalität International einheitliche Datennutzung DKRZ Konsortial Daten Tape Backend LZA / WDCC Daten: Projekt-einheitliche Ablage ESGF Veröffentlichung dynamische Datenprodukte WPS Veröffentlichung Analysefunktionalität: Projekt-einheitliche Ablage WPS Veröffentlichung Stephan Kindermann (DKRZ)

20 Datenauswertung: nicht-lokale Sicht Downscaling C3Grid Portal (UC) Climate4impact (IS-ENES) Portale DKRZ WPS WPS WPS Dienste COWS framework (BADC) ClimDaps Framework (DKRZ) WPS Frameworks Stephan Kindermann (DKRZ)

21 Datenauswertung und Nutzung Mögliche DKRZ Dienstleistungen: Unterstützung beim Einbinden von Auswerte-Funktionalität in WPS Unterstützung beim Betrieb von am DKRZ gehosteten WPS Diensten (VM basiert oder auf physikalischen Ressourcen) (DKRZ: Basisbetrieb von WPS Diensten, Projekt/Endnutzer: Pflege der Funktionalität) Stephan Kindermann (DKRZ)

22 Datenauswertung und Nutzung Mögliche DKRZ Dienstleistungen: Unterstützung beim Einbinden von Auswerte-Funktionalität in WPS Unterstützung beim Betrieb von am DKRZ gehosteten WPS Diensten (VM basiert oder auf physikalischen Ressourcen) (DKRZ: Basisbetrieb von WPS Diensten, Projekt/Endnutzer: Pflege der Funktionalität) Stephan Kindermann (DKRZ)

23 Zusammenfassung: Das DKRZ bietet rund um ESGF einheitliche Dienste zur Bereitstelltung von Projektdaten und Analysefunktionalitäten Datenbereitstellung: ESGF Vorbereitung / Qualitätsprüfung / ESGF Datenpublikation Datenarchivierung: Archivierung / ESGF Publikation archivierter Daten Bereitstellung von Auswerte-Funktionalität: Patenschaft für die Funktionalität durch Projekt/Endnutzer DKRZ bietet Basis- Plattform Stephan Kindermann (DKRZ)

24 Zusammenfassung: Konsortialdaten Projekt Beantragung notwendig Abstimmung der Datenbereitstellung: oder Bereitstellung von Analysefunktionalität über WPS bis Mitte 2015 prä-operativ ab Mitte 2015 Produktionsbetrieb möglich Stephan Kindermann (DKRZ)

25 Danke Fragen? Diskussion! Stephan Kindermann (DKRZ)

26 Anhang Stephan Kindermann (DKRZ)

27 Stephan Kindermann (DKRZ). 27

28 A ESGF (P2P) Portale Nutzerschnittstellen: Mensch Tool 28 Stephan Kindermann (DKRZ). 28

29 selected search facets search across all sites or locally search facet selection search results select data for later retrieval Stephan Kindermann (DKRZ). 29

30 Getting data from ESGF Stephan Kindermann (DKRZ)

31 ESGF / CERA WDCC Integration Stephan Kindermann (DKRZ) EGU

32 Providing Data ESGF index node search facets ESGF data publication ESGF Data node File conventions Attribute conventions Directiory conventions QC check Stephan Kindermann (DKRZ)

33 Providing Data Directory structure: The CMIP5 directory structure has been defined as <activity>/<product>/<institute>/<model>/<experiment>/<frequency>/<mode lingrealm>/<mip table>/<ensemble member>/<version number>/<variable name>/. In CORDEX this is modified as follows: <Domain>/<Institute>/<GCMModelName>/<CMIP5ExperimentName>/<CMIP5Ensembl emember>/<rcmmodelname>/<rcmversionid>/<frequency>/<variablename>/ This cmor-ization process is oftenly time consuming and boring for scientists Stephan Kindermann (DKRZ)

34 A short look behind the curtain 1) Access via Browser 2) SSL Filter intercepts request (HTTPS) - no certificate passed pass on to OpenID Filter Data Node supporting dual authentication methods 4) The user is authenticated now check their authorisation (SAML/SOAP) 6) Access granted pass control to app to serve data SSL Authentication Filter OpenID Filter Authorisation Filter OPeNDAP Service 3) User enters OpenID and is redirected to their home Gateway to login; then returned to the Data Node 7) User launches a terminal to execute downloaded script ESGF Gateway where the user has an account MyProxy Online CA OpenID Provider Authorisation Service Attribute Service 5) Data is under the authority of PCMDI check the user has registered there for the correct entitlement (SAML/SOAP) 8) Skript Calls MyProxy logon to get a certificate 9) Skript downloads data via wget (using the certificate) 10) Authorisation and access proceeds as before Stephan Kindermann (DKRZ)

35 Stephan Kindermann (DKRZ)

36 Der ESGF P2P software Node Types stack Index Idp Data Compute Stephan Kindermann (DKRZ)

37 .. DKRZ ESGF Team vorstellen..? Am Anfang oder am Ende? Stephan Kindermann (DKRZ) EGU