Gemeinsame Komponenten für die Datenverwaltung in der Klima-Community. Stephan Kindermann DKRZ

Transkript

1 Gemeinsame Komponenten für die Datenverwaltung in der Klima-Community Stephan Kindermann DKRZ RDA Deutschland Treffen 2015, Potsdam

2 Übersicht Klima-Kontext: Warum gemeinsame Komponenten Unsere Klima (Modell-)Daten-Infrastruktur und ihre Komponenten Integration in interdisziplinäre Infrastrukturen Zusammenfassung RDA Deutschland Treffen 2015, Potsdam 2

3 Warum gemeinsame Komponenten? Klima-Modellierungsgruppen müssen in internationalen Vergleichs-Experimenten ( Climate Model Intercomparison Projects CMIPs) teilnehmen Druck in Richtung gemeinsamer Standards, Abstimmungen, Gremien Notwendigkeit gemeinsamer Dateninfrastruktur-Komponenten (CMIP5: ~ 3 PByte) Daten sind von interdisziplinärem Nutzen Daten sollten langfristig verfügbar sein DKRZ: stellt Compute- und Daten-Diensten für die (deutsche) Klima- Community bereit Mitarbeit an Entwicklung und Bereistellung von gemeinsamen Komponenten kindermann@dkrz.de RDA Deutschland Treffen 2015, Potsdam

4 Gemeinsame Datenverwaltung: Infrastruktur / IS-ENES Dateninfrastruktur Weltweites P2P System, > 3PByte DKRZ: LTA, QA, DOI PID Infrastruktur Ermöglichung von Vergleichs-Experimenten (CMIPs) Kein zentrales Funding Open source software Schnittstelle zu anderen communities (z.b. Klimafolgenforschung) Komponenten: Datenzugriff, verteilte, synch. Kataloge, AAI, Metadaten, LZA, DOI Prozess, QA Prozess, PIDs.. Prozessierung, WPS, Provenance, Kataloge,.. Governance Struktur, Operations Team, DMP,.. kindermann@dkrz.de RDA Deutschland Treffen 2015, Potsdam 4

5 Gemeinsame Datenverwaltung: Infrastruktur Komponenten Modellierungs- Zentren Beobachtungs- Reanalyse, Daten SW, Kontrollierte Vokabulare, (Meta-)Daten, Kataloge, Betrieb, Governance, Gremien,.. Practical Policies : Datenbereitstellung, Versionierung, Replikation, QA Prozess Op. Team PID Vergabe bei Publikation (DOI Vergabe auf langzeitarch. Collections) Daten Index Comm unity Portale Daten Publikation Versionierung Replikation Compute Synchronisation / ENES data infrastructure Abgeleitete / On- Demand Datenprodukte Daten Index Such- API Datenzugriff API Nutzer kindermann@dkrz.de RDA Deutschland Treffen 2015, Potsdam 5

6 Curation Identification Citation Cataloguing Processing Optimization Provenance Gemeinsame Komponenten: über Community Grenzen hinweg, z.b Envri+ SIOS RDA Deutschland Treffen 2015, Potsdam 6

7 Curation Identificatio n/citation Cataloguing Processing Optimization Provenance André Chanzy Markus Fiebig Anders Tjulin Andreas Petzold Stephan Kindermann Alex Vermeulen Atmosphere Jon Parr Morten Rasch Biosphere Multi domain Michael Mirtl Geosphere RI development: Architecture design Hydrosphere Meta information linking: Linking model Common vocabulary: Reference model SIOS Vito Vitale Angelo Pietro Viola Glenn Nolan Thierry Carval Thomas Loubrieu Robert Huber Keith Jeffery RDA Deutschland Treffen 2015, Potsdam 7

8 Komponenten aus DKRZ Perspektive DKRZ als nationales Rechen- und Datenzentrum für die Klimagemeinschaft DKRZ als in internationlen e-infra Strukturen Engagement in die Komponenten- Entwicklung/Etablierung RDA Catalogs Provenance + PIDs + Citation Processing Replikation Quality Assurance DOI assignment DKRZ services e-infra / Communities S I O S Catalog integration Provenance info PID integration PID typing, collections practical policies (replication/versioning..) Early citation Data near processing kindermann@dkrz.de RDA Deutschland Treffen 2015, Potsdam 8

9 Zusammenfassung Wichtige Komponenten: Metadaten, Kataloge PID / PIT basierende Dienste Collection-Verwaltung Versionierung Replikation Datenzitierung (DOIs) APIs (Prozessierung, PID record management,..) Anstrengungen diese Komponenten abzustimmen und in der Klimadaten-Infrastruktur und darüber hinaus zu etablieren und zu nutzen kindermann@dkrz.de RDA Deutschland Treffen 2015, Potsdam 9