Dienste für eine kollaborative Dateninfrastruktur. Daniel Mallmann Jülich Supercomupting Centre Forschungszentrum Jülich GmbH

Transkript

1 Dienste für eine kollaborative Dateninfrastruktur Daniel Mallmann Jülich Supercomupting Centre Forschungszentrum Jülich GmbH

2 Datenflut Exponential growth Zettabytes Exabytes Petabytes Terabytes Gigabytes Increasing complexity and variety Herausforderungen Speichern Ordnen Auswerten 2

3 Datenwachstum Beispiel Lebenswissenschaften 3

4 Forschungsinfrastrukturen Hunderte verschiedener Forschungsinfrastrukturen: wie viele können wir dauerhaft betreiben? 4

5 Forschungsinfrastrukturen Communities einbinden Synergien erkennen Hunderte verschiedener Forschungsinfrastrukturen: wie viele können wir dauerhaft betreiben? 5

6 Riding the Wave Ist die kollaborative Dateninfrastruktur ein Modell für die Zukunft? Wie sehen die gemeinsamen Basisdienste aus? 6

7 EUDAT Projekt Teilnehmer 26 Partner aus 13 Ländern Datenzentren, Technologieanbieter, Communities Leitung CSC IT Center for Science, Finnland Start 1 st October 2011 Dauer 36 Monate (+6 Monate Verlängerung) Budget 16,3 M, davon 9,3 M Förderung durch die EU EC Call Web Call 9 (INFRA ): Data infrastructure for e Science ( ) 7

8 EUDAT ist eine europaweite Initiative zur Bildung einer interdisziplinären und länderübergreifenden Dateninfrastruktur, die eine Reihe von gemeinsamen Diensten für die Datensicherung und den Zugang zu Daten anbietet unterstützt mehrere Communities durch enge Zusammenarbeit bei der Bereitstellung dieser Dienste als Teil der EUDAT kollaborativen Dateninfrastruktur 8

9 Konsortium Communities Universelle Datenzentren Technologieanbieter 9

10 EUDAT europaweite Infrastruktur Universelles Datenzentrum Community Datenzentrum 10

11 Eine nutzergesteuerte Initiative EPOS: European Plate Observatory System CLARIN: Common Language Resources and Technology Infrastructure ENES: Service for Climate Modelling in Europe LifeWatch: Biodiversity Data and Observatories VPH: The Virtual Physiological Human INCF: International Neuroinformatics Coordinating Facility DRIHM: Distributed Research Infrastructure for Hydrometeorology DiXA: Data Infrastructure for Chemical Safety LTER: European Long-Term Ecosystem Research Network Allen gemeinsam sind die Herausforderungen Referenzmodell und Architektur der Dateninfrastruktur Persistent Identifier Metadaten Management Verteilte Datenquellen Interoperabilität der Daten 11

12 Wachsende Nutzerbeteiligung Dialoge User Foren Offene Call for Collaboration 12

13 EUDAT Dienste 13

14 EUDAT Dienste 14

15 Robuster, sicherer und hochverfügbarer Replikationsdienst Schutz vor Datenverlust durch Langzeitarchivierung und Datenerhaltung Optimierung des Zugriffs an verschiedenen Standorten für verteilte Communities Datenhaltung in Zentren mit leistungsstarken Computern für rechen-intensive Datenanalysen 15

16 Zielt auf kleine und mittelgroße Community Repositories, die nicht die Kapazität haben, um Forschungsdaten für lange Zeit sicher zu speichern keine langfristige Finanzierung für die sichere Datenhaltung haben nicht ausreichend Rechenleistung zur Analyse der Daten für eine große Nutzerzahl anbieten können Jedes Community Repository, das eine Repository- Infrastruktur mit PIDs und Metadaten hat, die die Eigenschaften und den Inhalt der replizierten Daten beschreiben, kann sich am B2SAFE Dienst beteiligen 16

17 Einfacher Transfer großer Datenmengen zwischen EUDAT Speicherressourcen und den Arbeitsbereichen von HPC Systemen Zuverlässige, effiziente, benutzerfreundliche Werkzeuge für den Datentransfer Unterstützt Wissenschaftler beim Transfer großer Datenkollektionen von EUDAT Speichersystemen zu HPC und HTC Systemen Hilfsmittel um Rechen- und Analyseergebnisse in die EUDAT Infrastruktur zurückzuschreiben Verfahren für den Import von Datensätzen in die EUDAT Infrastruktur 17

18 Zielt auf Communities, die Zugriff auf große Datenspeicher und HPC Systeme brauchen Daten von EUDAT Datenspeichern zu entfernten HPC Systemen (z.b. PRACE oder XSEDE) versenden wollen einen einfachen Weg für den Datenimport in die EUDAT Infrastruktur suchen Nutzbar für alle EUDAT Communities, die Daten aus der EUDAT Infrastruktur exportieren oder Analyseergebnisse bzw. neue Datensätze in die EUDAT Infrastruktur importieren wollen 18

19 Benutzerfreundlicher, zuverlässiger Dienst zum Speichern und Sharing von Forschungsdaten Einfache Online Registrierung für Datenanbieter Vereinfacht das Hochladen und die Speicherung von kleinen wissenschaftlichen Datensätzen Erlaubt Anwendern ihre Daten mit anderen Wissenschaftlern zu teilen 19

20 Zielt auf Wissenschaftler, die keine passende Möglichkeit haben um Forschungsdaten mit Metadaten zu speichern sich um die Haltbarkeit ihrer lokal gespeicherten Daten Sorgen machen keinen passenden Dienst haben um ihre Daten, Ergebnisse und Ideen mit Wissenschaftlern weltweit zu teilen Offen für alle Europäischen Wissenschaftler auch Citizen Scientists 20

21 Eigenschaften Einfacher Upload Prozess Rechtemanagement Langzeitdatenhaltung Metadaten Extraktion für eine Vielzahl von Datentypen Referenzierbare Daten für einfaches Sharing und Wiederverwenden 21

22 EUDAT Metadaten Dienst Einfaches Auffinden von Kollektionen wissenschaftlicher Daten Zugriff auf Datenkollektionen durch Referenzen in den Metadaten Kommentieren von Metadaten und Ressourcen und teilen dieser Kommentare mit anderen Wissenschaftlern 22

23 Zielt auf Wissenschaftler, die schnell nützliche Daten für Forschungszwecke finden wollen neue Datenkollektionen für spezifische Forschungsfragen bilden wollen einen schnellen Überblick über verfügbare Forschungsdaten bekommen möchten Kommentare über Daten und Metadaten mit anderen Wissenschaftlern teilen möchten Offen für alle Wissenschaftler kostenfrei 23

24 Nutzung Communities entscheiden welche Metadaten veröffentlicht werden Metadatenanbieter werden regelmäßig durchforstet um umfassende und aktuelle Metadaten anzuzeigen 24

25 EUDAT Site B Community Store irods GridFTP EUDAT Site A PID PID Data Managers OAI PMH EUDAT Site C PID Citizen scientists Angepasster Dienst für wissenschaftliche Communities und Citizen Scientists http http Researchers OAI PMH 25

26 Neue Dienste Evaluation und Auswahl geeigneter Technologien Design des Dienstes und Evaluation mit interessierten Communities Integration des Dienstes mit den etablierten Diensten der EUDAT Infrastruktur 26

27 EUDAT in H2020 EINFRA : Managing, Preserving, and Computing with Big Data CDI wird als Föderation partnerschaftlich zusammenarbeitender Zentren etabliert, die die Vielfalt zahlreicher Community-spezifischer Repositories mit der Beständigkeit der größten Europäischen wissenschaftlichen Datenzentren verbindet Wirtschaftliche, nutzergetriebene, benutzerfreundliche, anpassbare, belastbare und skalierbare CDI bietet eine integrierte Lösung für das Datenmanagement im gesamten Lebenszyklus (Erzeugung, Verarbeitung, Bewahrung, Zugriff und Wiederverwendung) Infrastruktur, die in andere e-infrastrukturen (Grid, Cloud, HTC, HPC) integriert wird, mit ihnen interoperable ist und so die Cross- Infrastruktur Nutzung vorantreibt Infrastruktur mit klaren Dienstangeboten und einem Business- bzw. Einnahmemodell, dass ihren Betrieb ohne Projektförderung ermöglicht 27

28 CDI benutzen CDI benutzen oder beitreten Suchen und verwenden von Daten bzw. speichern von Datensätze in der CDI über eines der öffentlichen Front-Ends CDI beitreten Integration mit mindestens einem EUDAT Zentrum 28

29 Netzwerk zuverlässiger Zentren Eigenständige Zentren arbeiten in einem gemeinsamen Verbund um Dienste anzubieten Universelle Datenzentren mit langjähriger Erfahrung in der Zusammenarbeit Community Datenzentren mit Verbindung zu wenigstens einem universellen Datenzentrum EUDAT bietet Lösungen in einer föderierten Umgebung 29

30 Interagieren mit EUDAT Existierende EUDAT Dienste evaluieren B2FIND B2SAFE B2STAGE B2SHARE Diskussionen zu existierenden und neuen Diensten EUDAT User Forum EUDAT Konferenz EUDAT Partner EUDAT Observer oder Associated Partner werden 30

31 3 rd EUDAT Conference Bringing data infrastructures to Horizon September 2014 De Meervaart Conference Centre Amsterdam, The Netherlands Co-located with the Research Data Alliance 4 th Plenary Meeting 31