Angewandte Forschung zu Datenlebenszyklen in der Helmholtz-Gemeinschaft und darüber hinaus

Transkript

1 Angewandte Forschung zu Datenlebenszyklen in der Helmholtz-Gemeinschaft und darüber hinaus Christopher Jung, KIT (SCC) KIT University of the State of Baden-Wuerttemberg and National Research Center of the Helmholtz Association

2 Overview Motivation Datenlebenszyklus Large Scale Data Facility Large Scale Data Management and Analysis bwfdm-communities Erfahrungen 2

3 Motivation (I): Scientific Big Data Volume Experiment Observation Simulation 3 Value Velocity Datennahme Analyse Transfer Visualisierung Variety Datenquellen Workflows Formate Analysemethoden (Nicht-)Reproduzierbarkeit Kosten Föderationen Verteilter Speicher Verteilte Nutzer Zugriff Sicherheit Datenschutz Nachhaltigkeit Archivierung Preservation Curation Auffindbarkeit Open Access

4 Motivation (II): Data Science Coding Algorithmen Workflows Auffinden von Bottlenecks Debugging 4 Drew Conway Data Science Venn Diagramm (CC A-NC Linzenz), Erklärungen zu Hacking Skills hinzugefügt

5 Wissenschaftlicher Datenlebenszyklus 5

6 Large Scale Data Facility: Überblick Datenservices für Daten-intensive Communities Unterstützt viele Zugriffsprotokolle (NFS, HTTP, SCP, GridFTP, ) Ressourcen für internationale, nationale und Landesprojekte Finanziert durch HGF und Land BW Enge Zusammenarbeit mit WLCG Tier-1 Zentrum GridKa HPC + Cluster

7 Large Scale Data Management and Analysis Dualer Ansatz Data Life Cycle Labs Gemeinsame F&E mit Nuztercommunities Optimierung des Datenlebenszyklus Community-spezifische Tools und Services für Management und Analyse Data Services Integration Team Generische Methoden F&E Daten-Tools und -Services für mehrere Communites Schnittstelle zwischen föderierten Dateninfrastrukturen und DLCLs/Communities 7

8 LSDMA Fakten und Zahlen Helmholtz Portfolio Erweiterung Initiale Projektlaufzeit: Partners: Projektkoordinator: Achim Streit (KIT) Nachhaltigkeit: Aufnahme in die Programmorientierte Förderung der Helmholtz Gemeinschaft ab Helmholtz-Querschnittsverbund Zusammenarbeit mit vielen Projekten 8

9 Ausgewählte LSDMA Aktivitäten (I) DLCL Schlüsseltechnologien Lichtscheibenmikroskopie Mikut et al. (2013), Automated processing of zebrafish imaging data - a survey, Zebrafish 10(3), DOI: /zeb Experimental Microscope 16 TB/d Data Acquisition System Data Ingest Client 400 MB/s Repository Automatic Processing Analysis DLCL Energie Electrical Data Recorder: Hochfrequente 3-Phasen Spannungsmessung zur Qualitätsbestimmung von Stromnetzen EDR-Device 1 EDR-Device n 8.7 GB/d 8.7 GB/d Web Server Generic Data Services LSDF (HDFS/GPFS) Metadata Storage Data Analysis (easimov modeling and analysis toolbox) 9

10 Ausgewählte LSDMA Aktivitäten (II) DLCL Erde&Umwelt GLORIA Projekt Spektrometer auf Flugzeug (DLR) Umstieg auf NoSQL-DB MongoDB Data Services Integration Team Interoperable föderierte Authentifizierungsund Autorisierungs-Infrastruktur Langfristige Bit-Stream Preservation Suche in Metadaten

11 bwfdm-communities Verstehen und analysieren des Forschungsdatenmanagements in allen wissenschaftlichen Arbeitsgruppen an Unis des Landes BW ( Betrachtung des long tail of science ) Einheitliche Darstellung der Portfolios der Uni-Bibliotheken und -Rechenzentren für Forschungsdaten Strukturierte Interviews in zwei Phasen (~20 muss-fragen in erster Phase) Collect, analyze, share Grundlage für Folgeprojekte in Infrastruktur, Services und F&E Laufzeit:

12 Erfahrungen 12 Communities sehr unterschiedlich: Vorwissen Detailtiefe bei Beschreibung des Datenlebenszyklus Genutzte Tools und Services Terminologie Anforderungen bestimmt durch: Ansteigende Datenmengen Kooperation zwischen Gruppen Richtlinien Open Access/Data Sicherung und Aufbewahrung von Primärdaten Laufenden Betrieb In den Communities: Focus auf Datenanalyse Hohe Fluktuation von Computingexperten Allgemein: Interoperable AAI äußerst wichtig Datenschutz rechtlich und technisch eine Herausforderung Communities brauchen Evolution, keine Revolution Anforderungen können sehr spezifisch sein Keine einheitliche Sprache