Data Management mit UNICORE 6

Transkript

1 Data Management mit UNICORE 6 Thomas Soddemann

2 Überblick DFG Position zur Datenhaltung DataFinder und WebDAV Unicore6 DataFinder Anbindung Weitergehendes Q&A

3 Sicherung guter wissenschaftlicher Praxis und Verfahren Primärdaten, die Grundlage einer wissenschaftlichen Veröffentlichung sind, werden auf haltbaren und gesicherten Trägern in der Einrichtung, in der sie entstanden sind, mindestens zehn Jahre aufbewahrt. Aus Regel 3: DFG, Sicherung guter wissenschaftlicher Praxis und Verfahren bei wissenschaftlichem Fehlverhalten

4 Das bedeutet Haltbar Gesichert Wie wurden die Daten erzeugt? Wie können die Daten ausgewertet bzw. betrachtet werden? Was beinhalten die Daten? Welche Zusammenhänge bestehen zu anderen Datensätzen? Best before Wer hat die Daten erzeugt? Für welche wissenschaftliche Veröffentlichung wurden die Daten als Grundlage verwendet?

5 Verpflichtung zur Sicherung von Daten und Erstellung und Sicherung von Metadaten

6 Beispiel DLR

7 Beispiel der DLR

8 DLR DataFinder als Lösung

9 DataFinder Leitkriterien Nur neu zu entwickeln, was es nicht fertig gibt. Ansonsten: Integration vorhandener Tools. Beachtung von Standards, soweit möglich: XML für Metadaten / Konfigurationsdaten WebDAV für Web File Service Etablierte Software für File / Datenbank - Services System stellt eine offene Plattform dar: Andere Software kann einfach (standardisiert) auf die Daten zugreifen.

10 WebDAV

11 WebDAV WebDAV ist eine Erweiterung des HTTP-Protokolls für "Distributed Authoring & Versioning" Realisiert eine Art versionierendes Dateisystem über ein Netzwerk WebDAV unterstützt: Verzeichnisse (Collections) Metadaten (Properties) Synchronisation von Änderungen (Locking) Versionen (DeltaV) Zugriffskontrolle (ACL) Suchen (DASL) Erweiterte Verzeichnisse (Links, Sortierungen)

12 WebDAV Vorteile Aufbauend auf bewährter HTTP-Technologie Sicherheitsmechanismen von HTTP sind nutzbar webdavs:// U.a. integriert in Microsoft Office 2002 und OpenOffice Windows Explorer Linux Konqueror Web.de Smartdrive Amazon S3 Standardisierte Schnittstellen zwischen Client und Server Client und Server sind strikt voneinander getrennt Client- und Serverapplikationen können beliebig kombiniert werden

13

14 DataFinder Datenmodell Administrator legt fest: Objekttypen Relationstypen Attributtypen Objektrelationen über Instanzen von Relationstypen Attribute als Metainformationen (i.a.) Erweiterung des Datenmodells jederzeit möglich

15 DataFinder Suche Einfache und erweitere Suche Verknüpfung von Suchtermen mit booleschen Ausdrücken Regulärer Ausdrücke möglich Suche nach Objekttypen, Relationstypen Suche in den Metadaten/Attributen eines Datenobjektes Suchen in den Suchergebnissen Suchanfragen speicherbar Suchen in Unterzweigen des Datenmodells möglich

16 DataFinder Nutzeradministration Benutzer- und gruppen- (rollen-) basierte Zugriffskontrolle Verwaltung der Zugriffsrechte mittels Access Control Lists (ACLs) für jedes Datenobjekt Verknüpfung mit Verzeichnisdiensten, wie z.b. LDAP, für die Authentifizierung möglich

17 Daten in DataFinder Die Art der Daten welche der DataFinder verwalten kann ist frei Die Strukturen und Verknüpfungen zwischen den Datenobjekten werden durch die Datenmodellierung definiert. Nach dem Datenmodell richtet sich somit auch, welche Daten an welcher Stelle in das System eingestellt werden können, sollen bzw. dürfen

18 Die UNICORE6 DataFinder Anbindung GOALS Zugriff auf den DataFinder Erstellung und Modifikation von Daten Erstellung und Modifikation von MetaDaten Einbettung in den UNICORE Rich Client NON-GOALS Administration des DataFinder Erstellung und Modifikation des Datafinder Datenmodells

19 Ablauf Neues Simulationsprojekt Erzeugung des Projekts Upload des Inputs Upload des Output Nachträgliche Annotation

20 Deployment Schema DataFinder Admin DataFinder WS WebDAV UNICORE Rich Client Plugin UNICORE

21 Server Side Service Core Persistenz DataFinder DataFinder WS

22 Features Allgemeine Features Verzeichnis- und Dateibrowser Erzeugen, modifizieren, und löschen von Daten Metadatenmanipulation Anzeige Modellstruktur UNICORE spezifische Features Auswahl Inputdateien Auswahl Output

23

24 Verfügbarkeit Beta Testing Phase im Aerogrid Veröffentlichung Anfang Dezember

25 Chemomentum

26 UNICORE6 DataFinder Projekt Team Fraunhofer SCAI Marc Lob Thomas Soddemann DLR Anastasia Eifer Tobias Schlauch