Architektur eines Managementsystems für wissenschaftliche Daten

Transkript

1 Architektur eines Managementsystems für wissenschaftliche Daten Simulation and Software Technology (SISTEC) Workshop Wege aus dem Daten-Chaos, DLR Köln-Porz, 16. Mai

2 Übersicht DLR-Anforderungen an an ein Datenmanagementsystem Verfügbare Lösungsansätze SISTEC-Konzept und seine Realisierung Zusammenfassung 2

3 Allgemeine Lage (im DLR): Jeder organisiert die die Verwaltung seiner Daten selbst, zumeist in in einem (mehr oder weniger geschickt) strukturierten Directory-Baum. Probleme: Struktur für für andere Benutzer nicht offensichtlich Gemeinsames Arbeiten an an Projektdaten schwierig (Kopien) Wiederfinden älterer Ergebnisse dem dem Zufall überlassen Ausscheiden von von Mitarbeitern Datenchaos 3

4 Datenmanagementsystem: Anforderungen Geforderte Grundfunktionalität: (z.b. im im Institut AS) Freie hierarchische Strukturierung der der Projektdaten Versionsverwaltung Vermeidung von von mehrfacher Datenhaltung Kollaboratives Arbeiten Unterstützung von von Meta-Daten 4

5 Hierarchische Strukturierung: Frei Frei wählbare Verzeichnisstruktur (vgl.: lokales Dateisystem) Projekt A Simulation Experiment Datei 1 Datei 2 Root Projekt B Projekt C 5

6 Meta-Daten: Zuordnung von von beliebigen Attributen (Properties) zu zu einer Datei: CFD- CFD- Ergebnisfile Properties Modellbezeichnung NACA 0012 Anström-Machzahl 0.7 Anstellwinkel 5 Rechner NEC SX5 Wichtig: -- Schnelle Suche nach Files Files mit mit bestimmten Attributen -- Liste der der Attribute jederzeit erweiterbar 6

7 Versionsverwaltung: Der Der Datenserver speichert eine eine Historie der der Projektdaten. Neueste Version Version 1 Version 2 Version 3 Daten werden erst erst auf auf Anfrage gelöscht. 7

8 Kollaboratives Arbeiten I: I: Synchronisation von von Änderungen verschiedener Benutzer: (vgl. (vgl. cvs) cvs) Server Client 1 Client 2 Original neue Version geschützt Check-out Check-in Kopie geänd. Kopie get Kopie 8

9 Kollaboratives Arbeiten II: II: Benutzer kündigt mit mit check-out eine eine bevorstehende Änderung an. an. Datei ist ist für für andere Benutzer schreibgeschützt. Zugriffsberechtigung über Access Control List List (ACL): ACLs enthalten eine eine Liste von von Benutzern mit mit Schreib-/Leserechten. 9

10 Übersicht DLR-Anforderungen an an ein Datenmanagementsystem Verfügbare Lösungsansätze SISTEC-Konzept und seine Realisierung Zusammenfassung 10

11 Gibt es eine fertige Software-Lösung? Naheliegende Annahme: Wir Wir sind sind nicht die die einzigen mit mit diesem Problem Im Im Rahmen der der TENT-Entwicklung bei bei SISTEC: Suche nach verfügbaren Produkten Vorhandene Optionen (Auswahl): PDM-Systeme (z.b. (z.b. ematrix, Windchill) Co-operative Work Systems (z.b. (z.b. BSCW) Beobachtungen: Problemstellungen sind sind in in rascher Entwicklung (z.b. (z.b. kollaboratives Arbeiten) Lösungen für für unser Problem nicht vorhanden Aber: wichtige Bausteine verwendbar Offene Plattform wichtiger als als fertige Lösung 11

12 Konzept bei SISTEC: Prinzipien: Nur Nur neu neu entwickeln, was was es es nicht fertig gibt. Ansonsten: Integration vorhandener Tools. Beachtung von von Standards, soweit möglich: XML für für Metadaten // Konfigurationsdaten WebDAV für für Web File File Service Etablierte SW SW für für File File // Datenbank -- Services System stellt eine eine offene Plattform dar: dar: Andere Software kann einfach (standardisiert) auf auf die die Daten zugreifen. 12

13 Kurzeinführung des WebDAV-Protokolls: Protokollerweiterung zu zu http http für für Distributed Authoring & Versioning, basierend auf auf XML Realisiert ein ein Dateisystem über das das Internet WebDAV unterstützt: Verzeichnisse (Collections) Metadaten (Properties) Synchronisation von von Änderungen (Locking) Versionen (DeltaV) Zugriffskontrolle (ACL) Suchen (DASL) Erweiterte Verzeichnisse (Links, Sortierungen) 13

14 Vorteile des WebDAV-Protokolls: Standard mit mit großem Entwicklungspotential: Aufbauend auf auf bewährter http-technologie Sicherheitsmechanismen von von http http sind sind nutzbar Bereits integriert in in Microsoft Office 2000, sowie einige Adobe- Produkte Flexible Kombination von von Client- und und Server-Software: Standardisierte Schnittstelle zwischen Client und und Server Client und und Server sind sind strikt voneinander getrennt Client- und und Serverapplikationen können beliebig kombiniert werden 14

15 Übersicht DLR-Anforderungen an an ein Datenmanagementsystem Verfügbare Lösungsansätze SISTEC-Konzept und seine Realisierung Zusammenfassung 15

16 Architekturübersicht: Konzeption als Client/Server -- Anwendung: Server-Seite: WebDAV-Server (z.b. (z.b. Apache & mod_dav), Speicherung von von Dateien und und Meta-Daten Internet: http http + Webdav Alternative 1: 1: Einbindung in in Applikation (z.b. (z.b. TENT) Client-Seite: Alternative 2: 2: Stand-alone GUI GUI für für File-Zugriff (Java) 16

17 Lösungsansatz (Server-Seite) I: I: Web-Server: Erster Schritt: Sicherheit: -- Apache (open source) -- WebDAV-Unterstützung durch mod_dav -- Modul (erlaubt Speichern von von Files Files und und Properties) Organisation der der Daten in in Filesystem Secure Socket Layer (HTTPS) Skalierbarkeit: -- Apache kann mehrere File-Server bedienen -- Mehrere Apache-Server können parallel eingesetzt werden Erweiterungen: -- Zugriffskontrolle ist ist noch nicht in in mod_dav implementiert (bald zu zu erwarten) -- Bis Bis dahin auf auf Client-Seite oder selbst in in mod_dav implementieren 17

18 Lösungsansatz (Server-Seite) II: II: Zukunft: -- XML-Datenbank statt Filesystem -- Kommerzielle Lösungen: Infonyte (FhG-Ausgründung), Tamino (Software AG) AG) -- Andere mögliche Server-Lösung: Sharepoint (Microsoft) Vorteil: Datenfiles werden nicht nach Properties durchsucht bessere Skalierbarkeit 18

19 Datenzugriff (Client-Seite): Andere Anwendung Stand-alone GUI TENT-GUI File Server XML Binary Files Normaler File-Zugriff auch weiterhin über Standard-Betriebsystem 19

20 Option 1: 1: Stand-alone GUI Eine Eine Java-Applikation erlaubt den den Zugriff auf auf den den Datenbestand von von jedem Arbeitsplatzrechner aus. aus. Damit steht folgende Grundfunktionalität zur zur Verfügung: Einsehen und und Ändern von von Dateiattributen (Properties) Definition von von Verweisen zwischen Dateien Durchsuchen des des Datenbestandes Laden von von Dateien vom vom Server Versionsverwaltung Synchronisation von von Änderungen Zugriffsbeschränkungen 20

21 Option 2: 2: Zugriff über TENT-GUI Komfortabelste Art Art des des Zugangs für für Simulationsrechnungen: Direkter Datenzugriff von von der der TENT-GUI aus aus Automatischer Transfer der der Simulationsdateien von/zu dem dem Compute Server Alle Alle Simulationsparameter zu zu einem Simulationsergebnis werden als als Metadaten gespeichert Workflow-Konfigurationen werden automatisch gespeichert und und sind sind später wieder abrufbar 21

22 Option 3: 3: Zugriff durch andere Anwendung Die Programmierschnittstelle zum Datenbestand ist ist nicht an an TENT gebunden. Volle Grundfunktionalität über Standard-Schnittstellen Strukturierte Anwendungsdaten abgelegt mit mit XML Frei Frei wählbares Datenmodell 22

23 Entwicklungsstand: Eine Eine erste Lösung wurde im im DLR-Projekt IMENS realisiert (Option 2): 2): Hierarchische Projektstruktur: Organisation von von Workflows und und zugehörigen Files Files Datenzugriffskontrolle: In In TENT client-seitig realisiert Gegenwärtig in in Entwicklung: Stand-alone GUI GUI (TENT-unabhängig) Erste Version im im August

24 Übersicht DLR-Anforderungen an an ein Datenmanagementsystem Verfügbare Lösungsansätze SISTEC-Konzept und seine Realisierung Zusammenfassung 24

25 Zusammenfassung: Internetstandards: mächtige Bausteine für für Datenmanagement Grundfunktionalität bereitgestellt durch: Open-Source Software (z.b. (z.b. Apache-Server) Standardbausteine (z.b. (z.b. XML-Datenbanken mit mit WebDAV) Begrenzte Eigenentwicklungen: Einbindung in in vorhandene Client-Umgebungen (z.b. (z.b. TENT) Client-GUI zum zum freien Datenzugriff Bei Bei SISTEC: Prototyp realisiert im im IMENS-Projekt (in (in TENT) TENT-unabhängiger Client in in wenigen Monaten verfügbar 25