Datenmanagement und einfache Automatisierungen in Ingenieursanwendungen mit dem DataFinder Eike Hoffmann 5. April 2006 Frankfurt a.m. Folie 1 > DataFinder Organize your data > Eike Hoffmann Datenmanagement und einfache Automatisierungen mit dem DataFinder > 05.04.2006
DataFinder Organize your data Management wissenschaftlich-technischer Daten Zur Lösung der Problematik begann AS ca. 2002 mit der Evaluierung industrieller Produktdatenmanagementsysteme (PDMS). 2003 Entwicklung der DataFinder Software durch die DLR-Einrichtung SISTEC an Hand der Anforderungen der Institute AS und FT und basierend auf den zuvor gesammelten Erfahrungen (IK-M Auftraggeber) Durch die Verwendung offener Standards mit Zukunftsperspektive, z.b. XML und WebDAV, wird eine leichte Erweiterbarkeit und hohe Flexibilität erreicht Implementierung des DataFinders erfolgte mittels Python und Qt DataFinder ist eine Art PDM-System, jedoch werden nur die notwendigsten Funktionen implementiert Eine Art allg. Framework Anpassung an das jeweilige Aufgabengebiet ist notwendig: Datenmodellierung, Erweiterungsskripte usw. Beispiel TRACE Workflow-Werkzeug Folie 2 > DataFinder Organize your data > Eike Hoffmann
Anforderungen an den DataFinder Am Beispiel des Instituts AS Unterschiedliche Medien (Online/Offline) Mehrere Standorte Strukturierung der Daten und Kennzeichnung mit Attributen (Metadaten) Teamarbeit Zugriffs- und Rechteverwaltung (Übergreifende Vernetzung von Informationen und deren Fluss) Einfaches suchen und finden von Daten / Verwaltung großer Datenmengen Effizienz bei großen Datenmengen! Auch nach 10 Jahren müssen die Daten noch nachvollziehbar sein. Einfache/schnelle Zugänglichkeit (versch. Plattformen: SGI-IRIX, Linux, MS Windows) Keine Datenredundanz Abbilden einfacher Arbeitsabläufe (Simulationsautomatisierung) Kostenverfolgung, Kostenkontrolle und Kostenbegrenzung Folie 3 > DataFinder Organize your data > Eike Hoffmann
DataFinder - Erwarteter Nutzen im Datenmanagement Zeitersparnis Unterstützung paralleler Abläufe, Verkürzung der Bearbeitungszeit Kostenreduzierung Reduzierung von Doppelarbeit Zentralisierte Datenhaltung und Verwaltung, Reduzierung doppelter Datenbestände Qualitätsverbesserung Verbesserung des Projektmanagements durch bessere Übersicht Bessere bzw. mehr Dokumentation 10 Jahre Archivierung Transparenz: Abbilden von Zusammenhängen die z.t. nur in den Köpfen Weniger existieren Know-How-Sicherung Qualitätsverbesserung im Datenmanagement: Flexibilität, einfache Handhabung, Unterstützung der Anwender, Standardisierung Folie 4 > DataFinder Organize your data > Eike Hoffmann
DataFinder Funktionen Aktueller Stand Clients für verschiedene Plattformen (SGI-IRIX, Linux, Windows ) Anwender und Administratorclient Freie Datenmodellierung (Objekte, Relationen, Attribute) Up- und Download von Daten in verschiedene DataStore-Typen (z.b. FTP, Dateisystem) Trennung von Metainformationen/Struktur und Daten Benutzer-, Gruppen- und Rechteverwaltung Autorisierung über LDAP/DLR-ActiveDirectory Komplexe Suchmechanismen (keine Volltextsuche) Erweiterbar durch Skripte in Python (API) Simulation Geometrie CATIA Netzgenerierung SetupGrid Lösung TAU Visualisierung FieldView Folie 5 > DataFinder Organize your data > Eike Hoffmann
TRACE Workflow-Tool DataFinder Simulationsautomatisierung Anfang des Jahres Gespräche zwischen dem Institut für Antriebstechnik (AT) und SISTEC (SC) bzgl. Workflow-Tool zur Automatisierung von TRACE Rechnungen 20. Februar 2006 Demonstration des DataFinder bei AT und Vorstellung von Umsetzungsmöglichkeiten mit DataFinder Es wurde vereinbart das SISTEC als Demonstrator entsprechende Erweiterungen für den DataFinder implementiert Erfolgte in den vergangenen vier Wochen In der Demonstration wird dieses Workflow-Tool für TRACE vorgestellt Folie 6 > DataFinder Organize your data > Eike Hoffmann
TRACE Workflow-Tool für Cluster Anforderungen und Funktionen Anlegen von Projekten (Project) und Anlegen von Läufen (Run) Auswahl der Einstellungen Input-/Output-Files, Anzahl Prozessoren etc. Integration der existierenden TRACE-GUI Start von TRACE auf dem Cluster oder anderen Rechnerressourcen Transfer der Daten, Anzeige von stdout Monitoring der Jobs Visualisierung von Ergebnissen (GNUplot, Tecplot) Verwaltung der Daten (Lokale Daten / Datenserver) Automatisches Erzeugen von Metadaten (Parsen des Outputs) Suche nach Daten (alte Läufe etc.) Archivierung (CD/DVD, FTP-Server, TSM etc.) Benutzer-/Rechteverwaltung Folie 7 > DataFinder Organize your data > Eike Hoffmann
Der TRACE Workflow Teil I mit dem DataFinder Anlegen der notwendigen Strukturen im DataFinder: Projekte, Datenpool, Anwender usw. Folie 8 > DataFinder Organize your data > Eike Hoffmann
Der TRACE Workflow Teil II mit dem DataFinder 1. Einen neuen Run anlegen 2. Den Run starten 3. Status abfragen 4. Run abbrechen 5. Übersicht über alle Runs 5 4 2 1 3 Folie 9 > DataFinder Organize your data > Eike Hoffmann
Der TRACE Workflow Teil III mit dem DataFinder 1. CGNS Infos / ADFview / CGNS Plot 2. TRACE GUI 3. GNUplot zum Anzeigen von Ergebnissen 1 2 3 Folie 10 > DataFinder Organize your data > Eike Hoffmann
Das Datenmodell und der Gesamtprozess 1. splitcgns Pre Processing für TRACE 2. TRACE (Simulation) 3. fillcgns Eigentliche Lösung TRACE Ausgabe in einer Datei zusammenfassen 4. Post Processing Für Tecplot und/oder andere Programme Der gesamte Prozess wird mit dem DataFinder automatisiert. Folie 11 > DataFinder Organize your data > Eike Hoffmann