Workflow generierte Provenienz Metadaten in PubFlow. Peer Brauer Universität zu Kiel

Transkript

1 Workflow generierte Provenienz Metadaten in PubFlow Peer Brauer Universität zu Kiel Kiel,

2 > Agenda Agenda Daten und ihre Provenienz Das Projekt PubFlow Provenienzdaten-Erfassung in PubFlow Ausblick Kiel,

3 > Daten und ihre Provenienz Was sind Provenienz- Daten? Beschreibung der Herkunft von Daten Beschreibung der Veränderung von Daten Beschreibung von Faktoren, die Daten beeinflussen Kiel,

4 > Daten und ihre Provenienz Wozu erfasst man Provenienz-Daten? Kiel,

5 > Daten und ihre Provenienz Validierbarkeit Kiel,

6 > Daten und ihre Provenienz QUELLE: THE FOURTH PARADIGM - DATA-INTENSIVE SCIENTIFC DISCOVERY / MICROSOFT RESERACH 2009 Nachvollziehbarkeit Kiel,

7 QUELLE: THE FOURTH PARADIGM - DATA-INTENSIVE SCIENTIFC DISCOVERY / MICROSOFT RESERACH 2009 > Daten und ihre Provenienz Wiederholbarkeit Kiel,

8 > Daten und ihre Provenienz Wie sind Provenienz-Daten strukturiert? Abhängigkeiten zwischen Rohdaten und Datenprodukten Rohdatum Verarbeitung Datenprodukt Provenienz- Daten Kiel,

9 > Daten und ihre Provenienz Wie sind Provenienz-Daten strukturiert? Provenienz-Daten bilden eine Ontologie Rohdatum verarbeitet erzeugt Datenprodukt Algorithmus Kiel,

10 > Das Projekt PubFlow Das Projekt PubFlow Kiel,

11 > Das Projekt PubFlow Ziel des Projekts Entwicklung Scientific Workflows zur Automatisierung sich wiederholender Tätigkeiten Zeitersparnis für den Forscher, den Datenmanager,... Kiel,

12 > Das Projekt PubFlow Observation Institutional Repository Curation Visualization Archival & Publication Simulation & Analysis Research Paper WDC Preprocessing Postprocessing Review Digital Library Kiel,

25 Das PubFlow- Evaluationsbeispiel

26 > Das Anwendungsbeispiel Event eventid Kiel,

28 > Das Projekt PubFlow - Messverfahren Observation Institutional Repository Curation Visualization Archival & Publication Simulation & Analysis Research Paper WDC Preprocessing Postprocessing Review Digital Library Kiel,

29 > Das Projekt PubFlow - Messverfahren Observation - Rundung - Kompression - Format -... Institutional Repository Curation Visualization Archival & Publication Simulation & Analysis Research Paper WDC Preprocessing Postprocessing Review Digital Library Kiel,

30 > Das Projekt PubFlow - Messverfahren Observation - Rundung - Kompression Institutional Repository - Format Qualitätssicherung? Curation Visualization Archival & Publication Simulation & Analysis Research Paper WDC Preprocessing Postprocessing Review Digital Library Kiel,

31 > Das Projekt PubFlow - Messverfahren Observation - Rundung - Kompression Institutional Repository - Format Qualitätssicherung? Curation Visualization - Datenreduktion Archival & Publication Simulation & Analysis Research Paper WDC Preprocessing Postprocessing Review Digital Library Kiel,

32 > Provenienz-Daten Erfassung in PubFlow Die Provenienz-Daten Erfassung in PubFlow Kiel,

33 > Provenienz-Daten Erfassung in PubFlow Ansatz Erfassen der Provenienz-Daten in den Workflows Verwendung eines Monitoring- Frameworks zum Erfassen der Zustände des Workflows Kiel,

34 > Provenienz-Daten Erfassung in PubFlow Technische Umsetzung Einbindung eines Monitoring- Frameworks in die Workflow-Engine Abbildung von Provenienz Daten auf Monitoring-Anweisungen Integration der Monitoring- Anweisung in die Workflows Kiel,

35 > Provenienz-Daten Erfassung in PubFlow Preprocessor Kieker.monitoring.Writer monitoring.ode.probe Space Kieker Monitoring-Log Speicher / Stream Visualizer Kieker.WFM_Analyzer Analyzer Einbindung eines Monitoring- Frameworks in die Workflow-Engine Kiel,

36 > Provenienz-Daten Erfassung in PubFlow <monitor:profile name= provenancelight > <monitor:targetelement type= activity > <monitor:eventtype>activityenabledevent</monitor:eventtype> <monitor:eventtype>activitydisabledevent</monitor:eventtype> </monitor:targetelement>... <monitor:targetelement type= variable > <monitor:eventtype>variablemodificationevent</monitor:eventtype> <monitor:eventtype>variablereadevent</monitor:eventtype> </monitor:targetelement>... <monitor:event type= VariableModificationEvent > <monitor:fokus>varname</monitor:fokus> <monitor:fokus>newvalue</monitor:fokus> </monitor:event> </monitor:profile> Profile zur Abbildung von Provenienz Anforderungen auf Monitoring-Anweisungen Kiel,

37 > Provenienz-Daten Erfassung in PubFlow Integration der Monitoring- Anweisung in die Workflows per Workflow Extensions Kiel,

38 > Provenienz-Daten Erfassung in PubFlow Kiel,

39 > Provenienz-Daten Erfassung in PubFlow <process name="helloworld"...>... <sequence name="sequence">  <receive name="start" operation="sayhello" partnerlink="caller" porttype="tns:greeter" variable="request" createinstance="yes" />  <assign name="assign1"> <copy> <from expression="concat('hello, ', bpel:getvariable('request', 'name'), '!')" /> <to variable="response" part="greeting" /> </copy> </assign>  <reply name="end" operation="sayhello" partnerlink="caller" porttype="tns:greeter" variable="response" /> </sequence> </process> Kiel,

40 > Provenienz-Daten Erfassung in PubFlow <process name="helloworld"... xmlns:wfm="" extensions" >... <bpel:extensions> <bpel:extension mustunderstand="no" namespace=" wfm/extensions"/> </bpel:extensions> <sequence name="sequence">  <receive name="start" operation="sayhello" partnerlink="caller" porttype="tns:greeter" variable="request" createinstance="yes" />  <assign name="assign1"> <wfm:param data="provenance" name="wfm.monitoring.type" type="config" /> <copy> <from expression="concat('hello, ', bpel:getvariable('request', 'name'), '!')" /> <to variable="response" part="greeting" /> </copy> </assign>  <reply name="end" operation="sayhello" partnerlink="caller" porttype="tns:greeter" variable="response" /> </sequence> </process> Kiel,

41 > Provenienz-Daten Erfassung in PubFlow Preprocessor Kieker.monitoring.Writer monitoring.ode.probe Space Kieker Monitoring-Log / Stream Visualizer Analyzer Ablauf Kiel,

58 > Ausblick Ausblick Kiel,

59 > Ausblick Export der Provenienz-Daten in das Open Provenance Model Kiel,

60 > Ausblick Konfigurierbarkeit der Profile zur Laufzeit Kiel,

61 > Ausblick Grafische Darstellung der Provenienz-Daten Kiel,

62 > Daten und ihre Provenienz PubFlow Definition von Scientific Workflows zur Produktivitätssteigerung / Arbeitserleichterung Erfassung von Provenienz-Daten durch Workflow-Monitoring Konfiguration des Monitorings durch Profile und Extensions Kiel,