Transformation Lifecycle Management mit Nautilus

Transkript

1 Transformation Lifecycle Management mit Nautilus Melanie Herschel Universität Tübingen IBM Böblingen 17. Februar, Agenda Vorstellung (the past) Datenherkunft (the present) Transformation Lifecycle Management (the future) 2

2 Kurze Vorstellung : Wissenschaftliche Mitarbeiterin an der Humboldt- Universität zu Berlin und am Hasso-Plattner-Institut Potsdam (FG Informationsintegration/Informationssysteme, Prof. Felix Naumann). Datenintegration [VLDB05, EDBT10,...] Datenreinigung in XML: XClean Projekt bei INRIA, FR [CIDR07,CAISE07] finanziert durch ein DAAD Doktorandenstipendium Domänen-unabhängige Dublettenerkennung [SIGMOD05, EDBT06, CIKM07, SynthesisLecture10,...] Domänen-abhängige Dublettenerkennung [VLDB08] in Kooperation mit der SCHUFA Holding AG 3 Kurze Vorstellung : Postdoktorandin am IBM Almaden Research Center (Clio Gruppe, Howard Ho) Datenherkunft [VLDB09] Linked open data Integration von US-Regierungsdaten im MIDAS Projekt. Seit 2009: Wissenschaftliche Mitarbeiterin an der Universität Tübingen (FG Datenbanksysteme, Prof. Torsten Grust) Datenherkunft [VLDB10] gefördert durch die Baden-Württemberg Stiftung Transformation Lifecycle Management 4

3 Kurze Vorstellung Mitglied diverser Programm Kommitees und Gutachterin für Fachzeitschriften. Mitorganisatorin des VLDB Workshops Quality in Databases (QDB 2009) ICDE Workshops Managing Data Throughout its Lifecycle (DaLi 2011) Gastherausgeberin der Sonderausgabe Informationsintegration der Zeitschrift it - information technology (Sommer 2012). 5 Agenda Vorstellung (the past) Datenherkunft (the present) Transformation Lifecycle Management (the future) 6

4 Warum Datenherkunft Nachvollziehbarkeit Verantwortlichkeit Wiederholbarkeit Korrektheit 7 Datenherkunft im Überblick Data Provenance Existing data Missing data whyprovenance howprovenance whereprovenance instance-based provenance query-based provenance 8

5 Datenherkunft existierender Daten Beispiel!$-&'()*./),01!%-&'()* 456+7)+&89#,) :.+# 4.+#7;)"<9'5= 4.+#7;)"<9'5= : )+&89#,) 4.+#7;)"<9'5= %#(#$ >#(#$765=#9,# >#(#$765=#9,# :.+# 4.+#7;)"<9'5=!$-&'()* 2):6;/, 25806/)<;68/ >#(#$765=#9,# >&#$3A94>/ :56+ Query2 Pictures users are interested in Query1 Pairs of connected users *$&#+,!"#$!"#% 0!1!2 0!2!3!"#$ UserInterest %&'()$#!"# &'()* +(',! )+&89#,) :56+!2 4.+#7;)"<9'5= :.+#!3 >#(#$765=#9,# %#(#$ 2"#!"# 2):6;/, =)>)<)*)69 0%1!1 /5B,#+/.(#94>/ *$&#+, 0%2!1 >&#$3A94>/ %);B&' 0%3!2 =.$C#(94>/ *$&#+, D&+#(."E+/94>/ %);B&' %&'()$#-./ 23"# 42"# 5(6,78/9 %-1 0%1 0?3 %-2 0%1 0?1 %-3 0%2 9 Datenherkunft existierender Daten Beispiel T1: Bestellungen (Produktlisten) aufspalten! Neues Schema: Bestellung(order-id, cust-id, date, prod-id, amount) T2: Kategorie selektieren! Filter für Computer Kategorie T3: Join (und Projektion) über Bestellungen und Produkte! Neues Schema: (order-id, date, prod-id, amount, prod-name, price, valid) T4: Aggregation und Pivotisierung! Verkaufsmenge pro Quartal und Produkt! Neues Schema: (prod-name, Q1, Q2, Q3, Q4) T5: Durchschnittsberechnung! Neues Schema: (prod-name, Q1, Q2, Q3, AVG123, Q4) T6: Selektion für Verkaufsprünge T7: Projektion! Neues Schema: Verkaufssprung(prod-name, AVG123, Q4) T2 prod-name AVG123 Q4 Verkaufssprung T7 T6 T5 T4 T3 T1 Produkt prod-id prod-name category price valid Bestellung order-id cust-id date prod-list 10

6 Arten der Herkunftsberechnung Eager vs. Lazy Eager (Vorberechnung) Vorteile Lazy (on-demand Berechnung) Provenance direkt aus Transformationsergebnis berechenbar Schnellerer Zugriff auf Provenance-Information Komplexere Anfrage Längere Anfragebearbeitung Nachteile Größerer Speicherbedarf bei Materialisierung des Transformationsergebnisses. Kann auf existierende Systeme ohne teures re-engineering angewendet werden. Keine zusätzlichen Speicherkosten. Komplexe Berechnung der Provenance Keine längere Anfragebearbeitung. 11 Datenherkunft fehlender Daten Beispiel #+,$%&'( 012+3)+&45#,) A#(#$3217#5,# 012+3)+&45#,) =1'*4> >.+# >12+ %#(#$ >.+# 6+.7# Query1 Pairs of connected users #!"+ #!"6 C!:!< C!<!= #!" $%&'( Query2 Pictures users are interested in Keinen Nutzer mit diesem Namen? Nutzer hat keine Interessen? Fehler in der Anfrage (Join statt Outer Join)?... %&'()$# UserInterest!"#$ *$&#+, #+,$%&'( -'./01* -234/1'50/31 A#(#$3217#5,# A&#$=B50A/ > )+&45#,) 6A&' 6+.7# #6,$%&'( 012+3)+&45#,) A#(#$3217#5,# 6#7.&8 )&%*!:!< 012+3)+&45#,) >12+ >.+#!= A#(#$3217#5,# %#(#$!!" 9: 9; 9< 9= 9; #!"!:!:!<!=!= -!" C%: C%< C%= C%; #!"!:!:!<!= -'./01* /18,#+/.(#50A/ A&#$=B50A/ 7.$D#(50A/ E&+#(."F+/50A/ %&'()$#-./ 7'8'5'('/9 *$&#+, %)?8&' *$&#+, %)?8&' -:!" %-: %-< %-= %-; ;-!" C%: C%: C%< C%; 2&/*<319 C9= C9: C9; 12

7 Arten der Datenherkunft fehlender Daten Instanz vs. Anfragebasiert Warum fehlen bestimmte Daten im Ergebnis einer Anfrage Q? S A B T B C! AC (S! B T) A C a b a b b c b c Q a c a c a b a c b c a $x $x c Instance-based explanations Missing-Answers [Huang08], Artemis [VLDB09,VLDB10] Query-based explanations Why-Not [Chapman09], ConQuer [Tran10] 13 Artemis Generiert alle möglichen instanzbasierten Erklärungen. Berücksichtigt Seiteneffekte. Garantiert Korrektheit durch Verwendung eines Constraint-Solvers Als Eclipse Plugin implementiert. Contributed by Laure-Berti Equille 14

8 Agenda Vorstellung (the past) Datenherkunft (the present) Transformation Lifecycle Management (the future) 15 Manueller Transformation Lifecycle Analyze State-of-the-art: manuelle Entwicklung von Anfragen bzw. Datentransformationen. Test Fix 16

9 Transformation Lifecycle Management mit Nautilus Erklären existierender Daten Erklären fehlender Daten Interaktionen mit weiteren Anfragen Analyze Semi-automatische Unterstützung des Prozesses Test Fix Verwaltung & Analyse der Prozesshistorie Verwaltung & Analyse der Änderungen im Datenfluß Auswertung der Erklärungen Vorschlagen von fixes 17 Interaktionen mit Nautilus SQL developer 1 debugging scenario 2 explanations 3 explanation annotations 4 query modification request 5 query modifications 6 modification annotations 7 modification decision 8 modification impact 9 impact annotation Nautilus Analyze Fix Test Berechnung der Datenherkunft Berechnung von Änderungsvorschlägen aufgrund neuer Anforderungen an die Transformation bzw. aufgrund von Fehlern. Berechnung und Zusammenfassung der Auswirkungen der Transformation. time 18

10 Nautilus Architektur GUI Eclipse Views & Editors Query modification manager Explanation manager Explanation generator Modification generator DB Explanation annotator Modification annotator Metadata repository Explanation annotation analyzer Modification annotation analyzer Explanation ranker Modification ranker Modification impact annotator Development cycle manager Modification impact analyzer AFT-inference engine Debugging scenario manager 19 Ausblick zur Eigenen Forschung Datenherkunft Algorithmus, der Datenherkunft existierender und fehlender Daten vereint. Verbesserung der Effizienz und der Interaktionsmöglichkeiten. Transformation Lifecycle Management Algorithmen für die Fix-Phase & Test-Phase Entwicklung und Validierung 20

11 Literaturverzeichnis Datenherkunft fehlender Daten [Huang08] J. Huang, T. Chen, A. Doan, and J. F. Naughton. On the provenance of non-answers to queries over extracted data. In Proceedings of the VLDB Endowment (PVLDB), 1(1), [Chapman09] A. Chapman and H. V. Jagadish. Why not? In International Conference on the Management of Data (SIGMOD), [Tran10] Q. T. Tran and C.-Y. Chan. How to ConQueR why-not questions. In International Conference on the Management of Data (SIGMOD), [VLDB09] Melanie Herschel, Mauricio A. Hernández et Wang Chiew Tan. Artemis: a system for analyzing missing answers. In Proceedings of the VLDB Endowment (PVLDB), 2(2), [VLDB10] Melanie Herschel and Mauricio A. Hernández. Explaining Missing Answers to SPJUA Queries. In Proceedings of the VLDB Endowment (PVLDB), 3, Literaturverzeichnis Ausgewählte eigene Publikationen Datenintegration [VLDB05] Alexander Bilke, Jens Bleiholder, Christoph Böhm, Karsten Draba, Felix Naumann, and Melanie Weis. Automatic data fusion with HumMer. In Very Large Data Bases (VLDB), [EDBT10] Jens Bleiholder, Sascha Szott, Melanie Herschel, and Felix Naumann. Using subsumption and complementation for data fusion. In Extending Database Technology (EDBT), 2010 Datenreinigung [CIDR07] Melanie Weis and Felix Naumann. DogmatiX tracks down duplicates in XML. In Conference on Management of Data (SIGMOD), 2005 [CAISE07] Melanie Weis and Ioana Manolescu. Declarative XML data cleaning with XClean. In Conference on Advanced Information Systems Engineering (CAiSE),

12 Literaturverzeichnis Ausgewählte eigene Publikationen Dublettenerkennung [SIGMOD05] Melanie Weis and Felix Naumann. DogmatiX tracks down duplicates in XML. In Conference on Management of Data (SIGMOD), 2005 [EDBT06] Sven Puhlmann, Melanie Weis and Felix Naumann. XML duplicate detection using sorted neighborhoods. In Extending Database Technology (EDBT), 2006 [CIKM07] Luís Leitão, Pável Calado, and Melanie Weis. Structure-based inference of XML similarity for fuzzy duplicate detection. In Conference on Information and Knowledge Management (CIKM), [VLDB08] Melanie Weis, Felix Naumann, Ulrich Jehle, Jens Lufter, and Holger Schuster. Industry-scale duplicate detection. In Proceedings of the VLDB Endowment (PVLDB), 1(2), [SynthesisLecture10] Felix Naumann and Melanie Herschel. An Introduction to Duplication Detection. Morgan and Claypool Publishers,