Datenintegration & Datenherkunft Varianten der Data Provenance

Transkript

1 Datenintegration & Datenherkunft Varianten der Data Provenance Wintersemester 2010/11 Melanie Herschel Lehrstuhl für Datenbanksysteme, Universität Tübingen 1 Arten des Data Provenance Data Provenance Existing data Missing data whyprovenance howprovenance whereprovenance instance-based provenance query-based provenance Cui & Widom Ansatz [CW03] Lazy Berechnung 2

2 Data Provenance Beispiel Produkt prod-id prod-name category price valid 111 Apple MAC computer /1/ Sony VAIO computer /1/ /30/ Sony VAIO category /1/1998-9/30/ Sony VAIO category /1/ Canon A5 electronics 400 4/2/ Sony VAIO computer /1/ Bestellung order-id cust-id date prod-list 101 AAA 2/1/ (10), 222(10) 102 BBB 2/8/ (10) 379 CCC 4/9/ (5), 333(5) 524 DDD 6/9/ (20), 333(20) 761 EEE 8/21/ (10) 952 CCC 11/8/ (5) 1028 DDD 11/24/ (10) 1250 BBB 12/15/ (10) Quelle: [CW03] 3 Data Provenance Beispiel Ziel der Transformation T: Tabelle Verkaufssprung Computer-Produkte, die im letzten Quartal mehr als doppelt so viel Umsatz wie im Durchschnitt der drei vorigen Quartale erbracht haben. Vorgehensweise 1. Tabelle anlegen 2. Transformationen als Graph von Transformationsoperatore (Ti) definieren 3. Transformationen ausführen 4

3 Data Provenance Beispiel T1: Bestellungen (Produktlisten) aufspalten! Neues Schema: Bestellung(order-id, cust-id, date, prod-id, amount) T2: Kategorie selektieren! Filter für Computer Kategorie T3: Join (und Projektion) über Bestellungen und Produkte! Neues Schema: (order-id, date, prod-id, amount, prod-name, price, valid) T4: Aggregation und Pivotisierung! Verkaufsmenge pro Quartal und Produkt! Neues Schema: (prod-name, Q1, Q2, Q3, Q4) T5: Durchschnittsberechnung! Neues Schema: (prod-name, Q1, Q2, Q3, AVG123, Q4) T6: Selektion für Verkaufsprünge T7: Projektion! Neues Schema: Verkaufssprung(prod-name, AVG123, Q4) T2 prod-name AVG123 Q4 Verkaufssprung T7 T6 T5 T4 T3 T1 Produkt Bestellung prod-id prod-name category price valid order-id cust-id date prod-list 5 Data Provenance Beispiel Produkt prod-id prod-name category price valid 111 Apple MAC computer /1/ Sony VAIO computer /1/ /30/ Sony VAIO category /1/1998-9/30/ Sony VAIO category /1/ Canon A5 electronics 400 4/2/ Sony VAIO computer /1/ Bestellung order-id cust-id date prod-list 101 AAA 2/1/ (10), 222(10) 102 BBB 2/8/ (10) 379 CCC 4/9/ (5), 333(5) 524 DDD 6/9/ (20), 333(20) 761 EEE 8/21/ (10) 952 CCC 11/8/ (5) 1028 DDD 11/24/ (10) 1250 BBB 12/15/ (10) Datenherkunft für Verkaufssprung Tupel (Sony VAIO, 11250, 39000) Quelle: [CW03] 6

4 Kapitel 11 Why-Provenance (Cui&Widom) Motivation und Beispiel Datentransformationen (jeweils Definition und Tracing Prozedur) Aggregatoren Black Boxes & MISOs Transformationssequenzen 7 Transformationen Datenmenge Menge aus beliebigen Daten! Tupel, Werte, Objekte! Hier: i.d.r. Tupel Transformation Beliebige Prozedur, mit einer Datenmenge als Input und einer Datenmenge als Output. T(I) = O Komposition von Transformationen T = T 1 T 2 : T(I) = T 2 (T 1 (I)) 8

5 Eigenschaften Stabil: Kein erfundener Output Also: T(") = " Gegenbeispiel?! Transformationen, die jedem Tupel einen festen Wert anhängen. Deterministisch: Immer gleicher Output bei gleichem Input Gegenbeispiel?! Transformationen, die eine zufällige Stichprobe produzieren. 9 Transformationen Definition Allgemein gilt: Transformationen können für jeden Outputwert alle Inputwerte betrachten. I.d.R. ist das nicht so. Witness von t = Datenherkunft von t Ein witness für ein Tupel t T(I) ist eine Teilmenge der Tupel in der Eingabe I, die ausreicht, um t zu produzieren. Sei T(I) = O und o#o I* $ I ist die Menge der Inputwerte, die zum Output o beitragen. I* = T*(o,I) Sei O*$O, dann T*(O*,I) = o!o* T*(o,I) O* ist der interessante Output 10

6 Data Provenance Motivation A B A B a -1 a 2 b 0 Transformation T a 2 b 0 Herkunft (prov für provenance) des Tupels (a, 2)? T = σb!0 T*((a,2),I) = {(a,2)} T = Gruppierung nach A und Aggregation: 2x SUM(B) T*((a,2),I) = {(a,-1); (a,2)} 11 Transformationen Zwei Extreme Relationale Operatoren oder Sichten:! Exakte Provenance (witness) kann bestimmt werden. Völlig unbekannte Transformation! Der gesamte Input ist im witness. Realität liegt dazwischen. Drei Transformationsklassen Hinzu kommen (nicht hier) Schema Mappings Inverse Transformationen 12

7 Klassifikation (wörtlich: Abfertiger ) Jeder Input produziert null oder mehr Outputs Aggregatoren Gruppen von Inputs produzieren einen Output Black-Boxes Alles andere Quelle: [CW03] 13 Kapitel 11 Why-Provenance (Cui&Widom) Motivation und Beispiel Datentransformationen (jeweils Definition und Tracing Prozedur) Aggregatoren Black Boxes & MISOs Transformationssequenzen 14

8 Jeder Input produziert unabhängig null oder mehr Outputs. Gegeben Eingabe I, Transformation T, und Ausgabe o O. T ist eine -Transformation genau dann, wenn gilt:!i, T(I) = " i!i T({i}) Datenherkunft (witness) definiert ist durch T*(o,I) = {i # I o # T({i})} 15 Transformationen Beispiele T1: Bestellungen (Produktlisten) aufspalten! Neues Schema: Bestellung(order-id, cust-id, date, prod-id, amount) T2: Kategorie selektieren! Filter für Computer Kategorie T3: Join (und Projektion) über Bestellungen und Produkte! Neues Schema: (order-id, date, prod-id, amount, prod-name, price, valid) T4: Aggregation und Pivotisierung! Verkaufsmenge pro Quartal und Produkt! Neues Schema: (prod-name, Q1, Q2, Q3, Q4) T5: Durchschnittsberechnung! Neues Schema: (prod-name, Q1, Q2, Q3, AVG123, Q4) T6: Selektion für Verkaufsprünge T7: Projektion! Neues Schema: Verkaufssprung(prod-name, AVG123, Q4) T2 Produkt prod-name AVG123 Q4 Verkaufssprung prod-id prod-name category price valid order-id cust-id date prod-list 16 T7 T6 T5 T4 T3 T1 Bestellung

9 Tracing Prozedur Definiert für Outputmengen, deshalb geeignet für Kompositionen - Tracingprozedur Aufwand: Vollständiger Scan des Input Transformationsaufruf für jeden Inputwert 17 Transformationen Filter (Spezialfall ) Filter -Spezialfall Jeder Input produziert sich selbst, oder die leere Menge!i#I, T({i}) = {i} oder T({i}) = " Datenherkunft definiert durch T*(o) = {o} Bzw. T*(O) = O Tracing Prozedur trivial 18

10 Filter Beispiele T1: Bestellungen (Produktlisten) aufspalten! Neues Schema: Bestellung(order-id, cust-id, date, prod-id, amount) T2: Kategorie selektieren! Filter für Computer Kategorie T3: Join (und Projektion) über Bestellungen und Produkte! Neues Schema: (order-id, date, prod-id, amount, prod-name, price, valid) T4: Aggregation und Pivotisierung! Verkaufsmenge pro Quartal und Produkt! Neues Schema: (prod-name, Q1, Q2, Q3, Q4) T5: Durchschnittsberechnung! Neues Schema: (prod-name, Q1, Q2, Q3, AVG123, Q4) T6: Selektion für Verkaufsprünge T7: Projektion! Neues Schema: Verkaufssprung(prod-name, AVG123, Q4) T2 Filter Produkt prod-name AVG123 Q4 Verkaufssprung prod-id prod-name category price valid order-id cust-id date prod-list 19 T7 T6 T5 T4 T3 Filter T1 Bestellung Kapitel 11 Why-Provenance (Cui&Widom) Motivation und Beispiel Datentransformationen (jeweils Definition und Tracing Prozedur) Aggregatoren Black Boxes & MISOs Transformationssequenzen 20

11 Aggregatoren Aggregator Zwei Bedingungen müssen gelten 1.Partitionierung: Inputs können partitioniert werden, so dass jede Partition für genau ein Output verantwortlich ist.! Sei T(I) = {o 1,..., o n }.! %I existiert eine eindeutige, disjunkte Partitionierung I 1,..., I n, so dass T(I k ) = o k für alle k. 2.Vollständigkeit: Jeder Input ist an mindestens einem Output beteiligt.! %I & ", T(I) & " Datenherkunft: T*(o k,i) = I k 21 Vergleich: vs. Aggregator Jeder Input produziert unabhängig null oder mehr Outputs. Aggregator Jeder Input ist an mindestens einem Output beteiligt. Inputs können partitioniert werden, so dass jede Partition für genau ein Output verantwortlich ist. Transformationen, die zugleich und Aggregator sind? Identität Projektion (ohne Duplikateliminierung) 22

12 Aggregator Beispiele T1: Bestellungen (Produktlisten) aufspalten! Neues Schema: Bestellung(order-id, cust-id, date, prod-id, amount) T2: Kategorie selektieren! Filter für Computer Kategorie T3: Join (und Projektion) über Bestellungen und Produkte! Neues Schema: (order-id, date, prod-id, amount, prod-name, price, valid) T4: Aggregation und Pivotisierung! Verkaufsmenge pro Quartal und Produkt! Neues Schema: (prod-name, Q1, Q2, Q3, Q4) T5: Durchschnittsberechnung! Neues Schema: (prod-name, Q1, Q2, Q3, AVG123, Q4) T6: Selektion für Verkaufsprünge T7: Projektion Aggregator Aggregator Aggregator! Neues Schema: Verkaufssprung(prod-name, AVG123, Q4) T2 Filter Produkt prod-name AVG123 Q4 Verkaufssprung prod-id prod-name category price valid order-id cust-id date prod-list 23 T7 T6 T5 T4 T3 Filter T1 Bestellung Transformationen Aggregatoren Aggregator - Tracingprozedur Potenzmenge Mindestens I* ist Datenhekunft I* ist vollständige Datenhekunft Eingrenzung: I* ist größer Aufwand: 2 I Aufrufe von T Zu viel! Deshalb zwei Unterklassen! Kontextfreie Aggregatoren! Schlüsselerhaltende Aggregatoren 24

13 Kontextfreie Aggregatoren Kontextfreie Aggregatoren Input gehört zu einer Partition, unabhängig von den Werten anderer Inputs in der Partition. Alle bisherigen Aggregatoren sind kontextfrei. Gegenbeispiel: Clustering und Durchschnittsbildung über Cluster! Mitgliedschaft in einem Cluster ist von anderen Werten abhängig. Tracing Prozedur einfacher Intuition: Bildung der Partitionen I ist linear. Danach nur noch Zugehörigkeit prüfen. 25 Transformationen Kontextfreie Aggregatoren Kontextfreier Aggregator - Tracingprozedur Finde für jedes i eine Partition Initialisierung der ersten Partition Prüfe, ob i in eine vorhandene Partition passt Sonst erzeuge neue Partition Suche Partitionen, die O* erzeugen. I Transformationen I! Transformationen 26

14 Schlüsselerhaltende Aggregatoren Schlüsselerhaltende Aggregatoren Sei I partitioniert I 1,..., I n, so dass T(I) = {o 1,...o n }.!k,!i $I k : T(I ) = {o k } und o k.key = o k.key Beispiel: Normale Gruppierung und Aggregation Gegenbeispiel: Gruppierung, die Gruppierungsattribut nicht erhält. Tracing Prozedur Aufwand: I Schüsselerhalt. Aggregator - Tracingprozedur Intuition: Schlüssel im Transformationsergebnis wird verwendet, um Zugehörigkeit zu prüfen. 27 Kapitel 11 Why-Provenance (Cui&Widom) Motivation und Beispiel Datentransformationen (jeweils Definition und Tracing Prozedur) Aggregatoren Black Boxes & MISOs Transformationssequenzen 28

15 Black Boxes Transformationen, die weder noch Aggregatoren sind, noch eine explizite Tracing Prozedur aufweisen. Beispiel: Sortierung und Einfügen der Ordnungszahl. Kein, weil Output nicht unabhängig Kein Aggregator, weil ein Output nur mittels aller Inputs erzeugt werden kann. Datenherkunft: T*(o,I) = I Tracing Prozedur: Trivial, aber nutzlos 29 Transformationen MISOs Multiple Input Single Output Exklusive MISOs Unabhängige Transformation jeder Inputmenge Beispiel: UNION Datenherkunft:! Teilen der Transformation in unabhängige Teile! Bestimmung der Eigenschaften der Teile! Lineage gemäß der Eigenschaften Inklusive MISOs Alle nicht-exklusiven MISOs Beispeil: Join, Mengendifferenz Datenherkunft! Teilen der Transformation in Einzelteile Jeweils anderer Input als Konstante 30

16 Kapitel 11 Why-Provenance (Cui&Widom) Motivation und Beispiel Datentransformationen (jeweils Definition und Tracing Prozedur) Aggregatoren Black Boxes & MISOs Transformationssequenzen 31 Transformationssequenzen Bisher: Lineage und Tracing für einzelne Transformationen Nun: Sequenzen von Transformationen Sei I 2 * = T 2 *(o,i 2 ) Sei I* = T 1 *(I 2 *,I) Dann gilt I* = (T 1 #T 2 )*(o,i) Beispiel: (T 1 #T 2 )*(3,I) = {1,3} 32

17 Transformationssequenzen Naive Tracing Prozedur für Sequenzen T 1... T n : Speicherung aller Zwischenergebnisse I k Tracing Prozedur rückwärts für jeden Transformationsschritt. Nicht effizient:! Hoher Speicherbedarf! Viele Transformationsschritte Besser: Explizite Kombination von Transformationen 33 Transformationssequenzen Gegeben eine Transformationssequenz 1. Normalisiere Sequenz durch geeignete Kombinationen 2. Bestimme für Tracing benötigte Zwischenergebnisse 3. Bei Transformation, speichere diese Zwischenergebnisse 4. Iteratives Tracing durch normalisierte Sequenz 34

18 Zusammenfassung Definition Beispiel Tracing Prozedur Tracing Aufwand 35 Zusammenfassung Transformationssequenzen Normalisierungsalgorithmus 36

19 Literatur [CW03] Yingwei Cui, Jennifer Widom: Lineage tracing for general data warehouse transformations. VLDB J. 12(1): (2003) Ergänzend: [BKT01] Peter Buneman, Sanjeev Khanna, Wang Chiew Tan: Why and Where: A Characterization of Data Provenance. ICDT 2001: