Entfernung von Duplikaten in Data Warehouses

Transkript

1 Entfernung von Duplikaten in Data Warehouses Daniel Martens , Informationsintegration, Seminar 1/41

2 Gliederung Problem & Motivation Domänen-unabhängige Verfahren Domänen-abhängige Verfahren DELPHI 2/41

3 Problem Jane Does Wie viele Jane Does gibt es wirklich? 3/41

4 Problem Jane Doe #1 Jane Does Wie viele Jane Does gibt es wirklich? 4/41

5 Problem Jane Doe #1 Jane Does Wie viele Jane Does gibt es wirklich? 5/41

6 Problem Jane Doe #1 Jane Does Jane Doe #2 Wie viele Jane Does gibt es wirklich? 6/41

7 Problem Jane Doe #1 Jane Does Jane Doe #2 Wie viele Jane Does gibt es wirklich? 7/41

8 Motivation (1/2) [1] 8/41

9 Motivation (1/2) Reduzierung der Duplikate um 5 % in einer Patienten-Datenbank mit Einträgen kann zu einer Ersparnis von 3 Millionen Dollar führen. 9/41

10 Motivation (2/2) [2] 10/41

11 Motivation (2/2) 11/41

12 Motivation (2/2) Kosten $ 50 Grundkosten je doppelte Patientenakte 60+ h Zusammenführung nicht digitaler Patientenakten 240+ h Zusammenführung digitaler Patientenakten $ 1100 Kosten für wiederholte Tests 13/41

13 Gliederung Problem & Motivation Domänen-unabhängige Verfahren Probleme Optimierungen Domänen-abhängige Verfahren DELPHI 14/41

14 Domänen-unabhängige Verfahren Vorgehen: Vergleich inhaltlicher Ähnlichkeiten mehrere Datensätze Verfahren Edit-Distanz Kosinus-Ähnlichkeit Problem: Hoher Anteil an False Positives 15/41

15 Domänen-unabhängige Verfahren Beispiel 1) v = US, v = United States 2) v = USSR, v = United States Edit-Distanz Wird 1) als Duplikat erkannt, dann wird 2) inkorrekterweise ebenfalls als Duplikat erkannt 16/41

16 Domänen-unabhängige Verfahren Optimierungen Automatische Anpassung des Schwellwert Relationen der Daten einbeziehen 17/41

17 Gliederung Problem & Motivation Domänen-unabhängige Verfahren Domänen-abhängige Verfahren Allgemein Dimensionale Hierarchien Inverse Document Frequency Token Containment Metric (tcm) Foreign Key Containment Metric (fkcm) DELPHI 18/41

18 Domänen-abhängige Verfahren Allgemein Binäre Funktion Vergleicht Paare von Tupeln r = [r1,, rm] s = [s1,, sm] Ergebnis 1 : Paare sind Duplikate -1 : Paare sind keine Duplikate 19/41

19 Domänen-abhängige Verfahren Allgemein Beispiel r = [ Compuware, #20 Main Street, Jopin, MO, United States ] s = [ Compuwar, #20 Main Street, Joplin, Missouri, USA ] Ergebnis r Compuware, #20 Main Street Jopin MO United States s Compuwar, #20 Main Street Joplin Missouri USA fi-berechnung /41

20 Domänen-abhängige Verfahren Dimensionale Hierarchien [S1, MO, 1] ist Kind von [1, United States...] IDs werden aus dem Vergleich ausgeschlossen Meist künstlich generiert 21/41

21 Domänen-abhängige Verfahren Gewichtetes Voting zwischen Textual Similarity Function (tcm) Co-occurrence Function (fkcm) Gewichtung durch IDF-Faktoren IDF = log( G / fg(o) ) Objekt Sammlung von Sätzen von Objekten Vorkommnisse von o in G 22/41

22 Domänen-abhängige Verfahren Token Containment Metric (tcm) Beispiel v = [ MO, United States ] v = [ MO, United States of America ] Ergebnis tcm(v, v ) = cm(ts(v), TS(v )) = 1.0 tcm(v, v) = cm(ts(v ), TS(v)) = 0.6 Token mit geringer Bearbeitungsdistanz werden als Synonyme behandelt 23/41

23 Domänen-abhängige Verfahren Foreign Key Containment Metric (fkcm) Beispiel v = [C3, Joplin, S4] (- [S3, Missouri, 3]) v = [C4, Joplin, S3] (- [S3, MO, 3]) fkcm(v, v ) = cm(cs(v), CS(v )) = 1.0 Child-Set von Missouri und MO ist identisch: Joplin Es ist anzunehmen, dass Missouri und MO 24/41

24 Domänen-abhängige Verfahren Kombination von tcm und fkcm pos: R -> {1, -1} pos(x) = 1, wenn x > 0, sonst -1 Berechnung pos( wt + pos( tcm(v, v ) - tcmthreshold) + wc + pos( fkcm(v, v ) - fkcmthreshold) ) 25/41

25 Gliederung Problem & Motivation Domänen-unabhängige Verfahren Domänen-abhängige Verfahren DELPHI Allgemein Duplicate Identification Filter Token Table Child Table Translation Table 26/41

26 DELPHI Duplicate Elimination in the Presence of HIerarchies [3] 27/41

27 DELPHI Duplikate durch den Grad der Überlappung erkennen. 28/41

28 DELPHI StateId State CityId CityId Country S1 MO 1 1 United States of America S2 MO 2 S3 MO 3 2 United States S4 Missouri 3 3 USA S5 BC 4 4 Canada S6 Britisch Columbia 4 5 UK S7 Aberdeen shire 5 S8 Aberdeen 5 Weise jeder CityId c eine Menge StateIds s(c) zu Jede größer die Schnittmenge von s(c1), s(c2) desto höher die Wahrscheinlichkeit, dass c1, c2 Duplikate sind 29/41

29 DELPHI StateId State CityId CityId Country S1 MO 1 1 United States of America S2 MO 2 S3 MO 3 2 United States S4 Missouri 3 3 USA S5 BC 4 4 Canada S6 Britisch Columbia 4 5 UK S7 Aberdeen shire 5 S8 Aberdeen 5 c1 = [3, USA], s(c1) = {S3, S4} Leere Schnittmenge c2 = [5, UK], von s(c1) und s(c2) s(c2) = {S7, S8} Keine Duplikate 30/41

30 DELPHI Anzahl der Vergleiche minimieren Gruppierungsstrategie Vorgehen Paareweise Vergleiche nur innerhalb einer Relation Tupel aus State nur miteinander vergleichen, wenn: Gleiches Tupel in Country Relation referenziert wird, Zwei Tupel in Country referenziert werden, die bereits als Duplikate erkannt sind. 31/41

31 DELPHI Anzahl der Vergleiche minimieren Gruppierungsstrategie Vorgehen Paareweise Vergleiche nur innerhalb einer Relation Tupel aus State nur miteinander vergleichen, wenn: Gleiches Tupel in Country Relation referenziert wird, Zwei Tupel in Country referenziert werden, die bereits als Duplikate erkannt sind. 32/41

32 DELPHI: Duplicate Identification Filter Jedes Tupel v aus G prüfen Fall 1: Kein Duplikat tcm(v, G\{v}) < tcmthreshold v ist kein Duplikat eines anderen v aus G Fall 2: Potentielles Duplikat tcm(v, G\{v}) >= tcmthreshold Füge v der Menge G an potentiellen Duplikaten hinzu 33/41

33 DELPHI: Token Table CityId City StateId StateId State CtryId C1 Joplin S1 S1 MO 1 C2 Jopin S2 S2 MO 2 C3 Joplin S4 S3 MO 3 C4 Joplin S3 S4 Missouri 3 C5 Victoria S5 S5 BC 4 C6 Victoria S6 S6 Britisch Columbia 4 C7 Vancouver S5 S7 Aberdeen shire 5 C8 Aberdeen S7 S8 Aberdeen 5 C9 Aberdeen S8 {[token = MO, frequency = 3, tuplelist = <S1, S2, S3>]} Hinzugefügt werden nur Elemente mit frequency > 1 Ermitteln der Duplikate mit tcm 34/41

34 DELPHI: Child Table CityId City StateId StateId State CtryId C1 Joplin S1 S1 MO 1 C2 Jopin S2 S2 MO 2 C3 Joplin S4 S3 MO 3 C4 Joplin S3 S4 Missouri 3 C5 Victoria S5 S5 BC 4 C6 Victoria S6 S6 Britisch Columbia 4 C7 Vancouver S5 S7 Aberdeen shire 5 C8 Aberdeen S7 S8 Aberdeen 5 C9 Aberdeen S8 {[child = Joplin, frequency = 3, tuplelist = <S1, S3, S4>]} Ermitteln der Duplikate mit fkcm 35/41

35 DELPHI: Translation Table Beziehung zwischen kanonischem Tupel und dazugehörigen Duplikaten Beispiel [USA, MO] [USA, Missouri] Bestimmen der Repräsentation Verwendet wird Tupel mit höchstem IDF Wert 36/41

36 Diskussion Problem & Motivation Domänen-unabhängige Verfahren Domänen-abhängige Verfahren DELPHI 37/41

37 Quellen [1] Duplicate-Record-Impact-NextGate.pdf [2] [3] Rohit Ananthakrishna, Surajit Chaudhuri and Venkatesh Ganti Eliminating fuzzy duplicates in data warehouses in: Proceedings of the 28th international conference on Very Large Data Bases (VLDB '02), [4] Andreas Bauer, Holger Günzel: Data-WarehouseSysteme: Architektur, Entwicklung, Anwendung. dpunkt, 38/41

38 Quellen [5] Lehner; W.: Datenbanktechnologie für DataWarehouse-Systeme, Konzepte und Methoden, dpunkt, 2003, ISBN [6] William H. Inmon: Building the Data Warehouse. John Wiley & Sons, 1996, Seite 33 [7] Navarro, Gonzalo (1 March 2001). "A guided tour to approximate string matching" (PDF). ACM Computing Surveys 33 (1): doi: / Retrieved 19 March /41

39 Quellen [8] can-someone-give-an-exampleof-cosine-similarity-in-very-simple-graphical-way [9] I. P. Felligi and A.B. Sunter. A theory for record linkage. Journal of the American Statistical Society, 64: , [10] B. Kilss and W. Avley. Record linkage techniques Statistics of income division. Internal revenue service publication, /41

40 Quellen [11] A. Broder, S. Glassman, M. Manasse, and G. Zweig. Syntactic Clustering of the Web. In Proc. Sixth Int l. World Wide Web Conference, World Wide Web Consortium, Cambridge, pages , [12] Ricardo Baeza-Yates and Berthier Ribeiro-Neto. Modern Information Retrieval. Addison Wesley Longman, /41