Entfernung von Duplikaten in Data Warehouses

Transkript

1 Entfernung von Duplikaten in Data Warehouses Seminar: Informationsintegration, SoSe 2015 Daniel Martens University of Hamburg Hamburg, Germany

2 INHALTSVERZEICHNIS Einleitung. 3 Fuzzy Duplicate Elimination.. 3 Dimensionale Hierarchien.. 5 Duplikat-Erkennungs-Funktion.. 6 Delphi Algorithmus Evaluation.. 10 Fazit. 11 Quellen 12!2

3 EINLEITUNG Die Erkennung von Duplikaten gehört zu den größten Problemen in Data-Warehouses (DW) [1]. Das Ziel eines DW ist es, heterogene und verteilte Daten, zu einem konsistenten Format durch Informationsintegration zusammenzufassen. Dazu durchlaufen die Daten einen Extract, Transform, Load (ETL) Prozess [3]. Die drei Begriffe repräsentieren die Stufen, welche die Daten während des Prozess durchlaufen: Zuerst werden die relevanten Daten aus den verschiedenen Quellen extrahiert (1), anschließend werden diese in das Schema der Zieldatenbank transformiert (2) und zuletzt werden die Daten in die Zieldatenbank geladen (3). Die gesammelten Daten werden beispielsweise für betriebswirtschaftliche Entscheidungsprozesse oder für Data-Mining genutzt. Eine einheitliche Definition für DWs existiert nicht, Bauer und Günzel liefern eine allgemeine Definition: Ein Data-Warehouse ist eine physische Datenbank, die eine integrierte Sicht auf (beliebige) Daten darstellt, um Analysen zu ermöglichen. [2] Eine spezifischere Definition liefert Immon: Ein Data-Warehouse ist eine themenorientierte, integrierte, chronologisierte und persistente Sammlung von Daten, um das Management bei seinen Entscheidungsprozessen zu unterstützen. [4] Daten, die aus den verschiedenen Quellen extrahiert werden, enthalten häufig Schreibfehler oder unterliegen verschiedenen Konventionen. Die deshalb notwendige Bereinigung der Daten nimmt einen signifikanten Anteil der Zeit und des Geldes, welche in einem DW verwendet werden, in Anspruch. Bisherige domänen-unabhängige Verfahren zur Duplikaterkennung liefern einen hohen Anteil von Falschmeldungen. Sie basieren auf dem Vergleich von inhaltlichen Ähnlichkeiten mehrerer Datensätze, wie beispielsweise der Edit- Distanz oder Kosinus-Ähnlichkeit [1]. Die Edit-Distanz vergleicht zwei Texte miteinander und ermittelt die Anzahl der Schritte, die notwendig sind um einen Text in den anderen umzuwandeln. Levenshtein hat drei mögliche Schritt definiert: Einfügen, Entfernen und Ersetzen jeweils eines Zeichens [5]. Vergleicht man beispielsweise die Wörter Simpson und Simson, kann man die Wörter durch das Hinzufügen bzw. Entfernen eines Buchstaben gleichstellen. Die Edit-Distanz zur beiden Wörtern beträgt 1. Eine geringere Edit-Distanz bedeutet eine höhere textuelle Ähnlichkeit der Wörter.!3

4 Vergleicht man zwei Texte, beispielsweise Julie loves me more than Linda loves me (Text 1) und Jane likes me more than Julie loves me (Text 2), mit der Kosinus-Ähnlichkeit, erstellt man zuerst eine Liste mit allen in den Sätzen vorkommenden Wörter und schreibt dann die Häufigkeit der Wörter im jeweiligen Text hinzu, siehe Tabelle 1 [6]. Anschließend werden daraus zwei Vektoren erstellt: t1 [2, 1, 0, 2, 0, 1, 1, 1] und t2 [2, 1, 1, 1, 1, 0, 1, 1]. Die Kosinus-Ähnlichkeit beträgt: (t1 * t2) / ( t1 t2 ) = 0,822. Duplikate die nicht korrekt erkannt werden, können zusätzliche Kosten erzeugen. Werden beispielsweise zwei Adresseinträge, die dieselbe Person referenzieren, nicht korrekt zusammengeführt, können beispielsweise Kataloge doppelt verschickt werden. Ein Beispiel für eine solche Inkonsistenz könnten beispielsweise die Datensätze WA, United States und Wash., USA sein. Das Erkennen von Duplikaten, die dasselbe Objekt in der realen Welt referenzieren, wird als fuzzy duplicate elimination problem bezeichnet [1]. Die bisherigen Verfahren, also der textuelle Vergleich zweier Datensätze, liefern viele Falschmeldungen und erzeugen dadurch wirtschaftliche Schäden. Es gibt bereits Ansätze die beispielsweise den Schwellwert der Edit-Distanz automatisch anpassen, allerdings erzeugen auch diese Verfahren noch Falschmeldungen [7][8]. Im Folgenden wird ein alternativer Algorithmus vorgestellt, der auch die Relationen der Daten miteinbezieht, und dadurch dieses Problem angeht. Tabelle 1: Kosinus-Ähnlichkeit Text/ Wort Text 1 Text 2 me 2 2 Julie 1 1 likes 0 1 loves 2 1 Jane 0 1 Linda 1 0 than 1 1 more 1 1 FUZZY DUPLICATE ELIMINATION Bisherige Algorithmen zur Fuzzy Duplicate Elimination basieren auf dem reinen textuellen Vergleich zweier Datensätze. Allerdings sind diese Algorithmen fehleranfällig. Betrachtet man die zwei Beispiele 1) US und United States sowie 2) USSR und United States und versucht diese mit der Edit-Distanz zu erkennen, so wird man um 1) zu erkennen den Schwellwert erhöhen müssen. Ein Fehler der hieraus resultiert ist, dass 2) inkorrekterweise als Duplikat erkannt wird [1]. Ein neuer Algorithmus für dieses Problem ist DELPHI (Duplicate ELimination in the Presence of HIerarchies). Dieser Algorithmus basiert auf Hierarchien, bezieht also ebenfalls die Relationen der Daten in die Auswertung ein.!4

5 Tabelle 2 zeigt ein Beispiel für eine Kundendatenbank eines Data-Warehouses. Die Hierarchie in dieser Datenbank besteht aus vier Relationen: 1) Organisation, 2) Stadt, 3) Staat und 4) Land, die jeweils über Schlüssel miteinander verbunden sind [1]. Tabelle 2: Beispiel einer Kunden-Datenbank [1] Vergleicht man die Daten in der Tabelle über ihre Relation findet man beispielsweise drei Datensätze mit dem Staat MO. Der Staat MO wird insgesamt mit drei Einträge aus der Ländertabelle assoziiert: 1) United States of America, 2) United States und 3) USA. Der Grad dieser Überlappung kann genutzt werden, um Duplikate zu erkennen, selbst wenn die Edit-Distanz in diesen Fällen hoch ist, höher als beispielsweise zwischen den Einträgen USA und UK. Dass USA und UK keine Duplikate sind, lässt sich auch über sogenannte children sets prüfen. Formt man die Menge der Staaten die mit USA {MO, Missouri} und UK {Aberdeen shire, Aberdeen} assoziiert werden, stellt man fest, dass diese disjunkt sind [1]. Um Effizienz und Skalierbarkeit garantieren zu können, wird bei dem Algorithmus, allgemein gesagt, auf den Vergleich aller Relationen (in diesem Fall, Organisation, Stadt, Staat, Land) verzichtet. Stattdessen wird eine grouping strategy verwendet, bei der nur Tupel aus kleinen Gruppen miteinander verglichen werden. Beispielweise werden zwei Staaten-Tupel nur verglichen wenn sie mit dem gleichen Land assoziiert werden oder mit Ländern die Duplikate voneinander sind. Dimensionale Hierarchien Formal gesehen besteht eine dimensionale Hierarchie (Dimensional Hierarchy) aus Relationen und Schlüsseln (vgl. Abb. 1). In der Menge an Relationen (R = R1,, RM) wird RM als oberste und R1 als unterste Relation bezeichnet. Ri als i.-stufe-relation bezeichnet. Ri wird weiterhin als Kind von Ri+1 bezeichnet. In Tabelle 2 ist das Tupel!5

6 [S3,MO,3] beispielweise ein Kind von [3,USA]. Die Schlüssel sind in Abb. 1 als Kreise gekennzeichnet und tragen in diesem Beispiel Bezeichnungen wie z.b. C1 oder S1. Eine dimensionale Hierarchie existiert, wenn es eine Schlüssel zu Fremd-Schlüssel Beziehung zwischen Ri-1 und Ri (2 i m) gibt (in Abb. 1 durch rote Pfeile gekennzeichnet) [1]. Abbildung 1: Beispiel einer dimensionalen Hierarchie Da die Schlüssel in DWs typischerweise künstlich generiert werden, also keinerlei sinnliche Übereinstimmung mit dem Objekt haben, das sie identifizieren, schließt man diese aus der Bezeichnung Tupel aus und bezeichnet mit dem Begriff nur die beschreibenden Attribute [1]. Die Schlüssel werden ebenfalls auch den Vergleichen ausgeschlossen. Duplikat-Erkennungs-Funktion Eine Duplikat-Erkennungs-Funktion ist eine binäre Funktion die Paare von Tupeln miteinander vergleicht. Handelt es sich bei den Tupeln um Duplikate liefert die Funktion als Wert 1 zurück, andernfalls -1. Betrachtet man r = [r1,, rm] und s = [s1,, sm] und möchte feststellen, dass r und s Duplikate sind, muss die Duplikat-Erkennung-Funktion fi für jeden Eintrag 1 liefern (fi(ri, si) = 1). Ein Beispiel für eine Berechnung, mit direktem textuellen Vergleich, zeigt Tabelle 3. Tabelle 3: Berechnung einer Duplikat-Erkennungs-Funktion Eintrag 1 Compuware, #20 Main Street Eintrag 2 Compuwar, #20 Main Street Jopin MO United States Joplin Missouri USA fi-berechnung Für dieses Beispiel stellt die Duplikat-Erkennungs-Funktion keine Übereinstimmung bei direktem textuellen Vergleich fest. Da diese Art von Vergleich nicht erstrebenswert ist, wird eine gewichtete Abstimmung durchgeführt, bei der die Werte der Text-Ähnlichkeits-!6

7 Funktionen und der Kookkurenz verwendet. Liegt einer der beiden Werte über einem Schwellwert, so werden die verglichenen Daten als Duplikate gekennzeichnet. Der Schwellwert wird im ersten Schritt als gegeben und konstant angenommen. Vor dem Vergleich werden alle Daten in Texte umgewandelt, beispielsweise wird eine Postleitzahl die als Integer-Wert gespeichert war vor dem Vergleich in einen VARCHAR konvertiert, um so leichter die Text-Ähnlichkeit-Funktionen anwenden zu können. Der vorgestellte Ansatz verwendet bereits entwickelte Verfahren und verknüpft diese. Um beispielsweise die Einträge {Microsoft, incorporated}, {Microsoft, inc} und {Boeing, incorporated} sinnvoll miteinander vergleichen zu können, wird der Ansatz aus [9] durch den Inverse Document Frequency (IDF) Wert aus [10] erweitert. Dieser verhindert, dass in diesem Fall die Einträge {Microsoft, incorporated} und {Boeing, incorporated} näher miteinander in Bezug stehen, als die Einträge {Microsoft, incorporated} und {Microsoft, inc}. Dabei geht man von einem Objekt o aus und bezeichnet: O: Satz von Objekten, G: Sammlung von Sätzen an Objekten, B(G): Fasst alle Objekte aus dem Sammlungen von Sätzen an Objekten zusammen. Der IDF-Wert berechnet sich aus log( ( G ) / (fg(o)) ). Im Weiteren wird genauer auf die Text-Ähnlichkeits-Funktion (tcm) und die Kookkurenz-Ähnlichkeits-Funktion (fkcm) eingegangen. Für die Text-Ähnlichkeits-Funktion teilt man jedes Tupel in einzelne Tokens auf, indem man die Einträge, vereinfacht gesagt, an den Leerzeichen auftrennt. Jedes Tupel erhält anschließend eine token containment metric. Werden zwei Tupel v und v gegenübergestellt, wird bestimmt wie viele Tokens v enthält, die auch in v enthalten sind. Für zwei Beispiele ergeben sich unter der Annahmen, dass die Token alle denselben IDF- Wert haben, die folgenden Werte: tcm = 1.0 (v = [ MO, United States ], v = [ MO, United States of America ]), tcm = 0.6 (v = [ MO, United States of America ], v = [ MO, United States ]). Der zweite Wert ist 0.6, da bei diesem Vergleich die Tokens of und America aus v nicht in v vorhanden sind. Falls sich einzelne Tokens durch geringe Rechtschreibfehler unterscheiden, werden diese dennoch als gleich angenommen. Dazu wird zuvor ein Schwellwert für die Edit-Distanz als Obergrenze festgelegt.!7

8 Die Kookkurenz-Ähnlichkeits-Funktion nutzt die Relationen um Duplikate zu erkennen. Ein Eintrag in einer dimensionalen Hierarchie kann mehrere Kinder-Einträge besitzen. Bei dieser Funktion wird die Anzahl der Kinder-Einträge, die für zwei Einträge übereinstimmen genutzt, um Duplikate zu erkennen. Dazu muss die Menge der gemeinsamen Kinder-Einträge über einem bestimmten Schwellwert liegen. Als grundlegendes Beispiel hierfür die folgenden zwei Datensätze: (C3, Joplin, S4) - (S4, Missouri, 3) - (3, USA), (C4, Joplin, S3) - (S3, MO, 3) - (3, USA). Der fkcm-wert ( foreign-key containment metric ) der Städte Missouri und MO beträgt in diesem Fall 1.0, da ihr Kinder-Eintrag {Joplin} identisch ist. Es handelt sich somit bei den Einträgen Missouri und MO um Duplikate. Der tcm- und fkcm-wert werden miteinander durch ein gewichtetes Voting verknüpft: pos(wt * pos( tcm(v, v ) - tcmthreshold) + wc * pos( fkcm(v, v ) - fkcmthreshold)). Bei pos() handelt es sich um eine Funktion, die auf die Werte {1, -1} abbildet. pos(x) = 1 wenn x > 0 ist, andernfalls bildet die Funktion auf -1 ab. Der Wert wt berechnet sich aus IDF(TS(v)). TS bezeichnet die Textuelle-Ähnlichkeit. Der Wert wc berechnet sich aus IDF(CS(v)), CS bezieht sich auf die Kinder-Einträge. Die Funktion liefert insgesamt den Wert 1 wenn ein Duplikat vorliegt und -1 wenn es sich um kein Duplikat handelt. Betrachtet man beispielsweise die Einträge UK und USA so werden die Einträge in Bezug auf die textuelle Ähnlichkeit als Duplikate erkannt. Da die Einträge aber nie in Bezug zur gleichen Stadt stehen liefert der fkcm-wert in diesem Fall einen Widerspruch. Da die Gewichtung von wc höher als wt ist, wird UK nicht als Duplikat von USA erkannt. DELPHI ALGORITHMUS Um die Performanz bei der Bereinigung von Duplikaten zu optimieren, werden nicht alle Tupel miteinander verglichen. Stattdessen gibt es ein geregeltes Vorgehen das mit jedem Schritt die zu vergleichenden Tupel minimiert. Gehen wir beispielsweise davon aus, dass in Tabelle 2 nur United States of America und United States Duplikate von USA sind, so können wir im zweiten Schritt, bei dem Vergleich der Staten-Relation, den Vergleich von BC und Missouri auslassen, da diese!8

9 Staaten unterschiedlichen Ländern (USA, Canada) zugeordnet sind. Mit jedem weiteren Schritt können wir so zusätzliche Tupel vernachlässigen, um so die Geschwindigkeit erhöhen (vgl. Tabelle 3). Tabelle 3: Bereinigte Kunden-Datenbank Angefangen von der höchsten Relation (Level 4) werden die folgenden Relationen in kleinere Gruppen aufgeteilt, so dass die Elemente in der Gruppen untereinander verglichen werden können. In dem Beispiel aus Tabelle 2 wird zuerst die Country-Relation verarbeitet werden, um dort Duplikate zu erkennen. Mit den Ergebnissen wird die State-Relation (Kinder-Tabelle der Country-Relation) in Gruppen aufgeteilt und verarbeitet (vgl. Tabelle 3 für USA und Duplikate). Die City-Relation wird wiederum mit den Ergebnissen von [State, Country] verarbeitet, abschließend die Name-Address-Relation mit den Ergebnissen von [City, State, Country]. Die Gruppen sollen so aufgeteilt werden, dass jede Gruppe nur Variationen desselben Eintrags enthält, eine Gruppe in der City-Relation ist z.b. {Joplin, Jopin}. Die Duplikate in den Gruppen werden mit der tcm- bzw. fkcm-funktion erkannt. Als Duplikate werden Einträge ausgewählt, für die die Funktionen einen Wert über dem Schwellwert liefern. Um das Vorgehen zu Optimieren wird vor dem Vergleich eine Menge G erzeugt die alle potentiellen Duplikate der Menge G enthält. Dazu wird die token containment metric für alle v zu G \ {v} errechnet: tcm(v, G \ {v}). Sind die Ergebnisse der token containment metric geringer als der angegebene Schwellwert dann ist v kein Duplikat eines anderen v aus G. Sind die Ergebnisse größer gleich dem Schwellwert dann ist v ein potentielles Duplikat und wird in die Gruppe G aufgenommen. Anschließend wird eine Token-Tabelle erzeugt. Gehen wir davon aus, dass wir bereits in der Country-Relation festgestellt haben, dass {United States of America, United State, USA} Duplikate sind, können wir bei der Bearbeitung der State-Relation die folgende Token- Tabelle erzeugen:!9

10 {[token=mo, frequency=3, tupleid-list=<s1, S2, S3>]}. Die Frequenz gibt Aufschluss darüber, ob der Eintrag einzigartig ist (frequency = 1) oder häufiger vorkommt (frequency > 1). In der Token-Tabelle werden nur Einträge gespeichert mit einer frequency > 1. Dadurch ist die Token-Tabelle weniger umfangreich als ein Index, der zusätzlich viele einzigartige Einträge enthält, die während des Vorgang miteinander verglichen werden müssen. Einträge mit einer geringen Edit-Distanz werden zusätzlich als Synonyme behandelt. Anschließend wird jedes Tupel v aus G mit allen Tupeln verglichen, die Token mit v gemeinsam haben. Die Liste an Tupeln kann der Token-Tabelle entnommen werden. Für jedes v aus dieser Menge an Tupeln wird, falls tcm(v, v ) höher als der angegebene Schwellwert ist das Paar (v, v ) der Liste an Tupeln zugeordnet. Bei der Duplikaterkennung mit der fkcm-funktion wird ebenfalls festgelegt, dass ein Duplikat vorliegt, wenn fkcm(v, v ) größer als ein festgelegter Schwellwert ist. Um diese Berechnung zu beschleunigen werden Kinder-Tabellen eingeführt. Dabei handelt es sich um eine Hash-Tabelle die aus einer Untergruppe der Vereinigung der Kinder-Einträge aller Tupel aus G besteht. Ausgehend von der Annahme, dass bereits festgestellt wurde das die Menge {United States of America, United State, USA} als Duplikate erkannt wurden, konstruiert man in der Staaten-Relation die folgende Kinder-Tabelle: {child=joplin, frequency=3, tupleid-list=<s1, S3, S4>}. Das Vorgehen bei der Erstellung der Tabelle ist mit dem Vorgehen bei der Token-Tabelle zu vergleichen. Eine weitere Tabellenform die verwendet wird ist die Übersetzungs-Tabelle. In dieser Tabelle werden die Beziehung zwischen kanonischem Tupel und seinen Duplikaten hergestellt. Ein kanonische Tupel kann beispielsweise USA sein, die dazugehörigen Duplikate sind {United States of America, United States}, in Hinsicht auf die Country- Relation. Ein Beispiel für die State-Relation ist die Verknüpfung von [USA, MO] zu [USA, Missouri]. Da es schwer ist für die vorgestellten Methoden anfänglich einen passenden Schwellwert festzulegen und die Anzahl der Duplikate in den einzelnen Gruppen variiert, können die Schwellwerte je Gruppe variiert werden. Dabei wird die Anzahl der Duplikate innerhalb einer Gruppe berücksichtigt und ein passender Schwellwert je Gruppe ermittelt.!10

11 Evaluation Zur Evaluation des Algorithmus wurden die bereits bereinigten Daten eines Data- Warehouses verwendet. Vor den Experimenten wurden künstlich Duplikate eingefügt. Die Hierarchie dieser Daten besteht, wie in vorangegangenen Beispielen, aus vier Relationen: 1) Name, 2) City, 3) State und 4) Country. Durch das künstliche hinzufügen kann eine korrekte Evaluierung der Ergebnisse garantiert werden, da vor den Experimenten bereits die zu findenden Duplikate bekannt sind. Es werden zwei Arten von Fehlern eingeführt: 1) Äquivalenz-Fehler, 2) Schreibfehler. Ein Äquivalenz-Fehler ist beispielsweise gegeben, wenn eine Stadt so verfälscht ist, dass sie durch die Edit-Distanz nicht mit ihrem Original in Verbindung gebracht werden kann, sich aber auf ein Duplikat über die gemeinsamen Relationen schließen lässt. Schreibfehler werden durch das Hinzufügen, Löschen oder Ändern eine Buchstabens oder durch das Aufspalten von Zeichenketten erzeugt. Ein weiterer Fehler ist die Token-Permutation, hier werden zwei Einträge fälschlicherweise miteinander getauscht, z.b. wird aus der Reihenfolge Vorname-Nachname bei einer Token-Permutation die Reihenfolge Nachname- Vorname. In der Evaluation werden drei Algorithmen miteinander verglichen: 1) Delphi, 2) Delphi- Global (verwendet nur einen globalen Schwellwert für die tcm und fkcm-funktion), 3) Delphi-Stripped (verwendet nur die tcm Funktion) und 4) MergePurge. MergePurge ist ein bereits zuvor entwickelter Ansatz, der in zwei Varianten verwendet wird, als MP-Edit verwendet der Algorithmus die Edit-Distanz und als MP-CM verwendet dieser die Kosinus- Metrik. Abbildung 2: Evaluation-Ergebnisse Betrachtet werden False-Positives (FP) und False-Negatives (FN). FP beschreibt den prozentualen Anteil der Falschmeldungen, also Einträge die fälschlicherweise als Duplikate erkannt wurden. FN beschreibt den prozentualen Anteil der Duplikate die nicht erkannt wurden, obwohl sie Duplikate sind.!11

12 Den geringsten Anteil an FPs erkennt Delphi-Global, auch wenn bei einem gesamt Fehler- Anteil von 8 Prozent Delphi bessere Ergebnisse liefert. Für FNs liefer Delphi durchgehend die besten Ergebnisse, unabhängig von dem prozentualen Fehler-Anteil. FAZIT Die Bereinigung von Duplikaten in Data-Warehouses ist ein wichtiges Problem. Wie bereits angeführt beispielsweise aus wirtschaftlichen Gründen (vgl. Katalog-Beispiel). Der bereits vorhandene Tool-Support unterstreicht die Wichtigkeit des Problems. Nicht nur in Data- Warehouses existiert dieses Problem, sondern z.b. auch bei der Verarbeitung von Anfrage aus heterogenen Datenquellen. Allerdings sind hier die zeitlichen Anforderungen wesentlich kritischer, als bei der Erkennung von Duplikaten in Data-Warehouses. Die Autoren des Papers haben hierzu einen wichtigen Beitrag geleistet, indem sie einen Algorithmus entwickelt haben, der zwar ebenfalls skalierbar ist, dessen Durchlaufzeit aber wesentlich schneller ist als die der vorhandene Algorithmen (vgl. Delphi 510.4, Delphi-Stripped 230.6, MP-CM 1500, bei einer Anzahl von 3 Millionen Tupeln)[1]. Die Auswertung der Geschwindigkeit ist unvollständig, es werden keine Werte für Delphi-Global sowie MP-Edit angeführt, so dass für zeitkritische Anwendungen nicht angeführt werden kann, welcher Algorithmus zu verwenden ist. Für die Duplikat-Erkennung in Data-Warehouses ist es jedoch wichtiger auf die Anzahl der FPs sowie die Anzahl der FNs zu achten, hier liefert der Algorithmus im Vergleich zu den zwei anderen vorgestellten Algorithmen gute Ergebnisse.!12

13 QUELLEN [1] Rohit Ananthakrishna, Surajit Chaudhuri and Venkatesh Ganti Eliminating fuzzy duplicates in data warehouses in: Proceedings of the 28th international conference on Very Large Data Bases (VLDB '02), [2] Andreas Bauer, Holger Günzel: Data-Warehouse-Systeme: Architektur, Entwicklung, Anwendung. dpunkt, 2013, ISBN [3] Lehner; W.: Datenbanktechnologie für Data-Warehouse-Systeme, Konzepte und Methoden, dpunkt, 2003, ISBN [4] William H. Inmon: Building the Data Warehouse. John Wiley & Sons, 1996, ISBN???, Seite 33 [5] Navarro, Gonzalo (1 March 2001). "A guided tour to approximate string matching" (PDF). ACM Computing Surveys 33 (1): doi: / Retrieved 19 March [6] [7] I. P. Felligi and A.B. Sunter. A theory for record linkage. Journal of the American Statistical Society, 64: , [8] B. Kilss and W. Avley. Record linkage techniques Statistics of income division. Internal revenue service publication, [9] A. Broder, S. Glassman, M. Manasse, and G. Zweig. Syntactic Clustering of the Web. In Proc. Sixth Int l. World Wide Web Conference, World Wide Web Consortium, Cambridge, pages , [10] Ricardo Baeza-Yates and Berthier Ribeiro-Neto. Modern Information Retrieval. Addison Wesley Longman, 1999.!13