Erkennung mehrerer Darstellungen des selben Objekts. Ludwigsburg. Luwdigsburg. Ludwigsburg (Württ)

Transkript

1 Dublettenerkennung Dublettenerkennung rkennung mehrerer Darstellungen des selben Objekts Fricke Stefanie Ludwigsburg Friedrich- Schiller-Str. Frieke Stephanie Luwdigsburg F.-Schiller-Straße A Fricke-Maier Stefanie Ludwigsburg (Württ) Hillerstraße Voll-Hartmetall Anbohrer, ATORN, Grad NC-Anbohrer, Hartmetall, ATORN BMW AG Bayerische Motoren Werke Bayr. Motorenwerke AG.. 6.

2 Dubletten sind unerwünscht Dubletten verschwenden Plattenplatz und Rechenleistung. Dubletten erschweren selbst einfachste Auswertungen: Anzahl Kunden <> SLCT COUNT(*) FROM CUSTOMR Dubletten stören beim Join Dubletten führen zu Ausnahmebehandlung beim Programmieren Mehrere Datensätze repräsentieren das selbe Objekt der Diskurswelt. Dubletten verfälschen das Abbild der realen Welt! Auswirkungen von Dubletten Jede Dublette bietet nur Teilsicht auf das Ganze: Überschreiten des Kreditlimits wird nicht erkannt Zu niedriger Lagerbestand wird ausgewiesen. Kein Ausnutzen von Mengenrabatten bei Bestellungen Betrugsversuche bleiben unentdeckt Gesamtumsatz des Kunden unbekannt. Mehrfache Zusendung von Katalogen Mehraufwand in der IT Sinkende Kundenzufriedenheit Potenziale und Gefahren werden nicht erkannt Schlechte Kennzahlen

3 Wie entstehen Dubletten? Vertikale Unternehmensorganisation Pro Sparte ein eigenes System mit eigener Datenbank Übernahme oder Fusion von Unternehmen Unwissenheit (wie suche ich im System?) Zeitdruck Call Center Agent: Bezahlung pro Datensatz Schnell noch Kunde anlegen, damit die Lieferung raus kann. Falscheingabe wegen Betrugsversuch Falscheingabe wegen persönlichem Datenschutz Dublettenerkennung: identische Werte 7 Rowling, J.K. Harry Potter und der Halbblutprinz Carlsen 7777 Rowling, J.K. Harry Potter und der Halbblutprinz Carlsen SLCT attribute_,..., attribute_n FROM relation_ GROUP BY attribute_,..., attribute_n HAVING COUNT (*) > Gruppierung erfordert Sortierung aufwändig Nur für identische Werte in den bedeutungstragenden Attributen

4 Dublettenerkennung: ähnliche Strings Dubletten entstehen häufig durch Tippfehler, Hörfehler, Buchstaben- und Wortdreher, Abkürzungen,... Dubletten zu Fricke, Stefanie : Fricke, Stefan Ricke, Stefanie Stefanie, Fricke Fricke-Maier, Steffi Frricke, Stephanie von Fricke, Stefani Frieke, S. rkennen ähnlicher Strings Der Mensch erkennt Ähnlichkeiten intuitiv Auf Grund von Assoziationen Ncah enigien Skenuden wredne Sei dne Txte vresetehn uach ewnn eid Uhcbsatebn vretuacsht sdin. Wie lassen sich Ähnlichkeiten maschinell erkennen? Algorithmen zum fehlertoleranten Vergleich von Strings: LIK Soundex Levenshtein-Distanz

5 Fehlertoleranter Vergleich mit LIK LIK-Suche mit Wildcards: Vorteile: In jedem DBMS verfügbar Leicht verständlich Nachteile: zu große Treffermenge: rgebnisse fehlen Fr% Frick% kein: Frricke, Frike mehrere Versuche: Frick% / Frric% / Fr%e... Full table scan?: %ricke keine Ordnung der Treffer Frick% Frick = Frickmann = Fricke Fehlertoleranter Vergleich mit Soundex Gleichklingende Wörter werden in einer identischen Zeichenfolge codiert. Soundex ( Naumann ) = Soundex ( Neuman ) = N Soundex-Code für ein Wort besteht aus seinem ersten Buchstaben gefolgt von drei Ziffern Ziffern repräsentieren die nach dem Anfangsbuchstaben folgenden Konsonanten Ähnliche Laute besitzen den gleichen Code (B, F, P und V werden z.b. alle mit der Ziffer "" codiert). Soundex wurde von Russell für die Indizierung der Familiennamen der Volkszählung (Census) in den USA entwickelt und 98 patentiert.

6 Fehlertoleranter Vergleich mit Soundex Vorteil: In vielen DBMS als SQL-Funktion verfügbar Algorithmus mit geringem Aufwand und Komplexität Nachteile: Beispiel SOUNDX('Fricke') = F6: unerwünschte Treffer: fehlende Treffer: Fahruschi, Feuerhake, Frass, Farwick Ricke, Fricker, Frickle keine Ordnung der Treffer sprachspezifisch Levenshtein-Distanz Maß für den Unterschied zwischen zwei Zeichenketten: Auch: dit-distanz, ditierdistanz oder ditierabstand Seit 966 durch russischen Wissenschaftler Wladimir Levensthein Zählt minimale Anzahl der Operationen infügen, Löschen rsetzen um die eine Zeichenkette in die andere zu überführen. infacher Algorithmus benötigt eine Matrix der Form (n+) (m+), wobei n und m die Längen der zu vergleichenden Strings sind. 6

7 7 Levenshtein-Distanz: FRICK RIK Aufbau der Matrix Jedes lement enthält Levenshtein-Distanz der Teilworte (Länge i bzw. j) Initialisierung der ersten Zeile und der ersten Spalte K C K 6 I R I R F 6 Levenshtein-Distanz: FRICK RIK Jedes weitere lement (i, j) ergibt sich als Minimum aus oberer Nachbar +, linker Nachbar +, linker oberer Nachbar + X Mit X =, wenn s (i) ungleich s (j), sonst. Je dit-op.: Löschen Hinzufügen rsetzen Keine dit-op.: Identisch K C K 6 I R I R F 6

8 Levenshtein-Distanz: FRICK RIK Levenshtein-Distanz = Löschung: F FRICK RICK rsetzung: C durch RICK RIK F R I C K 6 6 R I K Levenshtein-Distanz: Bewertung Vorteile: Maß für den Unterschied zweier Zeichenketten Ordnung der Treffer möglich, durch Normierung auf max (m,n). Liefert gute Ähnlichkeitswerte infach erweiterbar (unterschiedliche Gewichtung der Operationen) Nachteile: Quadratische Komplexität Buchstabendreher werden relativ hoch bewertet. 8

9 Fehlertoleranter String-Vergleich Auswahlkriterien: Performance Güte der rgebnisse: Anzahl der gefundenen, aber falschen Dubletten (Overkill) Anzahl der fehlenden, aber richtigen Dubletten (Underkill) Problem: Beurteilung der Güte bei igennamen Was ist ähnlich zu Johann? Johannes, Joannis, Johnny, Ohannes, Joahn, Johan, Rohan ntscheidung fällt oft intuitiv: evt. Umfrage unter Fachanwendern Analyse von Fehlern im Datenerfassungsprozess. Fehlertoleranz bei Datumsangaben Datumsangaben sind anfällig für bestimmte Fehlerarten wie Vertauschungen, Zahlendreher, Tippfehler: Vertauschung von Tag mit Monat: Zahlendreher in Jahr, Monat, Tag : 6 6,, Tippfehler in Jahr, Monat, Tag: 6 7, 7 8, Datumsangaben ist eine gewisse Unschärfe immanent: Jahreszahlen sind ähnlich zu ihrem Nachfolger (meist wenn berechnet). Der. eines Monats ist ähnlich zu jedem anderen Tag dieses Monats. Der.. ist ist ähnlich zu jedem anderen Tag dieses Jahres. Der..9 ist ist ähnlich zu jedem anderen Tag dieses Jahrhunderts. 9

10 Ähnlichkeitsmaß für Datumsangaben Stimmen zwei Datumsangaben nicht überein, kann ein Wert für die Ähnlichkeit (zwischen und ) bestimmt werden: Zerlegen beider Datumsangaben in die Komponenten: Tag, Monat, Jahr Jede Übereinstimmung wird bewertet,z.b. Tag:,; Monat:,; Jahr:, Test, ob einer der häufigen Fehler vorliegt. Geringfügigere Fehler zuerst testen. Liegt einer der häufigen Fehler vor, führt dies zur Aufwertung des Ähnlichkeitswertes, z.b. Vertauschung von Tag und Monat:, Bei immanenter Ähnlichkeit (. /.. /..) ebenfalls Aufwertung, z.b., Beispiel: Jahr identisch:,; Tag und Monat vertauscht:, Summe =,8 Vorstufe: Standardisierung ().9..September Ziel: Nicht Äpfel mit Birnen vergleichen. in Datenelement pro Datenfeld: Herr Dr. A. Meyer Dr.med. Andreas Maier Anrede: Herr Akad.Titel: Dr. Dr.med. Vorname: A. Andreas Nachname: Mayer Maier

11 Standardisierung () inheitliche Formate: Telefonnummern: (7) -68, Datumsangaben:..99, //9,.Oktober 99 Geldbeträge:., T, UR, Wenn möglich, sollte gegen Referenzdaten abgeglichen werden: Korrektur und Standardisierung von Anschriften: Referenzdaten der Post Korrektur und Standardisierung von Bankverbindungen: Bundesbank Nachvollziehen von Umzügen: Nachsendeanträge der Post Firmennamen: z.b. Handelsregistereinträge Dublettenerkennung: Anwendungsfälle Batch-Verfahren In-sich-Prüfung: Suche nach Dubletten innerhalb eines Datenbestandes jeden Datensatz gegen jeden anderen prüfen: O(N ) Prüfung gegen einen anderen Bestand: Mergen von Beständen, Marketing (Kauf-Adressen): O(N*M). Transaktionsorientiert: Online-Prüfung: bei Neuanlage oder Änderung von Datensätzen (chtzeit) Fehlertolerante Suche: unvollständige oder fehlerhafte Suchkriterien (chtzeit)

12 Sorted Neighborhood Vergleich jedes Datensatzes mit jedem anderen: Aufwändig, sowohl fehlertolerante Vergleich als auch Anzahl Viele offensichtlich unnötige Vergleiche. inschränkung des Suchraums: Potenzielle Dubletten haben etwas gemeinsam Peter Müller aus Hamburg muss nicht mit Peter Müller aus München verglichen werden. Idee: Datenbestand so sortieren, dass potenzielle Dubletten nahe beisammen liegen (in der Nachbarschaft). Sorted Neighborhood Schlüssel bestimmen Zur Sortierung, nicht eindeutig Je nach Anwendungsfall, z.b. je Buchstaben von Ort, Straße, Nachname Sortieren Ziel: potenzielle Dubletten liegen nebeneinander Beliebiger Sortieralgorithmus Dublettenprüfung: Reine Lehre: Fenster zeilenweise über die sortierten Tupel schieben. Praxis: pro Schlüsselwert eine Partition = Fenster Innerhalb der Partition werden die Tupel verglichen.

13 Sorted Neighborhood - Beschleunigung Innerhalb einer Partition: O(N )-Vergleiche Kleine Partitionen: verbessern die Performance Verschlechtern das rgebnis (keine Fehlertoleranz beim Schlüssel) Optimierung der Anzahl der Vergleiche: Ähnliche Tupel werden zu Dublettengruppen zusammengefasst. Jedes Tupel wird nur gegen die Repräsentanten der Dublettengruppen verglichen. Ist das Tupel hinreichend ähnlich zu einem Repräsentanten, wird es zu dieser Gruppe hinzugefügt und ggf. ein neuer Repräsentant bestimmt. Ist es zu keinem Repräsentanten ähnlich, entsteht eine neue Gruppe. Die FUZZY! Double Lösung Grundidee: Die Ähnlichkeit zweier Strings muss nur einmal bestimmt werden. Mehrstufiges Verfahren:.) In jedem relevanten Feld: Suche der zur ingabe ähnlichen Werte..) Kombination der rgebnismengen (Kreuzprodukt) Lookup.) Bewerten, Filtern und Sortieren der rgebnisse

14 FUZZY! Double : Beispiel relevante Felder: Vorname, Nachname, Ort Suche mit Stefan, Fricke, Hamburg.) Suchen ähnlicher Werte: Stefan Stefan(), Stephan(9), Stefani(9), stefania (8),.. Fricke Fricke(), Frick(9), Ricke(8), Frickle(8),... Hamburg Hamburg(), Hambrug(9), Hamberge(8),....) Kreuzprodukt der rgebnismengen Lookup mit... Stefan, Fricke, Hamburg Stephan, Fricke, Hamburg......Stefani, Frickle, Hambrug....) Bewerten, Filtern und Sortieren der rgebnisse Berechnung der Gesamt-Ähnlichkeit Auswerten von K.O.-Kriterien FUZZY! Double : Unscharfe Suche rmitteln ähnlicher Strings pro Feld durch Merkmalsvergleich im RAM Server hält im Speicher Referenz aller verschiedenen Strings getrennt nach Feldern, z.b. Nachnamen, Vornamen, Orte Strings sind "zerlegt" in Merkmale aus einer Wertemenge mit ca. Merkmalen ähnlich sind alle Strings mit hoher Merkmalsübereinstimmung viele gemeinsame Merkmale Fricke Ricke 78, 6, 77, 986, 67, 6 Fricke kaum gemeinsame Merkmale 78, 6, , 67 87, 6, 8, 87 6, 777 Fahruschi

15 Vorteile von FUZZY! Double Beste Suchergebnisse und gute Perfomance Kein Partitionierungskriterium notwendig Verwendbar bis Mio. Datensätze Konfiguration des Ähnlichkeitsmaßes: Gewichtung bei Berechnung der Gesamtähnlichkeit Konstante Bewertung für Spezialfälle Schwellwerte (Mindestähnlichkeit) Konfiguration unterschiedlicher Dubletten-Typen, wie z.b.: Personendublette Haushaltsdublette Firmendublette Zusammenfassung Dubletten unterscheiden sich meist in String-Attributen ( Namen ). Sind die Strings ähnlich, lassen sich Dubletten erkennen. Bei der Auswahl eines fehlertoleranten Verfahrens: Anwendungsumgebung (Fehlerquellen, Performance) beachten Gute Verfahren haben meist hohe Komplexität O(N ): Zeichenweiser Vergleich der Strings In-Sich-Abgleich von Datenbeständen. Standardisierung senkt erforderliche Fehlertoleranz. Aber: Vorbeugen ist besser als Heilen! Bereits beim Hinzufügen von Datensätzen auf Dubletten prüfen.

16 Ihr Ansprechpartner bei FUZZY! FUZZY! Informatik AG glosheimer Straße 766 Ludwigsburg Joachim Schmid Leiter ntwicklung Tel.: 7/-68 Fax: 7/- 6