Matching (Duplikaterkennung)

Transkript

1 REGIONALES RECHENZENTRUM ERLANGEN [RRZE] Matching (Duplikaterkennung) The Big Picture Krasimir Zhelev

2 Agenda Vorbereitungsarbeiten Erweitertes Matching Matching Prozess Mapping & Normalisierung Partitionierung Verarbeitung Ergebnis-Klassifizierung Überprüfung Zusätzliche Funktionalität Präventives Matching Aufräumarbeiten Fazit 2

3 MATCHING IST WIE LIEBE Der Reiseführer Per Anhalter durch die Galaxis sagt zum Thema Liebe: Wenn möglich vermeiden!

4 VORBEREITUNGSARBEITEN Unser wichtigstes Kapital sind Daten!

5 Vorbereitungsarbeiten Interne Daten bereinigen Altlasten entfernen Attributwerte aufräumen Zusammenführen Quellsystemdaten bereinigen Altlasten entfernen Attributwerte aufräumen Zusammenführen Datenanalyse Statistisch Kardinalität Dateneingaberoutinen kennenlernen 5

6 ERWEITERTES MATCHING Die 90er sind vorbei

7 Überblick Quellsystem A Quellsystem B M IdM Quellsystem C linking and/or aggregating data from the same or various sources that refers to the same entity in the case where no unique entities identifiers are avaialable M = Matching 7

8 Der Matching Prozess Quellsystem Mapping Normalisierung Partitionierung MDH Überprüfung Klassifizierung M Verarbeitung MDH = Matching Datenhaltung 8

9 Mapping & Normalisierung Mapping Attributgruppen Priorisierung Pro System Innerhalb des Systems Normalisierung Standard Routinen Spezifische Routinen Wert-Mapping Tabellen Synchronisation Re-Normalisierung M IdM 9

10 Partitionierung Datendistribution Pre-Matching Smith-Waterman Algorithmus Tag-Link-Token Algorithmus Schnelle Algorithmen Einstellbare Koeffizienten Rainbow Tabellen Matching Cache/Lock Vor der Partitionierung Behandelt Parallelität und Verzögerungen Bis das Objekt gefunden wird oder bis zum Timeout 10

11 Verarbeitung Komplexe Algorithmen ChapmanOrderedNameCompound QGramsDistanceWunch Gewichtet Pro Attributwert - Datendistribution Pro Quellsystem Pro Attributtyp Schwellwerte Pro Quellsystem Pro Attributtyp Flexibel 11

12 Klassifizierung Matched (Rejected) Confirmed Match Confirmed Reject Manual Mehrere passende Objekte mit den gleichen Koeffizienten Große Diskrepanz zwischen Partitionierung und Verarbeitung Cache Match Error 12

13 Überprüfung Oberfläche Verbinden Zusammenführen Trennen Resync Datenüberblick Quellsystem vs. IdM Sicht Datenzusammenhänge Protokollierung Datenversionierung Kontakt mit Sachbearbeitern 13

14 ZUSÄTZLICHE FUNKTIONALITÄT Jetzt sind wir aber fertig nicht so eilig

15 Präventives Matching Vorbeugen ist besser als Heilen! Besserer Treffer Wiederverwendbare Datensätze Fälschlich angelegte Einträge Klassifizierung der Fälle Zielobjekt matcht nicht mehr Zielobjekt ist unter dem Schwellwert Anderes Zielobjekt matcht besser Zielobjekt matcht gleich mehrere Objekte Verarbeitung Blockieren (mit/ohne Timeout) Instruktionen zur Freigabe 15

16 Aufräumarbeiten Fast-Rematch Sofortige Übersicht - bei Abruf Ähnlich zur Partitionierung Relevant für die System-Betreiber Oberfläche Full-Rematch Am Wochenende Jeder mit Jedem zeitaufwändig Relevant für die Service-Theken Mit aktuellem Zustand Oberfläche 16

17 FAZIT Jetzt sind wir fertig!

18 Fazit Sollte vermieden werden wo möglich Ist eine Never ending story" Zeitaufwändig Sowohl die Implementierung Als auch der Betrieb (Tagesgeschäft) ABER es zahlt sich aus 18

19 Fazit Matching ist nicht kompliziert Verschafft bessere Kundensicht Sollte präventiv eingesetzt werden Sichert das wichtigste für ein IdM-System Datenkonsistenz Datenvollständigkeit Man lernt seine Daten kennen (und lieben) 19

20 KONTAKT Tel: / IRL: Raum 1.020, RRZE, Martensstr. 1, Erlangen Ablösung eines IdM-Systems F. Tröger

21 REGIONALES RECHENZENTRUM ERLANGEN [RRZE] Vielen Dank für Ihre Aufmerksamkeit! Regionales RechenZentrum Erlangen [RRZE] Martensstraße 1, Erlangen Krasimir Zhelev