Data Quality Management: Abgleich großer, redundanter Datenmengen

Transkript

1 Data Quality Management: Abgleich großer, redundanter Datenmengen Westendstr München Tel Fax

2 Redundanz und relationales Datenbankmodell Redundanz: Information ist mehrfach gespeichert, dadurch sind widersprüchliche Aussagen sind möglich Tel Gehalt Klaus Berg 8888 Claus Berg Anwendung 1 Anwendung Relationales Datenbankmodell: Redundanz wird reduziert. Telefon Gehalt Klaus Berg Anwendung 1 Anwendung - 1 -

3 Redundante Daten in der Praxis In der Praxis tritt Redundanz trotz relationalen Datenbankmodells häufig auf: Ein neues Anwendungssystem wird eingeführt, das alte soll aber für eine Übergangszeit weitergeführt werden. Ein Fremdsystem wird eingekauft und soll parallel zu einer bestehenden Anwendung betrieben werden. Beide Datenmodelle passen aber nicht zusammen. Bsp: System zur Verwaltung von Hardware aus technischer Sicht <=> SAP-System zur Verwaltung von Hardware aus BWL-Sicht (z.b. Abschreibungen) Vorübergehende Redundanz: Bei einer Inventur werden Daten (manuell) erfasst, die mit dem bestehenden Daten abgeglichen werden sollen. - -

4 Datenabgleich Widersprüche in redundant geführten Daten können durch Datenabgleich behoben werden. Dabei werden Daten einer Tabelle mit Daten einer anderen Tabelle überschrieben. Vor dem Abgleich: Klaus Berg Tabelle A Claus Berg Tabelle B Nach dem Abgleich: Klaus Berg Tabelle A Klaus Berg Tabelle B - -

5 Zuordnung von Datensätzen Referenz Abgleich-Sp. Referenz Abgleich-Sp Tabelle A Tabelle B Für die Zuordnung der Datensätze ("Zeilen") beider Tabellen wird eine gemeinsame Referenz benötigt. Bsp: Der Datensatz mit dem Referenz-Wert "" aus Tabelle A wird dem Datensatz aus Tabelle B zugeordnet, der ebenfalls den Referenz-Wert "" besitzt. Bei diesen Datensätzen werden dann die Werte in den Abgleichspalten miteinander verglichen. Optimal als Referenzspalte: Primary Key der Tabellen (Bsp: Kunden-Nr., Bücher-Nr einer Bibliothek). Die Werte innerhalb einer Referenzspalte sollten eindeutig sein

6 Fachliche Anforderungen Referenz Abgleich-Sp. Kriteriums-Sp. Referenz Abgleich-Sp. Kriteriums-Sp XX AA cc AA bb AA Z 555 bb AA cc AA bb Tabelle A Tabelle B I.d.R. enthalten beide Tabellen Fehler. Bei Widersprüchen in den Abgleichspalten muss je nach Spezialfall fachlich entschieden werden, welcher Wert richtig ist. Die fachliche Entscheidung über Widersprüche muss ein Sachbearbeiter treffen. (Nicht ein IT-Mitarbeiter, der nur die Technik des Abgleichs bereitstellt.) Um bei einem Widerspruch fachlich zu entscheiden, muss der Sachbearbeiter auch Informationen aus weiteren Spalten (Kriterien) heranziehen können. Bsp: Befindet sich in Tab. A in einer Kriteriums-Spalte der Wert "AA", dann hat Tab. A Recht. Es muss möglich sein, den Abgleich nur für einen Teil einer Spalte durchzuführen

7 Produktivität Bei der Korrektur der Tabellen muss ein permanenter Wechsel zwischen einem technischen Vorgang (Abgleich, Durchsuchen einer Kriteriumsspalte) und der unmittelbar folgenden fachlichen Beurteilung stattfinden. Oftmals sind mehrere hundert solcher Arbeitsschritte nötig. Fordert ein Sachbearbeiter für einen Arbeitsschritt die Unterstützung der IT an, verstreicht mindestens ein Tag. Die Bearbeitung hunderter solcher Schritte ist auf diese Weise nicht möglich bzw. unproduktiv. Um produktiv zu arbeiten, muss ein Sachbearbeiter selbst zwischen technischem Vorgang und fachlicher Beurteilung wechseln können. Die Dauer eines Arbeitsschritts darf höchstens im Minutenbereich liegen. IT Sachbearbeiter Sachbearbeiter technischer Vorgang fachliche Beurteilung technischer Vorgang fachliche Beurteilung Zyklusdauer je Schritt: ~ Tage; ~ 100 Schritte im Jahr. Zyklusdauer je Schritt: ~ Minute; ~ 100 Schritte am Tag

8 Demo: Datenabgleich mit DATRAS-Tools (1) DATRAS führt den Datenabgleich außerhalb des Datenbanksystems des Kunden durch. Dazu werden die Daten exportiert und nach dem Abgleich zurückgeschrieben. Prozessbeschreibung: vgl. H.-J. Schnorrenberg (DATRAS): Data Quality Management Vortrag vom

9 Demo: Datenabgleich mit DATRAS -Tools () Die linke Tabelle enthält Zeilen in 7 Spalten, die rechte Zeilen in 5 Spalten. Zur Referenz 'Geräte-Nr' (hier: Primary Key) wurden die Unterschiede der IP-Adressen beider Tabellen analysiert. Die benötigte Zeitdauer betrug ca. 10 Sekunden. : Die Geräte-Nr existiert in der linken Tabelle, nicht aber in der rechten. : Die Geräte-Nr existiert in der rechten Tabelle, nicht aber in der linken. : Zu diesen Geräte-Nrn sind die IP-Adressen links und rechts unterschiedlich. Es können auch mehrere Referenz- bzw. Abgleichspalten gleichzeitig angegeben werden

10 Demo: Datenabgleich mit DATRAS -Tools () Für den direkten optischen Vergleich wurde die Spalte 'IP_ADR' der rechten Tabelle in die linke Tabelle kopiert und dort unmittelbar neben die Spalte 'IP-Adresse' gestellt. Die Geräte-Nr, die links und rechts unterschiedliche IP-Adressen enthalten, wurden beim Vergleich automatisch mit gekennzeichnet und danach nach oben sortiert

11 Demo: Datenabgleich mit DATRAS -Tools (4) linke Tabelle vor dem Abgleich der oberen Zeilen linke Tabelle nach dem Abgleich der Zeilen Die Daten der linken Tabelle können mit denen der rechten Tabelle überschrieben werden. Dies kann für eine Spalte komplett, oder auch nur für einen Teil der Daten geschehen. Der abzugleichende Teil der Daten kann nach frei wählbaren Suchkriterien zusammengestellt werden. Bsp: Nur bei den Geräte-Nrn, bei denen die IP-Adresse der linken Tabelle leer ist, rechts aber gefüllt ist, soll der Wert der rechten Tabelle in die linke übernommen werden

12 Demo: Datenabgleich mit DATRAS -Tools (5) Um Daten der Spalte IP-Adresse für einen teilweisen Abgleich zusammenzustellen, können auch weitere Spalten als Kriterium herangezogen werden. Bsp: Nur bei Geräten, die sich laut linker Tabelle am Standort '99999' befinden, sollen die IP-Adressen der linken Tabelle mit dem Wert von rechts überschrieben werden. (Der fachliche Hintergrund könnte sein, dass dieser Standort letztes Jahr geschlossen wurde, und somit der Standort wie auch die IP-Adressen in den Daten falsch geführt sind.)