Wege aus dem Datenlabyrinth

Transkript

1 Wege aus dem Datenlabyrinth - Datenqualität auf dem Prüfstand November 2009 CEA v6.4 Studie IT-Trends 2009 in Deutschland: Das BI-Top-Thema ist Datenqualität Business Intelligence: Bedeutung einzelner Themen [%] Wie wichtig werden die folgenden Themen im Zusammenhang mit Business Intelligence in den nächsten 12 Monaten für Sie sein? Mittelwert Datenqualität Corporate Performance Management Operational BI BI-Architekturen Governance, Risk, Compliance Predictive Intelligence Metadaten-Management BI Competence Centers ,9 1,9 2,2 2,8 2,7 2,6 2,5 3,1 2,9 3,5 2,8 2,8 3,2 3,1 3,2 Business Information Management 38 3,0 Analytisches CRM Serviceorientierte BI ,2 2,7 4,2 2, Quelle: Capgemini IT-Trends 2009; Basis: Befragte, die Business Intelligence für eines der 3 wichtigsten Themen halten (n = 35) TDWI 1

2 AGENDA Datenintegrationsprozess und von Adressen Datenanreicherung DQ-Monitoring Fazit 3 Bausteine eines erfolgreichen Datenqualitätsmanagements Metadaten Management Manuelle Datenerfassung Datenintegration Informationsbereitstellung Anwendung Datenschnittstelle DQ-Monitoring Anreicherung Datenhaltung Warehouse TDWI 2

3 automatisiert den Prozess der Analyse von Dateninhalten Metadaten Management Manuelle Datenerfassung Datenintegration Informationsbereitstellung Anwendung Datenschnittstelle DQ-Monitoring Anreicherung Datenhaltung Warehouse 5 Nur die richtige Kombination der --Verfahren führt zum Erfolg Attribut-Analyse --Verfahren Datensatz-Analyse Tabellen-Analyse TDWI 3

4 Die Standardverfahren zur Attribut-Analyse entdecken formale Datenfehler Standardanalysen Attributnamen Datentyp Wertebereich Muster Domänen Eindeutigkeit Null-Wert 7 Mit der Datensatz-Analyse werden funktionale Abhängigkeiten identifiziert Standardanalysen Schlüsselattribute Abgeleitete Attribute Geschäftsregeln funktionale Abhängigkeiten Eindeutiger Schlüssel Dokumentiert? Ermittelt? Lokales Attribut % Rows UK_434 Nein Ja KUNDENNAME, 99,5 GEBURTSDATUM Nicht eindeutige Datensätze: KUNDENNAME GEBURTSDATUM # Rows % Rows Karl Müller ,2 % Tabea Schmidt ,3 % Nicht eindeutige Datensätze zum Kunden Karl Müller und Geburtsdatum: : KUNDENNAME GEB_DATUM ADRESSE ORT Karl Müller Im Mühlengarten 3 Mechernich Karl Müller Kommerner Straße 8 Euskirchen TDWI 4

5 Die referenziellen Abhängigkeiten zwischen Tabellen werden zur Fehlersuche genutzt (Tabellen-Analyse) Standardanalysen referenzielle Abhängigkeiten Kardinalitäten redundante Attribute Anzahl Datensätze Gruppierung Wert? # Zeilen Zeilen Monat Januar Monat Februar Monat März Monat April Monat Mai Monat Juni Monat Juli Bei der Durchführung des Projekts sollten die vier wichtigsten Faktoren für ein effizientes und erfolgreiches beachtet werden Erfolgsfaktoren methodisches Vorgehen fundierte Kenntnisse über die Fachlichkeit und die zugehörigen Prozesse optimale Zusammensetzung und Erfahrung des Teams richtige Kombination und Einsatz der verschiedenen Verfahren TDWI 5

6 Metadaten Management Manuelle Datenerfassung Datenintegration Informationsbereitstellung Anwendung Datenschnittstelle DQ-Monitoring Anreicherung Datenhaltung Warehouse 11 Verfahren zur Abweisung Zurückhaltung Verarbeitung mit Quelle Quelle Quelle Valide? Nein Valide? Nein Valide? Nein Ja Verarbeitung Bericht (optional) Ja Verarbeitung Speicher Ja Verarbeitung Bericht (optional) Ziel Ziel Ziel TDWI 6

7 und von Adressen Metadaten Management Manuelle Datenerfassung Datenintegration Informationsbereitstellung Anwendung Datenschnittstelle DQ-Monitoring Stan- Bereinigundardisierung Anreicherung Datenhaltung Warehouse 13 Am besten lassen sich standardisierte Adressen bereinigen Strukturierung Normierung TDWI 7

8 Am besten lassen sich standardisierte Adressen bereinigen Strukturierung Normierung 15 Der Prozess zur Entfernung von Duplikaten gliedert sich in vier Schritte Duplikate entfernen () Vorverarbeitung Partionierung Duplikaterkennung Konsolidierung TDWI 8

9 Die Vorverarbeitung legt den Grundstein für den Erfolg Vorverarbeitung Partionierung Duplikaterkennung Konsolidierung Hôtel zum Roß einheitliche Groß- /Kleinschreibung Entfernung von Leerzeichen Entfernung von Füllwörtern Auflösung von Umlauten und & Reduktion diakritischer Zeichen hôtel zum roß hôtelzumroß hôtelroß hôtelross hotelross 17 Die Partionierung steigert die Performance, birgt aber Risiken Vorverarbeitung Partionierung Duplikaterkennung Konsolidierung Partitionierungsschlüssel = 1. Ziffer PLZ Die Duplikate zu Meier werden durch die Aufteilung in verschiedene Partitionen nicht erkannt! TDWI 9

10 Zur Erkennung von Duplikaten werden die Adressen miteinander verglichen Vorverarbeitung Partionierung Duplikaterkennung Konsolidierung Vorname Name Strasse Ulrich Meier Mülheimer Straße Ullrich Mayer Mülheimer Straße PLZ Vergleichsfunktion Der Vorname ist an weniger als drei Stellen unterschiedlich. Der Nachname ist phonetisch ähnlich" Die ersten zwei Ziffern der PLZ sind gleich" Entscheidungsfunktion Duplikate Vorname Name Strasse Ulrich Meier Mülheimer Straße Ullrich Mayer Mülheimer Straße PLZ Nicht-Duplikate 19 Mit der passenden Metrik lässt sich die Ähnlichkeit messen Vorverarbeitung Partionierung Duplikaterkennung Konsolidierung Textuelle Werte Phonetik Soundex Kölner Phonetik Editierabstand Levenshtein-Distanz n-gramme Rekursiver Feldabgleich WHIRL Ontologien Numerische Werte Differenzbildung Hamming-Abstand Ontologien Konvertierung in textuelle Werte Bi-Gramme (n =2) Hamming-Abstand binäre Codierung bitweiser Vergleich Auszählen der Unterschiede TDWI 10

11 Aus den Duplikaten entsteht ein konsolidierter Goldener Datensatz Vorverarbeitung Partionierung Duplikaterkennung Konsolidierung Konsolidierung identischer Duplikate Maßnahmen Löschung der überzähligen Datensätze Artikel_ID Bezeichnung Lieferant_ID Artikel_ID Bezeichnung Lieferant_ID 100 Schlüssel, 13 mm Nuss, VK, 13 mm Schlüssel, 15 mm Schlüssel, 15 mm 243 = Artikel_ID Bezeichnung Lieferant_ID 100 Schlüssel, 13 mm Schlüssel, 15 mm Nuss, VK, 13 mm 649 ergänzender Duplikate Zusammenführung der Datensätze Artikel_ID Grp_ID Bezeichnung Preis_Netto Artikel_ID Bezeichnung Lieferant_ID Schlüssel, 13 mm 4, Schlüssel, 13 mm Schlüssel, 15 mm 4, Schlüssel, 15 mm Nuss, VK, 13 mm 3, Nuss, VK, 13 mm 649 = Artikel_ID Grp_ID Bezeichnung Preis_Netto Schlüssel, 13 mm 4, Schlüssel, 15 mm 4, Nuss, VK, 13 mm 3,67 Lieferant_ID widersprechender Duplikate Konfliktvermeidende Verfahren Konfliktlösende Verfahren Artikel_ID Grp_ID Bezeichnung Preis_Netto Schlüssel, 13 mm 4, Schlüssel, 15 mm 4, Nuss, VK, 13 mm 3,67 + Artikel_ID Bezeichnung Preis_Netto 100 Schlüssel, 13 mm 3, Schlüssel, 15 mm 4, Nuss, VK, 13 mm 3,56 21 Datenanreicherung Metadaten Management Manuelle Datenerfassung Datenintegration Informationsbereitstellung Anwendung Datenschnittstelle DQ-Monitoring Anreicherung Datenhaltung Warehouse TDWI 11

12 Daten werden angereichert um ihren Informationswert zu steigern Wirtschaftsinformationen Geografische Informationen Soziodemografische 3 Imageverlust Informationen Standardisierte und bereinigte Daten Standards Zunehmende zur Klassifizierung Integration von Anwendungen von Waren und und Prozessen Dienstleistungen Vertrauen in BI wird hinfällig, wenn DQ nicht stimmt Branchen-Klassifizierung Rasch ändernde Märkte, Gesetze etc. 23 Fortlaufendes Monitoring der Datenqualität sichert den nachhaltigen Erfolg des Datenqualitätsmanagements Metadaten Management Manuelle Datenerfassung Datenintegration Informationsbereitstellung Anwendung Datenschnittstelle DQ-Monitoring Anreicherung Datenhaltung Warehouse TDWI 12

13 Voraussetzung für die Erhaltung der erreichten Datenqualität ist fortlaufendes Monitoring Datenqualitäts-Lifecycle (ohne Monitoring) Datenqualitäts-Lifecycle (mit Monitoring) Qualität Datenänderungen Qualität Datenänderungen Qualitätsänderungen Qualitätsänderungen Zeit Regelaktualisierung Monitoring Zeit Das Monitoring im Betrieb muss automatisiert erfolgen. 25 DQ-Kennzahlen aus dem Monitoring werden den DQ-Kriterien zugeordnet Darstellungsformen der Ergebnisse aus dem Monitoring Ampeldarstellung Zeitreihenbetrachtung SOLL IST AMPEL Kriterium Zeitnähe Prozent 100 Soll Korrektheit 95% 96% 80 Ist Vollständigkeit 90% 88% Zuverlässigkeit 95% 75% 20 0 Jan Feb Mär Apr Mai Jun Jul Aug Sep Okt Nov Dez Zeit DQ-Kennzahlen/-Kriterien werden in Bezug auf Schwellwerte betrachtet analog zu Dashboards im Umfeld von Business Intelligence. Die zeitliche Entwicklung von DQ-Kennzahlen/- Kriterien wird betrachtet, häufig mit Angabe einer Ziellinie oder eines Toleranzbereichs TDWI 13

14 Bausteine eines erfolgreichen Datenqualitätsmanagements Metadaten Management Manuelle Datenerfassung Datenintegration Informationsbereitstellung Anwendung Datenschnittstelle DQ-Monitoring Anreicherung Datenhaltung Warehouse 27 Produktauswahl Kategorie Anbieter Datenbereinigung Datenvalidierung Name & Adresse Dubletten DQ- Monitoring Oracle (OEM Trillium) IBM Informatica SAP Flux Human Inference Trillium Uniserv Innovative Systems Pitney Bowes (Group 1) TDWI 14

15 Fazit Die Hoffnung vieler Unternehmen auf Lösung dieses Problems durch die bloße Einführung neuer Systeme oder standhaftem Ignorieren der Problematik schwindet und macht endlich Platz für wirksame Maßnahmen. Der Schlüssel zum Erfolg ist ein proaktives Datenqualitätsmanagement. Insbesondere das erkennt viele Schwachstellen in den Quelldaten und sollte zu Beginn eines Projektes eingesetzt werden. Durch, und Anreicherung der Daten kann deren Wert für ein Unternehmen sehr stark erhöht werden. Das Quality Monitoring bietet im produktiven Betrieb die Sicherheit, dass Veränderungen und neue Qualitätsprobleme in den Daten rechtzeitig erkannt werden. Es gibt keine Ausreden mehr für schlechte Daten fangen Sie an! 29 Die Expertise zum Datenqualitätsmanagement in BI-Projekten wurde in einem Fachbuch gebündelt Detlef Apel, Wolfgang Behme, Rüdiger Eberlein, Christian Merighi Datenqualität erfolgreich steuern Buchteil: Theorie Technische Umsetzung Projektpraxis Inhalte: Datenqualität Ursachen und Ausprägungen schlechter Datenqualität Auswirkungen schlechter Datenqualität Organisation Referenzarchitektur für Business-Intelligence- Anwendungen Kennzahlen zur Messung der Datenqualität Verbesserung der Datenqualität im Quellsystem Erfolgreiche Datenvalidierung und -filterung und Datenanreicherung Verbesserung der Datenqualität in der Bereitstellung und Präsentation Metadaten Management Quality Monitoring Produktauswahl/-integration Datenqualitätsmanagement in einer Studie Datenqualitätsmanagement in der Spezifikation Datenqualitätsmaßnahmen in der Konstruktionsphase Steuerung der Datenqualität in der Realisierung Steuerung der Datenqualität im Betrieb TDWI 15