Datenqualität häufig unterschätzt und doch immer wichtiger! Qualitätsgesichertes Datenmanagement mit Oracle

Transkript

1

2 <Insert Picture Here> Datenqualität häufig unterschätzt und doch immer wichtiger! Qualitätsgesichertes Datenmanagement mit Oracle Dr. Holger Dresing STCC Nord Server Technolgy Customer Center

3 Agenda Datenmanagement und Datenqualität Motivation Datenqualität im Unternehmen Der Prozess zum Verbessern der Datenqualität Data Profiling und Data Quality am Beispiel von Oracle Produkten Organisatorische Massnahmen

4 Datenmanagement ist die Menge aller organisatorischen, methodischen, konzeptionellen, technischen Maßnahmen und Verfahren zur Behandlung der Ressource Daten mit dem Ziel, die Daten mit ihrem maximalen Nutzenpotenzial in die Geschäftsprozesse einzubringen und im laufenden Betrieb die optimale Nutzung der Daten zu gewährleisten... Quelle:

5 Datenqualität Informationsqualität oder Datenqualität bezeichnet die Qualität, also Bedeutsamkeit, Relevanz und Korrektheit von Informationen. Sie beschreibt, wie gut eine Information (bzw. ein Datensatz) geeignet ist, die Realität zu beschreiben, das heißt, inwieweit sie ein Modell tatsächlicher Situationen bildet. Insbesondere besagt sie, wie verlässlich eine Information ist und inwieweit man sie als Grundlage für eine Planung des eigenen Handelns verwenden kann. Quelle:

6

7 Motivation Datenqualität (DQ) ist ein Problem, wenn Daten nicht die angenommene Bedeutung haben nicht der Spezifikation entsprechen unverständlich sind Wie lassen sich DQ-Probleme aufdecken? Wie lassen sich DQ-Probleme beheben? Wie lassen sich DQ-Probleme vermeiden?

8 Relevanz Datenqualität ist wichtig aber nur wenige Unternehmen tun etwas Datenqualität hat grosse Bedeutung: ca. 78% keine klaren Richtlinien: ca. 49% Datenqualität hat Einzug in deutsche Unternehmen genommen technische Beurteilung von Daten: ca. 50% semantische Beurteilung von Daten: ca. 40% Investitionsbedarf in Projekte und Produkte in Produkte investieren: ca. 91% setzen bislang keine Produkte ein: ca. 60% Datenqualitätsprojekte im Unternehmen von eigenen Mitarbeitern durchgeführt Zeitraum und Budget ca. 6 Monate/ Euro Quelle: Institut für Business Intelligence der Steinbeis Hochschule Berlin: Data Quality Check 2007, Trends im deutschen Markt

9 Eigene Erfahrungen zur DQ: Auswertungen im Data Warehouse Vorsysteme / Verfahren Staging Area Data Warehouse Oracle Data Integrator Enterprise Edition Data Marts (+Aggregate) - Wie werden die Kennzahlen überhaupt berechnet? Was versteht Ihr unter dieser Kennzahl? - Ist die Dokumentation der Daten korrekt? Ist es ein Fremdsystem? - Welches ist das Quellsystem? - Welche Schnittstellen werden benutzt? - Passen die Daten aus verschiedenen Applikationen/Verfahren überhaupt zusammen? - Welche Sonderfälle sind zu berücksichtigen? relational Extrahieren Transformieren Normalisiertes Schema - Sind alle Daten Laden vollständig übernommen worden? multidimensional Business Intelligence Der neue Bericht liefert ein falsches Ergebnis. Meine alte Excel- Applikation liefert ein anderes Ergebnis! Daten und Metadaten

10 Datenmengen anstatt Information

11 Was haben Datenqualität und Datenmanagement mit dem Data Warehouse zu tun? Datenqualität und Data Warehouse??? Das DWH ist nur ein besonders stark betroffenes System beim Datenmanagment Datenqualität ist ein eine Aufgabe im gesamten Unternehmen und bei nahezu allen Geschäftsprozessen

12 Ohne Datenmanagement kein Business Datenmanagement ist der Treibstoff der Prozesse Marketing Werbung Information Chain Adresse Kunde Angebot KD-Daten Kredit OK Bestand Order Lager Kundenbetreuer Logistiksystem Stammdaten Buchhaltung Bedarf Adresse Kreditdaten Bestelldaten Verkaufsdaten Lieferschein Rechnung Mahnung Bezahlung Reklamation Spedition Kunde Operative Prozesse

13 Datenqualität: Verschiedene Perspektiven (Interessen) im Unternehmen Finanzwesen Produktion IT-Abteilung Marketing Kundensicht Nachverfolgung von Rechnungen Stornos Abweichende Zahlungen Mehrarbeit Zeitverzug Schlechte Produktivität Mehraufwand für Datenlieferung Fehlende Daten Synchronisation manuelle Pflege Daten nicht schnell genug Richtige Daten für gezielte Werbung? Wie genau kennen wir den Kunden? Wie spricht mich das Unternehmen an? Arbeitet das Unternehmen korrekt? Kostet bis zu 5% des Umsatzes Kostet bis zu 10% des Umsatzes Kostet bis zu 30% des IT-Budgets Zielgerichtete Kunden-Daten: bessere Kampagnen Vertrauensverlust Imageschaden

14 Die Auswirkungen sind oft nur mittelbar zu erkennen Mitarbeiterressourcen Vertrauensschwund bis zu 10% weniger Umsatz Kunden verzögerte Projektzeiten Kosten DWH / IT bis zu 50% weniger Umsatz bei Service- Unternehmen Kosten Schlechte Datenqualität Mitarbeitermoral sinkt aufgrund unnützer Arbeit Partnerorganisationen Unternehmensreporting dramatisch schwindendes Vertrauen Einsatz von teueren hochqalifizierten Mitarbeitern für nicht Mehrwert schaffende Tätigkeiten fehlendes Vertrauen in die Berichtsdaten

15 Dimensionen der Datenqualität Datenmodelle Eindeutigkeit der Definition Sind die Modelle umfangreich Flexibilität Robustheit Sind Attribute überladen Granularität Attributwertigkeit (Precision) Homogenität von Beschreibungen Realitätsnähe der Beschreibung Eindeutigkeit Verfügbarkeit Ist die Information relevant Datenmodelle Datenwerte Information Domains Datenpräsentation Information Policy Funktional unabhängig Semantik Sind Strukturen Konsistent

16 Dimensionen der Datenqualität Datenwerte Sind die Daten akkurat inhaltliche Richtigkeit, z.b. Strassen- und Städtenamen NULL-Werte Kein Wert vorhanden oder kein Wert möglich? Vollständigkeit Kann immer ein Wert eingetragen werden (Mädchenname bei Männern) Konsistenz Attribut PLZ und Attribut Ort Datenmodelle Datenwerte Information Domains Datenpräsentation Information Policy

17 Dimensionen der Datenqualität Information Domains Werden gleiche Domains übergreifend genutzt? Datenpräsentation Werden Daten in unterschiedlichen Anwendungen gleich angezeigt? Kann der ganze Wertebereich bedient werden? Information Policy Haben alle Nutzer gleichen Zugriff? Werden immer alle Informationen eingetragen? Datenmodelle Datenwerte Information Domains Datenpräsentation Information Policy

18 Der Prozess zum Verbessern der Datenqualität 1. Data Profiling (DP für ODI EE) Erkennen von Anomalien generiert 2. Fehlererkennung und Korrektur (ETL mit ODI EE) Datenqualitätsprüfungen Verwalten von Domains Bilden von neuen Strukturen Domains Daten Feedback Datenstrukturen Fehlerbericht Korrigieren von Daten 4. Ursachenbeseitung mit der Fachabteilung Optimieren Korrektur Prozesse Trends 3. Dokumentation der Qualitätsquoten (Metadaten Repository) Dokumentation über Metadaten Datenqualität messen Daten-Owner / Nutzer Daten produzieren Fehlerquellen beseitigen

19 Datenqualitätsmanagement und Data Profiling Methoden / Analysen / Statistiken Regeln Anomalien Schwachstellen Daten-Korrekturen Empfehlungen geänderte Prozesse Marketing Werbung Information Chain Adresse Kunde Angebot KD-Daten Kredit OK Bestand Order Lager Kundenbetreuer Logistiksystem Stammdaten Buchhaltung Bedarf Adresse Kreditdaten Bestelldaten Verkaufsdaten Lieferschein Rechnung Mahnung Bezahlung Reklamation Spedition Kunde

20 Data Profiling Methodisches Vorgehen Domainanalyse / Dependancies / Pattern / Statistiken /... Alle (!) Daten werden betrachtet Zugriff auf die Originaldaten Ermöglicht intuitive Betrachtungen Durch Visualisierung der Ergebnisse Gleichzeitiges Anzeigen unterschiedlicher Sichten Iterativer Prozess Data Profiling liefert ein Spiegelbild zu den operativen Unternehmensprozessen Methode Zufall

21 Oracle-Komponenten im Rahmen des Data Quality-Managements Oracle Data Integrator EE ETL / Transformationen Datenkorrekturen Data Profiling Methodisches und automatisiertes Feststellen von Daten-Anomalien Data Rules Beschreibung von Geschäftsregeln auf einer logisch / fachlichen Ebene Data Audits Namens- und Adress-Abgleiche Monitoring von Datenqualitätsregeln Abgleich und Zusammenführen von Stammdaten

22 Data Profiling mit OWB Methoden Die operativen Daten Feintuning zu den Analysemethoden Protokollierung laufende Analysen Drill Down zu den operativen Daten

23 Einsatz und Wirkung des Data Profiling Bekannte Geschäftsregeln Custom Rule Metadaten Repository Data Quality Reporting neue Geschäftsregeln Mitarbeiter Know how - Stammdaten - Bewegungsdaten Referenzdaten Data Profiling Domains / Patterns / Dependencies Derived Rule Correction Verletzte Geschäftsregeln Data Quality Audit / Monitoring Korrigierte -Stammdaten - Bewegungsdaten

24 Analyseumgebung LDAP / DBMS_LDAP / Table Function non Oracle DB2, SQL Server Informix, Teradata SAP SAP Integrator Oracle Source Schema Gateway / ODBC / FTP Oracle 9i / 10g Source Schema Transportable Module External Table Profiling Stage Oracle Datenquellen Alle Gateway- oder JDBC - lesbaren Quellen (DB2, SQL Server, Informix, Access, Excel, Teradata etc.) SAP-Daten Flat Files Adress-/LDAP- Verzeichnisse RAC

25 Vorgehensweise Daten-Analyse 1. Identifizieren Geschäftsfeld / Teilprozess 2. Datengewinnung: Extrakt / Transformation (ETL-Aufgabe) Kundenstammdaten -> Testkunde 3. Erstes Profiling -> 1. Sichtprüfung Fragen / Thesen formulieren 4. Zweites Profiling -> verifizieren Custom Rules 5. Korrigieren statisch in den operativen Daten (Quellen) oder den Zieldaten dynamsich zur Laufzeit 6. Monitoring

26 Herleiten der entsprechenden Prüfdaten mit ETL-Mitteln MP_Testkunde

27 Intuitives Erkennen von Anomalien Domain Anz_Kinder? Domain 0,1,2,3, Null Warum 0 und Null? Gibt es keine Kunden mit mehr als 3 Kindern? Warum gibt es nur 0,3% Kunden mit 0 Kindern (entspricht nicht der Erwartung)? warum gibt es eine gleichmäßige Verteilung der Werte 1,2,3 im Bereich von %? Null kommt offenbar nur bei Firmenkunden vor Die Zahl 17 kann markant sein. Bei weiterer Prüfung stellt man fest, dass es genau 17 Firmenkunden gib Es fehlt eine einheitliche Art der Beschreibung für das Nicht-Vorhandensein (0,Null)

28 Intuitives Erkennen von Anomalien Domain Anrede? Herr / Frau sind offensichtlich richtige Werte Die rot-markierten Werte sind offensichtlich falsch Die beiden Werte 3 und Anrede haben im Vergleich zu den anderen falschen Werten ein signifikant hohes Vorkommen Warum? Welche Regel kann für das Feld gefunden werden? Wenn Status = F dann Anrede = Firma Wenn Status = P dann Anrede = Herr oder Frau

29 Gezieltes Überprüfen von Geschäftsregeln (Custom Rule) Wenn Status = F dann Anrede = Firma und Wenn Status = P dann Anrede = Herr oder Frau Domain Anrede? Nur ~19% folgen der Regel. Warum? Die Domain-Analyse von des Status-Feldes ergibt den Wertebereich F (Firmenkunde) P (Privatkunde) G (guter Kunde) K (kein Kunde) Die Überprüfung der Regel hat zu einer weiteren Schwachstelle geführt. Das Attribut Status ist überladen, ( es wird für unterschiedliche Sinnzusammenhänge benutzt) es müsste eine weitere Spalte geben, z,. B. Qualität der Kundenbez.

30 Domains, Varianten, Ausreißer Data Profiling: Verwendung einheitlicher Codes Erkennen von abhängigen Domains Functional Dependency Berufsgruppe Berufsgruppen_Nr

31 Domains, Varianten, Ausreißer Data Profiling: mit dem Ziel der Standardisierung Eine Domain mit fehlerhaften Inhalten Dr und Dr. Prof und Prof. Hinweis für Standardisierungs- Maßnahme

32 Domains, Varianten, Ausreißer Data Profiling: mit dem Ziel der Standardisierung Erkennen von Varianten Straßenbezeichnungen müssen standardisiert werden, um sie z. B, für eine Haushaltsbildung oder Adressdatenabgleich vergleichen zu können.

33 Unterstützung von Software-Projekten Durch den Feldnamen vermutet man rein numerische Inhalte Übereinstimmung von Feldname...nr und Feldtyp Firmenrabatt ist in der Regel ein Rechenfeld? Kundennr ist ein wichtiges Feld. Es sollte stimmig sein.! sieht gut aus

34 Unterstützung von Software-Projekten? Die Zahl 17 kommt häufig vor, hier muss es eine systematische Ursache geben Felder sind nicht gepflegt kritisch! da es sich um einen Schlüsselkandidaten handelt? kritisch! weil doppelte Kundennummern OK

35 Declarative Data Quality Oracle Data Quality for Data Integrator Sources Oracle Data Integrator Integration Process Oracle Data Quality for Data Integrator (*) Global Data Router (*) Joint Development with Trillium Parsing, Cleansing, Standardization, Matching Transformer Parser Postal Matcher Target Relationship Linker Best of breed Quality Joint development with Trillium Proven, scalable DQ engines Rich global content for cleansing, standardization, validation Extensible by customers with domainspecific Data Quality functions Out-of-box integration ODI integrates with Quality functions via pre-built Knowledge Modules ODI Model metadata passed to ODQ at design time ODQ source and target Metadata passed to ODI at Design Time Out-of-box ODI Tool for runtime invocation of ODQ processes Packaged Quality Rules Delivered Out-of-the-Box by Oracle For 35 Countries & Domains

36 Data Quality Context-Aware Cleansing Key Words and Data are Standardized Contextually Original Record Mr. Bob James St. John III St. John Chemicil Corp. 101 S. Main St. St. Louis, MO Code - Spcl. Deliv. - Hazd Matrls, Flam 1. Key word identification 2. Pattern recognition 3. Data Standardization 4. Postal Matching Title: Mr. First Name: Bob (Robert) Middle Name(s): James Last Name: St. John Generation: III Gender: M Business Name: St. John Chemical Corporation House Number: 101 Directional: S (South) Street Name: Main Street Type: St. City: St. Louis (Saint Louis) State: MO Zip Code: Delivery Code: Z99 - Special Handling Delivery Comments: Hazardous Materials, Flammable Name ORIGINAL DATA Bus. Name St. Add. City State ZIP Pr. FN PR MN PR LN PR BN APPENDED DATA PR HsNo PR St N PR St T PR City PR State PR Zip

37 Data Quality Domain Agnostic Cleansing Context Aware Cleansing Operates Regardless of Data Domain P/N DESCRIPTION TUBE, CENTRIFUGE POLY S 15ML (CS/500)CONICAL-BOTTOM TUBE, CENTRIFUGE PPL 15ML (CS/500)CONICAL-BOTTOM TUBE, CENTRIFUGE PPL 50ML (CS/500)CONICAL-BTTMPCK 25/RACK TUBE, CENTRIFUGE POLY S 50ML (CS/500)CONICAL-BTMPK 25/RACK PIPET, CLEAR SEROLOGICAL 2ML (CASE/500) NUT, LOCK RH, VIAL, WHEATON 33* CLEAR 4ML (CS/144) P/N ITEM NAME MATERIAL SIZE UOM DESCRIPTOR PACKAGE PACK METHOD CENTRIFUGE TUBE POLYSTERENE 15 ML CONICAL CASE/500 BOTTOM PACKED CENTRIFUGE TUBE POLYPROPILENE 15 ML CONICAL CASE/500 BOTTOM PACKED CENTRIFUGE TUBE POLYPROPILENE 50 ML CONICAL CASE/500 BOTTOM PACKED 25/RACK CENTRIFUGE TUBE POLYSTERENE 50 ML CONICAL CASE/500 BOTTOM PACKED 25/RACK SEROLOGICAL PIPET 2 ML CLEAR CASE/ LOCK NUT 11 IN RIGHT HAND WHEATON VIAL 4 ML CLEAR CASE/144 Increased accuracy = better business processes & better matching 40

38 Data Quality Matching & Merging De-duplicate records Original Record William Henry Jones 100 Oak St. Avon, MA Original Record Bil Jones 100 Oak Avon, MA Merged Record William Henry Jones 100 Oak St. Avon, MA Original Record William Jones Oak St. MA Phase Process 1. Window Key Generation (grouping similar records) 2. Linking (duplicates identification with level of similarity) 3. Commonize (create best record) 41

39 Basic Standard Robust Mature Data Quality Global Reach Process Global Data According to Local Standards & Practices Australia Canada United Kingdom United States Japan* S. Korea* China* Taiwan* Belgium Brazil France Germany Hong Kong Netherlands Portugal Singapore House Level Address Validation Austria Chile Denmark Greece India Ireland Italy Malaysia Mexico New Zealand Spain Sweden Switzerland UAE Argentina Brunei Colombia Jamaica Peru Phillippines Saudi Arabia S. Africa Venezuela Complete customer data standardization and matching rules (All Countries) Basic Country Data Project City-level Address Validation Formatting and Correction Fully Supports: *Double Byte Unicode Data ISO Latin 1 Standard

40 ODI Suite MDM in Aktion Closed-loop Master Data Management mit DRM Business User Data Steward Data Taxonomist Business User Operational Legacy Hyperion Data Relationship Management Hierarchy Governance Analytic Analytics SAP Key Performance Siebel CRM Oracle Data Integrator Oracle Data Integrator Query / Reporting People Soft E-Business Suite & Oracle Data Quality & Oracle Data Quality Enterprise Reporting Financial Apps Master Hierarchies and Versions JD Edwards Cost Centers Entities Accounts Org Struct Geography Budgeting HR Planning & Forecasting 43

41 Datenqualität / Data Profiling Gesprächsleitfaden Reduzierung der Kosten für die Informations- Beschaffung Abschaffung von unqualifizierter Routinetätigkeit Reaktionszeiten für notwendige Massnahmen reduzieren Verbesserung der Entscheidungsqualität Verbesserte Kundenansprache Image pflege durch korrekte Erscheinung Anforderung Kosten Zu viel teuere Personalressourcen gebunden Unqualifizierte Tätigkeit ist nötig Daten sind nicht schnell genug da Falsche Entscheidungen Mangelhafte Kundenansprache Sind Stammdaten generell fehlerhaft? Image- Problem? Immer wieder erneute Aufnahme der Anforderungen weil die Dateninhalte nicht klar sind Zu viel manueller Aufwand für Korrekturen Falsche Informationen Adressmaterial? Kommunikation zum Partner schwierig? Folgerungen Mißstände Projekte laufen zu lange Ablaufprozesse stocken, dauern zu lange, IT-Abteilung versinkt in zu vielen Aufgaben schlechte Datenqualität ist bekannt Kundenbeschwerden Partnerbeschwerden Situationen Ist - Zustände

42 Wo anfangen? - eignen sich die Daten für das Data Profiling? - Was ist über die Daten bekannt Environment - Datenmengen - Rechner - Planung notwendig Zurechtschneiden der Daten - Daten aufbrechen - Teilmengen bilden - Referenzdaten zusammenführen - Sampling - Mehrfach - Profiling - Einsatz von ETL Ablauf Data Profiling Analyse Analysieren der Daten - Augenfällige Erkenntnisse -> der erste Schuss - Dinge, die sofort auffallen -> Domains / Pattern / PK - Visuelles Analysieren - Graphikeinsatz - Beziehungen analysieren Ableiten von Regeln und Korrekturen - Automatisches Erkennen - Benutzerdefinierte Regeln - Generieren von Korrekturmappings Dokumentieren der Ergebnisse - Ergebnisblatt - Definition Metadaten - Orga - Handbuch Ständige Kommunikation mit der Fachabteilung Regeln, die nicht abgedeckt werden und deren Lösung - komplexe Lookup Beziehungen - Rekursive Strukturen - Tupel übergreifende Abhängigkeiten ETL - Prozess - Mappings - Routinen - Workflow - Metadatenrepository Korrekte Daten X

43 Datenqualität das A&O für richtige Entscheidungen 1. Data Profiling mit ODI EE Daten Feedback Fehlerbericht 2. Fehlererkennung und Korrektur (ETL-Prozess mit ODI EE) Prozesse 4. Ursachenbeseitung mit der Fachabteilung Korrektur Trends 3. Dokumentation der Qualitätsquoten (Metadaten Repository )

44 Data Quality Life Cycle Aussagen Die Wahrung der Qualität der Daten ist ein ständig wiederkehrender Prozess (Life Cycle). Die Ursache schlechter Datenqualität kann nur in den operativen Prozessen selbst beseitigt werden. Data Profiling ist ein Wechselspiel zwischen dem Finden von Datenfehlern und dem Korrigieren der der Fehlerursachen in den operativen Prozessen. Weil Unternehmen mit immer mehr Daten und immer komplexeren Konstrukten umgeben, wird sich der Vorgang in immer neuen Varianten wiederholen.

45