Madrid oder Mailand Hauptsache Italien Datenqualität & MDM in DWH Projekten

Transkript

1 Madrid oder Mailand Hauptsache Italien! Datenqualität & MDM in DWH Projekten OPITZ CONSULTING GmbH 2014 Seite 1

2 Mission Wir entwickeln gemeinsam mit allen Branchen Lösungen, die dazu führen, dass sich diese Organisationen besser entwickeln als ihr Wettbewerb. Unsere Dienstleistung erfolgt partnerschaftlich und ist auf eine langjährige Zusammenarbeit angelegt. Leistungsangebot Business IT Alignment Business Information Management Business Process Management Anwendungsentwicklung SOA und System-Integration IT-Infrastruktur-Management Märkte Branchenübergreifend Über 600 Kunden 29% Industrie / Versorger / Telekommunikation Eckdaten Gründung Mitarbeiter 9 Standorte 29% Handel / Logistik / Dienstleistungen 42% Öffentliche Auftraggeber / Banken und Versicherungen / Vereine und Verbände OPITZ CONSULTING GmbH 2014 Seite 2

3 Agenda 1. Datenqualität und MDM 2. Datenqualität als Querschnittsthema für Technik, Organisation und Methodik 3. Data Quality in der Praxis: Oracle DWH, OWB/ODI, Oracle Enterprise Data Quality 4. Fazit OPITZ CONSULTING GmbH 2014 Seite 3

4 1 Datenqualität und Master Data Management Unsere Chancen, das Viertelfinale zu erreichen, stehen 50:50 oder 60:60. Reiner Calmund OPITZ CONSULTING GmbH 2014 Seite 4

5 Big Data und Datenqualität: Neuer Trend und alte Weisheit! Quelle: OPITZ CONSULTING GmbH 2014 Seite 5

6 Datenqualitätsprobleme OPITZ CONSULTING GmbH 2014 Seite 6

7 Datenqualitätsprobleme OPITZ CONSULTING GmbH 2014 Seite 7

8 Direkt Sichtbare und vermeintlich unsichtbare Konsequenzen von mangelnder Datenqualität Rückläufer Bußgelder Ertragsverlust Fehlentscheidungen Auftragsverlust Suchdauer Erhöhte Systemkosten Schäden Zeitverlust Mitarbeiterunzufriedenheit Datenwiedereingabe Datenkorrektur Imageverlust Kundenabwanderung Zinskosten Entgangenes Neugeschäft Arbeitsstunden Sicherheitskosten OPITZ CONSULTING GmbH 2014 Seite 8

9 Direkt Sichtbare und vermeintlich unsichtbare Konsequenzen von mangelnder Datenqualität Rückläufer Bußgelder Ertragsverlust Fehlentscheidungen Auftragsverlust Suchdauer Erhöhte Systemkosten Schäden Zeitverlust Mitarbeiterunzufriedenheit Datenwiedereingabe Datenkorrektur Imageverlust Kundenabwanderung Zinskosten Entgangenes Neugeschäft Arbeitsstunden Sicherheitskosten OPITZ CONSULTING GmbH 2014 Seite 9

10 Master Data Management: Neue Disziplin, bekannte Zielsetzung Master Data Management (Synonym: Stammdatenmanagement) ist das Management zur Sicherstellung der Qualität der Stammdaten und verfolgt den Zweck, die Eignung der Stammdatenobjekte bei Verwendung in allen wertschöpfenden Prozessen des Unternehmens sicherzustellen. Das MDM beinhaltet alle hierzu notwendigen operativen und steuernden Prozesse, die eine qualitätsgesicherte Definition herbeiführen sowie die Pflege und Verwaltung der Stammdatenobjekte sicherstellen. Zudem stellt das MDM die IT-Komponenten zur Abbildung dieser Prozesse. Zweck des Master Data Managements Nutzung Nutzbarkeit OPITZ CONSULTING GmbH 2014 Seite 10

11 Stammdaten und andere Datentypen Stammdaten Änderungsdaten Bestandsdaten Bewegungsdaten Länder-Code (*) Lieferant enthält Kunde ändert Update Zahlungsart Verweist auf Bestellung Bestellkopf Produkt enthält Bestellpositionen lagert Lagerort hat Lagerbestand ändert (*) Referenzdaten (Werteliste, Codelisten) OPITZ CONSULTING GmbH 2014 Seite 11

12 2 Datenqualität als Querschnittsthema für Technik, Organisation und Methodik Der Jürgen Klinsmann und ich, wir sind ein gutes Trio. Ich meinte: ein Quartett! Fritz Walter jun. OPITZ CONSULTING GmbH 2014 Seite 12

13 Datenqualität in seinen Dimensionen OPITZ CONSULTING GmbH 2014 Seite 13

14 Mithilfe des DQM-Zyklus Datenqualität aktiv managen Probleme identifizieren und priorisieren Data Monitoring Data Monitoring Data Profiling Erfolg bewerten Zielwerte definieren Data Cleansing Prozess und Systeme verbessern Ursache analysieren Data Profiling OPITZ CONSULTING GmbH 2014 Seite 14

15 Data Stewards leben den DQM-Zyklus Steward (engl.): auch Verwalter, Obmann, Vertrauensmann, Mittler, Bewahrer (Fachbereichs-)Rolle im Unternehmen für proaktives Datenqualitätsmanagement Prozessorientierung vs. Domänenorientierung Bestellprozess Data Steward Gruppe Lagerdaten Data Steward Gruppe Kunden Lieferprozess Lieferanten Produkte OPITZ CONSULTING GmbH 2014 Seite 15

16 Datenqualität in der Architektur: DWHs sind besonders anfällig für DQ-Mängel Stage EM Marts/Cubes? Quellsysteme BI & DWH Infrastruktur OPITZ CONSULTING GmbH 2014 Seite 16

17 Master Data Management als qualitätssicherndes Element in der DWH-Landschaft Quelle: Gartner BI Summit 2013, Big Data and Analytics Strategy Essentials OPITZ CONSULTING GmbH 2014 Seite 17

18 Methoden im Datenqualitätsmanagement Data Profiling Data Cleansing Data Monitoring Sammeln und Analysieren von Informationen zu Inhalt, Struktur und Qualität der Daten Verfahren zum Entfernen und Korrigieren von Datenfehlern Kontinuierliches Erkennen und Überwachen von Datenqualität und Datenqualitätskennzahlen OPITZ CONSULTING GmbH 2014 Seite 18

19 Ansätze für Data Profiling Attributanalyse Datensatzanalyse Tabellenanalyse Attributname Datentyp Wertebereich Muster Domänen NULL-Werte Eindeutigkeit Schlüsselattribute Abgeleitete Attribute Attributsbeziehungen Individuelle Geschäftsregeln Referenzielle Abhängigkeiten Anzahl Datensätze Kardinalitäten Individuelle Geschäftsregeln OPITZ CONSULTING GmbH 2014 Seite 19

20 Data Profiling am Beispiel Bestelldaten Data Profiling Umsatz pro Sparte? Umsatz pro Gruppe? Umsatz pro Produkt? Werden korrekte Rechnungen erstellt? Umsatz pro Kunde? Macht die Kundenkarte Sinn? Sparte Gruppe Fehlerhafte Spartenkennzeichnung von Gruppen Waisen Falsche Statuskennzeichnung von Produkten Produkt Falsche Verschlüsselung von Produkten Doppelte Produktnummern Bestellung Bestellposition Fehlerhafte, nicht rechenbare Einzelpreisbezeichnung Kunde Doppelte Wertebelegung von Statuskennzeichnung OPITZ CONSULTING GmbH 2014 Seite 20

21 Data Cleansing Methoden Data Cleansing Maik Lehmann Maik Lehmann Validierung Maik Lehmann? Verarbeitung Abweisung Zurückhaltung Verarbeitung mit Bereinigung Herr Maik Lehmann Herr Maik Lehmann Standardisieren 1,2 kg 1200g Strukturieren Normieren Bereinigen Frankfurt am Main Frankfurt a. Main Frankfurt/Main Maik Lehmann Maik Lehmann Verarbeiten Entfernen Ersetzen Ableiten Vorgabewerte verwenden Duplikate entfernen Auftrennen Maik Lehmann Berlin 800 km² 3,4 Mio Einwohner Vorwahl 030 Anreicherung Anreicherung mit ergänzenden Informationen OPITZ CONSULTING GmbH 2014 Seite 21

22 Data Cleansing am Beispiel Kundenstammdaten Data Cleansing Domains? Varianten? Ausreißer? Regeln ableiten Analysieren/ Data Profile erstellen Daten anreichern/ Kaufkraft, Bonität Referenzdaten Strasse, PLZ, Ort Kundenstammdaten (Urzustand) Daten standardisieren Kundenstammdaten (standardisiert) Daten bereinigen Kundenstammdaten (bereinigt) Steigerung der Datenqualität OPITZ CONSULTING GmbH 2014 Seite 22

23 Data Monitoring am Beispiel eines unternehmensweiten Kennzahlenbaum Data Monitoring Hauptziel Datenqualität Musterunternehmen Ist 86% vs. Soll 94% Teilziele Vertriebsstammdaten Ist 95% vs. Soll 97% Logistikdaten Ist 77% vs. 91% Soll Unterziele Rückläufer Mailingaktion Ist 97% vs. Soll 96% Kundendoubletten Ist 93% vs. Soll 98% Zuordnungstreue Transportbehälter und Produkt Ist 77% vs. Soll 91% OPITZ CONSULTING GmbH 2014 Seite 23

24 3 Data Quality in der Praxis: Oracle DWH, OWB/ODI, Oracle Enterprise Data Quality Das Tor gehört zu 70% mir und 40% dem Wilmots. Ingo Anderbrügge OPITZ CONSULTING GmbH 2014 Seite 24

25 Grundlegende Best Practices Ausreichende Protokollierung Keine manuellen Eingriffe Sicherung der Nachvollziehbarkeit von Datenströmen Klar getrennte Layer und Bereitstellung von Metadaten (auch für Informationsempfänger) Geringe Verschachtelungstiefe und Übernahme von ID s Keine Berechnungen auf nicht statischen Daten Lesbarkeit von Code Datenmodell Standardisiert, z.b. Data Vault Namenskonventionen Constraints unter Berücksichtigung von Performanceaspekten OPITZ CONSULTING GmbH 2014 Seite 25

26 Oracle Datenbankmittel für Fehlerprotokollierung Zeilenbasiertes Exceptionhandling Erhöhter Implementierungsaufwand Mäßige Performance PL/SQL Bulk Processing mit FORALL SAVE EXCEPTIONS Erhöhter Implementierungsaufwand Gute Performance DML Error Logging Geringer Implementierungsaufwand Auch mit OWB & ODI ohne Zusatzkosten nutzbar Ggf. mäßige Performance insbesondere bei Conventional Path Inserts OPITZ CONSULTING GmbH 2014 Seite 26

27 Eigenimplementierung in PL/SQL zur Sicherung der Datenqualität Gründe: Häufig in der Konzeptionsphase kaum DQ-Anforderungen, sondern häufig erst während Implementierung oder Betrieb Glaube an eine gute Datenqualität und Dokumentation Vermeidung von Lizenzkosten Ergebnis: Manuelles Profiling mit Hilfe von vielen einzelnen SQL-Abfragen Korrekturen meist direkt im ETL-Prozess Erweiterte Lösung: Wiederholte Prüfung definierter Regeln Ggf. metadatengestützt Integration von Checks in den ETL-Prozess Darstellung von Fehlern in einem eigenen Bericht OPITZ CONSULTING GmbH 2014 Seite 27

28 Datenqualitätsmanagement am Beispiel eines organisationsübergreifenden DWHs (Pharma) Kunde: weltweit agierendes und forschendes Pharmaunternehmen Partnerunternehmen des Kunden führen klinische Studien durch übermitteln Kennzahlen, Events, Planzahlen, usw. per CSV-Dateien Datenverarbeitung: Polling auf Verzeichnis und Laden der Dateiinhalte Zurückweisung von schwerwiegenden Fehlern Weiterverarbeitung der verbleibenden Informationen Prüfungen auf Basis von Metadaten Darstellung von Inkonsistenzen in einem Bericht Fehlende Werte, z.b. fehlendes Datum eines Events Duplikate Einschätzung der Glaubwürdigkeit Meldung an Partner zur Korrektur OPITZ CONSULTING GmbH 2014 Seite 28

29 Data Cleansing Methoden im aktuellen Projekt Validierung Verarbeitung Abweisung Zurückhaltung Verarbeitung mit Bereinigung Standardisieren Strukturieren Normieren Bereinigen Verarbeiten Entfernen Ersetzen Ableiten Vorgabewerte verwenden Duplikate entfernen Auftrennen Anreicherung Anreicherung mit ergänzenden Informationen OPITZ CONSULTING GmbH 2014 Seite 29

30 Data Quality Option im OWB Zusätzlich Lizenzierung nötig Voll in den OWB integriert Umfangreicher Funktionsumfang Data Profiling Ableitung von Regeln Auditing der Datenqualität mit Data Auditors Anwendung von Data Cleansing Generierung von Tabellen (mit Constraints) Generierung von Funktionen und Mappings: 1. Speicherung der kompletten Datenmenge 2. Speicherung der fehlerhaften Zeilen 3. Speicherung von korrigierten Zeilen 4. Laden der kompletten, bereinigten Datenmenge Migration zu ODI: Data Quality Option nicht im ODI (Alternative: Oracle EDQ) Erstellte Mappings, Tabellen und Funktionen werden migriert, ggf. Nacharbeit nötig OPITZ CONSULTING GmbH 2014 Seite 30

31 Data Quality im ODI Einsatz von Check Knowledge Modulen (CKM) Static control beliebige Quelltabelle Flow control auf der I$-Tabelle Protokollierung in E$-Tabelle Oracle Data Profiling and Quality for Oracle Data Integrator Fremdprodukt von Trillium Jobs für Data Profiling & Data Cleansing Gesteigerter Umfang im Vergleich zu OWB Kann in ODI-Package aufgerufen werden Anscheinend kein strategisches Produkt OPITZ CONSULTING GmbH 2014 Seite 31

32 Oracle Enterprise Data Quality (OEDQ) Entstanden aus Übernahme von Datanomic (2011) Strategisches Produkt von Oracle Heterogene Datenquellen Datenbanken Spreadsheets (Access / Excel) Flat files Umfangreiche Funktionalität Einheitliche Oberfläche mit Fokus auf Fachanwender Weitreichende Integration In ODI-Package per Enterprise Data Quality Open Tool aufrufbar Unternehmensweit einsetzbar sowohl in operativen als auch dispositiven Systemen Kombinierbar mit Oracle MDM OPITZ CONSULTING GmbH 2014 Seite 32

33 OEDQ Systemische Einordnung OPITZ CONSULTING GmbH 2014 Seite 33

34 OEDQ Funktionsumfang OPITZ CONSULTING GmbH 2014 Seite 34

35 ODI/OEDQ Demo OPITZ CONSULTING GmbH 2014 Seite 35

36 OEDQ Integration in den ODI OPITZ CONSULTING GmbH 2014 Seite 36

37 4 Fazit Ihr Fünf spielt jetzt vier gegen drei. Fritz Langner OPITZ CONSULTING GmbH 2014 Seite 37

38 Fazit Datenqualitätsmanagement wird meist unterschätzt und reaktiv gehandhabt. Datenqualität bedeutet mehr als Technik. Data Stewards und DQ-Prozesse sichern langfristig eine gute Datenqualität. Oracle unterstützt Datenqualitätsmanagement in vielfacher Hinsicht von individuellem PL/SQL bis hin zu Enterprise DQ-Anwendungen (Oracle Enterprise Data Quality) Ein offener Umgang mit potentiellen Datenqualitätsproblemen ermöglicht realistischere und damit erfolgreichere BI-Projekte. Im Kontext von Big Data notwendiger den je! OPITZ CONSULTING GmbH 2014 Seite 38

39 Weiterführende Informationen Datenqualität Baustein für Effizienzsteigerung Whitpaper Datenqualitätsmanagement Master Data Management Buch: Master Data Management Masterdata Management Strategie, Organisation, Architektur Kunden- / Projektberichte: Hellmann Worldwide Logistics: Data Cleansing Master Data Management in der Praxis 6 Fallstudien im Vergleich Oracle und Data Quality OPITZ CONSULTING: ETL Monitoring für den OWB OEDQ Product Overview and Roadmap Oracle Data Integration Blog ([1], [2], [3]) DOAG Online: OWB ODI Migration OPITZ CONSULTING GmbH 2014 Seite 39

40 OWB zu ODI Migration Besuchen Sie uns an unserem Stand hier auf der Oracle DWH Konferenz oder auf opitz-consulting.com/owb_und_jetzt OPITZ CONSULTING GmbH 2014 Seite 40

41 Ansprechpartner Timo Bergenthal, Solution Architect BI OPITZ CONSULTING Deutschland GmbH Phone Mobile Jochen Wilms, Business Development & Innovation OPITZ CONSULTING Deutschland GmbH Phone Mobile OPITZ CONSULTING GmbH 2014 Seite 41