Datenqualität in Frontend- und Backend-Anwendungen

Transkript

1 Datenqualität in Frontend- und Backend-Anwendungen DOAG-Konferenz, , Nürnberg Marcus Zwirner

2 Agenda Datenqualitätsmängel und ihre Ursachen Warum ist Datenqualität wichtig? Herausforderungen für die Sicherstellung der Datenqualität? in Frontend-Anwendungen in Backend-Anwendungen Merkmale eines erfolgreichen Datenqualitätsmanagements Methoden zur Messen und Verbesserung der Datenqualität Fazit

3 Agenda Datenqualitätsmängel und ihre Ursachen Warum ist Datenqualität wichtig? Herausforderungen für die Sicherstellung der Datenqualität? in Frontend-Anwendungen in Backend-Anwendungen Merkmale eines erfolgreichen Datenqualitätsmanagements Methoden zur Messung und Verbesserung der Datenqualität Fazit

4 Beispiele für Datenqualitätsprobleme Ein europäisches Unternehmen stellte bei einer Datenqualitätsanalyse fest, dass 4% der angefallenen Rechnungen erst gar nicht ausgestellt wurden. Bei einem Umsatz von 2 Mrd. bedeutet dies eine Summe von 80 Mio. unbezahlter Rechnungen. Bei einem Vergleich amerikanischer Wählerlisten mit den Adress- und Umzugsdaten des U.S. Post Offices wurde festgestellt, dass 1/6 aller Wähler entweder gestorben oder umgezogen sind. Eine britische Bank errechnete einen Verlust von 90 Mio. Pfund wegen Datenfehlern bei der Kalkulation der Risikoposition. Barbra Streisand beendete Ihre Kundenbeziehung zu einer Investmentbank, da Ihr Vorname falsch geschrieben wurde. Die angefallenen Kosten für die Jahr 2000-Umstellung werden global auf 0,5 1,5 Billionen geschätzt. Bezogen auf ein Unternehmen, werden die Kosten mangelnder Datenqualität auf 8 12 % des Umsatzes geschätzt. Datenqualitätsmanagement ist erforderlich Quelle:

5 Mangelndes Problembewusstsein Obwohl ein Data-Warehouse- oder CRM-System hohe Investitionskosten verursacht und eine mangelnde Datenqualität die Erwartungen an das System nicht erfüllt, ist das Problembewusstsein für Datenqualität allgemein noch sehr gering: The Data Warehouse Institute schätzt, dass Datenqualitätsprobleme US-Unternehmen pro Jahr mehr als 600 Milliarden Dollar kosten. (TDWI Data Quality Report, 2002) Datenqualität frisst die Hälfte des Data-Warehouse-Etats (computerzeitung, ) Bei der Optimierung bestehender CRM-Systeme stehen derzeit die Datenqualität und bereitstellung im Vordergrund. (CIO, )

6 Ursachen für mangelhafte Datenqualität Data entry by employees 76 Online-Eingaben im Internet werden bewusst verfälscht, um die Privatsphäre zu wahren Data entry by customers Changes to source systems Data migration and conversion projects Daten aus verschiedenen Quellen entsprechen nicht dem vorgegebenen Standard Mixed expectations by users External data Call Center Agenten geben Abkürzungen ein, um Zeit zu sparen System errors Other Externe Daten sind fehlerhaft Percentage of survey respondents Unterschiedliche Business Rules in Alt- und Neusystem werden bei Datenmigration nicht beachtet. Fehlendes Problembewusstsein Source: Data Quality and the Bottom Line, TDWI Report Series, 2002

7 Agenda Datenqualitätsmängel und ihre Ursachen Warum ist Datenqualität wichtig? Herausforderungen für die Sicherstellung der Datenqualität? in Frontend-Anwendungen in Backend-Anwendungen Merkmale eines erfolgreichen Datenqualitätsmanagements Methoden zur Messung und Verbesserung der Datenqualität Fazit

8 Auswirkungen mangelhafter Datenqualität Auswirkungen auf DWH-Projekt: Zusatzaufwand Aufwendige Suche nach den richtigen Werten Nachträglicher Aufwand beim Erstellen von Berichten und Analysen Doppelerfassungen Weiterverarbeitung erschwert (Sonderlogik, Data Cleansing) Zusätzlicher Entwicklungs- und Betriebsaufwand (Anpassungsaufwand) Interne Akzeptanz Unglaubwürdigkeit / Vertrauensverlust Imageverlust (Intern) Erwarteter Nutzen des DWH wird nicht erreicht Nur von DWH-Spezialisten nutzbar

9 Auswirkungen mangelhafter Datenqualität Auswirkungen auf Entscheidungsprozesse: Reporting Falschaussagen und falsche Auswertungen (Statistiken) Berichte evtl. verfälscht Ergebnisse nicht aussagekräftig und verständlich (unscharf) Externes Reporting nicht möglich (Bilanzierung) Strategische Entscheidungen Falsche Planungsbasis durch falsche Zahlen Fehlentscheide (Investition, Produktentwicklung,...) Falsche strategische Ausrichtung (z. B. falscher Vertriebskanal) Ansammlung unerwünschter Risiken Falsche Tarif- und Preiskalkulation Ungenaue und falsche Rentabilitätsberechnungen

10 Auswirkungen mangelhafter Datenqualität Auswirkungen auf operative Geschäftsprozesse: Falsche Information verärgert Kunden Kundenbeschwerden Falsche Zielgruppen bei Werbemaßnahmen (Kosten) Kundenabwanderungen Kundenpotential wird nicht genutzt Cross-Selling-Möglichkeiten werden falsch eingeschätzt oder nicht erkannt Falsche Rechnungen (Provisionszahlungen / Prämienberechnungen) Externer Imageverlust

11 Beispiel: Datenqualität im Einkauf Der Einkauf erkennt, dass die Klassifizierung der Lieferanten nach Umsätzen fehlerhaft ist. Analyse zeigt, dass eine Summierung oder Gruppierung auf Grund unterschiedlicher Schreibweisen der Firmennamen nicht möglich ist. Manuelle Bereinigung der Firmennamen mit Hilfe von ad-hoc- Abfragen in der Lieferantendatenbank. Anwendung eines Dublettenbereinigungstools zur automatischen Zusammenführung ähnlicher Firmennamen. Problem: Die Adresse auf den Rechnungen ist immer noch fehlerhaft.

12 Beispiel: Datenqualität im Einkauf Robert Bosch GmbH Siemens AG Dr. Ing. h.c. F. Porsche AG A B C sum(umsatz) where company like %Porsche AG% Porsche Zuffenhausen C Beru AG C Robert Bosch GmbH A Ferdinand Porsche AG C Dr. Ing. h.c. F. Porsche AG B Porsche AG C Siemens AG B Porsche Zuffenhausen C Dr. Ing. h.c. F. Porsche AG A Beru AG C Robert Bosch GmbH Siemens AG A B sum(umsatz) where company like %Porsche% Beru AG C

13 Agenda Datenqualitätsmängel und ihre Ursachen Warum ist Datenqualität wichtig? Herausforderungen für die Sicherstellung der Datenqualität? in Frontend-Anwendungen in Backend-Anwendungen Merkmale eines erfolgreichen Datenqualitätsmanagements Methoden zur Messung und Verbesserung der Datenqualität Fazit

14 Was ist eigentlich Datenqualität? Datenqualität bezeichnet die Qualität (Bedeutsamkeit, Relevanz und Korrektheit) von Informationen. Sie beschreibt, wie gut eine Information (bzw. ein Datensatz) geeignet ist, die Realität zu beschreiben, das heißt in wie weit sie ein Modell tatsächlicher Situationen bildet. Insbesondere besagt sie, wie verlässlich eine Information ist und in wie weit man sie als Grundlage für eine Planung des eigenen Handelns verwenden kann. Quelle: Oder... We define high-quality data as data that is fit for use by data consumers Quelle: Strong, Lee, Wang; Data Quality in context, Communications of the ACM, May 1997/Vol. 40, No. 5 Daraus folgt: Der individuelle Begriff der Datenqualität setzt sich für jedes Projekt aus den Anforderungen an das Informationsprodukt zusammen.

15 Informationsqualität Der Schein trügt Anwender sind häufig geblendet durch schöne Bilder. Man beginnt mit einem Werkzeug unbewusst fehlerhafte Informationen zu verteilen. Wird dies erkannt, wird das BI Tool dafür verantwortlich gemacht. Die Ursache liegt aber häufig in der verwendeten Datenquelle.

16 Der Schein trügt... oder doch nicht? Problem: Menschen sehen, was sie wissen, nicht was wir zeigen! Mit freundlicher Genehmigung von Prof. Dr. Martin J. Eppler / Universität Lugano

17 Herausforderungen bei Stammdaten Bis zum Ende dieses Vortrags sind in Deutschland B2B B2C 156 Gewerbebetriebe neu angemeldet und 150 wieder abgemeldet worden. 12 Unternehmen aus dem Ausland zugezogen und 14 Unternehmen ins Ausland abgewandert. 18 Unternehmen übernommen worden, 10 Unternehmen insolvent geworden sowie 1 Mio. Euro neue Insolvenzforderungen angefallen. 180 Personen haben geheiratet und 96 sind geschieden worden, 16 Verbraucher melden Insolvenz an und Personen ändern Ihre Adresse. Die Datenqualität ist ständig gefährdet. Quellen: destatis.de, regionalstatistik.de Quelle:

18 Die Herausforderung Schkriziptschak Schkriziptschak Schkrizypzak Schkrizypzak Tschgrsybtzak Schkriziptschak Skrzypczak Tschgrsybtzak Tschgrsybtzak Tschgrsybtzak Schkrizypzak Schkrizypzak Schkrizypzak

19 Zahlreiche Datenquellen... Responsekarten Call Center E-Commerce CRM- / ERP-System manuelle Erfassung POS-Systeme Fremdadressen

20 ... und Fehlerquellen OCR-Fehler Hörfehler Betrug CRM- / ERP-System Dubletten Tippfehler Mangelnde Sorgfalt

21 FUZZY! DataQuality Lab in der Praxis Kundenprojekt: Bewertung der Datenqualität von Kunden- und Lieferantendaten Mangelhafte Datenqualität 128 verschiedene Schreibweisen für Frankfurt am Main 8 verschiedene Schreibweisen für Dr. Ing. h.c. F. Porsche AG Aus Datenmüll wird Zusatzinfo! Zusätzlich entdeckte Informationen Handynummer, Abladestelle, Löschkennzeichen, Sperrkennzeichen, Kundennummer, Lieferscheinnummer Erkenntnis: Dass wir ein Datenqualitätsproblem haben war uns bekannt, aber nun wissen wir, wie es aussieht

22 Name1 Feld Summe Behörde Abladestelle Baustelle Komissionsinfo Kreditoreninfo Rechtsform Löschkennzeichen Sperrkennzeichen Abteilung Lieferungsnummer Registriernummer Kostenstelle Festnetznummer Handy-Nummer Summe Straße Ortsteil Ortsname Name3 Name2 Datenelement Praxisbeispiel: aus Datenmüll wird Zusatzinfo

23 Agenda Datenqualitätsmängel und ihre Ursachen Warum ist Datenqualität wichtig? Herausforderungen für die Sicherstellung der Datenqualität? in Frontend-Anwendungen in Backend-Anwendungen Merkmale eines erfolgreichen Datenqualitätsmanagements Methoden zur Messung und Verbesserung der Datenqualität Fazit

24 Bedeutet Data Cleansing Datenqualität? Schritte im Data Cleansing Projekt Mangelhafte Datenqualität wird vom Kunden oder Mitarbeiter identifiziert Lösungen zur Beseitigung des Fehlers werden gesucht Einmalige Beseitigung des Fehlers durch Datenbereinigung des vorhandenen Bestandes Initiale Bereinigung bei Datenübernahme Laufende Bereinigung bei Datenimporten Permanente Vermeidung von Datenfehlern Integration in Applikationen Online / Real-time Validierung bei der Erfassung Punktuelle Verbesserung bekannter Probleme

25 Total Data Quality Management Grundprinzipien Behandeln Sie Informationen wie ein Produkt mit einem eigenen Lebenszyklus und genau definiertem Produktionsprozess. Sicherstellung der Datenqualität entlang des gesamten Prozess Qualität orientiert sich am Markt: Verstehen Sie die Anforderungen der Datennutzer Ordnen Sie dem Informationsprodukt Beschreibung der messbaren Qualitätsmerkmale Daten müssen einem Qualitätsmanagement unterliegen, das bei den Ursachen ansetzt Punktuelle Bereinigungen helfen nur kurzfristig Nur die ganzheitlich Betrachtung sichert den Erfolg! Daten einen Verantwortlichen zu. Prozess DQ Mensch

26 Data Life Cycle: Daten, Prozesse, Menschen Call Center Erfassung Aktualisierung IT Speicherung Archivierung Marketing Selektion Vertrieb Akquise Fibu Rechnung

27 Rollen im Datenqualitätsmanagement Datenqualitätsbeauftragter Sponsor Prozessexperte Datenanalyst Datenverwalter Finanzen Datenverwalter Marketing

28 Agenda Datenqualitätsmängel und ihre Ursachen Warum ist Datenqualität wichtig? Herausforderungen für die Sicherstellung der Datenqualität? in Frontend-Anwendungen in Backend-Anwendungen Merkmale eines erfolgreichen Datenqualitätsmanagements Methoden zur Messung und Verbesserung der Datenqualität Fazit

29 FUZZY! DataCare Process 4Einführung einer Lösung zur Sicherstellung der Datenqualität 1Definition der Datenqualitätsregeln 3Ermittlung der Ursachen für Datenfehler 2Ermittlung des Datenqualitätsindex

30 Data Profiling und Regeldefinition

31 Datenbereinigungen (reaktiv) Bei den Datenbereinigungen handelt es sich um initiale Einmalaktionen zur Erstellung einer korrekten Ausgangsbasis, z.b. Bereinigungen auf Basis von definierten Datenqualitätsregeln, z.b. Standardisierungen / Normierungen Erweiterungen von Wertelisten Korrektur von fehlerhaften Daten Strukturierung von Daten Postalische Adressvalidierung und korrektur Dublettenbereinigung Adresskorrektur mit Umzugsdaten (Nachsendeanträge) Zu beachten: nicht alle Fehler lassen sich maschinell bereinigen!

32 Möglicher Ablauf Datenbereinigungen Strukturierung Validierung Aufgabe: Bereinigung existierender Datenfehler Lösungsschritte: Strukturierung Validierung Deduplizierung Deduplizierung Wichtig: ausreichend Ressourcen für manuelle Nacharbeiten einplanen Zieldatenbank

33 Qualitätssichernde Werkzeuge (proaktiv) Permanente präventive Maßnahmen im laufenden Betrieb, um das Entstehen neuer Datenfehler zu vermeiden Einsatz eines Plausibilitäten-Moduls Formatprüfungen Prüfung gegen Referenztabellen Prüfung von Datenfeldkombinationen / -abhängigkeiten verbesserte (vereinfachte) Funktionalität für die Anwender bessere Suchfunktionen Usability (Software-Ergonomie) Einsatz von Datenqualitäts-Tools postalischen Validierung von Adressen Vermeidung von Dubletten

34 Online Adress-Validierung mit FUZZY! Post Adressen werden bei der Erfassung gegen Referenzdaten abgeglichen und real-time geprüft, korrigiert und standardisiert. Wenn eine Adresse nicht eindeutig identifiziert werden kann, wird dem Anwender eine Liste der wahrscheinlichsten Adressen zur Auswahl angeboten. FUZZY! Informatik AG Ludwigsburg egolsheim 40 ludw 71 Ludwigsburg Baden-Württemberg Eglosheimer Str. 40 Ludwigsburg Baden-Württemberg Crailsheimer Weg 40

35 Online Deduplizierung mit FUZZY! Double FUZZY! Double wird bei jeder Erstellung oder Aktualisierung von Datensätzen eingesetzt Der Anwender wird informiert, ob einer oder mehrere doppelte Datensätze bestehen Der Anwender erhält die Möglichkeit entweder alle aufgezeigten Datensätze zu akzeptieren oder abzulehnen Fuzzi Informatik Ludwigsburg Eglosheimer Str. 40 Ludwigsburg FUZZY! Informatik AG Ludwigsburg Ludwigsburg Eglosheimer Str

36 Monitoring und regelmäßige Aktionen Beim Monitoring handelt es sich um regelmäßige, fortlaufende Maßnahmen zur Überwachung und nachhaltigen Aufrechterhaltung der Qualität des Datenbestands, z.b. Regelmäßige Messung von definierten Datenqualitätsregeln frühzeitige Erkennung von (neuen) Mängeln teils maschinelle Bereinigungsmöglichkeiten, teils manuelle Bereinigungen über Bereinigungslisten ggf. Ableitung von Schulungsmaßnahmen Regelmäßige Validierung und Bereinigung der bestehenden Datenbasis, z.b. postalische Adressvalidierung (Orts- und Straßenumbenennungen) Umzugsverarbeitungen (Nachsendeanträge) Dublettenabgleiche

37 FUZZY! Datenqualität im OWB Quellsystem Staging Area ETL ORACLE Warehouse Builder Zielsystem Data Warehouse FUZZY! Extended Name and Address Input-Mapping ORACLE DB2 MS SQL... Output-Mapping Beispiel1 (fehlerhaft) Strukturierung und Validierung mit FUZZY! Format FUZZY! Post Beispiel 2 (bereinigt)

38 Agenda Datenqualitätsmängel und ihre Ursachen Warum ist Datenqualität wichtig? Herausforderungen für die Sicherstellung der Datenqualität? in Frontend-Anwendungen in Backend-Anwendungen Merkmale eines erfolgreichen Datenqualitätsmanagements Methoden zur Messung und Verbesserung der Datenqualität Fazit

39 qual ity Mea suri ng Stru ctur ing Valid ating FUZ ZY! DIM E Iden tifyi ng FUZ ZY! Anal yzer Up FUZ dat ZY! ing Mail Stop FUZ ZY! Dou ble FUZ FUZ ZY! ZY! Post Ban k FUZ ZY! Tel FUZ ZY! Mo ve FUZ ZY! Boy kott Che ck Time Fazit Bereinigungen helfen nur punktuell Proaktives Datenqualitätsmanagement sichert den Erfolg Datenqualität ist ein Projekt Entwicklung eines Projektplans Aufbau eines DataQuality Team Analyse der Geschäftsprozesse und Datenmodelle Durchführung der Datenqualitätsbewertung Your solution Optimierung der Geschäftsprozesse Data Bereinigung der Daten Überwachung der Daten Es gibt Werkzeuge, Methoden und Erfahrungen! FUZZY DataCare Suite Tools FUZZY DataCare Process Strategy Certified Consultants MIT, dgiq, Oracle, IBM, Microsoft 12 years experience Experience

40 Allgemeine Systemarchitektur Datenbereitstellung Informationsgenerierung Informationszugriff SCM ERP Core Data Warehouse Analysesysteme CRM ETL Operational Data Store Data Mart BI-Portal Extern Wissensmanagementsysteme Operative Systeme Business Intelligence

41 Unternehmensweites DQ-Management Datenbereitstellung Informationsgenerierung Informationszugriff SCM ERP Core Data Warehouse Analysesysteme CRM Improve in source system Extern ETL Operational Data Store Data Mart Improve during transformation Define using Wissens- Data Profiling Measure using Data Quality Rules management- systeme BI-Portal Operative Systeme FUZZY! DataCare Suite Business Intelligence

42 Tipps & Tricks Total Data Quality Management: Tipps & Tricks Definieren Sie Ihr Datenqualitätsteam Klären Sie vorab die Erwartungen in ein Datenqualitätsprojekt Leiten Sie messbare Ziele aus den Erwartungen ab Identifikation der primären Einsatzbereiche Datenqualitätssicherung ist nie zu Ende

43 Anmerkungen With clean data, your BI tool can be successful, With bad data, any tool will fail Quelle: Cindi Howson, Ten mistakes to avoid when selecting and deploying BI tools, tdwi 2004

44

45 Ihr Ansprechpartner bei FUZZY! FUZZY! Informatik AG Tübinger Straße Stuttgart Besuchen Sie die FUZZY! Informatik AG in Ebene 2, Stand 229 Marcus Zwirner Leiter Consulting Tel.: 0711/

46 Datenqualität mit FUZZY! DataCare Applikationen Integration Prozess Know-How Standard-Connectoren für eine Vielzahl von Anwendungen zur direkten Integration Breite Palette an Clients für Integration in eigene Anwendungen Datenqualitätssteigerung in unterschiedlichen Geschäftsprozessen Vielfältige Unterstützung durch FUZZY! Services

47 FUZZY! Informatik AG Historie: Vorstand: Fokus: 1994 Gründung der FUZZY! Informatik GmbH in Ludwigsburg 1999 Umwandlung in eine AG 2007 A Company of Business Objects und Umzug nach Stuttgart Eberhard Franke (Vorsitz) Renato Grüner Entwicklung von Standardsoftware und ganzheitliche Beratung zur Datenqualitätssicherung Umsatz: 5,8 Mio. Euro (2006) Mitarbeiter: 50 (2007) Standort: Kunden: Stuttgart Über 300 Kunden profitieren von den Lösungen von FUZZY!, u.a. Daimler, BMW, WGV, Cortal Consors, Würth, Generali Bank, BMI, GIS, Telekom Austria, Mobilkom Austria, Österreichische Post, Mazda, Vodafone Partner: u.a. Oracle, Brandt & Partner, Jambou, DCL, Atos Origin, Intersoft