Datenqualität kennen und bewerten

Transkript

1 Datenqualität kennen und bewerten Sie möchten Datenfehler automatisch erkennen und gezielt bearbeiten? Ingo Lenzen Teamleiter Consulting Produktmanagement humanit Software GmbH Brühler Straße Bonn Ingo.lenzen@humanit.de

2 Datenqualität kennen und bewerten 1. Datenqualität nicht nur ein technisches Problem 2. Ansätze für DQ-Programme 3. Eine Herangehensweise an DQ-Programme humanit Software GmbH

3 Datenqualität nicht nur ein technisches Problem Fehlentscheidungen, die durch mangelnde Transparenz und eine unvollständige, fehlerhafte Datengrundlage verursacht werden verärgerte Kunden und Geschäftspartner wegen veralteter, falscher oder fehlender Daten hohe Verwaltungskosten durch Mehrfach-Dateneingabe, Fehlerbeseitigung, Reklamationsbearbeitung, Abgleichsarbeiten, umständliche Informationsbeschaffung und Datenkorrektur hohe IT-Kosten, die aus der Zersplitterung der Daten auf viele verschiedenartige Systeme entstehen lange Laufzeiten der Geschäftsprozesse, weil einzelne Einheiten immer wieder auf Daten von anderen warten oder Zuständigkeiten nicht klar definiert sind humanit Software GmbH

4 Datenqualität nicht nur ein technisches Problem Wie wichtig eine regelmäßige Adresspflege ist, zeigen folgende Zahlen: 2014 änderten sich in Deutschland rund 300 Ortsnamen, Straßen wurden neu angelegt, aufgeteilt oder umbenannt. Zudem veralten Adressen jährlich durch etwa acht Millionen Umzüge, Todesfälle sowie Hochzeiten und Scheidungen und die damit verbundenen Namensänderungen. Zusätzlich gefährden Fehler in der Anrede, falsch geschriebene Vor- und Nachnamen sowie doppelte Sendungen die gute Beziehung zum Kunden. Und die lohnt sich: Denn es kostet ein Unternehmen fünf- bis siebenmal mehr, einen Kunden neu zu gewinnen, als einen Bestandskunden zu halten. Deutsche Post, Kundendaten-Qualität 2015, humanit Software GmbH

5 Datenqualität nicht nur ein technisches Problem Herausforderungen bei der Datenqualität Datenqualität bezogen auf Kundendaten im Energiesektor Als größte Herausforderung beim Umgang mit den Stammdaten gaben die befragten Unternehmen die Korrektheit der Daten an. Die Aktualität der Stammdaten spielt vor allem für Kunden- und Produktdaten eine überragende Rolle. pwc-studie Verborgene Schätze, humanit Software GmbH

6 Ansätze für DQ-Programme humanit Software GmbH

7 Ansätze für DQ-Programme Warum Programm und nicht Projekt? Definition-Projekt: Ein Projekt ist eine zeitlich befristete, relativ innovative und risikobehaftete Aufgabe von erheblicher Komplexität, die aufgrund ihrer Schwierigkeit und Bedeutung meist ein gesondertes Projektmanagement erfordert. Aber: Datenqualität zu pflegen ist keine zeitlich befristete Tätigkeit, sondern fortlaufen humanit Software GmbH

8 Ansätze für DQ-Programme Ansatzpunkte Durchgängiges Daten-Controlling Bestandsdatenanalyse Analyse im produktiven Bereich Frühwarnsystem für Datenprobleme Vorbereitung für Datenübernahmen Analyse des Ist-Zustands und der Schwachstellen Definition der Zielstruktur und Migrations-Preview humanit Software GmbH

9 Messung von Datenqualitätsproblemen Voraussetzungen Es ist bekannt, welche Qualität erforderlich ist und welche Qualität besteht IST Analyse des Zustandes SOLL Festlegung vor Messung SOLL Funktionalität IST Alle Aktivitäten fokussieren auf das gemeinsame Ziel Zeit humanit Software GmbH

10 Eine Herangehensweise an DQ-Programme humanit Software GmbH

11 Die Datenqualitätsbereiche Datenqualität Gesamtheit unterschiedlicher Qualitätsmerkmale Qualitätsmerkmal Qualitätsmerkmal Einzelaspekt der Datenqualität Qualitäts- Metrik Qualitäts- Metrik Qualitäts- Metrik Qualitäts- Metrik Objektive, messbare Größe, die in Bezug auf unterschiedliche Ausprägungen eines Qualitätsmerkmals sensitiv reagiert humanit Software GmbH

12 Beispiel Business-Rules Einfache Beispiele PLZ nicht valide Name nicht vollständig Hausnummer fehlt Ort in falscher Notation Name Straße PLZ Ort Geburtsdatum Kunde A Peter Müller Rotweg 5321 BONN Kunde B H. Schulze Hauptweg Bonn Kunde C Franz Mayer Gartenstr. 4 Bonn Geburtsdatum fehlt Falsches Format Kunde C Franz Meyer Gartenstraße Bonn Kundendublette? Straße nicht ausgeschrieben PLZ fehlt humanit Software GmbH

13 Struktur einer Business Rule Regel = Abfrage + Statistik + Bewertung Identifikation Relevanter Datenfelder und Datentöpfe Data collection Abgrenzung (Selektionskriterien) Stichprobe (data sample) Auswertung Listen/Kennzahlen Differenzen zu Erwartungswerten Controlling zu Historienwerten Festlegen von Schwellwerten (threshholds) Ampelstatus Rot - Gelb - Grün Gewichtung Wesentliches Merkmal ist die Eindeutigkeit, die keinen Raum für unterschiedliche Auslegungen lässt. Kennzahlen: Wie viel Prozent meiner Datensätze betrifft das? Absolute Anzahl von betroffenen Datensätzen humanit Software GmbH

14 Begriffsklärung und Bedeutung Aus Energieversorger-Sicht sind folgende Begrifflichkeiten zu unterscheiden: Regionen Staaten Mengeneinheiten Globale Grunddaten / Hilfsstammdaten Meta-Ebene Währungen Preislisten Lieferbedingungen Sparten Kunden Tarife Stammdaten Zähler Stammdaten- Ebene Lieferanten Verträge humanit Software GmbH

15 Prüfungen in der Energiewirtschaft EDM/Bilanzierung: Kundenwerte und/oder Prognosewerte von Haushaltskunden mit Regeln (Maxwerte) versehen. Warnung bei zu hohen Werten. Bilanzierung: Abweichung der aktuellen Prognosewerte im Vergleich zum Durchschnitt, Abweichung mehr als 50% Abrechnung: Abweichung der aktuellen Abschläge im Vergleich zum Durchschnitt, Abweichung mehr als 50% Abrechnung: Zu oft hintereinander geschätzt? (Mehrfach, also 2 Jahre hintereinander) Stammdaten: IBAN-Prüfungen, Adressdaten, Tarifdaten Zählerwesen: Keine Buchstaben in Zählern (Kann von Werk zu Werk variieren) Bilanzierung: Verwendung nur von Standardlastprofile (Lastverhalten im stündlichen Takt) humanit Software GmbH

16 Pragmatisches Vorgehensmodell Vorgehen DQ-Auftragsvorbereitung DQ-Analyse Bereitstellen von DQ- Prüfergebnissen Datenexperten identifizieren Bereitschaft zur Mitwirkung bei den DQ-Analysen sichern Datenzugriffe bereitstellen Fachliche und technische Dokumentationen der Datenstruktur sichten Durchführen statistischer Spaltenwertanalysen Festlegen der wichtigsten Datenfelder Analyse individueller Datenauswertungen Entwurf von DQ-Regeln mit Schwellwerten Bewertung von DQ- Regelergebnissen Eliminieren redundanter DQ- Prüfungen Berücksichtigen mehrerer DQ- Ergebnisplattformen Überprüfen der DQ Regelnamenssyntax Bewertung von Schwellwerten Zuordnung von Auslösertypen DQ-Kriterien zuordnen DQ-Indizes mit Gewichtungen berechnen Scorecard & Prüfbericht humanit Software GmbH

17 Analyseergebnisse: Metasicht Ausgabe der Analysehistorie Gesamtindex Einzelaspekte humanit Software GmbH

18 Analyseergebnisse: Objektsicht Generierung von Stammblättern (PDF) Stammdatensatz System-Backlink Regelverletzungen Aufbereitung für Workflow-Übernahme humanit Software GmbH

19 Ein praktischer Einblick humanit Software GmbH

20 Datenübernahme-Modell Bearbeitungstabelle Alt- System Datenbasis (FOX) Kundendatentabelle Datenbasis (FOX) Datenbasis (XLS) Fortlaufende Anreicherung durch manuelle Eingaben Ergebnisbewertung Auswertung der Regelergebnisse Durchführung von Korrekturen oder Vorlagenanpassung View Datenbasis Datenübernahme (CSV) Datenbasis (CSV) Migrationstest humanit Software GmbH

21 Vielen Dank für Ihre Aufmerksamkeit. Ingo Lenzen Teamleiter Consulting Produktmanagement humanit Software GmbH Brühler Str Bonn Ingo.lenzen@humanit.de humanit Software GmbH