Verbesserung der Datenqualität im ETL-Prozess durch Data-Mining-Methoden

Transkript

1 Verbesserung der Datenqualität im ETL-Prozess durch Data-Mining-Methoden Nürnberg, 01. Dezember 2008 Dr. Joachim Keppler Competence Center Manager Customer Analytics

2 INHALT 01 SHS VIVEON Ihr Partner für Customer Management 02 Ansätze für Data Mining / Data Profiling im ETL-Prozess 03 Analytische Herausforderungen 04 Praxisbeispiele 05 Operativer Datenqualitätsprozess 06 Zusammenfassung 07 Kontakt Seite 2

3 01 SHS VIVEON Ihr Partner für Customer Management 02 Ansätze für Data Mining / Data Profiling im ETL-Prozess 03 Analytische Herausforderungen 04 Praxisbeispiele 05 Operativer Datenqualitätsprozess 06 Zusammenfassung 07 Kontakt Seite 3

4 SHS VIVEON gehört zu Europas führenden Lösungsanbietern im Customer Management Barcelona Hamburg Kastl Köln Madrid München Stuttgart Valladolid Wien Wiesbaden Zürich > 56,5 Mio. EUR Gesamtleistung > 550 Mitarbeiter > 150 Kunden in 15 Ländern > 11 Standorte in 4 Ländern Gründung: 1991 in München (börsennotiert seit 1999) Tochtergesellschaften: GUARDEAN GmbH, SHS VIVEON Schweiz AG, SHS Polar S.L. (E) Leistungsfokus: Customer Risk Management Customer Value & Analytics Management Customer Interaction & Applications Management Business Intelligence Data Warehouse Zielbranchen: Telco/Media Finance Industry & Commerce Partner: Führende internationale Technologieunternehmen Beratungen Auskunfteien Seite 4

5 Über 150 Kunden in 15 Ländern vertrauen SHS VIVEON Hamburg Köln Wiesbaden Standort Standort & Kunden Kunden Kastl Stuttgart München Zürich Wien Valladolid Barcelona Madrid Seite 5

6 Warum SHS VIVEON der richtige Lösungspartner für Sie ist Unsere Kunden zählen zu den erfolgreichsten ihrer Branche Klarer Fokus auf innovativen Customer Management Lösungen Ganzheitlicher Support - von der Strategiefindung, über die Fachkonzeption bis zum Betrieb Win / Win Partnerschaftliche Kundenbeziehung Umfassendes Verzahnen und aktives Managen von Potenzialen UND Risiken Exzellentes Branchen Know-how & umfassende Umsetzungsexpertise Innovative, pragmatische, erfolgreiche Lösungen Seite 6

8 ETL-Prozess Zielsetzungen Datenquelle 1 Datenquelle 2 ETL-Prozess DWH Datenquelle N viele Jobs gewaltige Datenmengen Datenqualität? Verbesserung der Datenqualität. Steigerung der Effizienz und Effektivität des Datenqualitätsprozesses. Automatische Identifikation von Irregularitäten / Ausreißern in den Daten. Seite 8

9 Verschiedene Aspekte von Datenqualität Standardisierung - Vereinheitlichung von Datenformaten - Transformation von Dateninhalten Matching - Identifikation und Verknüpfung von zusammenhängenden Dateninhalten - Zusammenführung von assoziierten Datensätzen und Dateninhalten Enrichment - Anreicherung der internen Daten mit Daten aus externen Quellen - Aufbau einer vollständigen Datensicht Profiling - Analyse der Metadaten und Dateninhalte - Erkennung von Mustern, Regeln und Zusammenhängen sowie Identifikation von Ausreißern Cleansing - Säuberung von Datensätzen und Dateninhalten - Bereinigung von Datenfehlern Monitoring - Laufende Überwachung der Datenqualität - Beobachtung und Messung der Datenqualität mit Business Rules Seite 9

10 Data Profiling Überblick über die Ansätze Ansätze für Data Profiling Expertensystem: Regeln werden durch Experten bereitgestellt Scoring: Klassifikation von Abweichungen (Fällen) wird durch Experten bereitgestellt; Regeln werden durch gestütztes Lernen extrahiert Deviation Detection: Irregularitäten und Abweichungen von der Norm werden durch ungestütztes Lernen extrahiert - basiert völlig auf Expertenwissen - relativ träge und unflexibel - Verzögerung zwischen dem ersten Auftreten von auffälligen Mustern und der Formulierung der Regeln - A-priori-Expertenwissen erforderlich - ausreichende Anzahl von Fällen muss durch Experten klassifiziert werden - Verzögerung zwischen dem ersten Auftreten von auffälligen Mustern und der Formulierung der Regeln - kein A-priori-Expertenwissen erforderlich - keine Klassifikation von Fällen erforderlich - Irregularitäten werden angezeigt sobald sie zum ersten Mal auftreten - sehr flexibel und adaptiv - Warnungen müssen durch Experten interpretiert werden Seite 10

11 Deviation Detection Datenspezifikation Seite 11

12 Deviation Detection Parametrisierung Seite 12

13 Deviation Detection Regel-Browser Seite 13

14 Deviation Detection Anzeige von Auffälligkeiten Seite 14

16 Analyse von operativen Metadaten Identifikation von Irregularitäten in Job-Plänen - Abweichungen vom normalen Startzeitpunkt (Tag, Stunde) - Abweichungen von der normalen Anzahl von Läufen Identifikation von Irregularitäten in der Verarbeitungsstatistik - Abweichungen von der normalen Verarbeitungsdauer - Abweichungen von der normalen Anzahl von Source- / Target-Rows - Abweichungen von der normalen Beziehung zwischen Source- und Target-Rows Identifikation von Irregularitäten im CPU-Verbrauch - Abweichungen vom normalen CPU-Verbrauch - Erkennung von Verschiebungen (Peaks) im CPU-Verbrauch Identifikation von Irregularitäten im Speicherverbrauch - Abweichungen vom normalen Speicherverbrauch - Erkennung von Verschiebungen (Peaks) im Speicherverbrauch Identifikation von Irregularitäten im Speicherbedarf (Tablespace) - Abweichungen vom normalen Speicherbedarf - Erkennung von Peaks im Speicherbedarf Seite 16

17 Analyse des Dateninhalts Identifikation von Irregularitäten in Datenattributen - Abweichungen von der normalen Befüllung der Datenattribute - Erkennung von Ausreißern - Erkennung von Schreibfehlern Identifikation von Irregularitäten in Datensätzen - Abweichungen von der normalen Beziehung zwischen den Datenattributen - Erkennung von Inkonsistenzen in den Datenattributen Seite 17

19 Unregelmäßigkeiten im Job-Plan (Startzeitpunkt) Ausreißer in der Startzeit: ein Job, der nicht nach Plan gestartet ist. Seite 19

20 Unregelmäßigkeiten im Job-Plan (Anzahl der Läufe) Ausreißer in der Anzahl der Läufe; ein Job, der nur einmal statt zweimal gelaufen ist. Seite 20

21 Unregelmäßigkeiten in der Verarbeitungsstatistik (Dauer) Ausreißer in der Laufzeit; ein Job mit einer anomalen Verarbeitungsdauer. Seite 21

22 Unregelmäßigkeiten in der Verarbeitungsstatistik (Anzahl Datensätze) Ausreißer in der Anzahl der verarbeiteten Zeilen; ein Job mit einer anomalen Verarbeitungsstatistik. Seite 22

23 Unregelmäßigkeiten in der Verarbeitungsstatistik (Anzahl Datensätze) Ausreißer in der Anzahl der Ziel-Zeilen; ein Job mit einer anomalen Verarbeitungsstatistik. Seite 23

24 Unregelmäßigkeiten im CPU-Verbrauch Ausreißer im CPU-Verbrauch; ein Systemknoten mit anomalen Peaks am Sonntag. Seite 24

25 Unregelmäßigkeiten im Speicherplatz (Zuwachs) Ausreißer im Speicherzuwachs; ein Objekt mit einem anomalen Verhalten. Seite 25

26 Unregelmäßigkeiten in der Befüllung von Datenattributen 18 Ausreißer in der inhaltlichen Befüllung von Datenattributen. Seite 26

28 Operativer Datenqualitätsprozess Extraktion von Regeln historische Daten DWH Regeln (Repository) Pre-Processing Post-Processing Parser Views überarb. Regeln Data-Mining-Tool Begutachtung der Regeln Export der Regeln erzeugte Regeln Anwendung von Regeln Datenquelle 1 Datenquelle 2 Datenquelle N ETL-Prozess Datenqualitätsmodul (Rule Engine) DWH Warnungen Seite 28

30 SWOT-Analyse Data-Mining-Methoden im ETL-Prozess Strengths Lösung ermöglicht automatische Erzeugung von Regeln und systematische Erkennung von Abweichungen und Irregularitäten. Menschliche Intervention wird auf ein Minimum reduziert sobald der Prozess etabliert ist. Spezialisten können sich auf wertschöpfende Aktivitäten konzentrieren statt in riesigen Datenmengen nach Ausreißern zu suchen. Weaknesses Basisaufbau von Pre- und Post-Processing- Prozeduren ist erforderlich. Datenqualitätsmodul muss entwickelt werden (Rule Engine), das die Regeln auf die geladenen Daten anwendet und Warnungen erzeugt. Organisatorische Rolle eines Data Quality Managers sollte etabliert werden; dieser überwacht den Datenqualitätsprozess und bearbeitet die Warnungen. Opportunities Threats Effizienz und Effektivität des Datenqualitätsprozesses kann signifikant gesteigert werden: - Ausreißer werden schneller erkannt, - mehr Ausreißer als vorher werden erkannt. Data Auditing / Data Profiling wird auf einen höheren Reifegrad gehoben. Qualität des DWH kann weiter verbessert werden. System kann eine größere Anzahl von Warnungen erzeugen mit dieser Situation muss man umgehen können. Seite 30

31 Kontakt Dr. Joachim Keppler Competence Center Manager Customer Analytics SHS VIVEON AG Fraunhoferstraße Martinsried bei München +49 (0) Seite 31