1
Data Governance als Teil von IT Governance Dr.Siegmund Priglinger spriglinger@informatica.com 18.Juni 2007 2
Agenda Informatica - Allgemeiner Überblick Die Informatica Data Quality Lösungen im Überblick DQ-Integration mit PowerCenter Informatica Data Explorer: Data Profiling & Analysis Informatica Data Quality: Data Cleansing und Quality Management 3
Informatica Overview Corporate Founded (1993) Nasdaq: INFA (1999) Over 1200 employees worldwide Products Data Integration Data Quality Data Access Customers Partners Over 2,750 companies worldwide 83 of the Fortune 100 and over 80% of Dow Jones Over 300 sales, marketing and implementation partners 4
Informatica Customers Global Leaders In All Industries Financial Services and Insurance Telecommunication High Tech and Manufacturing Pharmaceutical Transportation, Services, and Retail Public Sector and Federal Government 5
6 Informatica DQ Lösungen im Überblick
Data Governance Data Governance ist das System, mittels dessen das Unternehmen die gesamte Datenstrategie und deren Architektur festlegt. Damit pflegt es seinen Datenbestand und steuert den internen und externen Informationsfluss. Data Governance legt die Prozesse, die Fähigkeiten, die Führungsart und die Anlagen fest, die erforderlich sind, um die Informationsressourcen des Unternehmens erfolgreich einsetzen zu können. 7
Datenqualität ist der Schlüssel zum Erfolg bei Horizontal Business Implementations Data Migration Data Consolidation Master Data Management Data Warehousing Business Intelligence CRM / CDI Vertical Business Initiatives Regulatory Compliance (Basel II, SOX) in Financial Services Global Data Synchronisation und RFID in Industrie, Distribution & Retail Asset Management im Utilities / Telco Markt egovernment 8
DQ Anforderungen Bereinigung und Validierung von Kundenkontaktinformationen, z.b. Namen und Adressen Entdeckung von Abhängigkeiten zwischen Datensätzen, z.b. Haushaltsbildung, Duplikate identifizieren Durchführung von DQ-Maßnahmen auf weiteren Datentypen wie Produktdaten, Finanzdaten etc. Quantifizierung der Datenqualität durch Metriken, laufendes DQ Audit und Monitoring Effiziente Kontaktdaten Identifizierung von Allgemeine Abhängigkeiten Datenqualität Informatica DQ Lösungen Datenqualitäts -management Enterprise DQ Suite 9
Führende Analysten sagen. Gartner Group: Data Cleansing = Reinigungsmittel für CRM Eine zentrale Kundendatenbank ist die kritische Basis jedweder CRM Initiative. Die Datenqualität determiniert deren Erfolgsgrad, wie bei jeder Applikation, die durch Daten gesteuert wird. Meta Group: Führende Unternehmen setzen auf ausgereifte Produkte mit einer tiefen, breiten Wissensbasis über Geschäftsregeln, um Daten zu matchen und zu cleansen. Data Quality wird einen strategischen Fokus bekommen, vor allem in führenden Großunternehmen 10
Der Nutzen guter Datenqualität Reduzierung der Kosten Steigerung des Umsatzes Weniger Zeitaufwand für die Datenpflege Größeres Vertrauen in analytische Systeme Eine Version der Wahrheit Höhere Kundenzufriedenheit Optimierung von Geschäftsprozessen Risikominimierung Betrugsbekämpfung Compliance 11
Auswirkungen schlechter Datenqualität Geld (-und Zeit)Verschwendung Weniger Ertrag Geringere Kundenzufriedenheit Betrug Imageschaden für das Unternehmen Sozialer und politischer Schaden Falsche Entscheidungen (Marketing, Politik) Scheitern von System-Implementierungen 12
Informatica Produkte und Lösungen Integrierte Plattform für eine unternehmensweite automatisierte Datenintegration Entwicklung & Verwaltung von Datenmanagementprozessen Zusammenarbeit auf Basis gemeinsamer Repositories und Metadaten PowerExchange PowerCenter Access Discover Cleanse Integrate Deliver auf jedes System im Batch oder Real-time Data Profiling sämtlicher Daten aus beliebigen Quellen Validieren, korrigieren und standardisieren Transformation und Datenharmonisierung Korrekte Daten überall zur richtigen Zeit DataExplorer DataQuality Audit, Monitor, Report Sicherstellung von Datenkonsistenz, Analyse von Fehlerquellen und laufende Datenqualitätsüberwachung 13
Überblick Informatica DQ Lösungen Analyse & Planung Anheben der DQ in Einzelprojekten Data Quality Management IDE Schnelle DQ Analyse von Daten aus heterogenen Quellsystemen Ergebnisablage in einem offenen Repository Tabellen, Felder und Domänen Datenstrukturen (dokumentiert und berechnet) Datenvollständigkeit und Redundanz High-level DQ Status und Probleme Detaillierte Dokumentation der Ergebnisse für Folgeprozesse IDQ Definieren von DQ Rule Sets für die Datenvalidierung Standardisierung & Anreicherung Matching & Konsolidierung Monitoring & Reporting Durchführung von Datenbereinigungsund -konsolidierungsprojekten Laufendes DQ Management im Unternehmen Basisprojekt Datenbereinigung Laufendes DQ Monitoring im Batchbetrieb Datenintegrations-Infrastruktur DQ-Einbindung in Business Applications 14
Data Quality Management als Prozess Analyze 1. DQ definieren, Status feststellen 5. DQ Monitoring gegen Zielvorgaben 2. DQ Regeln und Ziele definieren 4. DQ Prozesse implementieren und ausführen 3. Prozesse zur Verbesserung der DQ festlegen Enhance 15
16 Informatica Data Explorer: Data Profiling & Analysis
Warum IDE? Ausgereiftes Produkt mit umfangreichster Funktionalität Hoch skalierbar- entwickelt und erprobt auch für riesige Datenmengen Offenes Repository für die weitere Nutzung der Profilingergebnisse im Datenmanagement und Reporting Konnektivität zu allen gängigen Datenquellen grundsätzlich keine vorherige Datenextraktion erforderlich Modernes intuitives User Interface 17
Data Profiling die Herausforderung Sources (Heterogeneous Legacy Systems) Targets VSAM SAP ERP CRM Flat Files Oracle Code, Analyzing load, / Cleansing and explode / ETL M&A BI Sybase RDBMS SCM DW DB/2 18
Informatica Data Explorer Das Prinzip Quellsysteme (Heterogeneous Legacy Systems) Zielsysteme VSAM SAP Analyzing Profiling Profiling // Cleansing Cleansing // ETL ETL ERP CRM Flat Files Oracle Column Column Profiling Profiling M&A BI RDBMS Sybase Single Single Table Table Analysis Analysis SCM DW DB/2 Cross Cross Table Table Analysis Analysis 19
Kundenaussagen Die Tiefe der Untersuchung ist konventionell gar nicht möglich (T-Mobile A) Informatica Data Explorer zeigt mir alles, wonach ich noch nie gefragt habe (Kunde)... da kann ich ja überhaupt keine Felder mehr missbrauchen (Kunde) Mit dem Tool bin ich 4 mal so schnell wie ich heute bei der Datenanalyse bin (erfahrener DBA) Mit IDE kann ein Unternehmen die Kosten für die Datenanalyse um mindestens 70% (inkl. SW-Kosten) reduzieren (Standish- Group) 20
Warum IDQ? Fokus auf den Fachbereich Extrem einfache Handhabung des User Interfaces Unterstützung von allen Datentypen Produkt-, Kunden-, Finanz-, Auftrags-, Rechnungsdaten u.v.m. Weltweite Sprachunterstützung durch Unicode Branchenspezifischer Content z.b. Financial Services und CPG Datenqualitätsmetriken und Monitoring Management Level Reports und Dashboards 21
22
Data Quality Metrics & Scorecards Completeness What data is missing or unusable? Conformity What data is stored in a non-standard format? Consistency What data values give conflicting information? Accuracy What data is incorrect or out of date? Duplicates What data records or attributes are repeated? Integrity What data is missing or not referenced? 23
DQ DASHBOARD 24
25 Vielen Dank für Ihr Interesse!