Geizen Sie nicht mit Ihren Daten! Expertentipps für sicheres Handeln und mehr Erfolg. 18. Mai 2010 Business Breakfast

Transkript

1 Geizen Sie nicht mit Ihren Daten! Expertentipps für sicheres Handeln und mehr Erfolg. 18. Mai 2010 Business Breakfast

2 Sphinx Das Unternehmen» Seit über 15 Jahren am österreichischen Markt» Mehr als 50 Mitarbeiter am Standort Wien» 2 Unternehmensbereiche» IT Consulting (Individual-Software, Technologie- & Architekturberatung)» Managed Services (Betriebsführung, Outsourcing) 2

3 Sphinx & Oracle Zusammenarbeit auf hohem Niveau» Langjährige Zusammenarbeit in den Bereichen»Oracle Data Warehouse»Oracle Data Integration»Individual Entwicklung und Datenbank Applikationen» Alles aus einer Hand»Projektleitung & Produkt Expertise» Interne Zusammenarbeit mit Oracle Support» Hohe Kompetenz durch Investment in neue Produkte 3

4 Datenqualität 4

5 Mangelnde Datenqualität I» 4% der Bestellungen keine Rechnung 1» Fehlerhafte Preisdaten jährliche Kosten: 2.5 Mrd. US$ 1» US Finanzbehörde unzustellbare Steuererstattungsbescheide 1 1 Apel, Behme, Eberlein, Merighi: Datenqualität erfolgreich steuern, S. 44 ff 5

6 Mangelnde Datenqualität II» Großbank verrechnet sich bei Gewinnermittlung um 200 Mio Schweizer Franken 1» Dresdner Bank rechnet Wertpapierdepots ihrer Kunden zwei Mal in Euro um 1 1 Apel, Behme, Eberlein, Merighi: Datenqualität erfolgreich steuern, S. 44 ff 6

7 Mangelnde Datenqualität III» Fortune 1000 Firmen werden mehr Geld wegen Datenqualität- Problemen ausgeben, als für ERP, CRM und BI zusammen 2» Organisationen weltweit schätzen, daß sie 6% jährlich an Einkommen aufgrund mangelhafter Kundendaten verlieren 3 2 Gartner 3 QAS, Oktober

8 Mangelnde Datenqualität - Auswirkungen» Störungen, Verzögerungen, Unterbrechungen von Prozessen» Abnehmendes Vertrauen in BI» Imageverlust» Compliance 8

9 Kosten schlechter Datenqualität» Direkte Kosten» Indirekte Kosten 9

10 Kosten zur Verbesserung der Datenqualität» Präventivkosten» Analysekosten» Bereinigungskosten 10

11 Mangelnde Datenqualität Ein vielschichtiges Problem Frei formatierter Text Mehrere Namen Mehrdeutige und unvollständige Kundensicht Unvollständige Daten Daten in falscher Spalte Firmen- und Personennamen gemischt Fehlende Standardisierung

12 Ausprägungen» Korrektheit» Vollständigkeit» Konsistenz» Zeitnähe» Relevanz» Nachvollziehbarkeit 12

13 Aspekte»Ursachen» Datenerfassung» Prozesse» Architektur» Definitionen» Datenverwendung» Datenverfall»Nutzen»Risikofaktoren 13

14 Vorgehensmodell 14

15 Vorgehensmodell» Initialisierung Aktivitäten: Überzeugen Projekt aufsetzen Präsentationen Workshops Toolauswahl 15

16 Datenqualität das große Bild 16

17 Vorgehensmodell» Analyse Aktivitäten: Ist-Zustand Ziele Testszenarios Data Health Check Detaillierte Datenqualitäts-Analyse Vermittlung von Analyse Know-how 17

18 Vorgehensmodell» Data Health Check» Detaillierte Datenqualitäts-Analyse» Vermittlung von Analyse-Know How 18

19 Deklaratives Data Profiling und Analyse Oracle Data Quality Profiling Sources? Data Stewards and Business Analysts Discovery of Sources» Deklaratives Design» Visuelles Modellieren» Zusammenarbeit im Team» Generieren von Datenqualitätsregeln» Erweiterbarkeit durch Benutzer» Integrierte Metadaten» Profiling Repository» Modellierungsfunktionen» Integritätsbedingungen» Überwachen der Datenquellen

20 Data Profiling und Analyse - Metriken Characteristic Completeness Conformity Validity Consistency Integrity Sample Profiling Metrics Null counts Minimum & maximum lengths Field structure Data types Patterns/ masks Unique values Specific business rules Soundex Metaphones Dependencies Keys Joins

21 Data Profiling und Analyse Drill Down Drill down auf die Liste der Werte, um alle zugehörigen Zeilen zu sehen 3 Drill Down Beispiel (mit Mustern): 1. Drill Down auf die Liste der Muster um die dahinter liegenden Werte zu sehen 3. Umfassendes Verständnis und Beispieldaten erlauben treffsichere Maßnahmen 21

22 Data Profiling und Analyse - Visualisierung»Mehr als nur Profiling» Joins, Schlüssel und Abhängigkeiten entdecken» Entity-Relationship (ER) Diagramme generieren» Prüfen spezifischer Geschäftsregeln» Daten und Metadaten durchsuchen und filtern» Analyse von Ausreißern mit Venn-Diagrammen 22

23 Vorgehensmodell» Consulting Aktivitäten: Auswirkung Umsetzbarkeit Dringlichkeit 23

24 Datenqualität und Workflow Sources Oracle Data Integrator Integration Process Flow Check During Integration Target Errors Static Check» Integration mit auf Standards basierenden Geschäftsprozessen» BPEL Process Manager» Wiederverwendung von standardisierten Routinen zur Fehlerbehandlung Error Recycling Corrections Errors» Integriert mit Human Workflow» Verwalten von lang laufenden Geschäftsprozessen» Verwalten von komplexen Genehmigungsprozessen BPEL Process Manager Human Workflow

25 Vorgehensmodell» Umsetzung Aktivitäten: Softwareprojekte für: Maßnahmen bei den Quellsystemen Nachgelagerte Maßnahmen 25

26 Data Quality - Integration» Out-of-the-box Integration» Data Quality integriert in ODI» Austausch der Metadaten zwischen ODI und ODQ» Vorgefertigte Quality Rules

27 Data Quality Context Aware Cleansing Original Original Record Record Mr. Mr. Bob Bob James James St. St. John John III III St. St. John John Chemicil Chemicil Corp. Corp S. S. Main Main St. St. St. St. Louis, Louis, MO MO Code Code - - Spcl. Spcl. Deliv. Deliv. - - Hazd Hazd Matrls, Matrls, Flam Flam 1. Key word identification 2. Pattern recognition 3. Data Standardization Title: Mr. First Name: Bob (Robert) Middle Name(s): James Last Name: St. John Generation: III Gender: M Business Name: St. John Chemical Corporation House Number: 101 Directional: S (South) Street Name: Main Street Type: St. City: St. Louis (Saint Louis) State: MO Zip Code: Delivery Code: Z99 - Special Handling Delivery Comments: Hazardous Materials, Flammable ORIGINAL DATA APPENDED DATA Name Bus. Name St. Add. City State ZIP Pr. FN PR MN PR LN PR BN PR HsNo PR St N PR St T PR City PR State PR Zip

28 Data Quality Domain Agnostic Cleansing P/N DESCRIPTION TUBE, CENTRIFUGE POLY S 15ML (CS/500)CONICAL-BOTTOM TUBE, CENTRIFUGE PPL 15ML (CS/500)CONICAL-BOTTOM TUBE, CENTRIFUGE PPL 50ML (CS/500)CONICAL-BTTMPCK 25/RACK TUBE, CENTRIFUGE POLY S 50ML (CS/500)CONICAL-BTMPK 25/RACK PIPET, CLEAR SEROLOGICAL 2ML (CASE/500) NUT, LOCK RH, VIAL, WHEATON 33* CLEAR 4ML (CS/144) P/N ITEM NAME MATERIAL SIZE UOM DESCRIPTOR PACKAGE PACK METHOD CENTRIFUGE TUBE POLYSTERENE 15 ML CONICAL CASE/500 BOTTOM PACKED CENTRIFUGE TUBE POLYPROPILENE 15 ML CONICAL CASE/500 BOTTOM PACKED CENTRIFUGE TUBE POLYPROPILENE 50 ML CONICAL CASE/500 BOTTOM PACKED 25/RACK CENTRIFUGE TUBE POLYSTERENE 50 ML CONICAL CASE/500 BOTTOM PACKED 25/RACK SEROLOGICAL PIPET 2 ML CLEAR CASE/ LOCK NUT 11 IN RIGHT HAND WHEATON VIAL 4 ML CLEAR CASE/144 28

29 Vorgehensmodell» Service Aktivitäten: Laufende Überwachung der Datenqualität Datenqualitäts-Monitoring als Service Datenqualitäts-Metriken 29

30 Data Quality Dashboard Architektur Desktop Client Database ODP/ODQ Cobol copybooks Databases TXT files 1 1 ODP/ODQ Server Engine Metabase Repository MTB Admin Apps Server 3 3 ODP File ODQ File 4 4 ODQ ODQ data data ODP ODP data data ODQ ODQ Ref Ref tables tables Oracle BI Presentation Server Oracle BI Server 2 2 ODI Integration and Orchestration

31 Data Quality Dashboard Visualisierung

32 Oracle Data Integration Oracle Applications Custom Applications MDM Applications Business Intelligence Activity Monitoring SOA Platforms Comprehensive Data Integration Solution SOA Abstraction Layer Process Manager Service Bus Data Services Data Federation Oracle Data Integrator ELT/ETL Data Transformation Bulk Data Movement Data Lineage Oracle GoldenGate Real-time Data Log-based CDC Bi-direct. Replication Data Verification Oracle Data Quality Data Profiling Data Parsing Data Cleansing Match and Merge Storage Data Warehouse/ Data Mart OLTP System OLAP Cube Flat Files Web 2.0 Web and Event Services, SOA

33 Leistungsangebot» Datenqualitäts-Projekt» Datenqualität-Servicevertrag 33

34 Fragen und Antworten 34