Die Oracle BI Trilogie von Trivadis

Transkript

1 Die Oracle BI Trilogie von Trivadis Teil 2 - Aufbau einer DWH- und BI-Landschaft Zürich, 25. November 2009 Basel Baden Bern Lausanne Zürich Düsseldorf Frankfurt/M. Freiburg i. Br. Hamburg München Stuttgart Wien

2 Wie gut ist ihre Datenqualität wirklich? Data Profiling mit OWB Joachim Wehner Teamleiter BI Stuttgart Senior Consultant Zürich, 25. November 2009 Basel Baden Bern Lausanne Zürich Düsseldorf Frankfurt/M. Freiburg i. Br. Hamburg München Stuttgart Wien

3 Agenda Die liebe Datenqualität Data Profiling mit dem OWB Datenqualität ist das A und O. Analyse der Ergebnisse Wie gut ist ihre Datenqualität wirklich? Data Profiling mit OWB 3

4 Kosten fehlender Datenqualität steigende Supportkosten Zinsverluste durch verspätete Zahlungen Marketingkampagnen laufen ins Leere lange Bearbeitungszeiten Kundenabwanderung Frust beim Entwickler, Kaum Zeit für Neues Frustrierte Supportmitarbeiter Teure Reklamationen Hohe IT-Projektkosten mangelhaftes Angebot, Auftrag verloren Kosten für mangelhafte Lieferung Fahndungspanne der Polizei Verärgerte Partner unzufriedene Kunden Wie gut ist ihre Datenqualität wirklich? Data Profiling mit OWB 4 und viele mehr

5 Ziele der Verbesserungsinitiativen Top 5 Ziele geplanter Verbesserungsinitiativen, BARC (2009) Wie gut ist ihre Datenqualität wirklich? Data Profiling mit OWB 5

6 Ursachen für unzureichende Datenqualität Wie gut ist ihre Datenqualität wirklich? Data Profiling mit OWB 6

7 Probleme der Datenqualität in DWH-Projekten Die Qualität der Quelldaten wird erst beim Laden erkannt, wenn die Mappings bereits entwickelt sind - Korrekturen sind unumgänglich Wie gut ist ihre Datenqualität wirklich? Data Profiling mit OWB 7

8 Die Lösung Data Profiling durchführen Ergebnisse analysieren erst dann mit dem Design beginnen Weniger Aufwand für Datenanalyse und Korrekturen Wie gut ist ihre Datenqualität wirklich? Data Profiling mit OWB 8

9 Agenda Die liebe Datenqualität Data Profiling mit dem OWB Datenqualität ist das A und O. Analyse der Ergebnisse Wie gut ist ihre Datenqualität wirklich? Data Profiling mit OWB 9

10 Optionen ab OWB10gR2 Enterprise ETL Option Data Quality Option Connectors Option ETL Core Features Ohne Aufpreis in der DB Lizenz enthalten Wie gut ist ihre Datenqualität wirklich? Data Profiling mit OWB 10

11 Data Profiling Es gibt drei Arten des Data Profilings im OWB Attribut Analysis Functional Dependency Referential Analysis Aggregation DataTypes Pattern Domain Unique + Custom Profiling (eigene Regeln definieren und validieren) Joins (Orphans) Redundant Attr. Childless Wie gut ist ihre Datenqualität wirklich? Data Profiling mit OWB 11

12 Profiling Vorgehen Anlegen eines neuen Profile-Modules im OWB Auswählen der zu profilierenden Objekte Setzen der Profiling-Properties! Anlegen einer Profiling-Location, welche auf ein separates Profiling- DB-Schema verweist Profiling starten (asynchroner Job) Ergebnisse analysieren und wenn nötig reagieren Individuell in Design und Mapping Wie gut ist ihre Datenqualität wirklich? Data Profiling mit OWB 12

13 Profiling Configuration Properties beachten + eigenes Profiling-Schema! Wie gut ist ihre Datenqualität wirklich? Data Profiling mit OWB 13

14 Agenda Die liebe Datenqualität Data Profiling mit dem OWB Datenqualität ist das A und O. Analyse der Ergebnisse Wie gut ist ihre Datenqualität wirklich? Data Profiling mit OWB 14

15 Profiling - Aggregation Analysemethoden Profiling- Sourcen ggf. neue Not Null-Constraints? Analyseproperties Protokoll e Wie gut ist ihre Datenqualität wirklich? Data Profiling mit OWB 15 Drill Down

16 Profiling - Aggregation als Grafik Abfangen der Null-Werte durch Singletons? Wie gut ist ihre Datenqualität wirklich? Data Profiling mit OWB 16

17 Profiling - Data Type Datentyp ändern? Wie gut ist ihre Datenqualität wirklich? Data Profiling mit OWB 17

18 Profiling Unique Key Unique-Constraints vergessen? Wie gut ist ihre Datenqualität wirklich? Data Profiling mit OWB 18

19 Profiling - Referential stimmen die Joins? Wie gut ist ihre Datenqualität wirklich? Data Profiling mit OWB 19

20 Profiling Referential als Join neue Singletons? Wie gut ist ihre Datenqualität wirklich? Data Profiling mit OWB 20

21 Export der Resultate Die jeweils ausgewählten Profilingergebnisse können pro Drill-Level in ein HTML- oder CSV-File exportiert werden (über Profile/Export ) Wie gut ist ihre Datenqualität wirklich? Data Profiling mit OWB 21

22 Konkrete Resultate ableiten OWB-Profiling + DWH-Expertise + Fachwissen Wie gut ist ihre Datenqualität wirklich? Data Profiling mit OWB 22

23 Weitere Profiling Features Eine Data Rule ist eine aufgrund individueller fachlicher Logik Datenqualitätsregel, die vom Profiling aus überprüft wird z.b. Spalte A + Spalte B > Spalte C Ein Data Correction ist eine automatische Korrektur der Daten durch den OWB Unterstützung durch Wizards Wird von Trivadis nicht empfohlen Durch einen Data Auditor kann das Profiling-Resultat einer Data Rule automatisch in einen Process Flow integriert werden Wird ein zuvor definierter Tolerenzwert überschritten, können gezielte Aktivitäten erfolgen (z.b. Abbruch des Ladelaufes, wenn mehr als 10% nicht der Regel entsprechen) Wie gut ist ihre Datenqualität wirklich? Data Profiling mit OWB 23

24 Oracle BI Projekte bei Trivadis Hersteller elektr. Bauteile Automobilhersteller Mittelständ. Bank Handelskonzern Verlag Dienstleister (Zeitarbeit) Automobilzulieferer Maschinenbauer Versandhandel Dienstleister (Kundenkarten) OWB mit Data Profiling + OBIEE Wie gut ist ihre Datenqualität wirklich? Data Profiling mit OWB 24

25 Vielen Dank!? Basel Baden Bern Lausanne Zürich Düsseldorf Frankfurt/M. Freiburg i. Br. Hamburg München Stuttgart Wien