Unternehmensweites DQ Controlling auf Basis von BI-Werkzeugen. Doreen Hartung, TIQ Solutions GmbH 6. GIQMC, Bad Soden,

Transkript

3 TIQ Solutions GmbH Gegründet in 2004, Sitz in Leipzig, 10 Mitarbeiter, breites Netzwerk Beratungsfokus auf Datenqualitätsmanagement, Datenintegration u. -migration, Business Intelligence Bisher: unabhängig von Softwareherstellern Aber breites Wissen über Stärken und Schwächen von DQM-Tools Kritisch gegenüber blinder Technik- bzw. Toolgläubigkeit und monolithischen, funktional überfrachteten Allroundlösungen Methodengetriebene Herangehensweise Ganzheitliche Methode, Ursachenorientierung, Nachhaltigkeit IT, Prozesse, Organisation Zertifizierte Consultants (MIT-IQ-Zertifikat) Engagiert in EIDIQ und DGIQ 2007 TIQ Solutions GmbH All Rights Reserved. 6. GIQMC Bad Soden, November 2008 Seite 3

4 TIQ-Dienstleistungen: Unternehmensspezifische Lösungen für ein nachhaltiges DQM DQ-Messung / Bewertung / Überwachung Data Profiling, Data Quality Mining Data Quality Audit, Kosten-Nutzen-Analyse DQ-Verbesserung Datenbereinigung, Datenanreicherung, Fehlerprävention Prozessoptimierung, Change Management, Mitarbeitersensibilisierung Harmonisierung der IT-Systemlandschaft DQM-gerechte Projektunterstützung Toolevaluierung, Coaching, Datenqualitätsmanagement auf Zeit, Konzeption, DQ-Marketing Begleitung bei Datenmigration, Datenintegration u.ä. aus ganzheitlicher Perspektive Ganzheitliche Strategielösungen Erstellung unternehmensspezifischer Rahmenkonzepte und deren Umsetzung zur Etablierung eines nachhaltig effizienten Datenqualitätsmanagements 2007 TIQ Solutions GmbH All Rights Reserved. 6. GIQMC Bad Soden, November 2008 Seite 4

5 Projekte und Erfahrungen Kundenauszug Deutsche Bahn Telekom Volkswagen WestLB State Street Bank MEAG Deka-Bank Financescout Heidelberger Druckmaschinen 2007 TIQ Solutions GmbH All Rights Reserved. 6. GIQMC Bad Soden, November 2008 Seite 5

7 Was ist Business Intelligence? Business Intelligence engl.geschäftsanalytik (Abk.BI) Begriff wurde 1989 von dem Gartner-Analysten Howard Dresner geprägt Verfahren und Prozesse zur strukturierten Auswertung von Unternehmensdaten Sammlung, Auswertung und Darstellung der elektronisch gespeicherten Daten Ziel: Kontrolle der Erfüllung von Unternehmenszielen bessere operative, taktische und strategische Entscheidungen Kosten und Risiken minimieren Beziehungen zu Kunden und Lieferanten profitabler gestalten 2007 TIQ Solutions GmbH All Rights Reserved. 6. GIQMC Bad Soden, November 2008 Seite 7

8 Was bietet BI? Verknüpfung der Daten einer heterogenen Systemlandschaft Schneller Zugriff der einzelnen Zielgruppen über ein zentrales Berichtsportal, mit Zugriffssteuerung über eine Rechteverwaltung Schnelles erfassen von wichtigen Kennzahlen über Management Dashboards Drill Down bis zu den operativen Daten Analysen und Reporting 2007 TIQ Solutions GmbH All Rights Reserved. 6. GIQMC Bad Soden, November 2008 Seite 8

9 BI Anbieter im Magic Quadrant Der Magic Quadrant ist eine grafische Darstellung des BI - Marktes für einen bestimmten Zeitraum Er gibt die anhand von marktspezifischen Kriterien vorgenommene Einschätzung durch Gartner wieder, wie ein bestimmter Anbieter in dem jeweiligen Bereich positioniert ist 2007 TIQ Solutions GmbH All Rights Reserved. 6. GIQMC Bad Soden, November 2008 Seite 9

10 Business Intelligence der 2. Generation BI 2.0: Einfache Bedienung Hohe Performance Große Flexibilität Gartner Prognose, : In 5 Jahren werden 70% aller großen Unternehmen In-Memory-Analyse favorisieren. Erkenntnisgewinn Interaktiv Assoziative In Memory Analyse OLAP Analyse Data Mining Statisch Standardbericht Dashboard Traditionelles BI: Analysen für Experten Hoher Aufwand Einfache Bedienung Für Experten Komplexität 2007 TIQ Solutions GmbH All Rights Reserved. 6. GIQMC Bad Soden, November 2008 Seite 10

13 BI Anbieter realisieren Relevanz von DQ Business Objects Fuzzy Informatik (Know how für den europäischen Markt) enthält auch eigene DQ-Werkzeuge SAS Dataflux, ETL-Funktionen mit integrierten DQM-Werkzeugen Cognos Informatica 2007 TIQ Solutions GmbH All Rights Reserved. 6. GIQMC Bad Soden, November 2008 Seite 13

14 BI vs. DQ - Analyse Daten extrahieren (ETL) Daten / Metadaten extrahieren Daten transformieren, zusammenführen (DWH) Daten in BI Applikation laden (z.b.: OLAP) Daten oder Samples in DQ Applikation laden Daten in Hinblick auf die Wirtschaftlichkeit des Unternehmens analysieren Daten in Hinblick auf die Qualität analysieren (Profiling) Dashboards Tabellen Diagramme Messzeiger Dashboards Tabellen Diagramme Messzeiger 2007 TIQ Solutions GmbH All Rights Reserved. 6. GIQMC Bad Soden, November 2008 Seite 14

15 Probleme großer DQ Suiten Hohe Kosten für Hard- und Software Hohe Aufwände für Einführung und Integration Hohe Systemkomplexität Starke Abhängigkeit vom IT Bereich Ausgeprägtes IT Know-how notwendig Flexible und intuitive Überprüfung der Daten nicht oder kaum möglich Zum Teil fehlende Interaktivität 2007 TIQ Solutions GmbH All Rights Reserved. 6. GIQMC Bad Soden, November 2008 Seite 15

16 Lösungsansatz Möglichkeit mit BI Produkten verschiedene DQ Kennzahlen darzustellen Möglichkeit die Daten nach verschiedenen DQ Kriterien zu analysieren Nutzung der Funktionalitäten des (vorhandenen) BI Produktes Möglichkeit für den Fachbereich selber Kennzahlen festzulegen je nach BI Produkt Dashboard und Data Profiling in einem Tool möglich 2007 TIQ Solutions GmbH All Rights Reserved. 6. GIQMC Bad Soden, November 2008 Seite 16

17 DQ Analyse der 2. Generation Interaktiv Assoziative interaktive Analyse Data Mining Dashboard Statisch Erkenntnisgewinn Standardbericht Automatisiertes Data Profiling Einfache Bedienung Für Experten Komplexität 2007 TIQ Solutions GmbH All Rights Reserved. 6. GIQMC Bad Soden, November 2008 Seite 17

18 Anforderungen an BI-Werkzeuge zur DQ-Messung (Agens) Was können BI-Tools der 2. Generation (Z.B. Qlikview oder Infozoom)? unabhängig von der vorhandenen Software aus Datenquellen Millionen von Datensätzen verarbeiten effizientes, plattform- und datenbankenunabhängiges Tool für Analyse und Reporting einfache Bedienbarkeit, etc. Was fehlt solchen Werkzeugen für DQ-Analyse? Eine systematische Sicht speziell auf DQ-Probleme Schwierigkeit, die "wirklich" fehlerhaften, unvollständigen bzw. unplausiblen Daten zu finden es ist i.d.r. simpel, Formate oder das Vorhandensein von Feldinhalten zu prüfen.... aber Abhängigkeiten und Plausibilitäten damit zu verbinden ist sehr aufwändig z.b. kann der vorgefundene Branchenschlüssel zur Rechtsform des Geschäftspartner passen oder sind die gepflegten Beziehungen /Kundenverbindungen zur Rechtsform des GP`s kompatibel, etc.? - dieses ist eher schwierig und komplex zu prüfen 2007 TIQ Solutions GmbH All Rights Reserved. 6. GIQMC Bad Soden, November 2008 Seite 18

19 Mögliche DQ Analysen mittels BI Produkten NULL Wert Check Primärschlüssel Check Häufigkeit des Vorkommens der Werte einer Spalte Minimal, Maximal Werte einer numerischen Spalte Summen Werte einer numerischen Spalte Median einer numerischen Spalte Mittelwert einer numerischen Spalte Wertebereichanalyse Formatanalyse (Muster) Regelprüfung (über Formeln) 2007 TIQ Solutions GmbH All Rights Reserved. 6. GIQMC Bad Soden, November 2008 Seite 19

21 Excel NULL Wert Check Durch Sortierung der Datensätze nach der zu analysierenden Spalte =ANZAHLLEEREZELLEN(G2:G93) Lehrzeichen Null - Werte 2007 TIQ Solutions GmbH All Rights Reserved. 6. GIQMC Bad Soden, November 2008 Seite 21

22 Excel Primärschlüssel Check SUMME(WENN(HÄUFIGKEIT(A2:A93;A2:A93)>0;1)) Häufigkeit des Vorkommens der Werte einer Spalte Hilfsspalte mit 1 Pivottabelle 2007 TIQ Solutions GmbH All Rights Reserved. 6. GIQMC Bad Soden, November 2008 Seite 22

23 QlikView BI Produkt QlikView BI 2.0 RAM basiert Schnell Flexibel Intuitiv Nutzung der von QlikView mitgelieferten Funktionalitäten für DQ 2007 TIQ Solutions GmbH All Rights Reserved. 6. GIQMC Bad Soden, November 2008 Seite 23

31 Fazit DQ Analysen mit BI Vorteil Keine große DQ Suite notwendig Vielseitigkeit in der Darstellung der Analyseergebnisse Spart Zeit und dadurch Kosten einfache Portal-Integration Interaktiv Nachteil Möglichkeiten hängen sehr von Bedienbarkeit und Funktionalität des jeweiligen BI Tools ab Gute bis sehr gute Kenntnis des jeweiligen BI Produktes notwendig (ohne Template) Ausschließlich DQ-Analysen möglich, kein Data Cleansing oder Dublettencheck 2007 TIQ Solutions GmbH All Rights Reserved. 6. GIQMC Bad Soden, November 2008 Seite 31

32 Fazit DQ Analysen mit BI 2.0 Vorteile: Wenn Qlikview als BI 2.0-Werkzeug aufgrund des intuitiven Potenzials z.b. Antworten auf Unternehmensfragen liefert, für die einem vorher gar keine Fragen eingefallen sind, dann gilt dies für TIQView hinsichtlich Data Profiling 2.0 ebenfalls Die intuitiven und interaktiven Möglichkeiten, sind neben der Schnelligkeit die eigentlichen Stärken von TIQView, in denen dieses Tool klare Vorzüge vor den Konkurrenzprodukten hat IT-unabhängige Möglichkeit des Aufspürens und Überwachens von DQ-Problemen Nachteil: keine Verarbeitung von Massendaten möglich, aber: Einsatz in dezentralen DQM-Strukturen, z.b. in den Fachbereichen durch Data-Stewards, ideal unternehmensweite Überwachung in mittelständischen Unternehmen kostengünstig möglich 2007 TIQ Solutions GmbH All Rights Reserved. 6. GIQMC Bad Soden, November 2008 Seite 32