keep IT simple
Grundlage für hochperformantes Risk Management, Business Intelligence, Controlling & Reporting auf Basis von Sybase IQ und PowerDesigner Agenda und Vorstellung
Agenda / Inhalt des Vortrages Vorstellung Klärung der Begriffsdefinitionen Datenqualität und Datenqualitätsmanagement Problemstellung schlechte Datenqualität Einwirkung schlechter Datenqualität Priorisierung der Datenbereinigungsmaßnahmen Lösungen am Markt Beispiele für Beratungsansätze Eine konkrete Umsetzung Datenqualitätsmaßnahmen als Business Cases Ein Datenqualitätsmanagement-Dashboard, eine Business Intelligence Lösung
Vorstellung - just.dot GmbH Unsere Firma: Die just.dot GmbH ist ein 2003 gegründetes mittlerweile mittelständisches IT-Unternehmen mit Stammsitz in Hannover. Unser Produkt- und Beratungsschwerpunkt: Datenqualitätsmanagement, Datenmanagement, Datenqualität-herstellende Maßnahmen. Unsere USP: Wir können die Auswirkung schlechter Datenqualität auf Unternehmenskennzahlen (KPIs) und Unternehmensergebnisse in Geldwert ausdrücken. Unsere Kunden: Zu unseren Kunden gehören internationale Konzerne, schwerpunktmäßig aus der Finanzdienstleistungsbranche. Unsere Kooperationen: Wir haben Entwicklungs- und Vertriebspartnerschaften mit Informatica (ETL- und DQ-Werkzeuge) und Sybase (Datenbank). Wir kooperieren mit dem Institut für Banken und Finanzierung der Leibnitz-Universität in Hannover.
Unternehmensdarstellung
Klärung der Begriffsdefinitionen
Klärung der Begriffsdefinitionen
Klärung der Begriffsdefinitionen Vollständigkeit Vorhandensein aller benötigten Werte. Fehlendes Währungskennzeichen nicht zulässig. Konformität Inhaltlich sinngemäße Übereinstimmung der Daten im Kontext / Umfeld. Eintrag Airbus 380 in Kategorie Kraftfahrzeug nicht zulässig. Konsistenz Widerspruchfreiheit innerhalb der Daten. Die Ausprägungen Geschlecht männlich und Anrede Frau sind nicht für die gleiche Person zulässig. Korrektheit Werte müssen im zulässigen Wertebereich liegen. Alter x Jahre nicht zulässig. Integrität (Rechnung wird der Telefonnummer zugeordnet, nicht der Kundennummer ) Eindeutigkeit (zugleich männlich und weiblich, Kirchenmaus und Individualkunde )
Klärung der Begriffsdefinitionen DQ-Radar (Dr. Würthele) Harte Faktoren Vollständigkeit Korrektheit, Das was man üblicherweise unter Datenqualität versteht. Weiche Faktoren Verständlichkeit und Nützlichkeit Skills der Mitarbeiter Betrifft insbesondere alle Schlüsselfelder Organisation und Technik Prozess und Verantwortlichkeit Nur teilweise technische Umsetzung möglich.
Klärung der Begriffsdefinitionen Datenqualitätsmanagement bezeichnet durchgängige und abgestimmte Infrastrukturmaßnahmen in einem Unternehmen, die auf die Messung und Verbesserung der Unternehmensdatenqualität ausgerichtet sind. (Dr. Barbara Dinter, Universität St. Gallen)
Klärung der Begriffsdefinitionen Datenqualitätsmanagement
Klärung der Begriffsdefinitionen Datenqualitätsmanagement im Kontext von Business Intelligence Datenqualitätsmanagement erfordert einen Top-Down Ansatz.
Klärung der Begriffsdefinitionen Wer Datenqualität managen will braucht Antworten: Welche Daten will ich in einer bestimmten Qualität haben? Wie kaputt sind diese Daten jetzt? Was kostet mich das aktuell? Was kostet mich die Reparatur? Wie richtig oder falsch sind meine Reports?
Problemstellung schlechte Datenqualität
Problemstellung schlechte Datenqualität Wie formuliere ich meine Problemstellung in Bezug auf schlechte Datenqualität? Habe ich überhaupt ein Problem? Wenn ich ein Problem habe, wie groß ist es denn? Wie finde ich das raus?
Problemstellung schlechte Datenqualität Priorisierung der Datenbereinigungsmaßnahmen
Problemstellung schlechte Datenqualität Welche Kennzahlen in welchen Reports müssen überprüft werden? Wo sind die wirklich wichtigen Kennzahlen? Wo muss ich den Nachweis führen, dass meine Daten korrekt sind? Wo vermute ich, dass etwas nicht stimmt? Wo treffe ich heute Entscheidungen mit einer gewissen Unsicherheit? Hier gibt es sicherlich weitere valide Fragestellungen, je nach dem wo die Beeinträchtigung schlechter Datenqualität spürbar ist.
Problemstellung schlechte Datenqualität Einwirkung schlechter Datenqualität auf Risk Management, Business Intelligence, Controlling und/oder Reporting Welche Felder wirken eigentlich auf meinen KPI?
Problemstellung schlechte DQ und daraus resultierende Anforderungen Was so einfach aussieht, ist in Wirklichkeit etwas komplizierter Die technische Umgebung mit diversen heterogenen operativen und dispositiven Systemen ist im Zeitalter von Mergers & Aquisitions beliebig komplex. Die fachliche Umgebung mit immer neuen regulatorischen Anforderungen und der allseits präsenten Compliance -Frage kann auch nicht mehr als trivial bezeichnet werden. Die Beschaffenheit einer Datenqualitätsmanagement-Lösung ist am Besten auch gleich zukunftsgerichtet: Snapshots vs. Real-time Analyse Papierhafte Reports vs. Dashboard-Technologie Individuelle Lösung vs. Branchenlösung Historisierung und Versionierung,
Problemstellung schlechte DQ und daraus resultierende Anforderungen Beispiel für die Komplexität Als ein Beispiel für die Komplexität der Anforderungen und deren technische Umsetzung wird hier kurz nur die Lösungs-interne Datenhaltung mittels des SYBASE PowerDesigners dargestellt, für eine Kennzahl und einen Report.
Problemstellung schlechte DQ und daraus resultierende Anforderungen
Problemstellung schlechte DQ und daraus resultierende Anforderungen Der Sybase PowerDesigner zur Modellierung der internen Datenhaltung und der externen Datenschnittstellen
Problemstellung schlechte DQ und daraus resultierende Anforderungen
Problemstellung schlechte DQ und daraus resultierende Anforderungen Der Sybase PowerDesigner zur Abbildung der Dimensionen der lösungsinternen Datenhaltung
Problemstellung schlechte DQ und daraus resultierende Anforderungen
Problemstellung schlechte DQ und daraus resultierende Anforderungen Der Sybase PowerDesigner zur revisionssicheren Versionierung und Historisierung der Änderungen
Problemstellung schlechte Datenqualität Die TOP 5 Anzeichen dafür, dass Sie ein Problem mit schlechter Datenqualität haben.
Problemstellung schlechte Datenqualität Die TOP 5 Anzeichen dafür, dass Sie ein Problem mit schlechter Datenqualität haben. Platz 5: In Ihrer Kundenaktion für Schwangere werden 12% Männer angeschrieben!
Problemstellung schlechte Datenqualität Die TOP 5 Anzeichen dafür, dass Sie ein Problem mit schlechter Datenqualität haben. Platz 5: In Ihrer Kundenaktion für Schwangere werden 12% Männer angeschrieben! Platz 4: Laut dem Bericht über operative Kosten müsste Ihr Vorrat an Flipchart-Papier bis ins Jahr 2078 reichen!
Problemstellung schlechte Datenqualität Die TOP 5 Anzeichen dafür, dass Sie ein Problem mit schlechter Datenqualität haben. Platz 5: In Ihrer Kundenaktion für Schwangere werden 12% Männer angeschrieben! Platz 4: Laut dem Bericht über operative Kosten müsste Ihr Vorrat an Flipchart-Papier bis ins Jahr 2078 reichen! Platz 3: Sie haben überwiegend Guthaben auf Ihren Verbindlichkeitskonten!
Problemstellung schlechte Datenqualität Die TOP 5 Anzeichen dafür, dass Sie ein Problem mit schlechter Datenqualität haben. Platz 5: In Ihrer Kundenaktion für Schwangere werden 12% Männer angeschrieben! Platz 4: Laut dem Bericht über operative Kosten müsste Ihr Vorrat an Flipchart-Papier bis ins Jahr 2078 reichen! Platz 3: Sie haben überwiegend Guthaben auf Ihren Verbindlichkeitskonten! Platz 2: Ihr Fuhrpark besteht laut Liste der Anlagengüter aus einem Audi, einem BMW und einem Stück, wobei das Stück eine Abschreibung von 150.000 Euro jährlich ausmacht!
Problemstellung schlechte Datenqualität Die TOP 5 Anzeichen dafür, dass Sie ein Problem mit schlechter Datenqualität haben. Platz 5: In Ihrer Kundenaktion für Schwangere werden 12% Männer angeschrieben! Platz 4: Laut dem Bericht über operative Kosten müsste Ihr Vorrat an Flipchart-Papier bis ins Jahr 2078 reichen! Platz 3: Sie haben überwiegend Guthaben auf Ihren Verbindlichkeitskonten! Platz 2: Ihr Fuhrpark besteht laut Liste der Anlagengüter aus einem Audi, einem BMW und einem Stück, wobei das Stück eine Abschreibung von 150.000 Euro jährlich ausmacht! Platz 1: Sie haben eine Abteilung mit 40 Mitarbeitern, um Ihre Reports nachzurechnen.
Problemstellung schlechte Datenqualität Die TOP 5 Anzeichen dafür, dass Sie ein Problem mit schlechter Datenqualität haben. Platz 5: In Ihrer Kundenaktion für Schwangere werden 12% Männer angeschrieben! Platz 4: Laut dem Bericht über operative Kosten müsste Ihr Vorrat an Flipchart-Papier bis ins Jahr 2078 reichen! Platz 3: Sie haben überwiegend Guthaben auf Ihren Verbindlichkeitskonten! Platz 2: Ihr Fuhrpark besteht laut Liste der Anlagengüter aus einem Audi, einem BMW und einem Stück, wobei das Stück eine Abschreibung von 150.000 Euro jährlich ausmacht! Platz 1: Sie haben eine Abteilung mit 40 Mitarbeitern, um Ihre Reports nachzurechnen. Das Ergebnis der Prüfung besteht nur aus: Report ist nicht vertrauenswürdig / eingeschränkt vertrauenswürdig / vertrauenswürdig.
Problemstellung schlechte Datenqualität Die TOP 5 Anzeichen dafür, dass Sie ein Problem mit schlechter Datenqualität haben. Platz 5: In Ihrer Kundenaktion für Schwangere werden 12% Männer angeschrieben! Platz 4: Laut dem Bericht über operative Kosten müsste Ihr Vorrat an Flipchart-Papier bis ins Jahr 2078 reichen! Platz 3: Sie haben überwiegend Guthaben auf Ihren Verbindlichkeitskonten! Platz 2: Ihr Fuhrpark besteht laut Liste der Anlagengüter aus einem Audi, einem BMW und einem Stück, wobei das Stück eine Abschreibung von 150.000 Euro jährlich ausmacht! Platz 1: Sie haben eine Abteilung mit 40 Mitarbeitern, um Ihre Reports nachzurechnen. Das Ergebnis der Prüfung besteht nur aus: Report ist nicht vertrauenswürdig / eingeschränkt vertrauenswürdig / vertrauenswürdig. Sie haben aber bereits 15 Millionen in Business Intelligence investiert, die Investitionen in Controlling und Reporting sind nicht mehr nachvollziehbar.
Lösungen am Markt
Lösungen am Markt Beratungsleistungen, die Sie nicht weiterbringen Ihre Datenqualität liegt bei 60%. Sie müssen auf über 85%, sonst sind Sie nicht compliant. 80% der Datenfehler können sowieso nur manuell bereinigt werden. Wir fangen einfach mal mit der Adressbereinigung an. Wenn Sie mir sagen, wie viel 1% schlechte Datenqualität kostet oder wie viel Ihnen 1% bessere Datenqualität wert ist, rechne ich Ihnen den Business Case.
Lösungen am Markt Seriöse Ansätze liefern aktuell einmalige Zustandsbeschreibungen einer Stichprobe von Daten bezogen auf ein bestimmtes Kundenportfolio oder einen sonstigen sinnhaften Ausschnitt von Daten Sie liefern in der Regel nicht verlässliche Hochrechnungen des Schadens auf den Gesamtdatenbestand Trendanalysen auf die Veränderung der Datenqualität Business Case Betrachtungen für Datenbereinigungsmaßnahmen
Eine mögliche Umsetzung und eine mögliche Systemarchitektur
Eine mögliche Umsetzung Gesetzt den Fall Sie wissen was kaputt ist. Die Auswirkungen auf Ihr Risiko Management, Ihre Business Intelligence, das Controlling und das Reporting sind relevant. Aus Sicht der Unternehmensplanung und ggfls. auch aus gesetzlicher Veranlassung ist eine dauerhafte und kontinuierliche Abhilfe zu schaffen. Es besteht Bedarf an einem System für die Überwachung der Datenqualität. Einzelfallbetrachtungen für die Freigabe von Datenqualitätsverbesserungsmaßnahmen sind gefordert.
Eine mögliche Systemarchitektur
Eine mögliche Systemarchitektur
Eine konkretes Projekt Aktuelle Informationen zum Produkt QIKvalue erhalten Sie über: just.dot GmbH Karmarschstrasse 50 30159 Hannover Tel.: 0511 / 534 9688 Fax.: 0511 / 534 9689 E-Mail: info@justdot.de
Eine konkrete Umsetzung Welche IT-Komponenten und wofür? Lösungsinterne Datenhaltung = SYBASE IQ Lösungsinternes Repository = SYBASE ASE Lösungsinterne Datenmodellierung und Dokumentation der Datenschnittstellen zu den operativen und dispositiven Systemen = SYBASE PowerDesigner Abbildung der ETL-Prozesse = Informatica PowerCenter Datenprofiling = Informatica Data Explorer Kaskadierende Datenbereinigung = Informatica Data Quality Analysen = Bildung von Aggregaten = SPSS Aufbau des Dashboards / Cockpits = Microstrategy
Eine konkrete Umsetzung Warum SYBASE IQ? Was man von jedem Datawarehouse erwartet Standard SQL Security Simple Administration Real Time Load (24/7) Was in unserem Szenario den Unterschied ausmacht Hardware Efficiency Advanced Optimizer Column Based
Eine konkrete Umsetzung Warum SYBASE IQ? Hardware Effizienz Gleiche Menge an INPUT-Daten: Konventionelles DW ist 6x-10x größer als SYBASE IQ DW Konventionelles DWH Überblick Aggregate 1 2 TB Indizes 2.4-6 TB INPUT DATEN: 1 TB Quelle: flat files, ETL, Replikation, ODS LÄDT LÄDT Aggr/Überbl.: 0-0,1 TB Indizes: 0,05-0,3 TB Basistabelle: 0,2-0,5 TB 0,25-0.9 TB 0,5 3 TB Basistabelle RAW data ohne Indizes 0,9 1,1 TB
Eine konkrete Umsetzung Warum SYBASE IQ? Leistungsfähiger Optimierer Eine komplettes Set an Indizes wird erstellt und automatisch gespeichert, um Abfragen zu optimieren Geringer Einsatz von DBAs zur Wartung von Indizes, Reorgs und Tuning
Eine konkrete Umsetzung Warum SYBASE IQ? Traditionelle zeilenweise Speicherung von Datensätzen in relationalen Datenbanken Rec Nr. Share Name Trade ID CCY Pay Type Amount Account 450,000 450,001 450,002 450,003 450,004 450,005
Eine konkrete Umsetzung Warum SYBASE IQ? Spaltenorientierte Speicherung von Daten Share Name Daten werden auf Feldebene nach Feld in Spalten gespeichert und in der top to bottom Ansicht angezeigt, Anfragen lesen nur die benötigten Spalten anstelle jeder Zeile Trade ID CCY Pay Type Amount Account
Ein mögliches Vorgehen
Eine konkrete Umsetzung Phase 1: Audit der aktuellen fachlichen und technischen Umgebung und der Prozesse einschl. Report für Stichprobe und Workshop-Reihe für DQM- Strategie-Festlegung Phase 2: Einmalige Ermittlung eines Business Cases für den Einsatz einer toolbasierten DQM-Umgebung Phase 3: Planung und Umsetzung der toolbasierten DQM-Umgebung Phase 4: Implementierung standardisierter DQ-Messungen und Reports, Ermittlung von Business Cases für Bereinigungsmaßnahmen Phase 5: Planung und Durchführung von DQ-Maßnahmen einschl. einer DQM-Organisation Phase 6: Steigerung des Maturity Levels für DQM-Prozesse bis hin zur selbstlernenden Organisation
keep IT simple