Analysen sind nur so gut wie die Datenbasis

Transkript

1 Analysen sind nur so gut wie die Datenbasis Datenaufbereitung und Sicherung der Datenqualität durch den kontextbasierten MIOsoft Ansatz. Daten gelten längst als wichtiger Produktionsfaktor in allen Industriebereichen. Die intelligente Nutzung aller zur Verfügung stehenden Informationen durch den Einsatz von Analyseverfahren und Algorithmen soll neue Arten der Wertschöpfung ermöglichen und Wettbewerbsvorteile verschaffen. Unsere Erfahrung bei aus vielen Business Analytics und Big Data Projekten bestätigt die inzwischen weit verbreitete Erkenntnis, dass die Aufbereitung der relevanten Daten und die Sicherstellung der Datenqualität essentiell für diese Projekte sind und einen sehr großen Teil der Gesamtprojektaufwände vereinnahmen. Viele unabhängige Studien taxieren die Aufwände für Datenaufbereitung und Datenqualität bei einen Anteil von ca. 80% an den Gesamtaufwänden gelang es MIOsoft sich in einer Ausschreibung für ein umfangreiches Projekt zur Verbesserung bei der Deutschen Telekom durchzusetzen: MIOsoft konnte sich in einem umfangreichen POC gegen verschiedene andere Anbieter aus dem Datenqualitätstool-Umfeld durch sein integriertes Gesamtpaket durchsetzen. Aus mehr als 15 Jahren Projekterfahrung im Umgang mit stark heterogenen und komplexen Datenstrukturen hat MIOsoft seine Methodik zur kontextbasierten Datenaufbereitung und Qualitätssicherung entwickelt.

2 MIOSOFT S VORGEHENSMODELL FÜR DQ ANALYSEN Unsere Projekte verlaufen Phasenweise und berücksichtigen in hohem Maße die speziellen Begebenheiten der Kundenumgebung, die Ausgangssituation und Zieldefinition. In der Regel beginnen wir mit einer technischen Analyse der Daten, die in den nachfolgenden Schritten verläuft. DATENAUFNAHME UND INTEGRATION INGESTION Die Integration der zu analysierenden Datenquellen erfolgt über standardisierte Schnittstellen und Adapter. Der Adapter Builder ermöglicht darüber hinaus die Erstellung spezifischer Schnittstellen und damit die Anbindung aller erdenklichen Systeme und Formate. Unterstützung einer Vielzahl von gängigen Datenformaten (XML, CSV, JSON, etc.), ODBC Treiber für den Zugriff auf diverse Datenbankstrukturen, IMS, etc. Realtime Daten werden über JSON oder andere gängige Formate aufgenommen. Ein Adapter Builder unterstützt bei der Erstellung spezifischer Schnittstellen für die Integration heterogener Daten. DATENAUFBEREITUNG DATA PREPARATION Die integrierten Daten werden einer ersten Inspektion unterzogen. Dabei können sehr schnell typische Fehler und Anomalien erkannt und erste statistische Auswertungen wie bspw. Häufigkeitsverteilungen durchgeführt werden.

3 Visuelle Inspektion von bekannten und unbekannten Datenquellen / Rohdaten. Unabhängig in welchem Format die Daten vorliegen, können diese direkt zur visuellen Inspektion in die MIOsoft Oberfläche geladen werden. Fast Scrolling ermöglicht die schnelle Orientierung in allen Daten. Die graphische Oberfläche unterstützt bei der Definition objektorientierter Datenstrukturen Daten werden nicht nur als Sample (z.b. die ersten 1000) geladen, sondern vielmehr die kompletten Rohdaten (auch Millionen von Records). Damit stellen wir sicher, dass die Inspektion nicht nur auf ein beschränktes Spektrum beschränkt ist und Probleme in der Datenqualität und konsistenz erst später entdeckt werden oder zu einem Problem führen. Eine Vielzahl von Funktionen, Transformationen und statistischen Auswertungen (Verteilung, Min / Max, etc.) ermöglicht die detaillierte Analyse der Daten Inhalte. Flexible Optionen für den Abgleich (Join) über heterogene Datensätze. TRANSFORMATION DATA CONDITIONING Für weitergehende Analysen müssen Daten in die erforderliche Form gebracht werden. Dies erfolgt weitestgehend automatisiert anhand zuvor erstellten spezifischen Regeln, die sich auch aus der technischen und fachlichen Analyse der Datenqualität ergeben. Hierzu werden entsprechende Iterationen durchlaufen. Dabei spielt die Definition eines systemübergreifenden Kontext Modells eine entscheidende Rolle. Innerhalb der MIOsoft Technologien ist der Begriff Kontext ein individuell festgelegter inhaltlicher Datenzusammenhang oder Bezugsrahmen, in dem unterschiedlichste Daten aus verschiedenen Datenquellen miteinander verknüpft sind. Datentransformation durch Match Rules, Fuzzy Matching, semantische und phonetische Analysen, Machine Learning usw. Modellierung systemübergreifender Zusammenhänge im Kontextmodell. Systemübergreifende Konsistenzprüfung: Konsistenz zwischen den redundanten Daten in unterschiedlichen Systemen. Gleiche Referenzen für die gleichen Kategorien. Referenzielle Integrität auf Vollständigkeit, Korrektheit und Kreisbeziehungen. FACHLICHE DQ ANALYSEN Neben den beschriebenen technischen Datenqualitätsanalysen spielen die fachlichen Analysen eine entscheidende Rolle. Dabei werden die Fachbereiche des Kunden einbezogen und der direkte Bezug zu Prozessen und Geschäftsabläufen hergestellt. Wichtig war uns eine Lösung, die sowohl die Komplexität der IT-Prozesse abbilden kann, als auch

4 die große Menge der Daten performant verarbeiten kann und dabei fast linear skaliert. Die Lösung aus einer Hand inklusive einem stabilen Betrieb angeboten zu bekommen ist ein weiterer wichtiger Faktor. sagt Marco Glaß, Leiter Data Quality. Ziel ist die fachliche Konsistenz aller Daten. Die wesentliche Schritte hierzu sind die Identifikation von Kernobjekten, Soll / Ist Vergleich, Kontextbildung, die Durchführung von Hypothesen Test, die Bildung von Fehlerclustern und die Definition prozessabhängiger Einschränkungen. Dynamische Erstellung und Anpassung von DQ Regeln. Konsolidierung der Daten pro definierter Prozesssicht. Verdichtung der Daten pro Zeit und Hauptkontext (Rollup). Berechnung der DQIs anhand der Verdichtung und Konsolidierung. WARUM IST DATENQUALITÄT WICHTIG? SICHERSTELLUNG DER DATENQUALITÄT MONITORING Damit die technische und fachliche Qualität aller relevanten Daten überwacht und gesteuert werden kann erfolgt die Definition von Datenqualitätsindikatoren (DQI). Diese DQI können bei Bedarf auch die direkte Auswirkung des jeweiligen DQ Zustandes auf kritische Parameter des Kerngeschäftes des Kunden anzeigen. Als Ergebnis unserer Projekte konnte bspw. durch die kontinuierlichen DQI Berechnungen und den Einsatz von Algorithmen eine direkte monetäre Auswirkung auf Umsatzeinbußen pro aktiv überwacht werden.

5 Mit MIOsoft können wir die Datenqualität der Telekom Deutschland GmbH steuern und überwachen. Unser Ziel - Kosteneinsparungen realisieren und dabei auf das Ziel höhere Kundenzufriedenheit einzahlen konnte umgesetzt werden. Marco Glaß WAS MUSS SICHERGESTELLT WERDEN, DAMIT DIE DATENQUALITÄT DEN ANFORDERUNGEN DES BUSINESS GENÜGT? GLÄNZENDE ANALYSE UND VORHERSAGEN DURCH DEN KONTEXTBASIERTEN ANSATZ VON MIOSOFT Die Aufbereitung der Daten und die Sicherstellung der Datenqualität sind die wesentlichen Voraussetzungen, um das Potential Ihrer Unternehmensdaten bestmöglich zu nutzen. Der Ansatz der kontextbasierten Analyse ist entscheidend, um den Herausforderungen von komplexen und verteilten Datenstrukturen zu begegnen. Unternehmen, die sich diese neuen Fähigkeiten zu Nutze machen bringen Ihre Daten in Form für die Entwicklung innovativer Produkte und Services und zur Schaffung entscheidender Wettbewerbsvorteile. Eine in 2015 von Gartner veröffentlichte Studie nennt die kritischen Fähigkeiten im Rahmen von wichtigen Kategorien, in denen sich Datenqualitätswerkzeuge heutzutage beweisen müssen: Master Data Management Operational/Transactional Data Quality Information Governance Data Integration Data Migration

6 Big Data Wenn Sie mehr darüber erfahren möchten wie Gartner das MIOsoft Produkt MIOvantage in der angesprochenen Studie bewertet, nehmen Sie bitte Kontakt mit uns auf oder besuchen Sie die Webseiten von Gartner. IHR ANSPRECHPARTNER Jörg Schmidt WEITERE INFORMATIONEN