DIE DATEN IM ZENTRUM: SAS DATA MANAGEMENT

Transkript

1 DIE DATEN IM ZENTRUM: SAS DATA RAINER STERNECKER SOLUTIONS ARCHITECT SAS INSTITUTE SOFTWARE GMBH Copyr i g ht 2013, SAS Ins titut e Inc. All rights res er ve d.

2 NEUE WEGE GEHEN SAS DATA GOVERNANCE & QUALITY (RECAP) ERFOLGS- KONTROLLE METADATEN DEFINITION & DESIGN ANWENDER IM FACHBEREICH REGELWERK E DATEN ANWENDER IM IT-BEREICH AUSFÜHRUNG ANALYSE & KORREKTUR PLATTFORM FÜR ZUSAMMENARBEIT & WORKFLOW

3 EIN INTEGRIERTES FRAMEWORK Business glossary & rules Matching / Entity Resolution Profiling & Monitoring Reporting & dashboarding Stewardship, Remediation Multi-domain MDM Reference data management Relationship management & lineage Workflows / Enrichment Data Governance Data abstraction Data aggregation Data caching Data Integration Data Quality Master Data Management Data Federation Enterprise Data Access Data Migration Data Preparation for Analytics DWH and data marts Data Access Engine / DB connectors (incl. Hadoop) Streaming Data ETL & ELT, SOA and Messaging support

4 Execute Design Evaluate Discover Control Define - Examine trends - Archive data not in use - Communicate next steps and success - Determine people, processes, technologies and data sources - Acceptable results - Build a roadmap - Refine and adjust business rules and definitions - Create reports with DQ KPIs - Explore metadata - Profile and validate data - Integrate DQ services - Reuse DQ services across enterprise - Build workflows, jobs and business rules - Create data model

5 DI/DQ/DG/METADATEN/FEDERATION/KOLLABORATION Wozu das alles? Live Demo

6 TYPISCHE DATENQUALITÄTSPROBLEME Unvollständige Daten zählen zu den häufigsten Datenqualitätsproblemen. Ohne etablierte Data Governance können aber keine gezielten und effektiven Gegenmaßnahmen ergriffen werden.

7 DATA GOVERNANCE: GLOSSAR In einem zentralen Glossar müssen Business-Terme angelegt, DQ-Regeln definiert und Zuständigkeiten festgelegt werden.

8 DATA GOVERNANCE: COLLABORATION Kommentare und Notizen müssen direkt am Business Term möglich sein, um Nachvollziehbarkeit und Transparenz gewährleisten zu können. Alle beteiligten Personen werden automatisch benachrichtigt, wenn es neue Anmerkungen gibt.

9 DATA GOVERNANCE: WORKFLOWS Mithilfe von Workflows können offene Tasks an verantwortliche Personen oder Arbeitsgruppen weitergegeben werden.

10 DATA QUALITY: PROFILING & CLEANSING Der DQ Entwickler prüft den Ist-Zustand der Daten und führt die notwendigen Bereinigungs-Schritte durch.

11 DATA GOVERNANCE: MONITORING 1/2 Die implementierten DQ-Regeln können nun auch direkt am jeweiligen Report kontrolliert werden. In diesem Fall ist die Aktualität der Daten in Ordnung (siehe linker markierter Bereich), Konsistenz und Korrektheit der Daten ist ebenfalls ausreichend gegeben, aber die Prüfdimension Vollständigkeit wurde verletzt (siehe rechter markierter Bereich).

12 DATA GOVERNANCE: MONITORING 2/2 Auf Wunsch kann auch die zeitliche Entwicklung der DQ-Regeln geprüft werden.

13 DATA GOVERNANCE: ALERTING Jeder Anwender kann vordefinierte Prüfroutinen abonnieren, um bei Verstößen automatisch benachrichtigt zu werden.

14 DATA GOVERNANCE: LINEAGE Aus dem Report kann jederzeit direkt in die Data Lineage gewechselt werden, um eine Impact-Analyse durchzuführen bzw. Abhängigkeiten zwischen einzelnen Objekten einsehen zu können.

15 FAZIT Data Governance & Data Quality dienen nicht nur zum Bereinigen von Daten im Hintergrund, sondern vor allem um im Fehlerfall geeignete Gegenmaßnahmen ergreifen zu können. Ein gemeinsam definiertes Regelwerk zwischen IT und Fachabteilung ist dabei die wichtigste Voraussetzung. Transparenz, Nachvollziehbarkeit, aussagekräftigere Reports/Dashboards/Analysen, schnellere Entscheidungen sind der unmittelbare Mehrwert.

16 VIELEN DANK FÜR IHRE AUFMERKSAMKEIT! Copyr i g ht 2013, SAS Ins titut e Inc. All rights res er ve d. sas.com