DATENQUALITÄT UND DATENBEREINIGUNG. F e b r u a r 2017

Transkript

1 ALTRAN, GLOBAL LEADER IN INNOVATION DATENQUALITÄT UND DATENBEREINIGUNG F e b r u a r

2 Data Quality Services Ihre geschäftlichen Entscheidungen sind von vertrauenswürdigen Daten abhängig. Ungültige Datenwerte, Inkonsistenzen und doppelte Geschäftsentitäten, aber auch einfach nur unterschiedliche Schreibweisen können zu Fehlern in Reporting und Analyse führen. Wir helfen Ihnen bei der Sicherstellung der notwendigen Datenqualität! 2

3 Datenqualität und Datenbereinigung Wir unterscheiden zwischen: Data Quality Services Data Cleansing Data Matching Master Data Services Beispiel: Es gibt drei unterschiedliche Adressen für einen Kunden Data Quality Services stellen sicher, dass es tatsächliche, valide Adressen sind wie zb, dass Stadt x tatsächlich in Bundesland y ist Master Data Services sagen mir in welcher der drei Städte der Kunde tatsächlich wohnt Master Data Services operieren an der jeweiligen Entität das ist die definitive Version von dieser Entität Data Quality Services operieren auf Spaltenebene und validieren mir ob das korrekte Werte sind 3

4 Das Data Quality Problem Geschäftliche Entscheidungen sind von vertrauenswürdigen Daten abhängig Probleme in der Datenqualität können zu falschem Reporting und Analysen führen Ungültige Daten Werte (zb Oberöstereich ) Inkonsistenzen (zb Oberösterreich und OÖ ) Doppelte Business Entities (zb Thomas Renner, Tom Renner, T Renner ) Data Quality Services ist eine knowledge-base Lösung für Data Cleansing (neu, ungültig, korrigiert, richtig) Data Matching (exakte Übereinstimmung, näherungsweise Übereinstimmung) 4

5 Knowledge Bases und Domains Knowledge Base: Ein Data Steward der die Daten versteht und weiß ob Werte valide sind oder was typische Fehler sind (zb St. Plöten > St. Pölten) Knowledge Discovery Hilfe beim Erkennen der Daten und dadurch beim Regel erstellen Domain validation rules (zb Postleitzahl hat 4 Stellen in Österreich und 5 in Deutschland) Domain correction rules(zb OÖ = Oberösterreich) Matching rules (Wie wird Gleichheit von Datensätzen erkannt) Domains: Spezifisch für ein Datenfeld (typischerweise Spalten) Enthält Werte und Validierungsregeln valid (zb Oberösterreich und OÖ für ein Bundesland) invalid (zb 3100 für eine Stadt) Error ( zb Oberöstereich für ein Bundesland) Definiert Regeln um Werte zu führenden Werten zu korrigieren 5

6 Data Cleansing Projekte 1. Knowledege base aussuchen 2. Daten Spalten mit Domains verbinden 3. Vorschläge und Korrekturen überprüfen 4. Ergebnisse exportieren Wenn Daten regelmäßig importiert werden ist auch eine Integration in den Importprozess der SQL Server Integration Services (SSIS) möglich DQS Cleansing Task 6

7 Data Matching Definieren von matching rules für Geschäfts-Entitäten in einer matching policy Hier kann man mögliche Übereinstimmungen mit einer Wahrscheinlichkeit bewerten und gemäß definierter Schwellwerten auswerfen Regeln vergleichen Entitäten mit Domains Similarity: Ähnliche oder exakte Übereinstimmungen Weight: Prozentsatz wenn es eine Übereinstimmung gibt Prerequisites: obligatorische Übereinstimmungsregel zwischen Domäne und Entität Wenn die kombinierte Gewichtung von allen Übereinstimmungen einen definierten Schwellenwert übersteigt dann sind die Entitäten Duplikate! 7

8 DQS Prozess 8

9 Vorgehensweise / Projektstruktur Projektmanagement Infrastruktur Analyse Konzeption Implementierung Kickoff Workshop Ist Situation erheben Knowledge Base aufbauen Use Cases definieren Datenzugriff implementieren Projekt planen Möglichkeiten aufzeigen Domains definieren Data Quality KPIs festlegen Datenkorrektur implementieren Projekt controlling Infrastruktur Entscheidung getroffen Referenzdaten aufbauen Reports definieren Reports erstellen Projekt abschließen Infrastruktur ausbauen Knowledge Discovery durchführen Rollenbeschreibungen erstellen Infrastruktur betreiben Analyse abgeschlossen 9

10 Altran ist ein globaler Leader in Innovation und High-Tech-Engineering. Die Mission des Konzerns ist es, Unternehmen beim Entwickeln neuer Produkte und Services zu unterstützen. Als strategischer Partner unterstützt Altran die globalen Projekte seiner Kunden während gleichzeitig auf die lokale Betreuung Wert gelegt wird. E U R O P A Österreich, Belgien, Deutschland, Frankreich, Italien, Luxemburg, Niederlande, Norwegen, Portugal, Schweden, Schweiz, Spanien, Vereinigtes Königreich A S I E N China, Indien, Malaysia, Mittlerer Osten A M E R I K A Kanada, Mexiko, Vereinigte Staaten von Amerika, INNOVATION über 30 Jahre Erfahrung für eine bessere Zukunft IN N OVATION MAKERS* *MitarbeiterInnen der Altran Gruppe

11 Portfolio Digitale Transformation Business Intelligence & Advanced Analytics Datenbanken Digital Workplace STRATEGIE- & UNTERNEHMENSBERATUNG VONUNTERNEHMENS-DATEN ZU GESCHÄFTSRELEVANTEN INFORMATIONEN DATENMANAGEMENT & DATENINTEGRATION ALLE WERKZEUGE FÜR ZUSAMMENARBEIT IM UNTERNEHMEN Bewusstsein schaffen für digitale Transformation Entwicklung organisatorischer Strategien und Taktiken zum Umgang mit digitaler Transformation Begleitung und Umsetzung von Projekten zur digitalen Transformation Big Data Reporting Dashboards Predictive Analysis Data Warehouse / Cubes Data & Text Mining Machine Learning Visualization Data Quality Services Azure Cognitive Services Datenbank Administration Performance Tuning ETL (Extract Transform Load) OLAP (Online Analytical Processing) Migrationen Sizing Intranet und Extranet Lösungen zur Unterstützung von Geschäftsprozessen mit SharePoint (Wissens-, Dokumenten-, Projekt- und Angebotsmanagement, etc.) Datenbankgestützte (Web)Applikationen mit APEX Campus Online Flexible Bereitstellung on premise oder über Clouddienste (Office 365, Azure, Oracle Cloud) 11

12 Kontaktdaten Mag. Thomas Renner Business Development Manager Altran Concept Tech GmbH Niederlassung Wien BahnhofCity Wien Westbahnhof Europaplatz 2/1/2 A-1150 Wien Mobile: +43 (664)

13 INNOVATION MAKERS