Qualitätssicherung im Data Warehouse Bereich. Michael Cordes Holger Oehring Matthias Rein

Transkript

1 Qualitätssicherung im Data Warehouse Bereich Michael Cordes Holger Oehring Matthias Rein

2 Ziele Motivation / Notwendigkeit von QS-Maßnahmen Methoden der Qualitätssicherung Durchführung von Tests Etablierung von DWH-Projekten im Rahmen verschiedener Referenzmodelle: CMMI ITIL Verwendung von Tools Bug-Tracking Eigenentwicklungen 2 2

3 Evolution eines DWH Ermittlung des Analyse- Bedarfs und der Aktuellen Datenversorgung Technische Architektur Modellierung Definition Rahmenwerk Produktauswahl/ Entwicklung Frontend/Backend Datenextraktion Transformation Laden Begleitende organisatorische Umsetzungsmaßnahmen Betrieb Neue Priorisierung Projekt-Management 3 3

4 Motivation Steigerung der Benutzerakzeptanz Verminderung der Folgekosten Verhinderung von Schadenersatzzahlungen Steigerung der Systemsicherheit 4 4

5 Fehlerquellen Programme kommen mit den Daten nicht zurecht Prozessabhängigkeiten stimmen nicht Nach Programmanpassungen ergeben sich andere Ergebnisse als vorher 5 5

6 Methoden der Qualitätssicherung Durchführung von Tests Etablierung von DWH-Projekten im Rahmen verschiedener Referenzmodelle: ITIL CMMI Verwendung von Tools Bug-Tracking Eigenentwicklungen 6 6

7 Durchführung von Tests (1) Was ist zu testen? Verarbeitungsprozess Daten Methodik 7 7

8 Durchführung von Tests (2) Wo ist zu testen? Komponententest Integrationstest Systemtest Abnahmetest Revisionssichere Testdokumentation Beschreibung der Testfälle im Vorfeld (Fach- und DV- Konzept) Erstellung und Archivierung der Testprotokolle Archivierung der Ein- und Ausgangsdaten Einführung der Rolle des Testmanagers 8 8

9 Durchführung von Tests (3) Wie ist zu testen? Grundlegende Testarten Funktionaler Test Nicht funktionaler Test Strukturbezogener Test Änderungsbezogener Test und Regressionstest 9 9

10 Durchführung von Tests (3) Grundsätzliche Unterscheidung von Tests Statischer Test Dynamischer Test 10 10

11 Statischer Test Statischer Test Review Stilanalyse: Prüfung der Einhaltung von Konventionen und Standards Anomalieanalyse Kontrollflussanomalien Datenflussanomalien Metriken 11 11

12 Datenflussanomalien (1) Unterscheidung von Verwendungen/Zuständen von Variablen: definiert (d): Die Variable erhält einen Wert zugewiesen referenziert (r): Der Wert der Variablen wird gelesen bzw. verwendet undefiniert (u): Die Variable hat keinen definierten Wert Unterscheidung folgender Anomalien: ur-anomalie du-anomalie dd-anomalie 12 12

13 Datenflussanomalien (2) Beispiel: Fehlerhafter Code zum Tausch zweier Werte Max und Min mit Hilfe der Variablen Hilf void tausch (int& Min, int& Max) { int Hilf; if (Min > Max) { Max = Hilf; Max = Min; Hilf = Min; } } ur-, dd- und du-anomalien können gefunden werden Quelle: Basiswissen Softwaretest (Spillner/Linz) 13 13

14 Dynamischer Test (1) Dynamischer Test Funktional (Blackbox) Äquivalenzklassenbildung Grenzwertanalyse Ursache-Wirkungs-Graph-Analyse und Entscheidungstabellentechnik Nicht funktional Lasttest Performanztest Stresstest 14 14

15 Äquivalenzklassenbildung (1) Beispiel: Rabatte beim Autokauf Vorgabe: Verkaufspreis in Rabatt in % 0 <= x < <= x <= < x < x >= ,5 Quelle: Basiswissen Softwaretest (Spillner/Linz) 15 15

16 Äquivalenzklassenbildung (2) Bildung von vier (gültigen) Äquivalenzklassen: Äquivalenzklasse Repräsentant gäk1: 0 <= x < gäk2: <= x <= gäk3: < x < gäk4: x >=

17 Äquivalenzklassenbildung (3) Bildung von zwei ungültigen Äquivalenzklassen: Äquivalenzklasse Repräsentant uäk1: x < uäk2: x >

18 Grenzwertanalyse Betrachtung der Äquivalenzklassen 3 und 4: Implementierte Abfrage x < (korrekte Abfrage) True False False x <= True True False x <> True False True x > False False True x >= False True True x == False True False 18 18

19 Ursache-Wirkungs-Graph-Analyse (1) Betrachtung von Abhängigkeiten der Eingabeparameter Beispiel: Historisierung nach SCD1 Ursachen U1: Zu einem PK existiert bereits ein Eintrag in einer Dimensionstabelle U2: Ein Attribut zu einem PK hat sich geändert Wirkungen W1: Ein neuer Eintrag wird in die Dimensionstabelle eingefügt W2: Ein bestehender Eintrag in der Dimensionstabelle wird aktualisiert W3: Ein bestehender Eintrag in der Dimensionstabelle wird beibehalten 19 19

20 Ursache-Wirkungs-Graph-Analyse (2) Ursache-Wirkungs-Graph: U 1 W 1 R W 2 U 2 W 3 R: Voraussetzung Negation 20 20

21 Ursache-Wirkungs-Graph-Analyse (3) Entscheidungstabelle mit allen Kombinationen: Ursachen U 1 Eintrag existiert bereits N N J J U 2 Attribut hat sich geändert N J N J Wirkungen W 1 Neuer Eintrag J J N N W 2 Eintrag aktualisieren N N N J W 3 Eintrag übernehmen N N J N T 1 T 2 T 3 T

22 Ursache-Wirkungs-Graph-Analyse (4) Optimierte Entscheidungstabelle: Ursachen U 1 Eintrag existiert bereits N J J U 2 Attribut hat sich geändert - N J Wirkungen W 1 Neuer Eintrag J N N W 2 Eintrag aktualisieren N N J W 3 Eintrag übernehmen N J N T 12 T 3 T

23 Dynamischer Test (2) Dynamischer Test Strukturbezogen (Whitebox) Kontrollflussorientiert Anweisungstest Zweigtest Pfadtest Bedingungstest Datenflussorientiert Änderungsbezogen ( diversifizierend ) Regressionstest Back-To-Back-Test 23 23

24 Anwendung der Testverfahren im DW/BI Modellierung Visuelle Hilfsmittel Bus-Matrix-Tabelle Datenintegration Äquivalenzklassentests Entscheidungstabellen Kontrollfluss-/Datenflussorientierte Tests Anomalie-Tests Reporting Entscheidungstabellen (z.b. für Sicherheitskonzeptprüfung) Nicht funktionale Tests (Benutzbarkeit etc.) 24 24

25 Enterprise Data Warehouse Bus Matrix 25 25

26 Testdaten Bereitstellung konsistenter Testdaten: Volumen Vollständig (RI) Vollständig (Inhalt) Kontrolliert ( Konserve, wiederholbar) Datenschutz Häufig wird auf Produktionsdaten getestet und entwickelt! 26 26

27 CMMI - Definition Capability Maturity Model Integration ist ein Vorgehensmodell zur Planung, Durchführung und Kontrolle von IT Projekten. Ziel ist es, ein Projekt verlässlich und wiederholbar zu planen. Wiederholbar heißt, dass eine (weitere) unabhängige Planung zum selben Ergebnis führt

28 CMMI - Modelle CMMI for Development (CMMI-DEV) CMMI for Acquisition (CMMI-ACQ) CMMI for Services (CMMI-SVC) 28 28

29 CMMI - Reifegrade 1 - Initial Keine Anforderungen. Diesen Reifegrad hat jede Organisation automatisch. 2 - Managed Die Projekte werden geführt. Ein ähnliches Projekt kann erfolgreich wiederholt werden. 3 - Defined Die Projekte werden nach einem angepassten Standardprozess durchgeführt, und es gibt eine organisationsweite kontinuierliche Prozessverbesserung. 4 - Quantitatively Managed Es wird eine statistische Prozesskontrolle durchgeführt. 5 - Optimizing Die Arbeit und Arbeitsweise werden mit Hilfe einer statistischen Prozesskontrolle verbessert

30 ITIL - Definition IT Infrastructure Library ist eine Sammlung von Best Practices in Form von fünf Büchern zum Design eines IT-Service-Betriebes 30 30

31 ITIL - Bücher Servicestrategie (engl. Service Strategy SS) Serviceentwurf (engl. Service Design SD) Serviceüberführung (engl. Service Transition ST) Servicebetrieb (engl. Service Operation SO) Kontinuierliche Serviceverbesserung (engl. Continual Service Improvement CSI) Für den Telko-Bereich gibt es eine erweiterte Version namens etom (Enhanced Telecom Operations Map) 31 31

32 ITIL - Beispiel: Incident Management Ist beschrieben im Buch Servicebetrieb Registriert, kategorisiert, priorisiert und verfolgt alle Störungen, Anfragen und Aufträge 32 32

33 Verwendung von Tools Bug-Tracking Eigenentwicklungen Umgebungsvergleich 33 33

34 Bug-Tracking Fehlerverwaltungstool Jira Erfassen Benachrichtigen Verfolgen 34 34

35 Bug-Tracking Tool JIRA (1) 35 35

36 Bug-Tracking Tool JIRA (2) 36 36

37 Bug-Tracking Tool JIRA (3) 37 37

38 Eigenentwicklungen Umgebungsvergleich (1) Überblick der Änderungen in den Entwicklungsumgebungen (ENTW/TEST/PROD) der Datenbankobjekte 38 38

39 Eigenentwicklungen Umgebungsvergleich (2) 39 39