Datenqualität mit SSIS und DQS. Alexander Karl

Transkript

1 Datenqualität mit SSIS und DQS Alexander Karl

2 Speaker Alexander Karl SQL + BI Consultant 2

3 Agenda Definitionen rund um Datenqualität bisherige Lösungen in T-SQL und CLR Lösung in SSIS Lösung mit DQS 3

4 Datenqualität Glaubwürdigkeit sind die Daten in einem korrekten Intervall? Interpretierbarkeit werden Daten fortlaufend gleich dargestellt? Schlüsselintegrität Schlüsseleindeutigkeit / Ref. Integrität Nützlichkeit Zeitnähe, Vollständigkeit 4

5 das liefert T-SQL (1/3) Keine NULL Werte als Tabelleneintrag ( default-values ) Constraints zw. mehreren Spalten ( Eintrittsdatum <= Austrittsdatum ) maximale Textlänge?? min. Textlänge bei Nachnamen z.b. 2 5

6 das liefert T-SQL (2/3) Passende T-SQL Funktionen -- IsNumeric -- IsDate -- IsText?? Neu ab Try_Cast -- Try_Convert -- Try_Parse 6

7 das liefert T-SQL (3/3) exakte Übereinstimmung -- WHEN IN ( ) -- JOIN -- MERGE ähnliche Übereinstimmung -- Soundex (T-SQL) -- Difference (T-SQL) -- Fuzzy Lookup (SSIS Enterprise) -- Fuzzy Grouping (SSIS Enterprise) 7

8 8 DEMO

9 Demo result 9

10 Demo result 10

11 workaround mit CLR CLR Functions mit RegEx -- Textsuche ( -- IsText ) mit Levenshtein -- ähnliche Übereinstimmung!! Verwendung im Dataflow 11

12 Regular Expressions Anwendung Regex Buchstaben & Ziffern \w nur Buchstaben ^[a-za-z] Zahlzeichen \d ISBN ^978\-\d\-\d{5}\-\d{3}\-\d 12

13 Levenshtein 13

14 codeplex 14

15 15 DEMO

16 Demo result 16

17 Demo result 17

18 Demo result 18

19 SSIS custom components C# und VB.NET frei programmierbar synchron sehr performant optimale Verwendung im Dataflow konfigurierbar via tooldb 19

20 SSIS custom components 20

21 SSIS custom components 21

22 22 DEMO

23 Demo result 23

24 Demo result 24

25 SSIS <xml> output Data Profiling Viewer Xquery für handmade Analyse 25

26 SSIS 26

27 27 DEMO

28 Demo result 28

29 Demo result 29

30 Demo result 30

31 Demo result 31

32 XML Task 32

33 33

34 = 34

35 XML Task 35

36 36 DEMO

37 Fuzzy Grouping + Lookup 37

38 bisherige Lösungen Nachteil handmade ggf. Portierungsaufwand umfangreichere Doku Benutzer-Einweisung in workflow >> DQS ( neu ab 2012 ) 38

39 DQS Data Quality Service 39

40 SQL Server 2012 Editionen 40

41 DQS Installer 41

42 MAIN PROJECTS STAGING_DATA DQS Übersicht 42

43 MAIN PROJECTS STAGING_DATA DQS Übersicht 43

44 MAIN PROJECTS STAGING_DATA DQS Übersicht 44

45 MAIN PROJECTS STAGING_DATA DQS Übersicht 45

46 DQS zum Einstieg einige Begriffe Knowledgebase Domain Management Knowledge Discovery Matching Policy 46

47 1 st basic domain rules 2 nd bisherige Daten 48

48 49 DEMO

49 Demo Results 50

50 Demo Results 51

51 Demo Results 52

52 1 st basic domain rules + 2 nd bisherige Daten 53

53 54

54 55

55 56

56 57

57 DQS Lösung Nachteil handmade standardisiert ggf. Portierungsaufwand gut portierbar umfangreichere Doku Benutzer-Einweisung in workflow Doku vorhanden nachvollziehbarer Workflow für Fachabt. 58

58 DQS Literaturempfehlung download DQS step-by-step german / english 59

59 DQS Literaturempfehlung 60

60 61 vielen Dank