BIGDATA-INTEGRATION IN EINE BI-LANDSCHAFT PER DATA VAULT

Transkript

1 BIGDATA-INTEGRATION IN EINE BI-LANDSCHAFT PER DATA VAULT GfK Data & Technology DOAG, Frank Stoll, Philipp Hildebrandt 1

2 Agenda Wer oder was ist die GfK Die Herausforderung Data Vault System als Lösung Data Vault im Projekt 5 Data Vault Automatisierung 6 Ladestrecke 7 Jobsteuerung 8 Fazit 2

3 Wer oder was ist die GfK 3

4 GfK betreibt Marktforschung weltweit Über Mitarbeiter in mehr als 100 Ländern 4

5 und bietet Daten und Erkenntnisse, damit Unternehmen verstehen, was und warum Kunden kaufen DATEN ERKENNTNISSE ÜBER MARKT- PRODUKTE ERKENNTNISSE & ANALYSE 5

6 unter Einschluss der größten Zahl an Gebrauchsgütern Die GfK verfolgt derzeit täglich 14,5 Millionen Produkte Unterhaltungselektronik IT Unterhaltung Mode Schreibwaren Haus & Wohnen MDA / SDA Luxusartikel Foto Optik Telekom Büroausstattung Haustierprodukte Tourismus Kraftfahrzeug Medizinprodukte Über 760 Produktgruppen werden in Einzelhandelsverkaufsstellen und 770 Wiederverkäuferläden in über 120 Vertriebskanälen beobachtet 6

7 Die Herausforderung 7

8 Das bestehende System: StarTrack Field Audits & EPOS Extrapolation Reporting Setup Data Formatting Project Maintenance Client Delivery Retailer Data QC Shop Relevant QC Data In IOP DWH Pre-Processing RB Data Out Delivery Setup Market Data QC Data Files & Reporting Tools Retailer Management Item-Matching & Item-Coding Data Publish Client Access Channel Shop Management Product Management MDM Master Data Management for Shops and Products IOP: IDAS (International Data Acquisition System) Output Pool DWH: Data Warehouse RB: Reporting Base 8

9 Das bestehende System: StarTrack Datenhaltungssysteme (vereinfacht) Dateneingang MDM DWH Reporting Oracle 3NF Oracle 3NF Oracle Dimensional Oracle Dimensional 9

10 Das bestehende System StarTrack wird um ein neues BigData System ergänzt MDM DWH Dateneingang Reporting Neue Produktionsstrecke 10

11 Technologien der neuen Produktionsstrecke Neue Produktionsstrecke 11

12 Herausforderung: Schnittstelle der neuen Produktion zum bestehenden Reporting System MDM DWH Dateneingang Fachliche und technische Prozesse Reporting Neue Produktionsstrecke? 12

13 Herausforderung: System als Schnittstelle zwischen neuer und bestehender Welt MDM DWH Dateneingang Reporting Neue Produktions strecke? 13

14 Data Vault System als Lösung 14

15 Was ist Data Vault Entwicklerzitat Data Vault ist, wie wenn man ein (dimensionales) Datenmodell nimmt, eine Bombe reinsteckt und danach alle Splitter zusammensuchen muss (anonymer Entwickler) 15

16 Lösung: Schnittstellen System per Data Vault MDM DWH Dateneingang Reporting Neue Produktions strecke Data Vault System? 16

17 Warum Data Vault? Flexibel gegenüber Erweiterungen Standards => Automatisierung Einfaches und performantes Laden Relativ leichte Integration weiterer Datenquellen Auditierung und Nachvollziehbarkeit Historisierung out of the box 17

18 Data Vault Konzept Komponenten: Hub, Link und Satellit Hub Business Key Attribut Hub Business Key Attribut 1 1 Gültigkeit 0..* 0..* Satellit Nicht Schlüssel Attribut 0..* 1 Link Satellit Nicht Schlüssel Attribute A 0..* Nicht Schlüssel Attribute B Nicht Schlüssel Attribute C Hub 1 Business Key Attribut 18

19 Data Vault System Integration (schematisch) S DWH S H S H L S S L L H S Reporting S H H H S L S Neue Produktions strecke L H L H S H S S S S 19

20 class Data Vault Overview DELIVERYUNIT_LNK SECTOR_HUB SECTOR_SAT ARTICLE_REPLACEMENT_LNK ARTICLE_REPLACEMENT_SAT SECTOR_CATEGORY_LNK SECTOR_CATEGORY_SAT DELIVERY_HUB FEATURE_FEATUREVALUE_SAT PRODUCTGROUP_HUB CATEGORY_HUB FEATUREVALUE_SAT CATEGORY_SAT FEATURE_FEATUREVALUE_LNK FEATUREVALUE_HUB CATEGORY_PRODUCTGROUP_LNK CATEGORY_PRODUCTGROUP_SAT PRODUCTGROUP_SAT ARTICLE_FEATURE_VERSION_LNK ARTICLE_HUB FEATURE_HUB FEATURE_SAT ARTICLEVERSION_HUB ARTICLE_CPG_VERSION_LNK PERIOD_HUB SALE_LNK ARTICLE_CPG_VERSION_SAT PERIODICITY_HUB PERIODICITY_SAT FEATURE_CPG_LNK FEATURE_CPG_SAT COUNTRY_CPG_PG_SAT PERIOD_PERIODICITY_LNK PERIOD_PERIODICITY_SAT COUNTRY_CPG_PG_LNK PERIOD_SAT COUNTRY_PRODUCTGROUP_SAT COUNTRY_PRODUCTGROUP_HUB COUNTRY_SAT COUNTRY_HUB CURRENCY_HUB CURRENCY_CONVERSION_LNK CURRENCY_SAT CURRENCY_CONVERSION_SAT UNIT_OF_MEASUREMENT_HUB DISTRIBUTION_TYPE_HUB others DST_TYPE_CCH_OUT_VER_LNK DISTRIBUTION_TYPE_SAT BASE_PROJECT_CPG_SAT BASE_PROJECT_SAT COUNTRY_CHANNEL_HUB COUNTRY_CHANNEL_SAT BASE_PROJECT_HUB BASE_PROJECT_CPG_LNK BASE_PRODUCTION_PROJECT_LNK BASE_PRODUCTION_PROJECT_SAT PRODUCTION_PROJECT_HUB PRODUCTION_PROJECT_SAT ACTOR_HIERARCHY_LNK OUTLET_DPR_CCH_VERSION_LNK OUTLET_CLT_VERSION_LNK ACTOR_DATAPROVIDER_SAT OUTLET_DPR_CCH_VERSION_SAT OUTLET_PERIOD_PROJECT_LNK OUTLET_FEATURE_VERSION_LNK OUTLET_HUB OUTLETVERSION_HUB ACTOR_ENTERPRISE_SAT OUTLET_PERIOD_PROJECT_SAT ACTOR_HUB ACTOR_CLIENTTYPE_SAT OUTLET_FEATUREVALUE_HUB OUTLET_FEATUREVALUE_SAT OUTLET_FEAT_FEATVAL_LNK OUTLET_FEAT_FEATVAL_SAT ACTOR_CHANNEL_SAT OUTLET_FEATURE_CCH_LNK OUTLET_FEATURE_HUB OUTLET_FEATURE_CCH_SAT OUTLET_FEATURE_SAT CHANNEL_BASE_CHANNEL_LNK CHANNEL_BASE_CHANNEL_SAT ACTOR_CCH_COUNTRY_LNK ACTOR_CCH_COUNTRY_SAT BASE_CHANNEL_HUB BASE_CHANNEL_SAT Modellüberblick Tracking Data Verkäufe (Fakten) Country Actor Akteur (an wen) Productgroup Hierarchy Outlet Artikel (was) Article Currency Project Outlet (wo) Periode (wann) Period 20

21 Data Vault im Projekt 21

22 Data Vault im Projekt Tätigkeiten zu Beginn Erstellung fachlicher, normalisierter Datenmodelle Definition der Standards für das Data Vault Modell Konzeption der automatisierten Ladestrecke Konzeption der Datenarchitektur 22

23 Data Vault im Projekt Festlegung der Standards - HUB dm Data Vault Article FEATURE_HUB «column» *PK DV_ID: NUMBER(38) * DV_LOAD_DATE: DATE * DV_LOAD_ID: NUMBER(38) * DV_LOAD_SOURCE_ID: NUMBER(38) * FEATURE_ID: NUMBER(38) «PK» + FEATURE_HUB_PK(NUMBER) «unique» + FEATURE_HUB_UK(NUMBER) Suffix für Tabellennamen Prefix für Meta- und interne Spalten Ladedatum Ladelauf-ID ID der Datenquelle 23

24 Data Vault im Projekt Festlegung der Standards - Link dm Data Vault Article FEATURE_FEATUREVALUE_LNK «column» *PK DV_ID: NUMBER(38) * DV_LOAD_DATE: DATE * DV_LOAD_ID: NUMBER(38) * DV_LOAD_SOURCE_ID: NUMBER(38) *FK FEATURE_HUB_ID: NUMBER(38) *FK FEATUREVALUE_HUB_ID: NUMBER(38) Suffix für Tabellennamen Prefix für Meta- und interne Spalten Unique Identifier «PK» + FEATURE_FEATUREVALUE_LNK_PK(NUMBER) «FK» + FTR_FVAL_LNK_FEATURE_HUB_FK(NUMBER) + FTR_FVAL_LNK_FTRVAL_HUB_FK(NUMBER) «unique» + FEATURE_FEATUREVALUE_LNK_UK(NUMBER, NUMBER) 24

25 Data Vault im Projekt Festlegung der Standards - Satellit dm Data Vault Article Suffix für Tabellennamen FEATURE_SAT «column» *PK DV_LOAD_DATE: DATE * DV_LOAD_ID: NUMBER(38) * DV_LOAD_SOURCE_ID: NUMBER(38) *pfk DV_FEATURE_HUB_ID: NUMBER(38) * IS_VALID: NUMBER(1) = 1 SHORT_NAME: VARCHAR2(15 CHAR) LONG_NAME: VARCHAR2(100 CHAR) FEATURE_TYPE: NUMBER(2) DATA_QUALITY_ISSUE_FIX: NUMBER(1) «FK» + FEATURE_SAT_FEATURE_HUB_FK(NUMBER) «PK» + FEATURE_SAT_PK(NUMBER, DATE) «check» + FEATURE_SAT_IS_VALID_CHK(NUMBER) + FEATURE_SAT_VALIDITY_CHK() Prefix für Meta- und interne Spalten Ladedatum als Gültigkeitsbeginn. Kein Ende-Datum.* Kennzeichen für nicht gelöschte Daten Kennzeichen für leere Quelldaten *Implementierung reiner Einfüge-Operationen (Gültigkeitsende zur Laufzeit per lead ) 25

26 Data Vault im Projekt Warum Standards? Standards machen Dinge langweilig! Lösung: Automatisierung! 26

27 Data Vault Automatisierung 27

28 Normale Data Vault Automatisierung Quelle 3te Normalform Stage 1:1 Kopie der Quelle Data Vault Aus Quelle abgeleitet 28

29 Herausforderungen des gewachsenen Systems Quelle Dimensional Keine Foreign Keys Hadoop Stage Muss Daten aufbereiten (z.b. UNPIVOT) Data Vault Nach funktionalem Modell modelliert 29

30 Designentscheidung Manuelle Anpassungen sind Regel Voller Einfluss nötig Transformationen als Views Single point of truth für Transformation 30

31 Implikationen Einfache Ladestatements Transparenz Modellierung der Transformationen als Views Testbarkeit Generierung der Views nötig 31

32 Data Vault Ladelogik 32

33 Data Vault Beladung Satellite Quelle 1:1 Stage Hub Link 33

34 Staging Quelle Stage 1:1 Abzug der Daten Keine Filterung Keine Prüfungen Keine Änderung Vollabzug der Daten Deltaerstellung bei Data Vault Beladung Transformationen Umbenennen der Spalten 34

35 Hub Load Stage Business Key im Ziel vorhanden? Nein Datensatz ins Ziel einfügen Hub Ja 35

36 Link Load Hub Stage Hub Key nachschlagen Datensatz im Ziel vorhanden? Nein Datensatz ins Ziel einfügen Link Ja Hub 36

37 Satellite Load Business Key 1 Value A Ladedatum 2 fehlend Gültigkeit des vorhanden Datensatzes beenden 2 B 2 3 C 2 Datensatz im Vergleich zum Ziel neu/ geändert Datensatz ins Ziel einfügen Satellite Stage Hub Key(s) nachschlagen identisch Business Key Value Ladedatum gelöscht Hub 1 2 A G 1 1 FALSE FALSE 4 D 1 FALSE Hub 2 3 B C 2 2 FALSE FALSE 4 null 2 TRUE 37

38 Integrity Load Laden zusätzlicher Daten um Datenintegrität zu gewährleisten Link- Stage DISTINCT auf einen Business Key Business Key im Ziel vorhanden? Nein Datensatz ins Ziel einfügen Hub Ja Satellite 38

39 Ladestrecke 39

40 Ladestrecken Quelle Integration Stage Datenaufbereitung Ladelogik Hub- Hub Datentransfer 40

41 Ladestrecken Sat-Ladelogik Satellite Quelle Integration Stage Datenaufbereitung Ladelogik Hub- Hub Datentransfer 41

42 Ladestrecken Sat-Ladelogik Satellite Quelle Integration Stage Datenaufbereitung Ladelogik Hub- Hub Datentransfer Datenaufbereitung Link- Ladelogik Link 42

43 Generierung der Ladelogik Namens- Konventionen Data Vault Objekte Metadaten Quellobjekte Generator Insert only, One View 43

44 Definition einer Beispielladestrecke CREATE OR REPLACE FORCE VIEW RB_BASE_PROJECT_EXT_V AS SELECT t.rbprojectid AS RB_BASE_PROJECT_ID, t.rbprojectname AS NAME, t.rbprojecttypeid AS PROJECTTYPE_ID, FROM t WHERE t.deleted = 0; BEGIN loadpath_admin.sp_create_load_path(p_external_view_name => 'RB_BASE_PROJECT_EXT_V', p_dv_object_name => 'RB_BASE_PROJECT_HUB', p_sat_object_name => 'RB_BASE_PROJECT_SAT'); END; / 44

45 Jobsteuerung 45

46 Data Vault Beladung Quelle 1 Stage 2 Hub 4 Satellite Quelle 1 Stage 3 Link 4 Satellite Quelle 1 Stage 2 Hub 4 Satellite 46

47 Jobsteuerung mittels Warteschlange Prioritätsqueue Stage Stage Hub Hub Link Satellite Satellite Worker Worker Worker 47

48 Jobsteuerung mittels Warteschlange Prioritätsqueue mit Synchronisierung Tasks Stage Stage Sync Hub Hub Sync Link Sync Satellite Satellite Worker Worker Worker Warten + Jobs erstellen wenn Jobs fertig 48

49 Jobsteuerung mittels Warteschlange Prioritätsqueue mit Synchronisierung Tasks Stage Stage Sync Hub Hub Sync Link Sync Satellite Satellite 49

50 Zusammenfassung Beladung 50

51 Zusammenfassung Ladeprozesse Trennung von Jobsteuerung, Datentransport und Datentransformation Generierung der kompletten Ladestrecke Flexibel und Skalierbar Volle Anpassbarkeit 51

52 Fazit 52

53 Fazit Flexibel gegenüber Erweiterungen Standards => Automatisierung Einfaches und performantes Laden Relativ leichte Integration weiterer Datenquellen Auditierung und Nachvollziehbarkeit Historisierung out of the box 53

54 Fazit Was haben wir gelernt? Data Vault erneut nutzen 2te Chance Data Vault Tools evaluieren Externe Unterstützung 54

55 Danke für die Aufmerksamkeit 55

56 Backup 56

57 Link auf Link dm Verkäufe (Facts) PERIOD_SAT PERIOD_HUB DELIVERYUNIT_LNK PRODUCTGROUP_HUB PRODUCTGROUP_SAT COUNTRY_SAT COUNTRY_HUB ACTOR_HUB ACTOR_CHANNEL_SAT ACTOR_ENTERPRISE_SAT CURRENCY_SAT CURRENCY_HUB SALE_LNK ARTICLE_HUB ACTOR_CLIENTTYPE_SAT 57

58 Generalisierung dm Generalisierung ACTOR_HUB ACTOR_CLIENTTYPE_SAT ACTOR_ENTERPRISE_SAT ACTOR_CHANNEL_SAT ACTOR_DATAPROVIDER_SAT 58

59 Artikel-EAV und Version dm Artikelhierarchie FEATURE_FEATUREVALUE_SAT FEATURE_HUB FEATURE_FEATUREVALUE_LNK ARTICLEVERSION_HUB FEATURE_SAT FEATUREVALUE_HUB ARTICLE_FEATURE_VERSION_LNK ARTICLE_HUB FEATUREVALUE_SAT 59

60 Datentransfertool DB Unabhängi g Läuft in der Datenba nk Javatool Generier t Stateme nts Parallelisierung Wiederverwertb ar-keit 60

61 Sat Loadview Beispiel SELECT dv.dv_id AS dv_rb_base_project_hub_id, coalesce(stg.dv_valid, 0) AS is_valid, stg.name, stg.projecttypeid FROM rb_base_project_sv stg FULL JOIN distributor_data.rb_base_project_v dv ON (dv.rb_base_project_id = stg.rb_base_project_id) WHERE NOT (dv.is_valid IS NULL AND stg.dv_valid IS NULL) AND (1 = decode(coalesce(stg.dv_valid, 0), dv.is_valid, 0, 1) OR 1 = decode(stg.name, dv.name, 0, 1) OR 1 = decode(stg.projecttypeid, dv.projecttypeid, 0, 1) 61