Agile Analytics Neue Anforderungen an die Systemarchitektur

Transkript

1 Agile Analytics Neue Anforderungen an die Systemarchitektur Kassel Thorsten Becker & Bianca Stolz

2 ImmobilienScout24 Teil einer starken Gruppe Scout24 ist der führende Anbieter von Onlinemarktplätzen in Europa Mehr als 1000 Mitarbeiter 8 Mio. Nutzer (Unique Audience) in 18 Ländern aktiv S RUS 100%ige Tochter der Deutschen Telekom B NL D PL Unsere Vision: Entdecken. Entscheiden. Leben. F CH A CZ HR RO UA Quelle: Scout24 E I BG TR

3 Inhaltsverzeichnis 1. Agile Produktentwicklung - Anforderungen an die Organisation 2. Anforderungen an die BI Architektur Produktentwicklung 3. Agile Analytics & Big Data 4. Anforderungen an die BI Architektur - Unternehmen 5. Agilität im Data Warehouse 6. Datenmodellierung mit Data Vault 7. Umsetzung eines Testpiloten 8. Schlussfolgerungen

4 Agile Produktentwicklung Anforderungen an die Organisation 1 Moderne Unternehmen arbeiten mit agilen Methoden Seite 4

5 Agile Produktentwicklung Anforderungen an die Organisation 2 Moderne Unternehmen arbeiten mit agilen Methoden Die Organisationstruktur des Unternehmens unterstützt die agile Produktentwicklung Alle für Entwicklung (und ggf. Betrieb) eines Produkts erforderlichen Personen arbeiten in einem cross-funktionalen und selbstorganisierenden Team. Die Teams agieren unabhängig voneinander wie Start Up s und entscheiden u.a. über die eingesetzten Technologien. Ein Product Owner trägt die Verantwortung für ein Produkt und übernimmt die Priorisierung der Aufgaben in einem Backlog. Teams werden thematisch zusammenhängend in Produktlinien, Service Lines, Tribes o.ä. organisiert. Die Produktentwicklung findet in Iterationen statt. Am Ende jeder Iteration werden nach Lean Startup Prinzipien (z.b. MVP) Features geliefert und am Markt eingesetzt. Seite 5

6 Agile Produktentwicklung Anforderungen an die Organisation 2 SL_Suche SL-Führung Produkt / Organisation Webserver Applikations server Scrum Team Scrum Team Scrum Team Seite 6

7 Anforderungen an die BI Architektur Agile Produktentwicklung Die BI Architektur muss die Anforderungen der agilen Produktentwicklung unterstützen Daten müssen sehr kurzfristig für die Analyse zur Verfügung stehen. Daten liegen in unterschiedlichen Formaten strukturiert oder semistrukturiert vor. Datenstrukturen ändern sich häufig. Nur ein Teil der Daten der Service Lines ist im Unternehmenskontext relevant. Daten sollen historisch nach immer neuen Aspekten ausgewertet werden können. Seite 7

8 Anforderungen an die BI Architektur Agile Produktentwicklung SL_Suche SL_Anbieten SL_Baufi SL_Umzug SL REST API Batch Processing Web Tracking Externe Daten Batch Processing Seite 8

9 Agile Analytics & Big Data Analyse der Rohdaten in der Service Line Company Raw Data Data Node Name Node Data Node Data Node Data Node Hive Meta Store Client Seite 9

10 Agile Analytics & Big Data Analyse der Rohdaten des Unternehmens {"realestatetype":"apartment_rent","searcharea":[["europa"],["deutschland"],["berlin"],["friedrichshain"]]} Seite 10

11 Agile Analytics & Big Data Analyse der Rohdaten mit Hive / Hue Seite 11

12 Agile Analytics & Big Data Analyse der Rohdaten mit einem SQL Client Seite 12

13 Agile Analytics & Big Data Analyse der Rohdaten mit einem BI Tool Seite 13

14 Anforderungen an die BI Architektur Anforderungen der Fachbereiche des Unternehmens Die BI Architektur muss die Anforderungen der Fachbereiche des Unternehmens unterstützen Fachbereiche (z.b. Marketing, Controlling) benötigen eine unternehmensweite konsolidierte und stabile Datenbasis. KPI zur Steuerung des Unternehmens müssen in hoher Qualität berechnet und bereitgestellt werden. Das Datenmodell muss den Einsatz moderner BI Tools unterstützen. Der Zugriff auf die Daten muss durch ein Berechtigungskonzept gesichert werden. Seite 14

15 Agile Analytics & Big Data Hadoop als Data Store Company Raw Data Data Node Name Node Data Node Data Node Data Node Hive Meta Store Client Data Subset to DWH Seite 15

16 Agilität im Data Warehouse Auswirkungen auf das Datenmodell

17 Ein neuer Ansatz für agiles Data Warehousing? In agilen Unternehmen ändern sich Quellsysteme schnell und häufig. Wie kann das DWH Schritt halten? Flexibilität ohne Reengineering Beliebige Erweiterungen des Datenmodells je nach Business Anforderung Keine Migrationen im Core DWH Geringe Komplexität beim Einladen der Daten Automatische Generierung von Mappings Business Rules nur bei Erstellung von Data Marts anwenden Skalierung und Parallelisierung der Ladevorgänge Unabhängiges Laden von mehreren Quellsystemen Parallele Befüllung der Datenobjekte im Core DWH Keine Abhängigkeiten beim Laden Seite 17

18 Datenmodellierung mit Data Vault im Core DWH Zwischen 3NF und Star Schema Hub Sequence Business Key Load Date Record Source Core DWH Neu Link Staging Area Data Marts Sequence Hub Sequence 1 Hub Sequence n Load Date Record Source Neu Neu Neu Satellite Parent Sequence Load Date Load End Date Record Source Attribute 1 Attribute n Metadata Seite 18

19 Bestandteile des Data Vault-Datenmodells Hubs, Links und Satelliten Hubs Enthalten ausschließlich Business Keys Bilden den Startpunkt der Datenmodellierung Werden im ETL-Prozess zuerst geladen Links Setzen die Business Keys zueinander in Beziehung Können als ausgelagerte Foreign Keys angesehen werden Die Granularität ergibt sich aus der Anzahl angebundener Hubs Satelliten Enthalten alle beschreibenden Attribute der Business Keys Lassen sich zur Versionierung von Links einsetzen Aufteilung nach Quellsystem, Änderungshäufigkeit oder Datentypen Seite 19

20 Data Vault an einem konkreten Beispiel gezeigt S_KUNDEN_CRM DWH_KUNDEN_ID DWH_LOAD_DATE S_KUNDEN_LEBENSZYKLEN DWH_KUNDEN_LEBENSZYKLEN_ID DWH_LOAD_DATE H_KUNDEN_TYPEN DWH_KUNDEN_TYPEN_ID KUNDEN_TYP H_KUNDEN DWH_KUNDEN_ID KUNDEN_ID L_KUNDEN_LEBENSZYKLEN DWH_KUNDEN_LEBENSZYKLEN_ID DWH_KUNDEN_ID DWH_KUNDEN_TYPEN_ID DWH_PRODUKT_FAM_ID DWH_KUNDEN_STAT_ID H_PRODUKT_FAMILIEN DWH_PRODUKT_FAM_ID PRODUKT_FAMILIE S_KUNDEN_WEBAPP DWH_KUNDEN_ID DWH_LOAD_DATE SV_KUNDEN_LEBENSZYKLEN DWH_KUNDEN_LEBENSZYKLEN_ID DWH_LOAD_DATE DWH_BEGIN DWH_END H_KUNDEN_STATUS DWH_KUNDEN_STAT_ID STATUS Attribute für die Versionierung Seite 20

21 Was wäre wenn Zwei Szenarien für typische Änderungen Wechsel von Tabellenreferenzen Produkte Verträge Produkte Verträge neue Referenz Preise X Link wird nicht mehr befüllt Preise Adressänderungen Kunden Adr_Arten Adressen Kunden X X Adressen Rech_Adr weitere Adressen pro Kunde Pers_Adr Vertr_Adr Seite 21

22 Schlussfolgerungen Moderne Datenhaltungssysteme ermöglichen es uns, beliebige Daten in fast beliebigen Mengen zu speichern und nach immer neuen Aspekten auszuwerten. Agile Analyseanforderungen der Produktentwicklung müssen sehr zeitnah umgesetzt werden und betreffen meist nur einen Ausschnitt der Datenlandschaft. Die Datenlandschaft eines agilen Unternehmens ändert sich mit hoher Frequenz eine Herausforderung für das klassische DWH, das weiterhin zentrale Bedeutung hat. Data Vault ist ein möglicher Ansatz, das Core DWH sowohl zu stabilisieren als auch Änderungen von Quellsystemen schnell zu integrieren. Die BI Architektur des agilen Unternehmens muss unterschiedlichen Anforderungen gerecht werden, moderne Datenhaltungssysteme und klassische DWH Technologie können sich dabei effektiv ergänzen. Seite 22

23 Vielen Dank für Ihre Aufmerksamkeit! Kontakt: Immobilien Scout GmbH Andreasstraße Berlin Thorsten Becker Bianca Stolz