Big Data & Advanced Analytics Anwendungsfälle Beispiele für Analysen auf Basis strukturierter & unstrukturierter Daten

Transkript

1 1. September 2017

2 Agenda Begrüßung & aktuelle Entwicklungen bei der QUNIS GmbH Megatrend Digitalisierung IoT, Industrie 4.0, Mobilität, Produktindividualisierung & Prozessdigitalisierung Auswirkungen auf Datenmanagementstrategien & die Unternehmensorganisation Track I: Business Intelligence & Data Warehouse Track II: Big Data & Advanced Analytics BI Strategie Entwicklung Vorgehen & Lessons Learned aus über 100 Beratungsprojekten Big Data & Advanced Analytics Anwendungsfälle Beispiele für Analysen auf Basis strukturierter & unstrukturierter Daten Mittagspause Data Warehouse Automation Metadatengetriebene Data-Warehouse-Entwicklung mit der QUNIS Automation Engine (QAE) Praxisbeispiel (Kundenvortrag) Data Warehouse in der Cloud Microsoft Power BI Self-Service für Unternehmen Datenmodellierung, Analyse & Reporting in der Cloud & On-Premises Advanced Analytics in Action Bildanalyse & Sensordatenverarbeitung in Echtzeit Data Lake Modernisierung von Datenarchitekturen Architektur & relevante Technologien beim Aufbau Praxisbeispiel (Kundenvortrag) GAPTEQ FORMS in Action Kaffeepause Pyramid Analytics BI Office Eine moderne, webbasierte Unternehmensplattform für Business Intelligence Erweiterte Analysen auf Data-Warehouse-Daten Vorgehen & Best Practices zur erweiterten Informationsgewinnung GAPTEQ FORMS Update und Projektbeispiele Forum Fragen & Antworten 2

3 Typische Situation in Unternehmen Übersicht aktueller Treiber für eine modernisierung der analytischen Datenarchitekturen Historisch gewachsene Datenstrukturen erschweren den weiteren Ausbau von Datenmodellen und den Betrieb von bestehenden Applikationen. Business Logiken sind an unterschiedlichen Stellen der Architektur realisiert Unterschiedlichste Entwicklungsmethoden im Rahmen der Umsetzungen Keine Dokumentation der Logiken und der Transformationen Die etablierten Datenmodelle sind zu starr und erlauben keine agile Weiterentwicklung. Die Verarbeitung der gestiegenen Datenmengen (strukturiert) ist für die etablierten Data Warehouses nicht mehr performant zu verarbeiten. Unterstützung von explorativen Analyseszenarien Umsetzung von Big Data Use Cases Polystrukturierte Daten werden analysiert Streaming-Szenarien werden verstärkt umgesetzt Zeitkritische Analysen auf Basis von unterschiedlichen Datenformaten 3

4 Welche Daten sind für analytischen Fragestellungen in Zukunft relevant? Ergebnis der QUNIS Umfrage Big Data & Advanced Analytics Bilder, Sprache oder Videos Weblogdaten (eigene Website, Webshop, etc.) Wetterdaten Maschinengenerierte Daten (Sensoren, RFID, etc.) Transaktionale Geschäftsdaten (ERP Systeme, CRM, etc.) Daten aus sozialen Medien, Rezensionen und Blogs Prio 5 Prio 4 Prio3 Pro 2 Prio 1 Quelle: QUNIS, Umfrage Big Data & Advanced Analytics, n = 69, Mehrfachnennungen möglich 4

5 Was wir unter Big Data verstehen Abgrenzung von BI zu Big Data Big Data bezeichnet Methoden und Technologien für die hochskalierbare Erfassung, Speicherung und Analyse polystrukturierter Daten Volume Datenmenge immer größere Datenvolumina werden angesammelt Größenordnungen von mehreren Petabytes sind keine Seltenheit mehr Strukturiert Unstrukturiert Polystrukturiert Variety Variety Datenvielfalt immer mehr Daten liegen in unstrukturierter und semistrukturierter Form vor z. B. aus den sozialen Netzwerken Velocity Geschwindigkeit riesige Datenmengen müssen immer schneller ausgewertet werden, bis hin zur Echtzeit. Die Verarbeitungsgeschwindigkeit muss mit dem wachsenden Datenvolumen Schritt halten Real time Near time Batch Velocity Volume Transactions Sensors Files 5

6 Das Data Lake Konzept Überblick Weltweite Unterstützung für BI, Big Data und Advanced Analytics Lösungen Der zentrale Data Lake ist ein zentraler Hub für übergreifende Anforderungen an Daten verbunden mit spezifischen / regionalen Lakes Bereitstellung von harmonisierten und integrierten Datenstrukturen basierend auf übergreifenden Anforderungen (Central Data Lake) Datenspeicherung von strukturierten und poly-strukturierten Daten zur Unterstützung von allen analytischen Use Cases bis hin zu Advanced Analytics Anwendungen (IoT, Industrie 4.0, etc.) Datenbereitstellung für 3 rd -Party Applikationen Schnelle und effiziente Implementierung durch eine geeignete Organisation und innovativem Technologie Stack Globale Verfügbarkeit (bei Bedarf) auch durch die Nutzung von Cloud Services 6

7 Cube Cube Big Data & Advanced Analytics Initiativen Die Data Lake Architektur Front end & 3rd Party App. Dashboarding Reporting Analysis Planning 3rd Party Application Advanced Analytics Search Corporate Corp. (3rd Party App.) Spec. Spec. Big Data Serving (Batch) Data Lake DW Core (Standard Data Model) DW Cleansing DW Core (Spec.) DW Cleansing (Spec.) Big Data Processing (Batch) Big Data Exploration Big Data Streaming Stage Structured Data XL S XL S Rel. DB XL S XL S Rel. DB Poly-structured Data Quellen CSV XLS Rel. DB ERP CRM Maschinen (Industrie 4.0) IoT Platform Internet 7

8 Der Data Lake Erklärung und Nutzen Stage File orientierte Datenbank (inkl. Historische Daten z. B. für analytische Zwecke zu einem späteren Zeitpunkt) Strukturierte Daten werden in relationaler Struktur in einer relationalen DB / HIVE, etc. abgelegt Data Warehouse Strukturierte Daten werden bei BI Anforderungen ein Data Warehouse weitergegeben (Stage, Cleansing, Core and ) Das Core Datenmodel für unternehmensweite Anforderungen basierte auf einem Standard Data Model (S) Individuelle Anforderungen sind ebenso im Data Warehouse realisierbar Basierend auf den Business Anforderungen, können Data Marts Inhalte aus dem spezifischen Datenmodell als auch aus dem S enthalten Data Marts können hierbei auf OLAP oder relationale Technologien basieren. Big Data Stack Der Big Data Stack kann auf dem S basieren oder für Big Data Use Cases mit individuellen Daten (auch polystrukturierten Daten) erweitert werden Metadaten Zentrales Metadaten-Management für die gesamte Umgebung 8

9 Agiles Datenmanagement & Self Service BI 9

10 Die richtige Datenmodellierung & Self Service BI (SSBI) Schnelle und flexible Reaktion auf neue Anforderungen Bei der Verarbeitung von strukturierten Daten (Beispiel ERP, CRM, etc.) werden teilweise neue Modellierungstechniken (Data Vault, Schichtenarchitektur mit dimensionaler Modellierung) verwendet. Data Vault bietet bei den gegebenen Anforderungen eine hohe Flexibilität bei Erweiterungen, eine vollständige Historisierung der Daten und erlaubt eine starke Parallelisierung der Datenladeprozesse. Für den Bereich Self Service BI werden in Architekturen entsprechende Sandboxes für ausgewählte Power User etabliert (S) (S) (S) (S+Indiv.) (Indiv. Sandbox) Data Warehouse / Data Lake Core Cleansing Standard Data Model (S) Ind. / local XLS Staging 10

11 Working Place Data Scientist & Big Data Power User Analyse von unterschiedlichsten Daten A data scientist represents an evolution from the business or data analyst role. The formal training is similar, with a solid foundation typically in computer science and applications, modeling, statistics, analytics and math. Good data scientists will not just address business problems, they will pick the right problems that have the most value to the organization. Serving Data Scientist Big Data Power User Data Lake Processing Data Storage Streaming Data Engineer Big Data Staging 11

12 Zusammenfassung Klassische Data Warehouses werden heute stark hin zu modernen Datenarchitekturen erweitert / umgebaut Umstellung auf eine saubere Schichtenarchitekturen Erweiterungen um Self Service BI nicht nur im Frontend Nutzung von Big Data Technologien für BI Anforderungen Einsatz von neuen technologischen Möglichkeiten bei den relationalen Datenbanken (Beispiel: InMemory Processing) Der Data Lake umfasst eine Data Warehouse und eine Big Data Architektur die Kombination ist die Stärke BI- und Big-Data-Technologien werden weiter zusammenwachsen Moderne Datenarchitekturen erfordern eine adäquate Organisation 12

13 STEFFEN VIERKORN Geschäftsführer Phone: steffen.vierkorn@qunis.de QUNIS GmbH Georg-Wiesböck-Ring Neubeuern Phone: info@qunis.de