TRACK II Datenmanagement Strategien & Big Data Speicherkonzepte. TRACK I Big Data Analytics & Self Service BI

Transkript

1 Kaffee & Registrierung Begrüßung & aktuelle Entwicklungen bei QUNIS Von Big Data zu Executive Decision BI für den Fachanwender bis hin zu Advanced Analytics BI in der Cloud eine valide Alternative Überblick zum Leistungsspektrum und erste Erfahrungen Mittagspause TRACK I Big Data Analytics & Self Service BI Big Data Analytics Auf das richtige Vorgehen kommt es an Aus der Praxis: Self Service BI mit Microsoft Kundenvortrag von Patrick Sura (VivaKi) TRACK II Datenmanagement Strategien & Big Data Speicherkonzepte BI Operations Erfolgsfaktoren für einen effizienten Data Warehouse Betrieb Big Data & BI Technologie Der Beginn einer wunderbaren Freundschaft? Kaffeepause Self Service BI von der Planung bis zur Analyse mit BOARD Live Präsentation einer Vertriebsplanung Power BI die Microsoft Plattform für Self Service BI bis hin zur unternehmensweiten Lösung Live Präsentation des Microsoft Portfolios Anforderungen erfolgreich managen Von erfolgreichen Data Warehouse Implementierungen lernen Frage & Antwort AB Gemeinsamer Besuch des Rosenheimer Herbstfestes

2 Neue Daten Relevant für Auswertungen? extern Mobile Devices Audio Open Data Feeds Social Web Video Wetterdaten 3rd Party Sensoren Sensoren Aktoren Geodaten Dokumente HR IT Sales intern Finance strukturiert semistrukturiert polystrukturiert unstrukturiert

3 Typische DWH Architektur Business Intelligence Frontend W r I t e R e a d Dashboard, Reporting, Analyse, Planung Data Marts Interpretieren & Aggregieren Core Veredeln & Historisieren Cleansing Area Plausibilisieren & Konsolidieren QUNIS 2015 Data Warehouse Quellsysteme Staging Area E T L ERP diverse MDM [..] 03. Qunis Day Extrahieren Neubeuern,

4 Qunis DWH Framework Core Data Mart Generation Fachbereichsspezifische Transformationen / Verdichtungen / Zusatzberechnungen Frontendgerechte Bereitstellung Datenmodelle Relationale und/oder Multidimensionale Strukturen Bedarfsweise zusätzliche Historisierung Data Mart Ergebnisse Data Marts Business Intelligence Frontend Data Marts Dashboard, Reporting, Analyse, Planung Interpretieren & Aggregieren Core Veredeln & Historisieren Cleansing Area Core Verarbeitung Historisieren Änderungen (Dimensionen) Durchführen Veredelungen / Zusatzberechnungen mit unternehmensweitem Charakter Durchführen zentrale Sonderfunktionen, z.b. Exposureverlauf, Zeitreihenkalkulationen o.ä. Core Area Cleansing Area Plausibilisieren & Konsolidieren Staging Area Cleansing Ermitteln Delta Änderungen voriger Lauf (Dimensionen) Konsistenzchecks / Bereinigen / Komplettieren Überführung in Datawarehouse Zielmodell Cleansing Area Data Warehouse Quellsysteme Staging Area ERP MDM E T L Extrahieren diverse [..] QUNIS Qunis Day

5 Marktstrukturmodell BI & DWH Business Intelligence Frontend Backend Dashboard Reporting Ad hoc Reporting Analyse Data Mining Legale Konso. Scorecard Risk & Compliance Planung & Simul. Relationale Datenbanken Multidim. Datenbanken Spezial Datenbanken / Appliance Datenintegration QUNIS Qunis Day

6 Qunis Data Warehouse Technologien Business Intelligence Frontend Data Marts Core W r I t e Cleansing Area R e a d Dashboard, Reporting, Analyse, Planung Interpretieren & Aggregieren Veredeln & Historisieren Plausibilisieren & Konsolidieren Excel, Excel Services, PowerView, PowerPivot, PowerMaps, Reporting Services, PowerBI, BOARD Microsoft SQL Server Analysis Services (SSAS) BOARD Microsoft SQL Server Datenbank Microsoft APS Inhouse oder Cloud (Azure) Data Warehouse Quellsysteme Staging Area E T L Extrahieren ERP diverse MDM [..] SQL Server Integration Services (SSIS), Theobald (SAP Schnittstelle) ERP, CRM, PPS, HR, Relationale DBMS, Flatfiles, XML,

7 BIG Data: Die Lambda-Architektur als Rahmen Neue Daten (BIG Data) Batch Layer Sämtliche Fakten in redundanter Ausführung Berechnungen werden durchgeführt Teilweise sehr hohe Latenz Batch Layer (Alle relevanten Data) Berechnung Speed Layer (Realtime Views) Serving Layer Ergebnisse der Berechnungen werden im Serving Layer gespeichert Ziel: Reduzierung der Latenzen Abfrage der gewünschten Informationen (externe Systeme) Ist eine Berechnung fertig, werden alle Daten im Serving Layer ersetzt Serving Layer (Batch Views) Speed Layer Ebenfalls alle relevanten neuen Daten Gewünschte Berechnungen mit temporärer Speicherung Wird wieder gelöscht, sobald Daten im Batch Layer verfügbar Komplexe Komponente der Lambda-Architektur Visualisierung / System Ein externes System wird dann die Ergebnisse aus Serving Layer und Speed Layer kombinieren um eine aktuelle Sicht auf die Daten zu gewähren.

8 Typische Hadoop Architekturvarianten Hadoop only Hadoop DBs Konnektoren YARN / SPARK HDFS NoSQL RDBMS NoSQL HDFS RDBMS YARN / SPARK HDFS Je nach Anwendungsszenarien können unterschiedliche Architekturvarianten Sinn machen In-DB Analytic RDBMS YARN / SPARK Externe Daten/Tabellen RDBMS YARN / SPARK HDFS

9 Der Markt für BIG Data Technologien I. Apache Hadoop (Open Source) Inhouse Installation Managed Service in der Cloud (wenig professionelle Angebote) II. Hadoop Distributionen (Beispiel: MapR / Cloudera / Hortonworks) Inhouse Solution Cloud Solution + Managed Service (Single Vendor) Cloud Solution + Partner für Managed Service III. BIG 4 (Inhouse und Cloud gemischt): Microsoft (HDInsight + Hortonworks + eigene Dienste) IBM Open Data Plattform / Bluemix (Apache Hadoop + eigene Dienste) Oracle (Apache Hadoop + eigene Dienste) SAP (SAP Hana + Konnektoren) IV. BIG Data Specialists SAS, Teradata, Informatica, BlueYonder, OneLogic, QUNIS Qunis Day

10 Qunis Kundenbeispiel: BIG Data Plattform Rahmendaten: Produzierendes Gewerbe Mehrere Produktlinien Globale Unternehmensstruktur Starker Vertrieb über Zwischenhandel Digitalisierung durch den Eigentümer massiv adressiert IoT Initiative für mehrere Produkte Industrie Initiative parallel gestartet Social Media Strategy stark im Fokus (Consumer) Erste Ergebnisse innerhalb von 12 Monaten!

11 Qunis Kundenbeispiel: BIG Data Plattform Visualisierung / Export Reporting / Eventsteuerung / Datenexporte SPARK Computing und Analytics NoSQL DB Daten Speicherung ZooKeeper YARN HBase HDFS Spark SQL Spark Streaming Messaging System Datenintegration Batch Integration Streaming Konnektor IoT (Industrie 4.0) SAP, CRM,

12 Kombination BI/DWH und BIG Data Gut organisierte und modellierte Daten Große Menge an unterschiedlichsten Daten Kombination je nach Bedarf

13 Lessons Learned Viele Unternehmen entwickeln aktuell neue Geschäftsmodelle, die auf BIG Data fußen BI/DWH Architekturen werden weiterhin im Rahmen des Datenmanagements eine bedeutende Rolle spielen Die Kombination aus beiden Architekturen ist möglich und auch in vielen Fällen relevant Eine klare Trennung der Technologien ist nicht immer möglich Weiterentwicklung der bestehenden Werkzeuge Neue Projekte zur Adressierung der klassischen Anforderungen Der Markt ist bereits gereift erste Projekte sind umgesetzt