Big Data & Advanced Analytics Anwendungsfälle Beispiele für Analysen auf Basis strukturierter & unstrukturierter Daten

Größe: px

Ab Seite anzeigen:

Download "Big Data & Advanced Analytics Anwendungsfälle Beispiele für Analysen auf Basis strukturierter & unstrukturierter Daten"

Paulina Hafner
vor 5 Jahren
Abrufe

1 1. September 2017

2 Agenda Begrüßung & aktuelle Entwicklungen bei der QUNIS GmbH Megatrend Digitalisierung IoT, Industrie 4.0, Mobilität, Produktindividualisierung & Prozessdigitalisierung Auswirkungen auf Datenmanagementstrategien & die Unternehmensorganisation Track I: Business Intelligence & Data Warehouse Track II: Big Data & Advanced Analytics BI Strategie Entwicklung Vorgehen & Lessons Learned aus über 100 Beratungsprojekten Big Data & Advanced Analytics Anwendungsfälle Beispiele für Analysen auf Basis strukturierter & unstrukturierter Daten Mittagspause Data Warehouse Automation Metadatengetriebene Data-Warehouse-Entwicklung mit der QUNIS Automation Engine (QAE) Praxisbeispiel (Kundenvortrag) Data Warehouse in der Cloud Microsoft Power BI Self-Service für Unternehmen Datenmodellierung, Analyse & Reporting in der Cloud & On-Premises Advanced Analytics in Action Bildanalyse & Sensordatenverarbeitung in Echtzeit Data Lake Modernisierung von Datenarchitekturen Architektur & relevante Technologien beim Aufbau Praxisbeispiel (Kundenvortrag) GAPTEQ FORMS in Action Kaffeepause Pyramid Analytics BI Office Eine moderne, webbasierte Unternehmensplattform für Business Intelligence Erweiterte Analysen auf Data-Warehouse-Daten Vorgehen & Best Practices zur erweiterten Informationsgewinnung GAPTEQ FORMS Update und Projektbeispiele Forum Fragen & Antworten

3 Was benötigt man an Technologien für die Umsetzung eines Data Warehouses? 3

4 Welche Komponenten können für ein Data Warehouse relevant sein? Überblick Hardware Relationale Datenbanken Multidimensionale Datenbanken (Cubes) TABULAR MULTIDIMENSIONAL ETL-Werkzeug Frontend Benutzer- und Rechteverwaltung 4

5 Weitere grundsätzliche Infrastrukturfragen Unabhängige Überlegungen in jedem Data Warehouse Projekt ob On-premises oder Cloud Betrieb Intern, Provider oder Managed Service Kernkompetenzen und Know-How im eigenen Team Welches Know-How ist vorhanden und welches wird benötigt à Skill-Matrix Aus- und Weiterbildung Ressourcen Flexibilität und Skalierbarkeit Wie flexibel können Komponenten getauscht oder abgelöst werden Wie skalierbar ist die Infrastruktur Zugang für den Anwender von intern und extern Verfügbarkeit (HA) Kosten Methodik und Regelwerk für die Entwicklung des Data Warehouse Hardware-Sizing Virtuell oder physikalisch SMP oder MPP 5

6 Datenbankarchitekturen: SMP vs. MPP Kurzüberblick SMP (Symmetrisches Multiprozessorsystem) Ein Server in dem sich alle CPU s den verfügbaren Hauptspeicher und Datenspeicher teilen müssen Eine SQL-Operation (SELECT, INSERT, ) wird auf einem Server ausgeführt Der Flaschenhals in der Performance liegt meist beim Disk-IO und nicht der CPU MPP (Massively Parallel Processing) Eine MPP Architektur besteht aus mehreren Server (Compute-Nodes), die virtuell zu einem zusammengefasst werden Ein Server wie bei SMP entspricht in MPP einem Node Eine SQL-Operation (SELECT, INSERT, ) wird über mehrere Nodes verteilt und später wieder zusammengeführt CPU CPU CPU CPU High-Speed Interconnect Cache Cache Cache Cache Node 1 Node 2 Node 3 BUS A... F G... R S... Z Shared Memory I/O 6

7 Warum Data Warehouse in der Cloud überhaupt? 7

8 Infrastructure as a Service (IaaS) vs. Platform as a Service (PaaS) On premises Hybrid Cloud Geteilt Geringe Kosten Platform as a service Software as a service Infrastructure as a service Azure SQL Database Virtualized Databases Virtual SQL Server in Azure VM Virtualized Machines Physical SQL Server Private Cloud Virtualized Machines + Appliances Dediziert Höhere Kosten Höhere Administration SQL Server Physical Machines (raw iron) Off premises Geringere Administration 8

9 Verfügbare Komponenten in Azure Hardware Relationale Datenbanken Multidimensionale Datenbanken (Cubes) Cloud Ready TABULAR MULTIDIMENSIONAL ETL-Werkzeug Frontend Benutzer- und Rechteverwaltung 9

10 Azure SQL Database Verfügbar seit 2010 Database-as-a-Service (DBaaS) Fällt damit in die Kategorie PaaS Vergleichsprodukt: Amazon s RDS, Google Cloud SQL oder Cloud Spanner Nutzt statt SQL-Server die Version 12 der Azure SQL Database Optimizer versteht T-SQL, ein Migration von SQL-Server auf Azure SQL Database problemlos möglich basiert auf standardisierter Hardware und Software, die Microsoft gehört und von Microsoft gehostet und verwaltet wird. Azure SQL Database wird Kunden nicht mit einer Lizenz, sondern als Dienst verkauft. 10

11 Azure SQL Data Warehouse Verfügbar ab ca. Juli 2016 Data Warehouse as a Service (DWaaS) Fällt damit in die Kategorie PaaS Vergleichsprodukt: Amazon s Redshift, Google Big Query Basiert auf der gleichen Grundtechnologie wie die Analytics Plattform System (APS / PDW) Nutzt statt SQL-Server die Version 12 der Azure SQL Database Compute ist nun vom Storage getrennt, so dass diese unabhängig skaliert werden können Azure SQL Data Warehouse kann mit APS kombiniert werden, um z. B. sensible Daten on-premises zu halten während nicht sensible Daten in der Cloud liegen Application or User connection Data Loading (PolyBase, ADF, SSIS, REST, OLE ODBC, ADF, AZCopy, PS) SGL DB DMS Compute Node SGL DB SGL DB DMS Control Node Massively Parallel Processing (MPP) Engine DMS Compute Node SGL DB DMS Compute Node Blob storage [WASB(S)] SGL DB DMS Compute Node Azure Infrastructure and Storage 11

12 Azure SQL DB vs. Azure SQL Data Warehouse Feature Azure SQL DB Azure SQL Data Warehouse Größe Max 4TB pro DB Max 240 TB komprimiert auf dem Datenträger Gleichzeitige Abfragen Recheneinheiten DTU DWU = DTU Datenbankverbindung Cross-DB-Abfragen Ja Nein Pause Nein Ja Replikation Georeplikation Geo-redundant Backup In-Memory OLTP Tabelle Ja Ja Polybase Ja Ja Maximale Größe von tempdb N/A 399GB pro DW100 daher ist tempdb in DWU1000 3,99TB groß. 12

Beispiel Architektur Front End Dashboarding Reporting Analyse Planung On-Premises oder Cloud VM Power BI SSIS Data Marts Operations Management Suite SSAS SSRS Structured Core Cleansing Staging (batch

13 Beispiel Architektur Front End Dashboarding Reporting Analyse Planung On-Premises oder Cloud VM Power BI SSIS Data Marts Operations Management Suite SSAS SSRS Structured Core Cleansing Staging (batch or real time) Azure SQL Data Warehouse Azure Automation Azure Active Directory Azure Sources 13 Structured ERP, CRM, PPS, HR, VPN Gateway Semistructured Sensors, Social Media, Web, Unstructured Text, Image, Video, Active Directory On-Premises oder Cloud

14 Fazit Flexible Lösung die nach den Bedürfnissen angepasst werden kann Skalierbarkeit ist gewährleitet und passt sich dem Bedarf an Hardware-Sizing ist jetzt eine untergeordnete Frage Betrieb der PaaS-Komponenten durch den Anbieter. IaaS verbleibt bei uns Eigene Kernkompetenzen konzentriert sich auf das Fachwissen und die Entwicklung der DWH-Lösung Anwender können von intern und extern jederzeit auf die Informationen zugreifen Verfügbarkeit ist durch Azure grundsätzlich vorhanden und kann z.b. durch Georedundanz verstärkt werden Methodik und Regelwerk für die Entwicklung des Data Warehouse 14

15 ANDY LÖWEN Senior Consultant Phone: QUNIS GmbH Georg-Wiesböck-Ring Neubeuern Phone: info@qunis.de

Ähnliche Dokumente

Agenda. TRACK II Die analytische Evolution es geht weiter! AI als Enabler für digitale Geschäftsmodelle Internet of Things zum Anfassen!

Agenda. TRACK II Die analytische Evolution es geht weiter! AI als Enabler für digitale Geschäftsmodelle Internet of Things zum Anfassen! Agenda 10.00 DIGITAL POWER LIVE Begrüßung durch Hermann Hebben und Steffen Vierkorn 10.30 Cleveres Datenmanagement im Zeitalter von Digitalisierungsinitiativen: Agile Transformation von klassischen BI-Systemen