Realtime Reporting einfach gemacht

Transkript

1 Realtime Reporting einfach gemacht Azure Stream Analytics Azure Event Hubs Power BI HMS Analytical Software GmbH - Heidelberg Goldpartner

2 Realtime Reporting einfach gemacht Azure Stream Analytics Azure Event Hubs Power BI Inhalt Realtime Reporting Einführung Realtime Reporting Advanced: Event Hubs & Stream Analytics Realtime Reporting Self Service: Power BI 2.0 Goldpartner

3 Realtime Business Intelligence Klassisches BI: Statische Daten der Vergangenheit Realtime BI: Analyse der Daten in Echtzeit Goldpartner

4 Realtime BI: Analyse auf Datenströmen Warenkorb Finanzportfolio Betrugserkennung Stauerkennung Predictive Maintenance Supply Chain

5 Data-In-Motion: Datenstrom visualisieren Mobile Devices Interaktives Web-Portal Power BI 2.0/Office 365

6 Keyfacts: Sales Radar Demo Angewendete Technologien: Azure EventHubs; Stream Analytics; ASP.Net Website Goldpartner

7 Sales Radar: Ein Blick hinter die Kulissen Website: Sales Radar App Webshop Azure-Gateway Stream Analytics / Event Hubs Machine Learning

8 Realtime Business Intelligence Datenstrom erzeugen Datenstrom sammeln Datenstrom verarbeiten Datenstrom analysieren Datenstrom visualisieren

9 Realtime BI mit Azure Datenstrom erzeugen Datenstrom sammeln Datenstrom verarbeiten Datenstrom analysieren Datenstrom visualisieren Website Quelle Event-Hub Stream Analytics Machine Learning PowerBI

10 Azure Event Hubs Eigenschaften Beliebige Anzahl an Sendern Ein oder mehrere Konsumenten Skaliert intern über Partitionen Konsumenten haben Pointer auf Datenstrom Kein Löschen der Events nach Verarbeitung Löschen der Events nach Retention-Periode

11 Verwandte Azure Produkte Event-Hubs [many to many] Einsammeln und Verteilen von Events ein oder mehrere Sender Service Bus Queues [one to one] Eine Anwendung A möchte Anwendung B eine Information/Aufforderung zukommen lassen. Interaktion zwischen zwei Anwendungen Service Bus Topics [one to many] Eine Anwendung A möchte mehrere Anwendungen eine Information/Aufforderung zukommen lassen. Interaktion zwischen Anwendungen

12 Keyfacts: Azure Event Hubs Goldpartner

13 Azure Stream Analytics Eigenschaften Massive Skalierung Schnelle Entwicklung Agiles Umsetzen von Business-Anforderungen Microsoft Stream Analytics Geringe Anlaufkosten (Entwicklung + Betrieb) Integriert sich in die Microsoft Cloud-BI-Strategie Basierend auf bekannten Technologien

14 Stream Analytics: Vorgehen Transformieren SQL Azure Datenbank Datenstrom kanalisieren Blob-Storage Empfang eines Datenstroms Azure Event-Hub Azure Blob- Storage Datenstrom analysieren Muster erkennen Anomalien erkennen Beziehungen im Datenstrom herstellen Beziehungen zu Referenzdaten herstellen Verteilen der Ausgabe an Konsumenten Event-Hub Power BI Table Storage Service-Bus Queue/Topic DocumentDB

15 Stream Analytics SQL-Syntax Teilmenge der T-SQL-Sprachsyntax Feldnamen sind nicht Case-Sensitiv Eingaben von Quellen mit mehrdeutigen Feldnamen (Case-Sensitiv) werden als ungültig angesehen TIMESTAMP zentrales Element in Stream-Verarbeitung ISO 8601-Formate interpretierbar als Zeit

16 Stream Analytics Unterstützte Input Formate CSV JSON AVRO Apache / Hadoop Standard Schemadefinition über JSON-Format Eigentliche Daten sind Binär-Codiert Optimierte Performance

17 Stream Analytics - Datentypen Bigint Float NVarchar(max) Datetime Array

18 Stream Analytics unterstütze Operation (Auszug) Aggregate: SUM, MAX, AVG, STDEV,. Verknüpfungen: JOIN, CROSS APPLY Konvertierung: CAST String-Operationen: LIKE, LEN, LOWER, SUBSTRING Gruppierung: GROUP BY, HAVING Bedingte Abfragen: CASE CASE WHEN COUNT(*) = 1, Make ELSE Makes END AS Attribute CTEs: With

19 Stream Analytics der Blick zurück Anwendungsfall: Ermitteln des aktuellen und letzten Messwertes eines Sensors SELECT sensorid, telemetry, LAG(telemtry) OVER (PARTITION BY sensorid LIMIT DURATION(ss, 5)) as previoustelemetry FROM input Anwendungsfall: Ermitteln des Wachstums eines Messwertes SELECT sensorid, growth = FROM input telemetry / LAG(telemetry) OVER (PARTITION BY sensorid LIMIT DURATION (hour, 1)) Goldpartner

20 Stream Analytics der Blick zurück Anwendungsfall: Finden des letzten Wertes des Sensors, der nicht NULL war SELECT sensorid, LAG(telemetry) OVER (PARTITION BY sensorid LIMIT DURATION(hour, 1) WHEN telemetry IS NOT NULL) FROM input Goldpartner

21 Stream Analytics der Blick zurück Anwendungsfall: Ermitteln, wenn das Delta eines Messwert einen bestimmten Schwellwert überschreitet WITH pairs AS ( SELECT sensorid, telemetry, previoustelemetry = LAG(telemetry) OVER (PARTITION BY sensorid LIMIT DURATION (hour,1)) ) FROM input SELECT sensorid, telemetry FROM pairs WHERE telemetry previoustelementry > 100 Goldpartner

22 Stream Analytics Start eines Ereignisses identifizieren Anwendungsfall: Erster Messpunkt in den letzten 10 Minuten ermitteln SELECT telemetry FROM input WHERE ISFIRST(mi, 10) = 1 Anwendungsfall: Ermitteln, ob es sich um die erste Schwellwert-Überschreitung eines Sensors in den letzten 10 Minuten handelt SELECT deviceid, telemetry, ISFIRST(mi, 10) OVER (PARTITION BY deviceid WHEN telemetry > 50) FROM input Goldpartner

23 Stream Analytics Zeitmanagement I Format des Datums? Streaming basiert auf Zeitstempel Zeitstempel wann Event vom Event-Hub empfangen wurde? Anfangs- oder Endezeit des Events? Welches Datum soll überhaupt untersucht werden? Zeitstempel des Sensors?

24 Stream Analytics Zeitmanagement II Einheitliche Referenzierung: System.TimeStamp ISO 8601-Formate direkt interpretierbar Ausdrücke für Zeitstempel-Ermittlung TimeStamp BY DateAdd(millisecond, epochtime, 1970/01/01 GMT ) TimeStamp BY (CASE eventtype WHEN A THEN field1 WHEN B THEN field2 ELSE NULL END)

25 Stream Analytics Zeitmanagement III Zeitstempel ist standardmäßig das Ankunftsdatum in Quelle Zeitstempel kann benutzerdefiniert auf bestimmtes Feld umgebogen werden SELECT System.TimeStamp FROM input TIMESTAMP BY created

26 Stream Analytics Rollierendes Fenster Schematische Darstellung Merkmale Einfachstes Modell Keine Fensterüberlappung Feste Fenstergröße Beispiel SELECT System.TimeStamp, COUNT(*) FROM input GROUP BY TUMBLINGWINDOW(minute, 5) Anwendungsfall (Beispiel): Konsoldieren einzelner Events eines Sensors, z. B. Durschnittspannung pro Minute bei sekündlicher Messung

27 Stream Analytics Springendes Fenster Schematische Darstellung Merkmale Definierte Überlappung der Fenster Größe der Überlappung planbar Feste Fenstergröße Beispiel SELECT System.TimeStamp, AVG(telemetry), COUNT(*) FROM input GROUP BY HoppingWindow(second, 10, 5); Anwendungsfall (Beispiel): Ermittle alle 5 Sekunden die Durchschnittstemperatur der letzten 10 Minuten

28 Stream Analytics Gleitendes Fenster Schematische Darstellung Merkmale Fenster hat keinen definierten Anfangsoder Endezeitpunkt Ermöglicht die Erkennung von Mustern über einen Zeitraum Beispiel SELECT System.TimeStamp, DeviceId, MAX(temp) as temp FROM input GROUP BY SlidingWindow(second, 5) HAVING MAX(temperature) > 100; Anwendungsfall (Beispiel): Messung: Zeige mir die Sensoren, welche die Temperatur von 100 Grad für fünf Sekunden überschritten hatten

29 Keyfacts: Azure Stream Analytics Goldpartner

30 Power BI Die Evolution

31 Power BI Warum ein neues Power BI? Abhängigkeiten zu Excel 2013 Abhängigkeiten zu Office 365 Vielzahl an Tools Preismodell Lange Iterationszyklen Mobile Anforderungen Erweiterungsmöglichkeiten (API)

32 Power BI Umfang von PowerBI Visualisierungen Power BI Desktop Query Formula Language Freigabe von Dashboards Model Designer Office 365 Groups Power BI API Mobile Apps für Windows, ios, Android Q&A Content Packs

33 Power BI Schematischer Ablauf

34 Power BI 2.0 Limitierung von PowerBI Kein Enterprise ETL-Tool Kein Enterprise Reporting Corporate Design schwierig umsetzbar Unternehmensspezifische Standards in Reporting nicht umsetzbar Komplexe Verbindungen von Charts nicht möglich Drill-Down-Möglichkeiten Rechtemanagement

35 Keyfacts: Power BI Demo I Goldpartner

36 Power BI Power BI REST API Programmatischer Zugriff auf Power BI Charts Datasets Inhalte von Datasets Webservice Schnittstelle

37 Keyfacts: Power BI Demo II Goldpartner

38 Ausblick Realtime Analytics / Business Intelligence / Reporting mit verschiedenen Werkzeugen in Azure möglich Verschiedene Werkzeuge vorhanden: Power BI: schnelles Ergebnis breites Spektrum an Visualisierung Stream Analytics/Event Hubs: komplexere Szenarien [z.b. IoT] volle Anpassbarkeit Machine Learning: Analytics in der Cloud Big Data Szenarien möglich: Data Lake/HDInsight

39 Read Further

40 Fragen?

41 Vielen Dank! Ich freue mich auf Feedback! Euer David