Susanne Greiner, Data Scientist, Würth Phoenix. Würth Phoenix more than software

Transkript

1 USER GROUP 2018 Von der Datenaufnahme zur Datenanalyse Das Performance Monitoring von morgen: Einfluss von User Experience, Anomaly Detection, Deep Learning Susanne Greiner, Data Scientist, Würth Phoenix Würth Phoenix more than software 1

2 Datenaufnahme = Datenanalyse Datenaufnahme Welche Fragen habe ich? Wo entstehen Daten, die für die Frage relevant sein könnten? Wie kann ich diese aufzeichnen Wo/wie werden die Daten gespeichert Aggregierung/ Retention Policy Datenanalyse Zweckorientierte Visualisierung Analyse durch Human Expert Automatisierte Analyse Schlussfolgerungen Effektquantifizierung Troubleshooting/ Root Cause Detection voneinander abhängig Würth Phoenix more than software 2

3 Datenaufnahme = Datenanalyse Datenaufnahme Welche Fragen habe ich? Wo entstehen Daten, die für die Frage relevant sein könnten? Wie kann ich diese aufzeichnen Wo/wie werden die Daten gespeichert Aggregierung/Retention Policy Datenanalyse Zweckorientierte Visualisierung Analyse durch Human Expert Automatisierte Analyse Schlussfolgerungen Effektquantifizierung Troubleshooting/ Root Cause Detection Schlüsselfaktoren User Experience Anomaly Detection Forecasting/ Machine Learning/ Deep Learning Würth Phoenix more than software 3

4 Beispiel: Performance Monitoring Fragen Läuft meine business-kritische Applikation gut? Hat sich meine Investition in Hardware/Software ausgezahlt? Hat sich die Performance im Vergleich zum Vormonat verändert? Infrastructure Batch Data? Applikationsspezifische Metriken DAS GROSSE GANZE Würth Phoenix more than software 4

5 Metriken im Überblick Interpretation Navigation zwischen unterschiedlichen Ebenen Beziehungen und Abhängigkeiten!? Würth Phoenix more than software 5

6 Mehrwert: OpTIMIERTE Visualisierung Fragen Läuft meine business-kritische Applikation gut? Hat sich meine Investition in Hardware/Software ausgezahlt? Hat sich die Performance im Vergleich zum Vormonat verändert? Infrastructure Batch Data? Applikationsspezifische Metriken DAS GROSSE GANZE Zweckorientierte Visualisierung Würth Phoenix more than software 6

7 Optimierte Visualisierung Historische Daten Moving Average Datenrange Würth Phoenix more than software 7

8 Mehrwert: User Experience Fragen Läuft meine business-kritische Applikation gut? Hat sich meine Investition in Hardware/Software ausgezahlt? Hat sich die Performance im Vergleich zum Vormonat verändert? Infrastructure Batch Data? Applikationsspezifische Metriken DAS GROSSE GANZE Zweckorientierte Visualisierung User Experience Würth Phoenix more than software 8

9 Was Ist User Experience? umschreibt alle Aspekte der Erfahrungen eines Nutzers bei der Interaktion mit einem Produkt, Dienst, einer Umgebung oder Einrichtung User Experience Monitoring How To? VISUAL Menschen interagieren mit Graphischen User Interfaces SYNTHETIC Sollte sich wie ein Mensch verhalten MONITORING Performance muss schrittweise gemessen werden Würth Phoenix more than software 9

10 User Experience & Performance Monitoring Kumulative test performance geordnet nach test state ok warning critical timed out not executed Test performance geordnet nach transaction name und transaction group Würth Phoenix more than software 10

11 VISUALIsierung - FEATURES Gezielte Auswahl einzelner Transaktionen oder Transaktionsgruppen Troubleshooting Informationen Ebenen mit zweckorientierter Visualisierung Verknüpfung der Userexperience Dashboards mit den Servern/ Performance Metriken Würth Phoenix more than software 11

12 USE CASE: Standort Überwachung Würth Phoenix more than software 12

13 USE CASE: Deployment Würth Phoenix more than software 13

14 USE CASE: Proaktive Analyse Würth Phoenix more than software 14

15 Mehrwert: Anomaly Detection Fragen Läuft meine business-kritische Applikation gut? Hat sich meine Investition in Hardware/Software ausgezahlt? Hat sich die Performance im Vergleich zum Vormonat verändert? Infrastructure Batch Data? Applikationsspezifische Metriken DAS GROSSE GANZE Zweckorientierte Visualisierung User Experience Anomaly Detection Würth Phoenix more than software 15

16 Anomaly Detection Metriken TRAIN DATA Je weiter von der Erwartung entfernt desto höher der AScore AScore: anders und selten WIE WEIT SIND WIR VON UNSERER ERWARTUNG ENTFERNT? MODELL STANDARD VERHALTEN TEST DATA Historische Daten gleiche Zeitreihe Historische Daten gleiche Maschine Historische Daten aehnliche Maschine ASCORE WAS ERWARTEN WIR? Würth Phoenix more than software 16

17 Anomaly Detection Würth Phoenix more than software 17

18 Anomaly Detection Beziehungen und Abhängigkeiten sind wichtig Ein Experte kann nur ein beschränktes Kontingent an Zeitreihen visuell vergleichen Algorithmen aus dem Bereich der Statistik und Anomaly Detection können den Experten hier unterstützen und beschleunigen Eine Reduzierung der visuell zu analysierenden Datenmenge ist wünschenswert Konzentration auf wesentliche Zeitintervalle und Server anstatt zeitraubender Fehlersuche Würth Phoenix more than software 18

19 Heutiger Stand Neteye ITOA Fragen Läuft meine business-kritische Applikation gut? Hat sich meine Investition in Hardware/Software ausgezahlt? Hat sich die Performance im Vergleich zum Vormonat verändert? Infrastructure Batch Data? Applikationsspezifische Metriken DAS GROSSE GANZE Zweckorientierte Visualisierung User Experience Anomaly Detection Würth Phoenix more than software 19

20 Neteye ITOA: Overview Server Performance Metrics Anomaly Score Batch Analysis Alyvix User Experience Würth Phoenix more than software 20

21 WAS GEHT NOCH? Ausblick: Fragen Läuft meine business-kritische Applikation gut? Hat sich meine Investition in Hardware/Software ausgezahlt? Hat sich die Performance im Vergleich zum Vormonat verändert? Infrastructure Batch Data? Applikationsspezifische Metriken DAS GROSSE GANZE Zweckorientierte Visualisierung User Experience Anomaly Detection SQL Database Growth SQL Query Details/ Statistiken Machine Learning & Deep Learning Forecasting Würth Phoenix more than software 21

22 SQL DATABASE GROWTH COUNT VALUES GROWTH VALUES Würth Phoenix more than software 22

23 SQL QUERY DETAILS/ STATISTIKEN DURATION COUNT Würth Phoenix more than software 23

24 FORECASTING Würth Phoenix more than software 24

25 Machine Learning & DEEP LEARNING Artificial Intelligence [AI] Intelligentes Verhalten von Maschinen, im Gegensatz zu natürlicher Intelligenz (NI) von Menschen und Tieren Machine Learning [ML] Ein Computer Science Feld, das Computern die Fähigkeit zu lernen gibt, ohne fuer einen bestimmten Task spezifisch programmiert worden zu sein Deep Learning [DL] Ein Teil von ML Methoden, die im Gegensatz zu Task spezifischen Algortihmen darauf spezialisiert sind Datenrepräsentationen zu erlernen Würth Phoenix more than software 25

26 Machine Learning & DEEP LEARNING Würth Phoenix more than software 26

27 Würth Phoenix more than software 27