Unusual State Detection

Transkript

1 Unusual State Detection Dr. Christian Hinrichs, Marco Haibach, Nils André Treiber (BTC AG) Fabian Pleye, Andreas Voß (EWE VERTRIEB GmbH) Big Data Summit 28. Februar 2018

2 Agenda 1. Anwendungsfall EWE Licht contracting Motivation Idee Modellbildung Ergebnisse 2. Unusual State Detection Anomalieerkennung in beliebigen Sensordaten Smart Data Service aus der Cloud BTC AG Dr. Christian Hinrichs Big Data Summit

3 Anwendungsfall 01 EWE Licht contracting

4 Motivation Dienstleistungsangebot der EWE: EWE nimmt Ihnen auf Wunsch alle Arbeitsschritte ab - von der Lichtplanung über die Montage und Finanzierung bis hin zum sicheren Betrieb der Beleuchtungsanlage. Sie tragen kein finanzielles oder wirtschaftliches Risiko. Je nachdem was installiert ist, zahlen Sie lediglich einen festen Grundpreis für die Bereitstellung der Beleuchtung. Sie brauchen sich keine Gedanken mehr zu machen um die effizientesten Leuchtmittel für Ihre Leuchtmittelinfrastruktur. unden/leist ungen/ ener gie/contr acting/lic ht Für welche Großkunden ist die Umstellung auf EWE Licht contracting potenziell lohnenswert? Data Analytics! BTC AG Dr. Christian Hinrichs Big Data Summit

5 Idee Lightcontracting Ja (positives Sample) Lightcontracting Nein (negatives Sample) Tagesprofile (positiv) Werktag Ja (1) / Nein (-1) Lightcontracting Ja (1) / Nein (0) Umrüstungszeitpunkt Tagesprofile (negativ) Werktag Ja (1) / Nein (-1) Lightcontracting Ja (1) / Nein (0) BTC AG Dr. Christian Hinrichs Big Data Summit

6 T e s t d a t e n T r a i n i n g s d a t e n Modellbildung Tagesprof ile Werktag Ja (1) / Nein (-1) Lightcontracting Ja (1) / Nein (0) 1 1 Umstellung auf Lightcontracting ist sinnvoll ca Datensätze -1 0 Umstellung ist nicht sinnvoll 1? 1? BTC AG Dr. Christian Hinrichs Big Data Summit

7 Klassifikation Zu klassifizierende Zeitreihe 2 Tagesprofile Werktag Ja (1) / Nein (-1) Support 519 / Negativer Score 0,0172 Positiver Score 0,1129 BTC AG Dr. Christian Hinrichs Big Data Summit

8 Class / Score / Support Ergebnisse Klassifikationsergebnisse / Test Set / Split A 1,00 0,95 0,90 0,85 0,80 0,75 0,70 0,65 0,60 0,55 0,50 0,45 0,40 0,35 0,30 0,25 0,20 0,15 0,10 0,05 0, Series Number Ground Truth Pos Score Neg Score Classification BTC AG Dr. Christian Hinrichs Big Data Summit

9 Class / Score / Support Ergebnisse 1,00 0,95 0,90 0,85 0,80 0,75 0,70 0,65 0,60 0,55 0,50 0,45 0,40 0,35 0,30 0,25 0,20 0,15 0,10 0,05 0,00 Klassifikationsergebnisse / Test Set / Split A Ground Truth Pos Score Neg Score Classification Support Series Number BTC AG Dr. Christian Hinrichs Big Data Summit

10 Zusammenfassung: EWE Licht contracting Klassifikationsmodell beantwortet die folgenden Fragen: 1 Wie gut werden die Klassenzugehörigkeiten durch die Feature-Vektoren getrennt? (Cluster-Struktur / Entscheidungsgebiete) 2 Welcher Klasse gehört eine zu klassifizierende Zeitreihe an? 3 Hat das Modell ausgelernt oder werden noch mehr Trainingsdaten benötigt? (Größe weißer Bereiche auf der Karte) 4 Welche Zeitreihen sind sinnvolle zusätzliche Trainingsdaten? (Abdeckung weißer Bereiche durch blaue Bereiche) 5 Mit welcher Sicherheit wird die Klassifikationsentscheidung getroffen? (Positiver vs. negativer Score, Support) BTC AG Dr. Christian Hinrichs Big Data Summit

11 Unusual State Detection 02 Anomalieerkennung als Smart Data Service

12 Anomalieerkennung!? Einfärbung Anomalität BTC AG Dr. Christian Hinrichs Big Data Summit

13 Unusual State Detection Lernen des Normalverhaltens, um Abweichungen davon als Anomalien zu detektieren. Historische Normalfälle Modell der Daten in der Unusual State Detection Implizite, vom Modell gelernte Abhängigkeiten Zu analysierende Daten Detektion von Anomalien BTC AG Dr. Christian Hinrichs Big Data Summit

14 BTC Cloud Serv ice Auswertung, Alarmierung Verschlüsselte Übertragung Rechenzentrum Beispiel: Netzwerk- und Informationssicherheit Advanced Analytics für Angriffserkennung in Echtzeit ERKENNUNG UNBEKANNTER ANGRIFFSMUSTER Traditionelle Sicherheitsmechanismen erkennen nur bekannte Bedrohungen und produzieren zu viele Falschmeldungen. Analysen historischer Daten erfolgen praktisch manuell und benötigen zu viel Zeit. Die Folge: Angriffe werden zu spät oder gar nicht erkannt. SICHERHEIT MIT ADVANCED ANALYTICS Visual Drill-Down und Sofortmaßnahmen Daten der einzelnen Kunden (DNS Logs, Proxy Logs, Systemtraffic, Weblogs etc.) Pseudonymisierung und Filterung der relevanten Daten Der Einsatz der BTC Unusual State Detection ermöglicht die Erkennung von Anomalien in Netzwerkdaten und damit die Identifikation von unbekannten Angriffsmustern. Mit dem Visual Drill- Down Werkzeug können Sie auffällige Situationen gezielt analysieren. MACHINE LEARNING AUS DER CLOUD Als Smart Data Service auf unserer Data Analytics Plattform analysiert die Unusual State Detection Ihren Netzwerkverkehr in Echtzeit. Bei Auffälligkeiten werden Ihre Sicherheitsexperten sofort alarmiert und können Sofortmaßnahmen einleiten. Unusual State Detection auf der BTC Data Analytics Plattform BTC AG Dr. Christian Hinrichs Big Data Summit

15 Zusammenfassung: Highlights Die USD ist ein Klassifikator: Zuordnung von hochdimensionalen Samples (bspw. Zeitreihen) zu einer Klasse. Angabe einer Verlässlichkeit der Zuordnung (Positiver vs. negativer Score, Support). Visualisierung von Klassengrenzen (Cluster-Struktur/Entscheidungsgebiete). Identifikation von sinnvollen weiteren Trainingsdaten, damit Auto-Tuning möglich. Die USD ist eine Anomalieerkennung: Detektion von Anomalien in hochdimensionalen Datenströmen. Gelerntes Normalverhalten ermöglicht Erkennung von vorab unbekannten Anomaliemustern. Beurteilung der Schwere der Anomalien. Visualisierung von Anomalien auf einer Datenkarte mit Möglichkeit zur interaktiven Exploration. Echtzeit-Betrieb als Smart Data Service aus der Cloud. Viele denkbare Anwendungsfälle: Zeitreihenklassifikation, Informationssicherheit, Predictive Maintenance, Prozess-/Maschinenüberwachung, BTC AG Dr. Christian Hinrichs Big Data Summit

16 * 2016 BTC auf einen Blick Digitale Roadmap Technologische Enabler Smart Services Agiles Teamw ork Internet der Dienste Sicherheit & Resilienz Oldenburg Berlin Bremen Hamburg Leipzig Mainz Münster Neckarsulm Energie Dienstleister Industrie Öffentliche Handel : 2000 : 1,675 * : 170 Mio. * BTC AG Dr. Christian Hinrichs Big Data Summit

17 Die Standorte der BTC AG Unsere Standorte in Deutschland: Hauptsitz: Escherweg Oldenburg Fon: Fax: office-ol@btc-ag.com Kurfürstendamm Berlin office-b@btc-ag.com Weser Tower Am Weser-Terminal Bremen office-hb@btc-ag.com Burchardstraße Hamburg office-hh@btc-ag.com Klostergasse Leipzig office-l@btc-ag.com Wilh.-Th.-Römheld-Str Mainz office-mz@btc-ag.com An der Alten Ziegelei Münster office-ms@btc-ag.com Heinz-Nixdorf-Straße Neckarsulm office-nsu@btc-ag.com Unsere weltweiten Standorte: Türkei: Eskişehir Yolu No: 6 Armada İş Merkezi Kat: 11 Ofis No: Söğütözü Ankara contact@btc-ag.com.tr Çayiryolu 1, Partaş Center Kat: Içerenköy, Istanbul contact@btc-ag.com.tr Polen: ul. Małe Garbary Poznań biuro-poz@btc-ag.com Schweiz: Bäulerstraße 20 CH-8152 Glattbrugg office-zh@btc-ag.com Rumänien: Martin Luther Str. Nr Timișoara info@btc-es.ro Japan: Hasebe Build.11F, Sendagi, Bunkyo-Ku, Tokio Info@btcjapan.jp Frankreich: 4-6 rue des Chauffours, CS Cergy Cedex China: No.888 MoYu South Road (Room 603) Jiading District, Shanghai sales.china@btc-ag.com