Studienprojekt HP-CEP

Transkript

1 Institute of Parallel and Distributed Systems () Universitätsstraße 38 D Stuttgart Studienprojekt HP-CEP High Performant Complex Event Processing in OpenStack Configured Cloud Environments 16. Juli 2014 Kurt Rothermel, Boris Koldehofe, Ruben Mayer, Sukanya Bhowmik

2 Wer sind wir? Abteilung Verteilte System des Instituts für Parallele und Verteilte Systeme () Das Team: Prüfer: Prof. Kurt Rothermel Kunde: Dr. Boris Koldehofe Betreuer: Dipl.-Inf. Ruben Mayer M. Sc. Sukanya Bhowmik Das Entwicklerteam 2

3 Motivation Das Produkt: High Performance Complex Event Processing (HP-CEP) Wozu wird CEP benötigt? Erkennung, Überwachung, Analyse von Situationen Eingabe: Ströme von Ereignissen (Positionsupdates: Spieler, Ball) Ausgabe: Situationen von Interesse für den Anwender (Tor, Abseits) Wie?: Operatoren erkennen Muster in den Ereignisströmen - Abfolge von Ereignisse, (Positionen Spieler + Ball) Grundlage einer Vielzahl von Anwendungen im Kontext von BigData Smart Grid, Logistik, Verkehrsüberwachung, Aktienhandel, Sportereignisse. 3

4 Beispiel: Fußball WM Basisereignisse: < Kroos, pos > CEP System Ausführung vernetzter Operatoren Komplexe Ereignisse Abseits < Özil, pos> < Ball, pos> Player stopped ball Player kicked the ball S1 S2 Completed pass Passstatistik Tor Beispiel: Seq(Kroos kicked ball; Özil stopped ball) within the last two events in Completed Pass(Krose, Özil) 4

5 Ziel: High-Performance System kann hohe Ereignisraten verarbeiten Z.B Positionsereignisse pro Sekunde im Fußballspiel > Ereignisse/Sekunde im NYSE Konsistente Erkennung mit begrenzter Verzögerung Z.B. Erkennung eines Abseits innerhalb einer Sekunde Jedes Abseits erkannt, aber auch kein falsches Abseits Konzepte zur Anpassung der Berechnungsrate an Datenrate Parallelisierungsgrad, Rechen-, Speicherressourcen, Ressourceneffizienz Dynamische Bereitstellung von Ressourcen Verwende genau die benötigten Ressourcen 5

6 Virtualisierung ermöglicht vielfältige Konfigurationen Elastische Ressourcennutzung Erhöhung/Reduktion der CPU-Leistung # der Kerne (Parallelisierung) Rechenleistung eines Kerns Speicher Isolation und Ressourcen-Sharing Getrennter/Gemeinsamer Speicher, Block Device flexible Anpassung Einhalten von Verzögerung Effiziente Ressourcennutzung Partitionierter Eingangsstrom CPU1 CPU2 CPU3 Speicher 6

7 OpenStack Standard zum Management virtualisierter Ressourcen Auf Basis von Xen (Hypervisor) oder KVM Unterstützt von IBM, Cisco, Bestandteil nahezu jeder großen Linuxdistribution RedHat, Ubuntu, Suse, Abstraktionen für flexiblen und elastischen Ressourcenzugriff Rechen-, Speicher-, und Netzressourcen Grundlage vieler Public und Private Cloud Lösungen Rackspace, NASA, CERN,, 7

8 Produkt: Was ist zu tun? System zur effizienten Live-Rekonfiguration von Operatoren mit Hilfe von OpenStack GUI zur Spezifikation und Konfiguration von Operatoren Bewertung und Monitoring von Konfigurationen Anzeige von Rekonfigurationsmöglichkeiten Einfache Integration von Lösungen zur Selbstkonfiguration Erprobung der Fähigkeiten anhand eines realen Datensatzes Ziel: System gewinnt Weltmeisterschaft unter den CEP-Systemen DEBS Grand Challenge Dazu einfache Integration der Konzepte der Forschungsgruppe erforderlich Parallelisierung, Migration, Konfigurationsverfahren, 8

9 Organisatorisches: Lehrveranstaltungen Vorlesung im Wintersemester 2014/2015: Grundlagen Verteilter Systeme Seminar im Wintersemester 2014/2015: Prinzipien Verteilter Systeme Fachpraktikum im Wintersemester 2014/2015 (optional): Software-defined Networking 9

10 Was bieten wir? Labor: Besprechungsecke mit Beamer, PC- und Laptop-Arbeitsplätze Testbeds: Cluster Experten für CEP und Verteilte Systeme Betreuer mit StuPro-Erfahrung Spannendes Thema mit hochaktuellen Technologien CEP und OpenStack Als Weltmeister ideale Chancen das Produkt auch zu vermarkten! SAP, Twitter, IBM, Google, Microsoft, Oracle, 10

11 Fragen? Universität Stuttgart Boris Koldehofe Phone: