Projekt INF Reduzierung der Netzwerklast von CEP unter Zuhilfenahme von Datenbanken Benjamin Braun, Karsten Schatz, Vethiga Srikanthan 27. September 2012
Complex Event Processing (CEP) Techniken, Methoden und Werkzeuge, die Ereignisse zeitnah verarbeiten einfache Events: z.b. Werte von Sensoren komplexe Events: Einfache Events werden vom CEP-System gefiltert, zusammengefügt und verglichen Braun, Schatz, Srikanthan Reduzierung der Netzwerklast von CEP 27. September 2012 2/ 10
Problem Lazy Correlation Kontinuierlicher Strom an häufigen und seltenen Ereignissen Zur Erkennung komplexer Ereignisse werden Ereignisse aus beiden Strömen verglichen Aus oberem Strom werden mehr Daten übertragen, als benötigt Ziel: Reduktion unnötiger Netzwerklast Braun, Schatz, Srikanthan Reduzierung der Netzwerklast von CEP 27. September 2012 3/ 10
Lazy Correlation - Ansatz Methode: o Trennung von häufigen und seltenen Ereignissen o Verwendung einer Datenbank Engine, hier Esper, nimmt zunächst seltene Events entgegen und prüft auf Bedingung für komplexes Event Netzwerklastreduzierung durch Abspeichern der häufig auftretenden Events in eine Datenbank (SQL) Braun, Schatz, Srikanthan Reduzierung der Netzwerklast von CEP 27. September 2012 4/ 10
Lösung Datenbank mit Trigger CEP-System bestehend aus 2 Engines Trigger entscheidet, welche Events aus der Datenbank abgerufen und zur 2. Engine weitergeleitet werden Braun, Schatz, Srikanthan Reduzierung der Netzwerklast von CEP 27. September 2012 5/ 10
EPL Statements Ereignisse in Event Processing Language (EPL) EPL ähnlich zu SQL: Umschreiben zu äquivalenten SQL- Anfragen einfach Beispiel: Sobald ein Event A auftritt, soll letztes Event B detektiert werden (Event A soll hier timestamp 2009-09-21 14:45:23 haben) äquivalente MySQL-Anfrage: Braun, Schatz, Srikanthan Reduzierung der Netzwerklast von CEP 27. September 2012 6/ 10
Evaluation Trafficeinsparung in % Anzahl der häufigen Events pro seltenem Einsparung von Netzwerktraffic bei unserem Ansatz: Es kann bis zu 90% eingespart werden Braun, Schatz, Srikanthan Reduzierung der Netzwerklast von CEP 27. September 2012 7/ 10
Evaluation Netzwerklast in B/s Mit Datenbank Ohne Datenbank Anzahl der häufigen Events pro seltenem Kombinierter Netzwerktraffic mit und ohne Datenbank: Bei höherer Differenz der Auftrittshäufigkeit hat Esper mit Datenbank geringere Netzwerklast Braun, Schatz, Srikanthan Reduzierung der Netzwerklast von CEP 27. September 2012 8/ 10
Evaluation Rechendauer in m/s Abgefragte Events Rechendauer der verschiedenen Versionen mit und ohne Datenbank in Bezug auf die Anzahl der Events Braun, Schatz, Srikanthan Reduzierung der Netzwerklast von CEP 27. September 2012 9/ 10
Vielen Dank für die Aufmerksamkeit
Related Work Work 1: N. P. SCHULTZ-MØLLER, M. MIGLIAVACCA, and P. PIETZUCH. Distributed complex event processing with query rewriting. In Proceedings of the Third ACM International Conference on Distributed Event-Based Systems, DEBS 09, pages 4:1 4:12, New York, NY, USA, 2009. ACM.: Bei Events von vielen verschiedenen Quellen Erkennungspläne möglich Dadurch Performance des CEP-Systems höher Hilfsmittel: det. Endliche Automaten Jedoch keine Klassifizierung der Events Braun, Schatz, Srikanthan Reduzierung der Netzwerklast von CEP 27. September 2012
Related Work Work 2: P. PIETZUCH, J. LEDLIE, J. SHNEIDMAN, M. ROUSSOPOULOS, M. WELSH, and M. SELTZER. Network-aware operator placement for stream-processing systems. In Data Engineering, 2006. ICDE 06. Proceedings of the 22nd International Conference on, page 49, april 2006.: Untersuchung der Wichtigkeit der Platzierung von Operatoren, wie z.b. die Datenbank Erweiterung der Netzwerkschicht, die die Platzierung eigenständig regeln kann Braun, Schatz, Srikanthan Reduzierung der Netzwerklast von CEP 27. September 2012
Related Work Work 3: P. T. EUGSTER, P. A. FELBER, R. GUERRAOI, and A.-M. KERMARREC. The many faces of publish/subscribe. ACM Comput. Surv., 35(2):114 131, June 2003.: Übertragung von Dateien bei Publish/ Suscribe Techniken wir Remote Procedure Calls oder Message Queuing Diese Kommunikationswege nicht geeignet für unser angestrebtes Ziel Braun, Schatz, Srikanthan Reduzierung der Netzwerklast von CEP 27. September 2012