Reduzierung der Netzwerklast von CEP unter Zuhilfenahme von Datenbanken

Größe: px

Ab Seite anzeigen:

Download "Reduzierung der Netzwerklast von CEP unter Zuhilfenahme von Datenbanken"

Liane Kurzmann
vor 7 Jahren
Abrufe

1 Projekt INF Reduzierung der Netzwerklast von CEP unter Zuhilfenahme von Datenbanken Benjamin Braun, Karsten Schatz, Vethiga Srikanthan 27. September 2012

2 Complex Event Processing (CEP) Techniken, Methoden und Werkzeuge, die Ereignisse zeitnah verarbeiten einfache Events: z.b. Werte von Sensoren komplexe Events: Einfache Events werden vom CEP-System gefiltert, zusammengefügt und verglichen Braun, Schatz, Srikanthan Reduzierung der Netzwerklast von CEP 27. September / 10

Problem Lazy Correlation Kontinuierlicher Strom an häufigen und seltenen Ereignissen Zur Erkennung komplexer Ereignisse werden Ereignisse aus beiden Strömen verglichen Aus

3 Problem Lazy Correlation Kontinuierlicher Strom an häufigen und seltenen Ereignissen Zur Erkennung komplexer Ereignisse werden Ereignisse aus beiden Strömen verglichen Aus oberem Strom werden mehr Daten übertragen, als benötigt Ziel: Reduktion unnötiger Netzwerklast Braun, Schatz, Srikanthan Reduzierung der Netzwerklast von CEP 27. September / 10

4 Lazy Correlation - Ansatz Methode: o Trennung von häufigen und seltenen Ereignissen o Verwendung einer Datenbank Engine, hier Esper, nimmt zunächst seltene Events entgegen und prüft auf Bedingung für komplexes Event Netzwerklastreduzierung durch Abspeichern der häufig auftretenden Events in eine Datenbank (SQL) Braun, Schatz, Srikanthan Reduzierung der Netzwerklast von CEP 27. September / 10

5 Lösung Datenbank mit Trigger CEP-System bestehend aus 2 Engines Trigger entscheidet, welche Events aus der Datenbank abgerufen und zur 2. Engine weitergeleitet werden Braun, Schatz, Srikanthan Reduzierung der Netzwerklast von CEP 27. September / 10

EPL Statements Ereignisse in Event Processing Language (EPL) EPL ähnlich zu SQL: Umschreiben zu äquivalenten SQL- Anfragen einfach Beispiel: Sobald ein Event A auftritt, soll letztes Event

6 EPL Statements Ereignisse in Event Processing Language (EPL) EPL ähnlich zu SQL: Umschreiben zu äquivalenten SQL- Anfragen einfach Beispiel: Sobald ein Event A auftritt, soll letztes Event B detektiert werden (Event A soll hier timestamp :45:23 haben) äquivalente MySQL-Anfrage: Braun, Schatz, Srikanthan Reduzierung der Netzwerklast von CEP 27. September / 10

7 Evaluation Trafficeinsparung in % Anzahl der häufigen Events pro seltenem Einsparung von Netzwerktraffic bei unserem Ansatz: Es kann bis zu 90% eingespart werden Braun, Schatz, Srikanthan Reduzierung der Netzwerklast von CEP 27. September / 10

8 Evaluation Netzwerklast in B/s Mit Datenbank Ohne Datenbank Anzahl der häufigen Events pro seltenem Kombinierter Netzwerktraffic mit und ohne Datenbank: Bei höherer Differenz der Auftrittshäufigkeit hat Esper mit Datenbank geringere Netzwerklast Braun, Schatz, Srikanthan Reduzierung der Netzwerklast von CEP 27. September / 10

9 Evaluation Rechendauer in m/s Abgefragte Events Rechendauer der verschiedenen Versionen mit und ohne Datenbank in Bezug auf die Anzahl der Events Braun, Schatz, Srikanthan Reduzierung der Netzwerklast von CEP 27. September / 10

10 Vielen Dank für die Aufmerksamkeit

11 Related Work Work 1: N. P. SCHULTZ-MØLLER, M. MIGLIAVACCA, and P. PIETZUCH. Distributed complex event processing with query rewriting. In Proceedings of the Third ACM International Conference on Distributed Event-Based Systems, DEBS 09, pages 4:1 4:12, New York, NY, USA, ACM.: Bei Events von vielen verschiedenen Quellen Erkennungspläne möglich Dadurch Performance des CEP-Systems höher Hilfsmittel: det. Endliche Automaten Jedoch keine Klassifizierung der Events Braun, Schatz, Srikanthan Reduzierung der Netzwerklast von CEP 27. September 2012

12 Related Work Work 2: P. PIETZUCH, J. LEDLIE, J. SHNEIDMAN, M. ROUSSOPOULOS, M. WELSH, and M. SELTZER. Network-aware operator placement for stream-processing systems. In Data Engineering, ICDE 06. Proceedings of the 22nd International Conference on, page 49, april 2006.: Untersuchung der Wichtigkeit der Platzierung von Operatoren, wie z.b. die Datenbank Erweiterung der Netzwerkschicht, die die Platzierung eigenständig regeln kann Braun, Schatz, Srikanthan Reduzierung der Netzwerklast von CEP 27. September 2012

13 Related Work Work 3: P. T. EUGSTER, P. A. FELBER, R. GUERRAOI, and A.-M. KERMARREC. The many faces of publish/subscribe. ACM Comput. Surv., 35(2): , June 2003.: Übertragung von Dateien bei Publish/ Suscribe Techniken wir Remote Procedure Calls oder Message Queuing Diese Kommunikationswege nicht geeignet für unser angestrebtes Ziel Braun, Schatz, Srikanthan Reduzierung der Netzwerklast von CEP 27. September 2012

Ähnliche Dokumente

ProjINF - Reduzierung der Netzwerklast von CEP unter Zuhilfenahme von Datenbanken

ProjINF - Reduzierung der Netzwerklast von CEP unter Zuhilfenahme von Datenbanken Benjamin Braun, Karsten Schatz, und Vethiga Srikanthan Abstract Die Bedeutung von Complex Event Processing (CEP) nimmt