Cayuga. A General Purpose Event Monotoring System. David Pfeiffer. 19. Juli 2007

Transkript

1 Cayuga A General Purpose Event Monotoring System David Pfeiffer 19. Juli / 24

2 Themen 1 2 Aufbau Operatoren 3 Das Modell der Zustandsübergang Zustandstypen 4 Beispiel Kritik & Fragen 2 / 24

3 Was ist Was? Einordnung in das Seminar Cayuga fällt aus der Thematik des Seminars herraus keine Bezüge auf typische infrastrukturelle Besonderheiten wie in verteilten Sensornetzwerken Keine Berücksichtigung von Restriktionen wie begrenzter Rechenkapazität und Laufleistung General Purpose Event Monitoring... Was ist General Purpose? Was ist ein Event? Wie ist ein Event definiert? 3 / 24

4 Events Definition informationstragende Einheit Events werden durch Streams geliefert besitzt keine weitere trukturelle Unterteilung - atomar genügt einem Schema, kann beliebige Daten enthalten vergleichbar mit Tupeln 4 / 24

5 Events Aufbau ein Event e S ist ein Tupel mit Schemas S es besitzt Memberfelder, deren Inhalt unter dem Namen der jeweiligen Membervariablen zugreifbar sind Events besitzen einen Start und einen Endzeitpunkt t 0 und t 1 Events liegen nach Endzeitpunkten sortiert in den Eventstreams ein Event besitzt eine Dauer, sie wird durch dur identifiziert weder dur noch t 0 und t 1 können vom Benutzer verändert werden 5 / 24

6 Was ist neu... Neuheiten Bereitstellung von Operationen zur zeitbasierten Korrelation von Events Operationen zur Iteration über eine a priori unbekannte Anzahl an Events Aggregation über Inhalte von Events keine Übersetzung von Queries in andere Darstellungsformen wie QEP oder QGM stattdessen: Abbildung der Anfragen auf nichtdeterministische Automaten Events bilden Input in Automaten und bedingen Zustandswechsel 6 / 24

7 Aufbau Operatoren Aufbau starke Anlehnung an SQL struktureller Aufbau: SELECT * FROM source PUBLISH stream keine WHERE-Klausel Selektionen werden durch Filter und Operatoren in der FROM-Klausel formuliert. Ergebnisse von Anfragen können mittles PUBLISH wieder in Streams überführt werden 7 / 24

8 der FILTER-Operator Aufbau Operatoren FILTER dient zur Selektion von Events nach definierten Kriterien Syntax: FILTER{Filterprädikat} (Stream) Beispiel: SELECT price AS IBMPrice, volume as IBMVolume FROM FILTER{name=IBM}(stock) PUBLISH IBMStocks 8 / 24

9 der NEXT-Operator Aufbau Operatoren NEXT verknüpft 2 aufeinander folgende Events wählt erstes Nachfolgeevent das gegebene Bedingungen erfüllt Syntax: (source1)next{filterprädikat}(source2) Beispiel: SELECT price 1 AS IBMPrice1, price 2 as IBMPrice2 FROM (stock)next{$1.name = $2.name AND $1.name = IBM}(stock) PUBLISH IBMStocks aufgrund doppelter Namen durch überlappende Schemata Referrenzierung der beiden Events durch $1 und $2 automatische Umbenennung des Schemas auf Attr 1 und Attr 2 alle Events aus source2 sind nach nach Events aus source1 detektiert (es werden nur jene berücksichtigt) 9 / 24

10 der FOLD-Operator Aufbau Operatoren FOLD verknüpft aufeinander folgende Events miteinander definiert Stop-Bedingung, Iteration bis Bedingung erfüllt erlaubt Aggregation von Werten Syntax: (source1)fold{filterprädikat1, Filterprädikat2, Aggregation}(source2) $1 und $2 referrenzieren wieder die Events der beiden Streams $1 bleibt immer fix neue Events zur Iteration nur über $2 Ergebnis der letzten Iteration und letzte Variablenbelegung über $ 10 / 24

11 der FOLD-Operator Aufbau Operatoren Beispiel Anfrage: die Namen aller Aktien, die einen Wertanstieg von über 15min zu verzeichnen haben SELECT name 1 AS Name FROM FILTER{DUR > 15min}( (stock)fold{$1.name=$2.name,$.price > &2.price, }(stock)) PUBLISH StockDeclines keine Aggregation, Feld bleibt leer im Aggregationsfeld kann Schema erweitert werden 11 / 24

12 Zustände und Instanzen Das Modell der Zustandsübergang Zustandstypen Zustände & Instanzen jeder Zustand ist genau einem Stream zugeordnet jeder Zustand besitzt genau eine Instanzliste eine Instanzliste ist zu einem Schema konform das Schema enthält alle Felder, die in Prädikaten oder der Ausgabe verwendet werden eine Instanz entspricht einem möglichem Ergebnis der Query jede Instanz ist eine Belegung für das Schema dieser Instanzliste 12 / 24

13 der Zustandsübergang Das Modell der Zustandsübergang Zustandstypen Zustandsübergang Zustände sind über Kanten verknüpft eine Kante ist ein paar (θ, σ) θ ist ein Prädikat σ ist ein Schemamapping erfüllt im Zustand Q ein Event e zusammen mit einer Instanz I Q das Prädikat θ Q so bildet das Schemamapping σ Q das Tupel e I Q auf I P ab Demnach gilt: σ Q : (schema(e) schema(i Q )) schema(p) θ und σ werden für jede Kante aus der Query abgeleitet 13 / 24

14 Beispielhafter Automat Das Modell der Zustandsübergang Zustandstypen 14 / 24

15 Operatormapping Das Modell der Zustandsübergang Zustandstypen Die verschiedenen Kantentypen (source1)next{filterprädikat}(source2) 15 / 24

16 Operatormapping Das Modell der Zustandsübergang Zustandstypen (source1)fold{filterprädikat1, Filterprädikat2, Aggregation}(source2) Prädikate direkte Ableitung der Prädikate an Kanten aus Query Ableitung des Schemamappings ebenfalls auschließlich aus Query 16 / 24

17 eine Beispielanfrage Beispiel Kritik & Fragen Folgende Anfrage soll ausgewertet werden: Erkenne alle Aktien, die ein Startvolumen von mindestens 1000 hatten und nach einem Wertanstieg von mindestens 10 Minuten Dauer wieder um 5% gefallen sind! SELECT name AS StockName, StartPrice, MaxPrice FROM FILTER{dur > 10min}( SELECT name 1, price 1 AS StartPrice, price 2 AS MaxPrice FROM (FILTER{volume1 > 1.000} (stock)) FOLD{$2.name = $1.name, $2.price < $.price, } (stock) ) NEXT{$2.name= $1.name AND $2.price < 0.95 $.MaxPrice} 17 / 24

18 der Automat Beispiel Kritik & Fragen Die Query besitzt folgenden Automaten Erkenne alle Aktien, die ein Startvolumen von mindestens 1000 hatten und nach einem Wertanstieg von mindestens 10 Minuten Dauer wieder um 5% gefallen sind! 18 / 24

19 der Eventstream Beispiel Kritik & Fragen Folgender Events sollen im Laufe der Anfrageabarbeitung auftreten 19 / 24

20 die Anfrageabarbeitung Beispiel Kritik & Fragen 20 / 24

21 die Anfrageabarbeitung Beispiel Kritik & Fragen 21 / 24

22 die Anfrageabarbeitung Beispiel Kritik & Fragen 22 / 24

23 die Anfrageabarbeitung Beispiel Kritik & Fragen 23 / 24

24 Cayuga - Fragen?! Beispiel Kritik & Fragen 24 / 24