Verkehr (I) Verarbeitung von Sensordaten

Transkript

1 Universität Karlsruhe (TH) Verkehr (I) Verarbeitung von Sensordaten Seminararbeit am Institut für Datenorganisation und Programmstrukturen Lehrstuhl Prof. Lockemann Fakultät für Informatik Universität Karlsruhe (TH) von cand. inform. Björn Christmann

2

3 Inhaltsverzeichnis 1 Einleitung 1 2 Stand der Technik Sensoren Sensorennetzwerke heute Das Cougar-Projekt Die Grundidee Probleme Ratenbasierte Anfrageoptimierung 11 5 Zusammenfassung 13 Literatur 15 i

4

5 1. Einleitung Motivation Im Verkehrsbereich, wie in vielen anderen Bereichen auch, werden immer mehr Daten über Sensoren erfasst. Diese Sensoren liefern ihre Daten als Datenströme. Für den Anwender sind jedoch nicht die Daten eines einzelnen Sensors zu einem bestimmten Zeitpunkt interessant. Eine Aggregation der Daten über die Zeit oder über viele Sensoren ist erwünscht. Am Ende des Aggregationsprozesses steht dann das Einbringen der Daten in ein Data- Warehouse-System. Gliederung der Arbeit Zu Beginn der Arbeit wird der momentane Stand der Technik erklärt. Es folgt eine Beschreibung der Cougar-Projekts der Cornell University. Abschliessend wird der Ansatz der ratenbasierten Anfrageoptimierung aufgegriffen. 1

6 2 1. Einleitung

7 2. Stand der Technik In diesem Kapitel wird erklärt, was Sensoren in der Lage sind zu leisten und wie die gelieferten Daten in ein Data-Warehouse-System gelangen. 2.1 Sensoren Sensoren werden immer leistungsfähiger. Sie registrieren die von Ihnen feststellbaren Gegebenheiten in ihrer Umgebung. Moderne Sensoren bestehen aber nicht mehr alleine aus einer Einheit zum Detektieren, sondern verfügen über eine eigene Prozessoreinheit. Sie sind somit in der Lage Berechnungen durchzuführen. Ihre Rechenleistung und Speicher sind jedoch eingeschränkt. Desweiteren sind sie in der Lage mit ihrer Umwelt zu kommunizieren. Dies geschieht entweder über Funk oder Kabelleitungen. Der größte Nachteil der Sensoren ist aber ihre begrenzte Energieresource. 2.2 Sensorennetzwerke heute Durch die Möglichkeit zu kommunizieren sind Sensoren in der Lage Netzwerke zu bilden. Die von ihnen gemessenen Daten werden so zu den Schnittstellen der Netze, den sogenannten Gateways, versendet. Dies geschieht bei den heute verwendeten Techniken so: 1. Daten werden vom Sensor gemessen 2. Daten werden als Datenstrom in das Netzwerk gespeist 3

8 4 2. Stand der Technik 3. Am Gateway werden die Daten dann zu einem zentralen Server gesendet 4. Die Verarbeitung der Daten findet erst am Server statt Die Nachteile dieser Vorgehensweise liegen auf der Hand: Wie schon im Abschnitt Motivation erwähnt, sind nicht die Einzeldaten eines Sensors interessant sondern Aggregationen. Ein Beispiel: In einem Gebäude sind in jedem Raum mehrere Temperatursensoren angebracht. Der Anwender will nun den kühlsten Raum des Gebäudes wissen. Da in jedem Raum mehrere Sensoren installiert sind, ist die Durchschnittstemperatur im Raum aussagekräftiger und zuverlässiger als die Temperatur der einzelnen Sensoren. Bei der bisher verwendeten Technik sendet jeder Sensor der Hauses seine Daten an den zentralen Server und dieser errechnet die Durchschnittstemperaturen und liefert das kleinste Ergebnis zurück. Das Probelm ist die begrenzte Energieversorgung der Sensoren. Die Kommunikation ist verglichen mit dem Engergieverbrauch bei lokaler Berechnung teuer. Hieraus ergibt sich ein neuer Faktor bei der Optimierung von Anfragen an Sensornetzwerke, denn die Lebensdauer eines Sensors ist von entscheidender Bedeutung.

9 3. Das Cougar-Projekt Das Cougar-Projekt[1] [2] versucht nun die im vorangegangenen Kapitel festgestellen Nachteile zu beheben. 3.1 Die Grundidee Die Grundidee ist die Verlagerung der Berechnung ins Netzwerk. Dabei ändert sich die Verarbeitung wie folgt. Nachdem der Benutzer die Anfrage gestellt hat, wird vom Server ein Anfrageplan aufgestellt und optimiert. Die Anfrage wird dann an alle beteiligten Sensoren propagiert. Dabei gibt es zwei Arten von Knoten im Netz. Die eine Art sind die Sensoren, die nur Daten liefern. Die zweite (neue) Art sind die Leiter-Knoten (engl. Leader). Sie spielen eine zentrale Rolle in der Architektur von Cougar 1. Die Leiter- Knoten sind dazu bestimmt die Daten von den ihnen unterstellten Sensoren zu sammeln und mit diesen Daten Berechnungen im Sinne der Anfrage durchzuführen. Die Leiter-Knoten können auf diese Weise Aggregationen schon im Netzwerk berechnen und dann zum Gateway schicken. Die Ausgangsdaten der Sensoren müssen also nur zum Leiter-Knoten geschickt werden und nicht zum Gateway. Der große Vorteil bei dieser Vorgehensweise ist, dass hierdurch Energie gespart wird, denn lokale Berechnung ist billiger (im Sinne der Energieersparnis) als Kommunikation. Um die Sensordaten zum Leiter zu schicken gibt es wieder verschiedene Möglichkeiten 2 : 1. Direktes Verschicken der Daten an den Leiter 1 vgl. [1] Kapitel 2 2 vgl. [2] Kapitel 3.1 5

10 6 3. Das Cougar-Projekt 2. Vermengen von Paketen (Aus vielen kleinen wird ein großes Paket) 3. Partielle Berechnung durch Unterknoten (Die Daten werden auf dem Weg schon aufbereitet durch eine Art Unter-Leiter-Knoten) 3.2 Probleme Im Zuge des Cougar-Projekts sind einige Probleme erkannt worden. Einige von ihnen sind gelöst worden andere noch nicht. Im folgenden Abschnitt werden diese Problem näher beleuchtet Synchronisation Die Synchronisation 3 ist wichtig, damit eine Kommunikation möglich ist, besonders bei dem Paketvermengen und der partiellen Berechnung. Die Aufgabe der Synchronisation zwischen den Knoten des Netzes besteht darin das Warten auf nicht erreichbare Knoten zu vermeiden bzw. zu minieren. Den folgenden Ansätzen liegt zu Grunde, dass die Struktur der Knoten ein Baum bzw. azyknlischer Graph ist. 1. Incremental Time Slot: Jeder Knoten im Netz wartet eine bestimmte Zeit, bevor er entscheidet, ob die ihm untergeordneten Knoten erreichbar sind. Dieser Ansatz hat drei gravierende Nachteile: Erstens, die Wartezeit im Vorraus zu bestimmen ist sehr schwierig. Zweitens, bei regelmäßigen Ausfällen und somit regelmäßigem Umstrukturieren des Baumes müssen allen Sensoren neue Wartezeiten zugewiesen werden. Drittens, die Sensoren sind niemals zeitsynchron. 2. Vorhersagen durch Vergangenheitsbetrachtung: Dieser Ansatz ist vorteilhaft für Anfragen die über einen langen Zeitraum laufen. Sobald ein Knoten p ein Paket von Knoten n erhält, wird n auf die Warteliste von p gesetzt. Die somit von p getroffene Vorhersage kann auf zwei Weisen fehlschlagen: Erstens, Knoten n hat einen neuen Vaterknoten, dann ist das Löschen von n aus der Warteliste von p richtig. Zweitens, n sendet seine Daten nicht an p, weil eine lokale Bedingung nicht erfüllt ist z.b. ein Mindestgrenze. Das Löschen von n aus der Warteliste von p ist dann aber falsch. Also muss n seinen Vaterknoten p benachrichtigen, dass es keine Daten senden wird. 3 vgl. [2] Kapitel 3.2

11 3.2. PROBLEME Protokollerweiterung Bei Benutzung der Standardnetzwerkprotokolle wäre es den Anwendungen in den Knoten nicht möglich die Datenströme zu analysieren. Der Grund ist die verwendete Schichtenarchitektur der Netzwerkeprotokolle. Deshalb müssen die vorhandenen Architekturen und Protokolle erweitert werden 4. Den Knoten muss es möglich sein Paktet abzufangen, zu verändern oder zu verarbeiten und dann wieder weiter zu schicken. Dies ist beispielsweise bei den partiellen Berechnungen notwendig. Um dies erreichen zu können wird im Schichtenmodell eine neue Schicht eingefügt. Die sogenannte Frageschicht liegt direkt über der Netzwerkschicht. So kann sie direkt in den Paketverkehr eingreifen und die geforderten Funktionen zur Verfügung stellen. Eine Erweiterung der bisher verwendeten Protokolle und Architekturen ist somit notwendig Routing Auch die existierenden Routingprotokolle sind nicht an die hier gestellten Anforderung angepasst 5. Das Routing bei Netzen, in denen Anfragen bearbeitet werden, muss eng mit dem Anfrageplan zusammenhängen. Eine Berechnung in einem Leiter-Knoten kann nur ausgeführt werden, wenn die Ergebnisse der Kinderknoten wieder über den Leiter-Knoten verschickt werden. Moderne Funknetzwerkprotokolle unterstützen nur eine Punkt zu Punkt Kommunikation. Der in den vorigen Abschnitten schon beschrieben Baum, der die Kommunikationstruktur beschreibt, muss zu Beginn aufgebaut werden. In dieser Initialisierungsphase erhält jeder Knoten seine Tiefe im Baum und die zu benutzenden Pfade können abgespeichert werden. Da die Verbindungen der Knoten aber nicht zuverlässig sind, ist es wichtig ein Verfahren zu benutzen, das die Pfade neu anlegt. Bei Paketverlusten nah am Leiter-Knoten ist der Informationsverlust hoch, da ein Paket möglicherweise eine Aggregation von vielen Sensorendaten enthält. Zum Finden neuer Pfade werden zwei kombinierbare Strategien angeboten: Local Repair und Bunch Repair. Local Repair: Bei einer fehlerhaften Verbindung von Knoten n zu seinem Vaterknoten p sendet n eine Benachrichtigung an alle anderen Knoten. Wenn ein Knoten n einen neuen Pfad zu p gefunden hat, so antwortet er n. Die Aktualität der Pfade wird in AODV, dem in Cougar verwendeten Protokoll, mit Hilfe von Sequenznummer beschrieben. Erweitert man diese Sequenznummern um eine ungefähre Schätzung der 4 vgl. [2] Kapitel vgl. [2] Kapitel 4.3

12 8 3. Das Cougar-Projekt Tiefe so müssen nach einem Verbindungsfehler nicht alle im Unterbaum befindlichen Knoten über ihre neue Tiefe informiert werden. Bunch Repair: Local Repair funktioniert gut, wenn eine fehlerhafte Verbindung umgangen werden muss. Wenn das Netz umstrukturiert wird oder gar grosse Teile der Verbindungen ausfallen, so sinkt die Effektivität von Local Repair. Aus diesem Grund wird Local Repair um Bunch Repair erweitert. Die Erweiterung besteht darin, dass der Leiter-Knoten wenn er weniger als eine Mindestzahl von Daten erhält, eine Neuinitialisierung des Teilbaums auslöst. Dadurch wird die Suche der Unterknoten nach neuen Pfaden abgebrochen und die Vater-Kind- Beziehungen neu verteilt Der Anfrageplan Die Anfrage 6 wird in sogenannte Flussblöcke (flow blocks) zerlegt. Ein Flussblock ist eine Menge von Sensoren mit einem Leiter-Knoten. Zusammen mit der Kommunikations- und Berechnungsstruktur bildet er ein Cluster. Die Optimierung der Anfrage findet nicht wie im traditionellem Datenbanksystem auf Operatorblöcken statt sondern auf diesen Flussblöcken. Das Optimierungsziel ist dabei die Vermeidung von unnötiger Kommunikation. Flussblock-Einteilung Die Einteilung der Anfrage in Flussblöcke hängst stark von der Topologie des Netzes ab. Ist das Netz in seperate Gruppen unterteilt, dann wird jeder Gruppe ein Flussblock zugeteilt. Oder überlappen sich die Gruppen sehr stark, dann wird möglicherweise ein einziger Flussblock für diese Gruppen generiert Leiter-Einteilung Die Einteilung des Leiters geschieht dynamisch 7. Es gibt also keinen Knoten, der immer der Leiter-Knoten ist. Die Möglichkeit Leiter-Knoten zu sein hat somit jeder Knoten im Netz. Wenn ein Leiter-Knoten eingeteilt wird, so wird auch direkt noch ein Reserve-Knoten bestimmt, denn ein Ausfall der Leiter-Knotens darf nicht zum Verlust der Daten eines ganzen Teilbaums bzw. Flussblocks führen. Der Leiter-Knoten wird so gewählt, dass er minimale Transferkosten zu den beteiligten Sensoren und zum Gateway hat. 6 vgl. [2] Kapitel vgl. [1] Kapitel 3.1

13 3.2. PROBLEME Was ist noch offen Anfragen über verschieden Gateways Es sollte möglich sein über verschiedene Gateways 8 Anfragen an das Netz zu stellen. Da sich die Anfragen teilweise überschneiden, wäre es wünschenswert, wenn Teilanfragen immer nur einmal ausgeführt. Eine Lösung dieses Problems ist noch nicht in Cougar implementiert werden. Metadaten-Verwaltung Wie die zur Optimierung benötigten Metadaten 9 verwaltet werden, ist noch nicht klar. Um beispielsweise den Leiter eines Flussblock bestimmen zu können, muss bei der Erstellung des Anfrageplans die Netzstruktur bekannt sein. Interessant ist auch die Frage was passiert, wenn wie oben beschrieben über verschieden Gateway zugegriffen wird. 8 vgl. [1] Kapitel vgl. [1] Kapitel 3.4

14 10 3. Das Cougar-Projekt

15 4. Ratenbasierte Anfrageoptimierung Bei der ratenbasierten Anfrageoptimierung[3] handelt es sich um einen anderen Ansatz die Anfragen an ein Sensornetzwerk zu optimieren. Die Grundidee ist: Verschieden Operatoren haben verschiedene Ein-/ Ausgaberaten und Verarbeitunszeiten. Der Operatorbaum im traditionellem Datenbanksystem wird mit Hilfe der Selektivität der Operatoren aufgebaut. Das reicht bei der Verarbeitung Datenströmen aber nicht aus. Weitere Faktoren hier sind die Verarbeitungsgeschwindigkeit und die Eingangsraten der Ströme. Ein Operator der einen Eingabestrom erhält, der viel schneller ist als seine eigene Verarbeitungsgeschwindigkeit, wird die Bearbeitung der Anfrage verzögern. Die Operatoren sind also so anzuordnen, dass ihre Verarbeitungsgeschwindigkeit möglichst höher ist als die Rate mit der die Daten eintreffen. Ein Beispiel 1 : Es gibt zwei Operatoren A und B. Operator A kann Daten mit einer Geschwindigkeit von 500/s bearbeiten. Operator B nur mit 50/s. Die Selelktivität beider Operatoren liegt bei ca. 10%. Im ersten Versuch werden die Daten erst zu Operator B und dann das Ergebnis zu Operator B geleitet. Da Operator B nur 50 der 500 pro Sekunde ankommen Daten verarbeiten kann verzögert seine Verarbeitung pro Sekunde 450 Datentupel. Seine Ausgaberate liegt damit bei 5/s. Diese Rate kann ohne Probleme von Operator A bearbeitet werden. Es ergibt sich also eine Ausgabe von 0,5/s. In Versuch zwei wird Operator A vor Operator B geschaltet. Operator A kann alle 500 Daten pro Sekunde verarbeiten, verzögert also nicht. Seine Ausgabera- 1 vgl. [3] Abbildung 1 11

16 12 4. Ratenbasierte Anfrageoptimierung te beträgt somit 50/s. Dies Rate kann widerum von Operator A verarbeitet werden. Dies führt zu einer Gesamtausgaberate von 5/s also der zehnfachen des ersten Versuchs. Bei der ratenbasierten Anfrage spielt also nicht nur die Selektivität der Operatoren eine Rolle sondern auch die Bearbeitungsgeschwindigkeit!

17 5. Zusammenfassung Sensoren werden als Datenquellen immer verbreiteter. Und mit dem Anwachsen der Sensorenzahl wird auch eine effiziente Anfragebearbeitung immer wichtiger. Der Ansatz des Cougar-Projektes ist sinnvoll und eröffnet ein neues Forschungsfeld für die Datenbankwelt. Die im Netzwerk ohnehin vorhandene Rechenkapazität zur Berechnung von Anfragen zu benutzen und damit die Lebensdauer des Netzes zu verlängern macht aus wirtschaftlichen Sicht sehr viel Sinn. Die Weiterentwicklungen auf diesem noch jungen Forschungsgebiet sind noch nicht abzusehen. Kombinationen mit schon vorhanden Techniken, wie dem ratenbasierten Optimieren, sind denkbar. 13

18 14 5. Zusammenfassung

19 Literatur [1] Y. Yao and J. Gehrke. The cougar approach to in-network query processing in sensor networks. In SIGMOD Record, September Science; Cornell University [2] Yong Yao, Johannes Gehrke: Query Processing for Sensor Networks; Department of Computer Science; Cornell University; Proceedings of the 2003 CIDR Conference [3] S.D. Viglas, J.F. Naughton: Rate-Base Query Optimization for Streaming Information Sources; Department of Computer Science, University of Wisconsin-Madison; ACM Sigmod 2002 June