Storage Management Techniques for Stream Processing

Transkript

1 Diss. ETH No Storage Management Techniques for Stream Processing A dissertation submitted to ETH ZURICH for the degree of Doctor of Sciences presented by IRINA MAGDALENA BOTAN M. Sc. Babes-Bolyai University Cluj-Napoca, Romania born 26 September 1981 citizen of Romania accepted on the recommendation of Prof. Dr. Donald Kossmann, examiner Prof. Dr. Mitch Cherniack, co-examiner Prof. Dr. Tamer Özsu, co-examiner Prof. Dr. Nesime Tatbul, co-examiner 2011

2 Abstract A variety of applications require low-latency processing of data that comes in highlydynamic streams of items. These applications are implemented using Data Stream Management Systems (DSMSs). More recently, new application domains like real-time business intelligence turned to the on-the-fly processing model employed by these systems for a solution to their challenges. As a result, the requirements imposed on the DSMSs have become more complex: e.g., mechanisms for correlating data streams with stored information or near-real time complex analysis of large portions of streaming data. In order to meet the evolving requirements of modern streaming applications, a clean, flexible and high performance DSMS design is required. Although many system implementations were proposed, none of them offers a clean, systematic approach to data storage management. Rather, the storage manager is usually tightly coupled with the continuous query execution engine. This design decision limits the possibility for further performance improvement and severely restricts the flexibility necessary to accommodate new application requirements. Moreover, today, there is no standard for querying streams and, as a result, each DSMS exposes its own execution semantics, making the implementation of the new requirements even more challenging. This dissertation investigates the design and implementation of a general-purpose storage management framework for Data Stream Management Systems, that we name SMS (Storage Manager for Streams). The ultimate goal of this framework is to provide a general, clean, flexible and high-performance storage management system which could be virtually plugged into any DSMS. In order to achieve this goal, in this work, we combine the experience gained over decades of research on Database Management Systems with the high-performance mechanisms employed by the Data Stream Management Systems. Following the database systems architecture design, this framework is based on the principle of separating concerns: the query processor is decoupled from the storage ix

3 manager. As such, the storage system obtains the flexibility necessary to accommodate new requirements, behind a general interface. Moreover, it can provide specialized store implementations tailored to the particular requirements of the applications, which is key to achieving good performance. In this respect, an important contribution of the framework is the reuse of the access patterns of the continuous query operators to tune the stores implementation and as such, to speed up the access on materialized data. In addition, the unified transactional model proposed in this dissertation makes minimal extensions to the traditional transactional model in order to accommodate streams and continuous queries. As a result, it offers a clean semantics for continuous query execution over arbitrary combinations of data sources (streaming and stored) in the presence of concurrent access and failures. And even more, it can be used to explain the transactional behavior of state-of-the-art DSMSs. A series of experiments are conducted using the Linear Road streaming benchmark s implementation in MXQuery (a Java-based open-source XQuery engine, extended with window functions for continuous processing). MXQuery uses SMS for all its data storage related tasks. Our experiments show that the response time of the continuous queries can indeed be lowered if the store implementations are tuned according to the access patterns of the continuous query operators. Moreover, a transaction manager implementing the unified transactional model and designed as an additional component between the access and storage layers of SMS provides correctness and reliability for the Linear Road application with practically no performance penalty. As such, the experimental results indicate that a storage manager built on these ideas is a promising approach. x

4 Zusammenfassung Eine Reihe von Anwendungen erfordern latenzarme Verarbeitung von Daten, die in sehr dynamischen Strömen individueller Elemente ankommen. Diese Anwendungen werden mit Datenstromverwaltungssystemen (Data Stream Management Systems, DSMS) implementiert. Seit einiger Zeit bedienen sich auch neue Anwendungsbereiche wie Echtzeit-Informationsdienste von Unternehmen des on-the-fly Verarbeitungsmodells dieser Systeme zur Lösung ihrer Aufgaben. Als Folge davon sind die Anforderungen an DSMS komplexer geworden: z.b. Mechanismen, um Datenströme mit gespeicherten Daten zu korrelieren oder nahe-echtzeit Analyse grosser Teile von Datenströmen. Um die sich kontinuierlich entwickelnden Anforderungen an moderne Anwendungen von Datenströmen zu erfüllen, ist ein sauberes, flexibles und performantes Design des DSMS erforderlich. Es wurden viele Systemimplementierungen vorgeschlagen, doch keine davon bietet einen sauberen, systematischen Ansatz bezüglich Speicherverwaltung. Stattdessen ist die Speicherverwaltung typischerweise eng an die Query Execution Engine gekoppelt. Diese Designentscheidung begrenzt die Möglichkeiten für weitergehende Performanceverbesserungen und schränkt die zur Integration der Anforderung neuer Anwendungen benötigte Flexibilität empfindlich ein. Darüber hinaus besteht heute kein Standard um Datenströme abzufragen und als Ergebnis davon bietet jedes DSMS seine eigene Ausführungssemantik an, was die Implementierung neuer Anforderungen noch herausfordernder gestaltet. Diese Dissertation untersucht das Design und die Implementierung eines universellen Speichermanagement-Framworks für Datenstromverwaltungssysteme, welches wir SMS (Storage Manager for Streams - Speicherverwaltung für Datenströme) nennen. Das endgültige Ziel dieses Frameworks is es, ein generelles, sauberes, flexibles und performantes System zur Speicherverwaltung zu bieten, das praktisch in jedes beliebige DSMS eingesteckt werden kann. Um dieses Ziel zu erreichen kombinieren wir in dieser Arbeit die Erfahrung aus Jahrzehnten von Forschung in Datenverwaltungssystemen mit den Hochleistungsmechanismen, die in Datenstromverwaltungssystemen verxi

5 wendet werden. Der Architektur von Datenbankverwaltungssystemen folgend basiert dieses Framework auf dem Prinzip der Trennung von Zuständigkeiten: der Query Processor ist von der Speicherverwaltung entkoppelt. Somit erlangt das Speichersystem die nötige Flexibilität, um neue Anforderungen hinter einer allgemeinen Schnittstelle unterzubringen. Zudem können spezialisierte Speicherimplementierungen an die spezifischen Anforderungen der Anwendungen angepasst werden, was der Schlüssel zum Erreichen guter Performance ist. Insofern ist ein wichtiger Beitrag des Frameworks die Wiederverwendung von Zugriffsmustern der Operatoren von Continous Querys um die Implementierung des Speichers und damit auch den Zugriff auf materialisierte Daten auf Leistung zu bringen. Zudem nimmt das vereinheitlichte Transaktionsmodell, das in dieser Disseration vorgeschlagen wird, nur minime Erweiterungen am traditionallen, transaktionalen Modell vor, um Datenströme und Continuous Querys unterzubringen. Daraus resultiert eine saubere Semantik für die Ausführung von Continuous Querys über beliebige Kombinationen von Datenquellen (Datenströme und Datenspeicher) in Gegenwart von gleichzeitigen Zugriffen und Fehlern. Darüber hinaus kann es benutzt werden, um das transaktionale Verhalten von modernen DSMS zu erklären. Eine Reihe von Experimenten wurden mit der Implementierung des Linear Road Streaming Benchmarks auf MXQuery durchgeführt (MXQuery ist eine Java-basierte, quelloffene XQuery Engine, die mit Windowfunktionalität für Continous Querys erweitert wurde). MXQuery verwendet SMS für alle Speicheraufgaben. Unsere Experimente zeigen, dass die Antwortzeit der Continuous Querys in der Tat gesenkt werden kann, wenn die Speicherimplementierung entsprechend der Zugriffsmuster der Operatoren von Continous Querys auf Leistung gebracht werden. Darüber hinaus weisen die experimentellen Ergebnisse darauf hin, dass eine Speicherverwaltung, die auf diesen Ideen gebaut ist, ein vielversprechender Ansatz ist.