ISBN: Herstellung: Diplomica Verlag GmbH, Hamburg, 2011

Transkript

1 Nils Petersohn Vergleich und Evaluation zwischen modernen und traditionellen Datenbankkonzepten unter den Gesichtspunkten Skalierung, Abfragemöglichkeit und Konsistenz Diplomica Verlag

2 Nils Petersohn Vergleich und Evaluation zwischen modernen und traditionellen Datenbankkonzepten unter den Gesichtspunkten Skalierung, Abfragemöglichkeit und Konsistenz ISBN: Herstellung: Diplomica Verlag GmbH, Hamburg, 2011 Dieses Werk ist urheberrechtlich geschützt. Die dadurch begründeten Rechte, insbesondere die der Übersetzung, des Nachdrucks, des Vortrags, der Entnahme von Abbildungen und Tabellen, der Funksendung, der Mikroverfilmung oder der Vervielfältigung auf anderen Wegen und der Speicherung in Datenverarbeitungsanlagen, bleiben, auch bei nur auszugsweiser Verwertung, vorbehalten. Eine Vervielfältigung dieses Werkes oder von Teilen dieses Werkes ist auch im Einzelfall nur in den Grenzen der gesetzlichen Bestimmungen des Urheberrechtsgesetzes der Bundesrepublik Deutschland in der jeweils geltenden Fassung zulässig. Sie ist grundsätzlich vergütungspflichtig. Zuwiderhandlungen unterliegen den Strafbestimmungen des Urheberrechtes. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Die Informationen in diesem Werk wurden mit Sorgfalt erarbeitet. Dennoch können Fehler nicht vollständig ausgeschlossen werden und der Verlag, die Autoren oder Übersetzer übernehmen keine juristische Verantwortung oder irgendeine Haftung für evtl. verbliebene fehlerhafte Angaben und deren Folgen. Diplomica Verlag GmbH Hamburg 2011

3 Inhaltsverzeichnis 1. Einleitung Motivation Zielsetzung Überblick Konzepte moderner Datenbanken Consistent Hashing Brewer s Theorem und letztendliche Konsistenz Versionierung der Daten MapReduce Map Reduce Abarbeitungsübersicht Zusammenfassung Riak - ein Key-Value-Store Key-Value-Store Riak Das konsistente Hashverfahren und die CAP-Parameter eventually consistent MapReduce Zusammenfassung Relationale Datenbanken Skalierung und Partitionierung vertikal horizontal funktionale Partitionierung Sharding Abfragen über mehrere Shards Zusammenfassung Gegenüberstellungen Abfragedynamik vs. Daten-Zuwachsrate geringe Abfragedynamik mittlere Abfragedynamik mittlere bis hohe Datendynamik und vorhersehbare Daten-Zuwachsrate hohe Abfragedynamik und hohe Daten-Zuwachsrate i

4 Inhaltsverzeichnis Zusammenfassung und Bewertung Skalierung und Konsistenz Abfragemöglichkeiten Anwendungsfälle für MapReduce Anwendungsfälle für SQL Abfragen: Riak und MySql Stored Procedures Von MySQL zu Riak MapReduce Bewertung Zusammenfassung 59 Literaturverzeichnis 61 A. Anhang 67 Anhang 67 A.1. MySQL Stored Procedure - Verfügbarkeitsabfragen im Hotel System mit Stored Procedures A.2. Riak MapReduce - Verfügbarkeitsabfragen im Hotel System mit MapReduce 68 A.3. Amazon EC2 Riak Installation Script und Testfall A.4. Amazon EC2 Riak Join Script ii

5 1. Einleitung Zehntausende Web-Services verwenden relationale Datenbanken, um Daten zu speichern und auszulesen. Im Vergleich zu modernen Konzepten können relationale Datenbanken als wichtigster Stellvertreter für traditionelle Technologien bezeichnet werden. Wenn man als Entwickler zu Seiten wie Google.com, Facebook.com, Amazon.com, Digg.com, Ebay.com, Yahoo.com, Twitter.com, oder Dawanda.com surft, wird meist angenommen, dass eine verteilte relationale Datenbank verwendet wird. Die Annahme ist zu 50% richtig, jedoch ist die Datenhaltung meist nicht relational. Diese Großunternehmen verwalten mehrere hundert Gigabytes, bis hin zu Gigabyte an Daten, und mussten in den letzten sechs Jahren Lösungen finden, um erfolgreich diese riesigen Datenmengen zu beherrschen. Google erfand vor ca. sieben Jahren ein Verfahren, um Datenmengen im Petabytebereich zu beherrschen. Facebook entwickelte selbst eine Datenbanktechnologie, um die Posteingänge von Benutzern verfügbar zu machen, Twitter.com adaptiert diese Technologie für andere Zwecke (vgl. [Lai10]). Amazon.com entwickelte Dynamo, um Hochverfügbarkeit für deren weltgrößte E-Commerce Plattform zu schaffen. Diese und andere Eigenentwicklungen entstanden aus der Notwendigkeit heraus, riesige Datenmengen bzw. Datenbanken hoch verfügbar, konsistent und skalierbar zu machen Motivation Seit den letzten drei Jahren sind alternative Open-Source-Implementierungen dieser Entwicklungen entstanden. Die Veröffentlichung der Konzepte und Technologien führten zu einer ganzen Bewegung namens NoSQL. Sind diese Konzepte vorteilhafter, um eine bessere und für Entwickler einfachere Skalierung, Abfragemöglichkeit und Datenkonsistenz in einem hochverfügbaren Datenbanksystem, zu gewährleisten? Wie werden komplexe Abfragen in modernen und traditionellen verteilten Systemen gemacht und wie werden diese ausgeführt? Speziell stellt sich die Frage, ob das MapReduce Verfahren ein vollständiger Ersatz für SQL ist. Für welche Einsatzzwecke sind beide besonders gut geeignet und für welche weniger? 1

6 1. Einleitung 1.2. Zielsetzung Ausgewählte Konzepte moderner, verteilter Datenbanksysteme sind zentrale Bestandteile dieser Arbeit. Dazu werden die Eigenschaften Verfügbarkeit, Konsistenz und Skalierbarkeit in den verteilten Systemen ausführlicher beschrieben, um zu analysieren, ob gegenüber relationalen Datenbanken Vorteile und Nachteile dieser Eigenschaften existieren. Ergebnisse dieser Aufgabenstellung sollen Chancen und Risiken von modernen Datenbanken aufdecken. Key-Value-Stores sind die einfachsten Vertreter moderner Datenbanken. Riak wird in dieser Arbeit als Implementierung moderner Konzepte benutzt. MySQL soll als Vertreter für relationale Datenbanken verwendet werden da dieser Vertreter eine weit verbreitete Open-Source-Implementierung von relationalen Datenbanken ist. Andere Datenbankkonzepte/Datenbanken werden in dieser Arbeit nicht behandelt. Dazu zählen unter anderem objektorientierte, objektrelationale, hierarchische, spaltenorientierte und graphenorientierte Datenbankkformen, sowie Repräsentanten von relationalen Datenbanken, wie db2, Sybase oder Oracle, da diese nicht Open-Source sind Überblick Das konsistente Hashfunktionsverfahren wird zuerst kurz erläutert, um theoretische Grundlagen für die Implementierung moderner und traditioneller Skalierungsmethoden zu legen. Danach werden, im Kontext moderner Datenbanktechnologien, wichtige theoretische Konzepte zur Skalierung erläutert. Dazu werden die drei wichtigsten Eigenschaften verteilter Systeme definiert und in Zusammenhang gebracht (Verfügbarkeit, Konsistenz und Partitionstoleranz). Dementsprechend wird das Prinzip letztendliche Konsistenz vorgestellt, welches eine zentrale Rolle bei modernen verteilten Systemen darstellt. Weiterhin wird das MapReduce-Verfahren konzeptionell vorgestellt. Es wird aus zwei Perspektiven betrachtet: Filterung von Daten durch benutzerdefinierte Funktionen anhand eines Beispiels und in diesem Zusammenhang die Ausführung des Verfahrens in verteilten Systemen. Implementierungen dieser theoretischen Ansätze werden in diesem Kapitel aufgelistet. Eine detaillierte Beschreibung von Key-Value-Stores (KVS) wird im nächsten Kapitel bereitgestellt. KVS sind die einfachste Form von modernen Datenbanken, an denen sich die grundlegenden Konzepte abstrakt beschreiben lassen. Riak ist ein wichtiger Vertreter für moderne Datenbanken und KVS. Die theoretischen Grundlagen der drei zentralen Eigenschaften verteilter System werden an dieser direkten Implementierung gefestigt und erweitert. Dem folgt eine kurze Vorstellung von relationalen Datenbanken. Dabei wird ausschließlich auf Möglichkeiten 2

7 1.3. Überblick zur Skalierung eingegangen. Im letzten Kapitel werden zuerst beide Datenbanktechnologien hinsichtlich der Skalierung, Konsistenz, Verfügbarkeit und Komplexität verglichen. Weiterhin findet ein Vergleich zwischen MapReduce und SQL bzw. benutzerdefinierten Funktionen anhand von Einsatzmöglichkeiten, Stabilität und Komplexität statt. Der Vergleich von MyS- QL und Riak erfolgt durch eine Analyse der Abfragemöglichkeiten mittels Stored Procedures und MapReduce anhand mehrerer Beispiele. Hierbei sollen die zentralen Fragestellungen beantwortet werden. Abschließend werden die Ergebnisse zusammengefasst und bewertet. 3

8

9 2. Konzepte moderner Datenbanken Festplatten habe eine Kapazitätsgrenze. Wenn z.b. zehn Festplatten mit ca. 2 Terabyte pro Stück mit Datenbankinhalten belegt sind, kann ein einzelner Prozessor diese Mengen nicht mehr bewältigen. Selbst mehrere Kerne in der CPU haben es schwer und leistungsstarke Prozessoren sind vergleichsweise teurer als diejenigen, die man in jedem Discounter kaufen kann. Ein Intel-Extrem Prozessor kostet zum Beispiel so viel wie ein ganzer Desktopcomputer mit Bildschirm, Blue-Ray Laufwerk usw.. Abgesehen davon ist es ab einem bestimmten Punkt auch nicht mehr möglich, in einen einzelnen Computer mehr als 20 Festplatten zu bauen. Das ist praktisch unrealistisch. Eine Lösung für dieses Problem, ist ein verteiltes Netzwerk mit vielen preiswerten Maschinen und Prozessoren. Wie verhält sich ein verteiltes Datenbanksystem? Die Annahme, dass die Datenbank sich intern bei einem Netz genau so verhält wie in einer einzelnen Maschine ist falsch. Verteilten Datenbanksysteme haben Eigenheiten, die man sich vor Beginn klar machen muss. Weitere Fragen stellen sich bei der Verwendung einer verteilten Datenbank: Wie kann eine Anfrage am besten auf alle Maschinen gleich verteilt werden? Welche Daten werden auf welchen Rechner geschrieben? Was passiert nachdem z.b. ein Computer oder das Netzwerk zwischen einigen Maschinen ausfällt, müssen dann alle Daten neu aufgeteilt werden? Muss der Entwickler sich darum kümmern? Die ursprünglichen Konzepte relationaler Datenbanken beschäftigen sich weniger mit dem Umgang einer verteilten Datenbank, sondern konzentrieren sich auf die Struktur der Daten und kombinatorischer Abfragen derer. Moderne Datenbankkonzepte fokussieren im Gegensatz dazu weniger die Struktur, sondern richten den Fokus auf Effizienz, Fehlertoleranz und Konsistenz in verteilten Systemen. Die wichtigsten Konzepte moderner Datenbanken, werden in diesem Kapitel beschrieben. Diese Konzepte sind ausschlaggebend, um ein Verständnis von modernen Datenbanktechnologien zu entwickeln. Die weit verbreiteten relationalen Datenbanken basieren nur zum Teil auf den folgenden Konzepten. Skalierung, Leistung (Performance), Verfügbarkeit und Fehlertoleranz sind wichtige Begriffe 5