Datenbanksysteme Kapitel 6: Neue Konzepte der Datenbanktechnologie

Transkript

1 Datenbanksysteme Kapitel 6: Neue Konzepte der Datenbanktechnologie Prof. Dr. Peter Chamoni Mercator School of Management Lehrstuhl für Wirtschaftsinformatik, insb. Business Intelligence Prof. Dr. Peter Chamoni - Prof. Datenbanksysteme Dr. Peter Chamoni - Wintersemester 2014/ Gliederung 1 Grundlagen - Datenbanksysteme 2 SQL Data Definition Language 3 Datenorganisation 4 Datenintegrität und Transaktionsverwaltung 5 SQL Data Manipulation Language 6 Neue Konzepte der Datenbanktechnologie Prof. Dr. Peter Chamoni Datenbanksysteme 2

2 Gliederung 6 Neue Konzepte der Datenbanktechnologie 6.1 Grenzen relationaler Datenbanksysteme 6.3 Kategorisierung von NoSQL-Systemen Prof. Dr. Peter Chamoni Datenbanksysteme Grenzen relationaler Datenbanksysteme Relationale Datenbanksysteme (I) Ausgerichtet auf komplexe Datenbankanwendungen - Große Datenmodelle - Transaktionen: strenge Einhaltung des ACID-Prinzips zur Sicherstellung der Datenintegrität, d.h. Datenkonsistenz, Datensicherheit und des Datenschutzes DBS ist von Anbeginn nicht auf Skalierbarkeit ausgerichtet, vielmehr wird ein Server auf mehr Leistungsfähigkeit technisch aufgerüstet. Skalierung: vertikal ( Scale Up ) bezeichnet die vertikale Vergrößerung von Ressourcen eines Datenbanksystems in Form von Speicher und/oder CPU. Scale Up - führt zu Groß-Systemen - verlangt extrem zuverlässige Hardware - verursacht überproportionale Kosten - erzeugt single point of failure Prof. Dr. Peter Chamoni Datenbanksysteme 4

3 6.1 Grenzen relationaler Datenbanksysteme Relationale Datenbanksysteme (II) Zunehmende Performance-Probleme entstanden bei RDBS durch fortwährend steigende Anforderungen im Verlauf der Entwicklung Beispiel: Systemaufrufe Prof. Dr. Peter Chamoni Datenbanksysteme 5 Gliederung 6 Neue Konzepte der Datenbanktechnologie 6.1 Grenzen relationaler Datenbanksysteme 6.3 Kategorisierung von NoSQL-Systemen Prof. Dr. Peter Chamoni Datenbanksysteme 6

4 NoSQL Datenbanksysteme (I) NoSQL (not only SQL) (1) Die neuen Systeme sind unabhängig voneinander - aus praktischen Anforderungen heraus - entstanden, z.b. - aus Performance-Anforderungen beim Umgang mit großen Datenmengen (Web 2.0), - Speichern unstrukturierter Daten etc. Diese unabhängigen Wurzeln spiegeln sich auch in einer gewissen Vielfalt von Konzepten wieder. Antwort auf die Anforderungen großer Internet-Sites (Facebook, Google, Amazon ) Seit ca steht NoSQL (not only SQL) für eine Familie von sehr gut skalierbaren Datenbanksystemen, die einen nicht-relationalen Ansatz verfolgen. Prof. Dr. Peter Chamoni Datenbanksysteme 7 NoSQL Datenbanksysteme (II) NoSQL (not only SQL) (2) Zahlreiche NoSQL-Konzepte lehnen sich an folgende Definition an: Unter NoSQL wird eine neue Generation von Datenbanksystemen verstanden, die meistens einige der nachfolgenden Punkte berücksichtigen: Das zugrundeliegende Datenmodell ist nicht relational. Die Systeme sind von Anbeginn an auf eine verteilte und horizontale Skalierbarkeit ausgerichtet. Das NoSQL-System ist Open Source. Fortsetzung der Definition nächste Folie [ Prof. Dr. Peter Chamoni Datenbanksysteme 8

5 NoSQL Datenbanksysteme (III) NoSQL (not only SQL) (3) Ergänzt wird die Definition mit folgenden Merkmalen: Das System ist schemafrei oder hat nur schwache Schemarestriktionen. Aufgrund der verteilten Architektur unterstützt das System eine einfache Datenreplikation. Das System bietet eine einfache API. Dem System liegt meistens auch als Konsistenzmodell zugrunde: eventually consistent / BASE, aber nicht ACID. [ Prof. Dr. Peter Chamoni Datenbanksysteme 9 NoSQL Datenbanksysteme (IV) NoSQL Datenbanksysteme (4) Ausgerichtet auf Internet-Anwendungen - Rasantes Daten-Wachstum - Stabile Zugriffszeiten - Hohe Verfügbarkeit NoSQL-Systemen sind i.d.r. von Anbeginn auf Skalierbarkeit ausgerichtet, d.h. es können Rechnerknoten dynamisch eingebunden werden, die einen Teil der Last/Daten tragen können. Skalierung: horizontal ( Scale Out )... bezeichnet die Erweiterung des Systems durch Einfügen zusätzlicher Computerressourcen Scale Out - führt zu verteilten Systemen, - erzeugt many points of failure Prof. Dr. Peter Chamoni Datenbanksysteme 10

6 NoSQL Datenbanksysteme (V) NoSQL Datenbanksysteme (5) Skalierung: horizontal ( Scale Out ) Erweiterung des Systems durch Einfügen zusätzlicher Computerressourcen. Verteilte Systeme sind nicht einfach zu betreiben bzgl. - Homogenität, Heterogenität - Sicherheit - Administration - Kommunikation, Bandbreite, Transportkosten u.v.m Konsistenzmodell in verteilten Datenbanksystemen: Ist es möglich, ein Datenbanksystem zu entwickeln, - ausgehend vom Konsistenzprinzip wie bei dem Entwurf relationaler Datenbanksysteme, - ABER: es gleichzeitig bzgl. der horizontalen Skalierbarkeit einfacher und performanter zu gestalten? Prof. Dr. Peter Chamoni Datenbanksysteme 11 NoSQL Datenbanksystem (VI) CAP-Theorem (1) (Eric Brewer, PODC 2000) In einem verteilten System können jeweils höchstens zwei der Eigenschaften gleichzeitig erfüllt sein: Konsistenz (Consistency) Die verteilte Datenbank erreicht nach Abschluss einer Transaktion einen konsistenten Zustand. Consistency Verfügbarkeit (Availability) Das System muss für einen konkreten Anwendungsfall eine akzeptable Reaktionszeit aufweisen, die bis zu einer vordefinierten Last eingehalten werden muss. Availability Partition Tolerance Ausfalltoleranz (Partition Tolerance) Das System kann weiterarbeiten trotz Ausfall eines Knotens oder einer Kommunikationsverbindung zwischen den Knoten. Prof. Dr. Peter Chamoni Datenbanksysteme 12

7 NoSQL Datenbanksystem (VII) CAP-Theorem (2) In der Praxis steht ein Unternehmen gemäß des CAP-Theorems somit vor der Entscheidung: Lockerung der Forderung nach strikter Einhaltung der Konsistenz im System oder Consistency das Risiko zu tragen, dass das System bei einem Ausfall der Verbindungen gar nicht oder nicht mit einer akzeptablen Reaktionszeit antwortet. Availability Partition Tolerance Für ein Webunternehmen, dessen Profit von der Erreichbarkeit seines Dienstes abhängt, ist dieses Risiko wohl eher nicht tragbar! Prof. Dr. Peter Chamoni Datenbanksysteme 13 NoSQL Datenbanksystem (VIII) Alternatives Konsistenzmodell: BASE ist ein Gegenkonzept zu ACID, basierend auf der Annahme, dass ein Verzicht auf Strong Consistency und dafür eine höhere Achtsamkeit auf Verfügbarkeit des Systems eine Steigerung der Skalierbarkeit ermöglicht. wird zur Lösung des Konflikts des CAP-Theorems herangezogen. BASE Eine NoSQL-Datenbank sollte über folgende Eigenschaften verfügen: grundsätzlich verfügbar (Basically Available) loser Zustand Konsistenz (Soft State) schlussendlich konsistent (Eventually Consistent) (schwache Konsistenz) Prof. Dr. Peter Chamoni Datenbanksysteme 14

8 NoSQL Datenbanksystem (IX) Map/Reduce Framework (1) spielt eine zentrale Rolle im Kontext von NoSQL-Datenbanken. Das Verfahren ist geeignet, große verteilte Datenmengen bei paralleler Ausführung effizient zu durchsuchen. Die Ursprünge des Verfahrens liegen in der funktionalen Programmierung: LISP erlaubt Entwicklern die Nutzung der Map/Reduce-Routinen, um parallele Programme zu erstellen, ohne dass der Entwickler sich um die Programmierung - der Kommunikation innerhalb des Rechner-Clusters - des Aufgaben-Monitorings oder - der Fehlerbehandlung kümmern muss. Prof. Dr. Peter Chamoni Datenbanksysteme 15 NoSQL Datenbanksystem (X) Map/Reduce Framework (2) Das Framework nutzt zwei Algorithmen, die jeweils nebenläufig auf verschiedenen Rechnerknoten in zwei Phasen hintereinander ausgeführt werden: Map verteilt Aufgaben an die verschiedenen Knoten im Netzwerk; Reduce Die Funktion map() wendet eine Funktion sukzessive auf alle Elemente einer Liste an und gibt eine durch die Funktion modifizierte Liste zurück. sortiert die Aufgaben; Eingabe Die Funktion reduce() akkumuliert einzelne Funktionsergebnisse der Listenpaare und reduziert sie damit auf einen Ausgabewert. Zwischenergebnisse Ausgabe Prof. Dr. Peter Chamoni Datenbanksysteme 16

9 NoSQL Datenbanksystem (XI) Map/Reduce Framework (3) Beispiel: durchschnittl. erreichte Punktzahl im letzten Semester auf Jahresebene MatrikelnummerDatumPunktzahl Eingabe MAP Combine Reduce (2014,25) (2014, [25, 47]) (2014,36) (2015,57) (2015,57) (2015,57) (2014,47) Prof. Dr. Peter Chamoni Datenbanksysteme 17 NoSQL Datenbanksystem (XII) Map/Reduce Framework (4) wird zur Lösung einer Vielzahl von Aufgaben genutzt, die eine Berechnung großer Datenmengen in einem Verbund von Rechnern erfordern. Beispielhaft sollen folgende Anwendungsbereiche genannt werden - Zählen von Zugriffen auf eine URL Map: verarbeitet die Zugriffe auf Webseiten aus vorhandenen Aufzeichnungen und gibt die Key/Value-Paare (URL, 1 ) aus. Reduce: addiert die Zwischenergebnisse pro URL und liefert als Ergebnisse die Zugriffe pro URL. - Wortindex Erstellung - Suchen in verteilten Datenbeständen (Grep) oder Sortieren - Erstellung des Link-Graphen über die Verlinkung von Webseiten zu einem Ziel Prof. Dr. Peter Chamoni Datenbanksysteme 18

10 NoSQL Datenbanksystem (XIII) Map/Reduce Framework (5) ist für viele Einsatzbereiche effizient anwendbar. Aus diesem Grunde wurden seit der ersten Vorstellung zahlreiche Implementierungen erzeugt, z.b. Implementierungen - Google Map/Reduce Framework ist in C ++ implementiert und bietet APIs für Python und Java. - Hadoop ist ein Apache Open Source-Java-Framework für skalierbare, verteilte Software. - CouchDB nutzt ein Map/Reduce Framework zur Definition von Views über verteite Dokumente. - u.v.m (z.b. Prof. Dr. Peter Chamoni Datenbanksysteme 19 Gliederung 6 Neue Konzepte der Datenbanktechnologie 6.1 Grenzen relationaler Datenbanksysteme 6.3 Kategorisierung von NoSQL-Systemen Prof. Dr. Peter Chamoni Datenbanksysteme 20

11 6.3 Kategorisierung von NoSQL-Systemen NoSQL Systemkategorien (I) Aufgrund der weit gefassten Definition zählen zu NoSQL eine Vielzahl verschiedener Konzepte, wobei die derzeit wichtigsten sind: Column Stores /Column Families Document Stores Key/Value/Tuple Stores Graph-Datenbanken u.v.m. Prof. Dr. Peter Chamoni Datenbanksysteme Kategorisierung von NoSQL-Systemen NoSQL Systemkategorien (II) Key Value Store Schema: verwendet Schlüssel (Keys) zur Indizierung von Daten (Values). Struktur der Daten ist nicht vorgegeben. Datentyp zumeist nicht vorgegeben Das einfache Datenmodell ermöglicht eine schnelle und effiziente Datenverwaltung. Abfragen sind auf Schlüssel beschränkt. Nachteilig: eigene, beliebig komplexe Abfragen können oft nicht selbst geschrieben werden, sondern entscheidend ist die Mächtigkeit des API. Membase (Couchbase), Redis (Vmware), Azure Table Storage (Microsoft), Berkeley DB (Oracle) Prof. Dr. Peter Chamoni Datenbanksysteme 22

12 6.3 Kategorisierung von NoSQL-Systemen NoSQL Systemkategorien (III) Dokumentorientierte Datenbank (Document Store) Ähnlich zu Key Value Datenbank Daten sind jedoch Dokumente. Diese Dokumente werden nach einem bestimmten Format (XML, JSON, etc.) ausgetauscht und gespeichert. Neben Schlüssel-Abfragen kann auch nach Inhalten oder Meta-Daten (z.b. Tags, Sammlungen etc.) gesucht werden. BaseX (XML), CouchDB (Apache, JSON), MongoDB (JSON), Lotus Notes (IBM, Domino XML) Prof. Dr. Peter Chamoni Datenbanksysteme Kategorisierung von NoSQL-Systemen NoSQL Systemkategorien (IV) Spaltenorientierte Datenbank (Column Store) (1) Ein Schlüssel zeigt auf beliebig viele Versionen eines Tupels. In einem solchen Tupel kann es zahlreiche sog. Column-Families geben. Die Column-Families werden über Schlüssel identifiziert. Struktur der Daten ist nicht vorgegeben. Performance-Vorteile gegenüber RDBS bei Operationen über viele Einträge mit Schlüsseln geringer Dimensionalität (wenige Spalten). Cassandra (Apache), Hadoop / HBase (Apache), BigTable (Google), Dynamo (Amazon) Prof. Dr. Peter Chamoni Datenbanksysteme 24

13 6.3 Kategorisierung von NoSQL-Systemen NoSQL Systemkategorien (V) Spaltenorientierte Datenbank (Column Store) (2) Zeilenorientiert 1 Meier Paul EUR 2 Schulze Peter EUR 3 Schlauch Mike EUR 4 Schmidt Bert EUR Operation: Ermittlung des durchschnittlichen Gehalts Spaltenorientiert 1,2,3,4 Meier, Schulze, Schlauch, Schmidt Paul, Peter, Mike, Bert EUR, EUR, EUR, EUR Prof. Dr. Peter Chamoni Datenbanksysteme Kategorisierung von NoSQL-Systemen NoSQL Systemkategorien (VI) Graph-Datenbank Verwaltung von Graph- oder Baumstrukturen, in denen die Elemente miteinander verknüpft sind. - Knoten des Graphen = Daten - Kanten des Graphen = Beziehungen zwischen den Daten - Knoten und Kanten des Graphen können mit properties, also Eigenschaften versehen oder gewichtet werden. Absatz Kunde im Monat Die Daten werden über ihre (relative) Position im Graphen identifiziert (traversieren), somit wird kein Schlüssel benötigt. 10 PCE Web 3.0 Semantisches Web Neo4J, sones GraphDB, Trinity (Microsoft), AllegroGraph Prof. Dr. Peter Chamoni Datenbanksysteme 26

14 6.3 Kategorisierung von NoSQL-Systemen Neue Konzepte der Datenbanktechnologie Polyglot Persistence der kombinierte Einsatz von relationalen Datenbanksystemen und NoSQL-Systemen. Idee: Für jede unterschiedliche Anforderung die perfekte Datenbank Problem: Cost of Complexity Einsatz, Wartung, Weiterentwicklung und Interkonnektivität von mehr als einer Datenbank sind sehr zeitaufwändig und kostenintensiv. Database-as-a-Service (DaaS) Datenbanken können in der Cloud als Service verwendet werden. senkt die cost of complexity Prof. Dr. Peter Chamoni Datenbanksysteme 27