NoSQL Databases and Big Data

Transkript

1 Datenorientierte Systemanalyse NoSQL Databases and Big Data Gerhard Wohlgenannt

2 NoSQL & Big Data Die besprochenen Systeme haben nicht den Anspruch und das Ziel DBS zu ersetzen, sondern für gewisse Anwendungsfälle andere / spezifische Lösungen zu bieten. Agenda 1. NoSQL (what is it?) 2. NoSQL: Document stores 3. NoSQL: GraphDBs 4. NoSQL: ObjectDBs 5. Big Data DATENORIENTIERTE SYSTEMANALYSE JUNI 2013

3 NoSQL DBs - Überblick Not only SQL!! Sammelbegriff für verschiedene Ansätze Gemeinsamkeit: weniger Anforderungen an strenge DB- Grundsätze und Mächtigkeit des DB-Systems Daten oft nicht in Form von klassischen Tabellen gespeichert Oft keine mächtige Abfragesprache wie SQL DATENORIENTIERTE SYSTEMANALYSE JUNI 2013

4 NoSQL vs SQL DBs SQL DBs ursprünglich verbreitet in Banken und Versicherungen Fokus auf Konsistenz und Transaktionssicherheit Schon besprochen: Transaktionen Mächtige Abfragesprachen zur Erstellung von Reports, etwa Kontoauszug Konsistenz, die Mächtigkeit des Systems, Integritätsbedingungen, JOINs, etc führt zu Kompromissen bei der Abfrage-Performanz Beispiel: Einfügen von neuem Datensatz führt zu Constraint-Checks (Datentyp, FK), zu index-updates, event. Funktionsaufrufen über Trigger... DATENORIENTIERTE SYSTEMANALYSE JUNI 2013

5 Neue Entwicklungen wie Cloud SQL um NoSQL ähnliche Anforderungen erfüllen DATENORIENTIERTE SYSTEMANALYSE JUNI 2013

6 NoSQL Oft optimiert für simple Abfragen und sehr grosse Datenmengen Simple Abfragen, Beispiel: key-value store Keine komplexen Operationen, etwa Joins Weiteres Ziel: Skalierbarkeit inbes. durch Verteilung Nur eventual consistency: changes propagated after sufficiently long period Wichtiger Aspekt: distributed und fault-tolerant (via redundancy) passt gut zusammen mit cloud-computing - Scalability einfach durch Hinzufügen neuer Rechner DATENORIENTIERTE SYSTEMANALYSE JUNI 2013

7 Types of NoSQL DBs Key-value stores: selbsterklärend :-) BigTable: entwickelt von Google, mehrdimensionale Map, soll auf Petabytes skalieren Document store: Für effiziente Speicherung / Retrieval von semistrukturierten Daten ( Dokument ) Graph-Stores: siehe unten ObjectDBs: siehe unten DATENORIENTIERTE SYSTEMANALYSE JUNI 2013

8 Key-Value stores Huge collection of key-value pairs (distributed) Values können wiederum zusammengesetzt sein Grundlage: Amazon s paper über Dynamo Implementations: Voldemort (linkedin), Riak, Tokyo DATENORIENTIERTE SYSTEMANALYSE JUNI 2013

9 Document DB Example DATENORIENTIERTE SYSTEMANALYSE JUNI 2013

10 NoSQL Document stores Document-oriented DBs haben überlicherweise einen unique key um auf records zuzugreifen Inspired by Lotus Notes Retrieval: (RESTful)-API or Simple Query Language, eg. all docs with field topic= football Organization of documents: Tags, non-visible metadata, hierarchy structures, collections,... Implementations: CouchDB, MongoDB, and many others DATENORIENTIERTE SYSTEMANALYSE JUNI 2013

11 ObjektDBs - Überblick Objekte aus OO Programmiersprachen selbst in der DB gehalten Einfache Form Persistenz zu erreichen Beispiel: in einer Java-GUI werden neue Mitarbeiter eingefügt. - Diese Mitarbeiter werden im Programm als Objekte der Klasse Mitarbeiter verwendet. - Anstatt nun die relevanten Attribute der Mitarbeiterobjekte in eine relationales DB zu speichern Objekte werden einfach as is in die Objekt-DB gespeichert. - Objekte können natürlich auch wieder aus der O-DB geladen/verändert werden. DATENORIENTIERTE SYSTEMANALYSE JUNI 2013

12 ObjektDBs (Details) Wie gesagt: Direktes persistentes Speichern von Objekten macht ORM (mapping Objekte Relationen überflüssig Besonderer Vorteil bei komplexen Objekten die schwer ins relationale Schema abbildbar sind Beispiel db4o, First Steps Reference/db4o-8.0/java/tutorial/ Pilot pilot1 = new Pilot("Michael Schumacher", 100); db.store(pilot1); DATENORIENTIERTE SYSTEMANALYSE JUNI 2013

13 Graphendatenbanken Benutzt Graphen um Informationen darzustellen Knoten (Objekte) - Kanten gerichtete Graphen, gewichtete Graphen (zb Bandbreite bei Netzwerken) GraphDB kann: - Spezielle Queries: shortest path -... Noch keine einheitliche Abfragesprachen Implementations: AllegroGraph, Sones, Neo4j DATENORIENTIERTE SYSTEMANALYSE JUNI 2013

14 Graph Example DATENORIENTIERTE SYSTEMANALYSE JUNI 2013

15 NoSQL Details Geschichte - Entstand primär aus den Anforderung von Internet-Konzernen wie Google, Facebook, etc. Anforderungen: riesige Datenmengen schnell ändern und ausliefern - aber: Auch zb Twitter und Facebook verwenden für vieles MySQL Datenbanken - je nach Anforderung. Ansatz: Lightweight, einfaches Datenmodell, Konsistenz und Datensicherheit nicht sooo wichtig (Twitter) Dafür andere Anforderungen im Fokus, etwa performance. DATENORIENTIERTE SYSTEMANALYSE JUNI 2013

16 NoSQL Vergleich Key-Value: For huge data size, low complexity (semistructured, connected) of data Big Tables: For less big data size, a bit more of complexity of data Document DBs: For less big data size, a bit more of complexity of data Graph DBs: For less big data size, a bit more of complexity of data >: The more connected, the harder to scale DATENORIENTIERTE SYSTEMANALYSE JUNI 2013

17 In-Memory DBs Traditional: Disk optimized In Memory: Fast response time, predicatable DB & transaction log persisted to disk Very good overview: DATENORIENTIERTE SYSTEMANALYSE JUNI 2013

18 Big data Big Data Eines der Hype-Keywords 2012 Big Data = Transactions + Interactions + Observations Datenmenge so gross dass mit konventionellen (DB-)tools schwer handhabbar Grosse Datenmenge entsteht auch durch den Wunsch nach Integration und Finden von Beziehunge zwischen kleineren data sets Bzw auch durch mobile devices, Sensordaten, software logs,... Beispiele: Wettermodelle, Webanalyse, LHC, Bioinformatik DATENORIENTIERTE SYSTEMANALYSE JUNI 2013

19 DATENORIENTIERTE SYSTEMANALYSE JUNI 2013

20 Big data (2) Wie gesagt is difficult to work with using relational databases and desktop statistics and visualization packages requiring instead massively parallel software running on tens, hundreds, or even thousands of servers (wikipedia) avp5d16wep0 DATENORIENTIERTE SYSTEMANALYSE JUNI 2013