Web Technologien NoSQL Datenbanken

Transkript

1 Web Technologien NoSQL Datenbanken Univ.-Prof. Dr.-Ing. Wolfgang Maass Chair in Information and Service Systems Department of Law and Economics WS 2011/2012 Wednesdays, 8:00 10:00 a.m. Room HS 021, B4 1

2 Wrap-Up Wozu dient eine Datenbank? Daten permanent sichern è Könnte auch das Dateisystem übernehmen?! Quelle: Slide 2

3 Wrap-Up Wozu dient eine Datenbank? Daten permanent sichern Daten anderen bereitstellen Daten auffinden Daten (automatisch) manipulieren Anwendung è Database Management System (DBMS) DBMS Datenbank -Dateien Datenbanksystem Slide 3

4 Wrap-Up Wozu dient eine Datenbank? Daten permanent sichern Daten anderen bereitstellen Daten auffinden Daten (automatisch) manipulieren PK FK Programm Programm ID Startzeit Dauer Kanal ID Relationales Datenbankmodell è RDBMS Edgar F. Codd 1970 Etablierter Standard Basiert auf untereinander verknüpften Tabellen SQL: Sprache zur Definition, Abfrage und Manipulation von relationalen Datenbanken PK Kanal Kanal ID Sprache Land Slide 4

5 Semantik relationaler Datenbanken Wozu dient eine Datenbank? Daten permanent sichern Daten anderen bereitstellen Daten auffinden Daten (automatisch) manipulieren Hierzu muss die Datenbank die Daten verstehen : è Was ist die Semantik? Wie komplex ist die Semantik? Feld (engl. Array) Baum (mit Relationen) Beliebiger Graph Relationale DB Wird dies wirklich benötigt? Slide 5

6 Semantik relationaler Datenbanken Wozu dient eine Datenbank? Daten permanent sichern Daten anderen bereitstellen Daten auffinden Daten (automatisch) manipulieren Hierzu muss die Datenbank die Daten verstehen : è Was ist die Semantik? Wo wird die Semantik interpretiert?? User Presentation Business-Logic Data Relationale DB Wird dies wirklich benötigt? Slide 6

7 NoSQL Relationale Datenbanken: sehr formell (normalisiert), sehr mächtig, komplex è Bei einem einfachen Datenmodell unnötig NoSQL = not only SQL Alternative Ansätze zur Datenhaltung neben relationalen Datenbanken Key Value Stores Object Databases Document Stores NoSQL Graph Databases Column Stores Slide 7

8 NoSQL Relationale Datenbanken: sehr formell (normalisiert), sehr mächtig, komplex è Bei einem einfachen Datenmodell unnötig NoSQL = not only SQL Alternative Ansätze zur Datenhaltung neben relationalen Datenbanken Neben einem alternativen Datenmodell bieten NoSQL Datenbanken oft: Daten-Partitionierung und Daten-Replizierung über mehrere Instanzen Speicherung sehr großer Datenmengen auf Commodity Hardware Möglichkeit Konsistenz-Bedingung zu vernachlässigen à Vorlesung Big Data Slide 8

9 Key Value Stores Synonym: Tuple Store Verwendet Schlüssel (Keys) zur Indizierung von Daten (Values) Struktur der Daten ist nicht vorgegeben (schemalos) Datentyp ist (zumeist) nicht vorgegeben Queries sind auf Schlüssel beschränkt f(key) = value Vorteile der geringen Komplexität Skalierbarkeit Distribution/Synchronisation Fehlertoleranz Schlüssel (Keys) Daten (Values) ZDF Terra X :30 45 min Feld Slide 9

10 Key Value Stores Membase (Couchbase) Memcached (verteilter Cache-Server zum beschleunigen von DB-Anfragen) Memcached Nutzer: Wikipedia, YouTube, Facebook, Twitter, Flickr, etc. Membase = Memcached + Persistenz, Daten-Replizierung, Daten-Partitionierung Membase <?php $mc = new Memcached; $mc->addserver("localhost", 11211); $mc->set("a", 1); var_dump($mc->get("a"));?> Azure Table Storage (Microsoft) Redis (Vmware) Berkeley DB (Oracle) Slide 10

11 Document Stores Ähnlich zu Key Value Stores Daten sind jedoch Dokumente, die nach einem bestimmten Datenformat (XML, JSON, etc.) strukturiert sind Neben Schlüssel-Anfragen kann auch nach Inhalten (z.b. XML-Attribut) oder Meta-Daten (z.b. Tags, Sammlungen, etc.) gesucht werden Anfragesprachen sind abhängig vom Datenformat: XML: XPath, XQuery (à Vorlesung XML/XQuery/XPath und XSLT) JSON: JSONiq ( Jaql ( UnQL ( Schlüssel Dokumente 12 zdf.xml 134 terrax.xml Dokumente Feld bzw. Baum programm.xml empfehlungen.xml Slide 11

12 Document Stores BaseX (XML) Anfragen via XQuery/Xpath Kollektionen von Dokumenten Einfache Administration über GUI BaseX for $city in doc('factbook')//city/name/text() where starts-with($city, 'Q') order by $city return data($city) CouchDB (Apache, JSON) MongoDB (JSON) Lotus Notes(IBM, Domino XML) Slide 12

13 Column Stores Ähnlich zu Key Value Stores jedoch mit mehrdimensionalen Schlüsseln Schlüssel C P T, 1 T, 2 Daten ZDF Terra X 19:30 45 min Column Family Row 1 Column 1 Column 2 Column 3 Value Value Value Timestamp Timestamp Timestamp Row 2 Column 1 Column 2 Value Value Baum Timestamp Timestamp Slide 13

14 Column Stores Ähnlich zu Key Value Stores jedoch mit mehrdimensionalen Schlüsseln Performance-Vorteil gegenüber relationalen Datenbanken bei Operationen über viele Einträge mit Schlüsseln geringer Dimensionalität (wenige Spalten) Kompression bei vielen Einträgen (à Vorlesung Big Data) Zeilenorientiert (relationale Datenbank): 1, Smith, Joe, , Jones, Mary, , Johnson, Cathy, Spaltenorientiert (Column Store): 1, 2, 3 Smith, Jones, Johnson Joe, Mary, Cathy 40000, 50000, Operation: Berechne das durchschnittliche Gehalt (vgl. Slide 14

15 Column Stores Cassandra (Apache) Spalten müssen nicht zwangsweise belegt werden Cassandra Nutzer: Twitter, Cisco, Digg, etc. Hadoop/HBase (Apache) Hypertable BigTable (Google) Chang et al. (2006): Bigtable: a distributed storage system for structured data. { } Cassandra (N = name, V = value, T = timestamp) "user1":{ // <- row 1 "Users":{ // <- column family 1 "name":{"n":"name", "V":" ", "T":" "}, // <- a column " ":{"n":" ", "V":" ", "T":" "} }, "Stats":{ // <- column family 2 "visits":{"n":"visits", "V":" ", "T":" "} } }, "user2":{ // <- row 2 "Users":{ // <- column family 1 " ":{"n":" ", "V":" ", "T":" "} } } Slide 15

16 Graph Databases Daten = Knoten, Beziehungen der Daten zueinander = Kanten Daten können über ihre (relative) Position im Graphen identifiziert werden (traversieren) es wird kein (globaler) Schlüssel benötigt Daten können sehr flexibel strukturiert werden Im Gegensatz zu relationalen Datenbanken sind keine Joins notwendig Zumeist sind relationale Datenbanken bei großen Datenmengen effizienter ZDF läuft auf Beliebiger Graph beginnt um 19:30 Terra X dauert 45 min Slide 16

17 Graph Databases Neo4J sones GraphDB Trinity (Microsoft) en-us/projects/trinity/ AllegroGraph Neo4J (vgl. Traverser traverser = getnodebyname( "Admins" ).traverse( Traverser.Order.BREADTH_FIRST, StopEvaluator.END_OF_GRAPH, ReturnableEvaluator.ALL_BUT_START_NODE, RoleRels.PART_OF, Direction.INCOMING, RoleRels.MEMBER_OF, Direction.INCOMING); Slide 17

18 Object Databases Direkter Bezug zw. Datenhaltung und objektorientierter Programmiersprache Lösung des Impedance Mismatch : Geringer Aufwand bei der Überführung der Daten von Programm-Repräsentation in Datenbank-Repräsentation und vice versa Speicherung eines Web-Of-Objects und deren zugehörigen Attribute db4o (Versant) Objectivity name salary Employee Smith name salary Employee Jones employeeof employeeof Beliebiger Graph name Company XYZ Inc. Slide 18

19 Literatur Bücher: J. Chris Anderson, Jan Lehnardt, Noah Slater CouchDB: The Definitive Guide Lars George HBase: The Definitive Guide Eben Hewitt Cassandra: The Definitive Guide Web: Slide 19

20 Univ.-Prof. Dr.-Ing. Wolfgang Maass Chair in Information and Service Systems Saarland University, Germany Slide 20