NoSQL. Einblick in die Welt nicht-relationaler Datenbanken. Christoph Föhrdes. UnFUG, SS

Transkript

1 NoSQL Einblick in die Welt nicht-relationaler Datenbanken Christoph Föhrdes UnFUG, SS

2 About me Christoph Föhrdes AIB Semester 7 IRC: cfo #unfug@irc.ghb.fh-furtwangen.de netblox GbR (

3 Outline Einführung Apache Cassandra Internals / Datenmodell Beispiel Projekt Skalierung in EC2

4 Einführung

5 NoSQL Not only SQL Bewegung seit Anfang 2009 Wachsende Anzahl von nicht-relationalen verteilten Datenbanksystemen

6 Nicht-relational? Meist Open Source Keine serverseitigen JOINs Schemalos Eventual Consitency

7 Eventual Consistency update(x, v2) read(x) = v2 read(x) = v1 read(x) = v2 read(x) = v1 read(x) = v2 t

8 CAP Theorem Strong Consitency High Availability Partition-tolerance Verteiltes Datenbanksystem kann immer nur 2 der 3 erreichen

9 Warum NoSQL? Hochverfügbarkeit Skalierbarkeit Aber! Nicht als Ersatz für RDBMS zu sehen

10 NRDBMSs Document Stores CouchDB, MongoDB Column Stores Cassandra, HBase Tuple Space AWS SimpleDB

11 Apache Cassandra

12 Apache Cassandra Entwickelt von Facebook seit 2007 Open Source seit 03/2009 Apache Incubator seit 02/2010 Apache Top-Level In Java Implementiert

13

14 Internals Logischer Ring Daten liegen verteilt im Ring Consitent Hashing n Replikas Zur Clusterverwaltung Gossip

15 Consitent Hashing 0000 f2b1 Node1 34ca Node2 5af6 Node3 Node1 Node4 etc.

16 Consitent Hashing 0000 f2b1 Node1 34ca key = foo md5(key) = 4ca3 Node2 5af6 Node3 Node1 Node4 etc.

17 Cassandra Ring Address Status Load Range Ring Up GB < Up GB Up GB Up GB >

18 Gossip

19 Gossip

20 Gossip

21 Gossip

22 Schnittstelle Apache Thrift put (multiput) get (multiget) C++, Java, Python, PHP, Erlang, Haskell,... Trunk: Datenmodell API (Cassandra 0.7) read/write Consistency Level

23 Keyspace ColumnFamily SuperColumn Column Datenmodell

24 Column Kleinste Einheit Tupel Key -> Value (Timestamp)

25 SuperColumn Column mit Subcolumns Key -> {Column, Column, Column,...}

26 ColumnFamily Container für Rows aus Columns Kann vom Typ Super sein Um SuperColumns zu beinhalten Ähnlich Tabelle im Relationalen-Modell CompareWith CompareSubcolumnsWith BytesType, TimeUUIDType, UTF8Type,...

27 Keyspace Größte Einheit Container für ColumnFamilies Ähnlich wie Datenbank im Relationalen Modell

28 cons Mehraufwand weil schemalos Keine Transaktionen

29 Beispiel

30 Minimal Blog Artikel (timestamp, slug, title, content, autor) Autor (name, , twitter,...) n Tags n Comments (timestamp, name, content)

31 Use Cases Letzte 10 Artikel chronologisch für die Startseite Artikel chronologisch zu beliebigen Tag Kommentare umgekehrt chronologisch zu Artikel Autor(en) zu Artikel

32 ColumnFamily Authors Authors : { Christoph Foehrdes : { numposts : 42, mail@example.com, twitter : example } Author 2 : {... } <ColumnFamily CompareWith="BytesType" Name="Authors"/>

33 ColumnFamily Articles Articles : { my-first-cool-article : { title : My first cool article, slug : my-first-cool-article, author : Christoph Föhrdes, content : bla bla bla..., tags : tag1, tag2, pubdate : } the-second-article: {... tags: tag2 } <ColumnFamily CompareWith="BytesType" Name="Articles"/>

34 ColumnFamily TaggedArticles TaggedArticles : { _notag_ : { timeuuid1 : my-first-cool-article, timeuuid2 : the-second-article } tag1 : { timeuuid1b : my-first-cool-article, timeuuid2b : the-second-article } tag2 : { timeuuid1c : my-first-cool-article } } <ColumnFamily CompareWith="TimeUUIDType" Name="TaggedArticles"/>

35 ColumnFamily Comments Comments : { my-first-cool-article : { timeuuid1 : { commenter : Max Mustermann, comment : bla blub bla..., commenttime : } timeuuid2 : {... } the-second-article : {... } <ColumnFamily ColumnType="Super" CompareWith="TimeUUIDType" CompareSubcolumnsWith="BytesType" Name="Comments"/>

36 Datenmodell <keyspace Name="MinimalBlog" > <!-- keyspace config stuff --> <ColumnFamily CompareWith="BytesType" Name="Authors"/> <ColumnFamily CompareWith="BytesType" Name="Articles"/> <ColumnFamily CompareWith="TimeUUIDType" Name="TaggedArticles"/> <ColumnFamily ColumnType="Super" CompareWith="TimeUUIDType" CompareSubcolumnsWith="BytesType" Name="Comments"/> </keyspace>

37 Reihenfolge Slug s mit _notag_ für Startseite holen Artikeldaten zu slug holen Autordaten zu Name holen Kommentare zu slug holen Bei insert wird bereits sortiert!

38 Cassandra Service

39 Cassandra Service Klicki Bunti Webinterface Cluster verwalten Keyspaces / Datenmodell verwalten Dynamische Skalierung nach Last Das ganze in HFU Cloud (jetzt EC2 hrrhrr)

40 Cassandra Service Monitoring / Webinterface Cassandra Cluster

41 Cassandra Service Monitoring / Webinterface Cassandra Cluster

42 Showcase Crawler (hs-furtwangen.de) Apache lucene Lucandra (Cassandra Index Backend)

43 ArticlesAndPresentations

44