Eine Einführung in Apache CouchDB. Java-Forum Stuttgart 2011

Transkript

1 Eine Einführung in Apache CouchDB Java-Forum Stuttgart 2011

2 Johannes Schneider, cedarsoft GmbH

3 Vielen Dank

4 CouchDB The VERY Basics

5 Vorerfahrung? Nebenan spricht... über... CouchDB The VERY Basics

6 Inhalt NoSQL (ein paar) theoretische Grundlagen CouchDB praktisch

7 Was ist CouchDB?

8 Apache Top-Level-Projekt Apache 2.0 Lizenz Implementiert in Erlang (uuuh...)

9 Dokumentenorientiert (JSON) Queries per Map/Reduce Inkrementelle Replikation (Master to Master) Bi-Direktionales Konfliktmanagement REST-API

10 Leichtgewichtig Kein Treiber Internet-fähig

11 E6 RESTful APIs - warum REST mehr als http und XML ist Dr. Stefan Schlott ab 15:35 Uhr

12 Erste Eindrücke... Test-DB sandbox für Spielereien

13 Multi-Version-Concurrency

14 1 Client - 1 Database initial put Client w reply _1 v e r ith <Updating file> Update with rev_1 repl _2 v e r h y wi t CouchDB

15 2 Clients - 1 Database Client A initial put _1 v e r ith w y l rep get with rev_1 <Updating file> put with rev_1 reply w ith rev _2 CouchDB <Updating file> put with rev_1 l i ct f n o -c 409 Client B

16 2 Clients - 2 Databases initial put Replicate rev_1 rev_1 get with rev_1 Replication rev_2 Konflikt rev_2a rev_2b beide verfügbar rev_2 B Client B Couch B A rev_2 put with rev_1 Couch A Client A put with rev_1

17 Was ist NoSQL?

18 Neu entdeckt 2009 Not only SQL

19 Wir sind geprägt

20 Datenbank == Relationale Datenbank

21 gute Erfahrungen gute Tools Know-How

22 Wo liegt das Problem?

23 CAP-Theorem Brewer's Theorem

24 Consistency oder Availability opfern, um Partition Tolerance zu erreichen?

25 Bitte entscheiden Sie sich jetzt...

26 Partition Tolerance Funktioniert, auch wenn das Netzwerk mal hustet...

27 Consistency Jeder sieht zur selben Zeit die selben Daten

28 Änderungen sind atomar

29 Intuition: Absolut unerlässlich

30 Wirklich?

31 Availability Jeder kann immer Lesen und Schreiben

32 Wenn ein Netzwerk beteiligt ist, welches unter Umständen Pakete verlieren kann...

33 ... oder Hardware, die unter Umständen ausfallen kann...

34 ... dann können entweder Consistency oder Availability garantiert werden.

35 Consistency + Availability nur mit perfekter Netzwer-Infrastruktur und Hardware (Irgendwas geht immer schief)

36 Partition Tolerance P C Consistency A Availability

37 Partition Tolerance P Immer konsistent. Aber Downtime bei Ausfällen CP C Consistency A Availability

38 Postgres MySQL relational Partition Tolerance P BigTable Hbase Tabular MongoDB Terrastore Doc Redis Berkley DB Immer konsistent. Aber Downtime bei Ausfällen CP Key-Value C Consistency A Availability

39 weiterer Tradeoff: Consistency vs Latenz

40 Typisches Problem Zur Hauptzugriffszeit fällt das System aus

41 Partition Tolerance Immer verfügbar. P Aber nicht immer konsistent. CP C Consistency AP A Availability

42 Immer verfügbar. Tabular P Aber nicht immer konsistent. CP C Consistency Cassandra Partition Tolerance CouchDB SimpleDB Dynamo Voldemort AP Doc Key-Value A Availability

43 CouchDB opfert Consistency um immer verfügbar zu sein auch wenn keine Netzverbindung da ist

44 Anwendung muss dafür vorbereitet sein!

45 Replication

46 CouchDB: Alle DBs sind Master

47 Inkrementelles Replizieren put Replication Replication Replication

48 Änderungen werden (eventuell) verzögert propagiert

49 Eventual Consistency Local Consistency

50 Konflikte können auftreten

51 Konflikte müssen (manuell) gelöst werden

52 Konflikte praktisch kaum relevant wenn beim Design darauf geachtet wird

53 Updates möglichst vermeiden - statt dessen ergänzen

54 Beispiel: Blog-Kommentare Alle Kommentare in einem Dokument vs Pro Kommentar ein Dokument?

55 Wenn Konflikt-Vermeidung /-Resolving funktioniert, dann Availability maximieren Latenz minimieren

56 Local Data is King

57 Mindestens im LAN Sowieso auf mobilem Gerät (Notebook, Android, IOS)

58 Let's talk about Transactions

59 Gibt es nicht, braucht man nicht

60 Gibt es nicht, braucht man nicht Schreiben eines Dokuments ist (lokal) atomar

61 Faustregel Was bei RDBMs in einer Transaktion passiert, gehört bei CouchDB in ein Dokument

62 Serious Business

63 Open your mind

64 Noch ein kleiner Tipp C3: 11:10 Uhr Das nächste große (Java-)Ding Michael Wiedeking

65 Große Herausforderungen in Java-Land?

66 Johannes Schneider, cedarsoft GmbH

67 Quellen Visual Guide to NoSQL Systems CouchDB The Definitive Guide

68 Nachtrag

69 Was kommt in eine DB?

70 Was gemeinsam abgefragt wird

71 Security...

72 Wie speichert CouchDB die Daten?

73 Key Value (JSON-Dokument)

74 UUID / natural ID Key Value (JSON-Dokument) optional mit Attachments

75 { } "_id": "8629b62422fde9744c80f55c21000b09", "_rev": " c612f3e113912d5c1b6ef21ea77", "firstname": "Markus", "lastname": "Mustermann"

76 { } "_id": "8629b62422fde9744c80f55c21000b09", "_rev": "2-ed3408bb4c7fa9cf2d2cb32e34f49f04", "firstname": "Markus", "lastname": "Mustermann", "phones": { "mobile": " ", "work": " ", "private": " " }, "createdat": " "

77 Warum JSON-Dokumente?

78 Views Map/Reduce in der Datenbank

79 Aufbau von B-Trees Key JSON Value JSON

80 Query in B-Tree über Key-Range GET.../byName?startkey= a &endkey= z

81 JavaScript (oder andere Sprachen mit Hilfe von View Servern)

82 map: function(doc){ emit (doc.firstname, doc); }

83 Resultat Ein B-Tree nach firstname strukturiert

84 { "total_rows" : 2, "rows" : [ { "id" : "8629b62422fde9744c80f55c21000b09", "key" : "Markus", "value" : { "_id" : "8629b62422fde9744c80f55c21000b09", "_rev" : "3-3d7a92f5f459935df5b92bedc906bd7e" "firstname" : "Markus", [...] } }, { "id" : "8629b62422fde9744c80f55c21001a74", "key" : "Martha" [...] } ], "offset" : 0 }

85 Jedes Dokument wird gemappt pro Dokument können 0..n Einträge erstellt werden

86 { } "_id": "8629b62422fde9744c80f55c21000b09", "_rev": "2-ed3408bb4c7fa9cf2d2cb32e34f49f04", "firstname": "Markus", "lastname": "Mustermann", "phones": { "mobile": " ", "work": " ", "private": " " }, "createdat": " "

87 map: function(doc){ emit (doc.phones.mobile,doc); emit (doc.phones.work,doc); emit (doc.phones.private,doc); }

88 Key und Value sind JSON

89 Komplexer Key

90 map: function(doc){ emit ([doc.lastname, doc.firstname], doc); }

91 kein Schema

92 map: function(doc){ if (doc.lastname && doc.firstname) { emit ([doc.lastname, doc.firstname], doc); } }

93 Best practise [...] "person", 1, [..]

94 map: function(doc){ if ( doc['@type'] == "person") { emit ([doc.lastname, doc.firstname], doc); } }

95 Reduce Mehrere Values werden verrechnet aber bitte auch wirklich reduzieren

96 Summen-Bildung Kontostand Anzahl Einträge Statistik Durchschnitts-Bewertungen Standard-Abweichung Min/Max/... Unique Values Top N Tags

97 Queries Start-Key End-Key Reverse Grouping (mit Level)

98 Query-Einschränkungen Keys müssen bekannt sein kein (performantes) Skip keine absolute Pagination (Linked List Pagination)

99 Queries machen Spaß Aber es geht nicht alles wie gewohnt Vorher kurz nachdenken

100 Serious Business: Banken

101 Konten-Bewegungen mit Transaktionen?

102 Jede Buchung ein Dokument aktueller Kontostand durch Map/Reduce Keine Konflikte möglich

103 Cleanup? DB pro Konto und Monat/Quartal? initialer Übertrag