MongoDB Big Data mit Open Source

Transkript

1 MongoDB Big Data mit Open Source CommitterConf Essen Oktober 2014 Tilman Beitter Linux Consultant & Trainer B1 Systems GmbH B1 Systems GmbH - Linux/Open Source Consulting, Training, Support & Development

2 Vorstellung B1 Systems gegründet 2004 primär Linux/Open Source-Themen national & international tätig über 60 Mitarbeiter unabhängig von Soft- und Hardware-Herstellern Leistungsangebot: Beratung & Consulting Support Entwicklung Training Betrieb Lösungen dezentrale Strukturen B1 Systems GmbH MongoDB Big Data mit Open Source 2 / 48

3 Schwerpunkte Virtualisierung (XEN, KVM & RHEV) Systemmanagement (Spacewalk, Red Hat Satellite, SUSE Manager) Konfigurationsmanagement (Puppet & Chef) Monitoring (Nagios & Icinga) IaaS Cloud (OpenStack & SUSE Cloud & RDO) Hochverfügbarkeit (Pacemaker) Shared Storage (GPFS, OCFS2, DRBD & CEPH) Dateiaustausch (owncloud) Paketierung (Open Build Service) Administratoren oder Entwickler zur Unterstützung des Teams vor Ort B1 Systems GmbH MongoDB Big Data mit Open Source 3 / 48

4 Partner B1 Systems GmbH MongoDB Big Data mit Open Source 4 / 48

5 Einführung in MongoDB B1 Systems GmbH MongoDB Big Data mit Open Source 5 / 48

6 Was ist MongoDB? Open Source NoSQL Datenbank schemafrei skalierbar dokumentenorientiert entwickelt durch MongoDB Inc. B1 Systems GmbH MongoDB Big Data mit Open Source 6 / 48

7 Vergleich RDBMS und NoSQL Vergleich RDBMS und MongoDB-NoSQL RDBMS NoSQL Database Database Table Collection Index Index Row BSON Document Column BSON Field Join Embedding and Linking Primary Key _id Field B1 Systems GmbH MongoDB Big Data mit Open Source 7 / 48

8 NoSQL Not Only SQL nicht relational keine Tabellenschemata Vermeidung von JOINs horizontale Skalierung B1 Systems GmbH MongoDB Big Data mit Open Source 8 / 48

9 Das BSON Format Binary JSON bietet mehr Datentypen als JSON ermöglicht Speicherung von Binärdaten entwickelt für MongoDB erweitert zur offiziellen Spezifikation (bsonspec.org) B1 Systems GmbH MongoDB Big Data mit Open Source 9 / 48

10 Das BSON Format Beispieldokument im BSON-Format: { } "Benutzername": "linus.torvalds", "Name": { "Vorname": "linus", "Nachname": "torvalds", }, "ÜbergeordneterChef": {}, "Kollegen": [ "s.example0", "g.example1" ], "IstAbteilungsleiter": true, "Abteilungen": null, B1 Systems GmbH MongoDB Big Data mit Open Source 10 / 48

11 Systemkonfiguration B1 Systems GmbH MongoDB Big Data mit Open Source 11 / 48

12 Hardwarevoraussetzungen Minimale Systemanforderungen: Architektur: 64bit Betriebssystem Multicore CPU Arbeitsspeicher und Speicherplatz: MongoS: OS-Empfehlung Configserver: OS-Empfehlung Datenbankserver: abhängig von Datenbankgröße B1 Systems GmbH MongoDB Big Data mit Open Source 12 / 48

13 Basiskonfiguration Anpassung der Systemkonfiguration Ulimits Readahead Swap Filesystem Hugepages B1 Systems GmbH MongoDB Big Data mit Open Source 13 / 48

14 Dateien und Ports Hauptkonfigurationsdatei: /etc/mongodb.conf Logdatei: /var/log/mongodb/mongodb.log Standardports (TCP): 27017: mongod & mongos 27018: monood mit shardsvr 27019: mongod mit configsvr 27017: mongod status page (= port ) B1 Systems GmbH MongoDB Big Data mit Open Source 14 / 48

15 Komponenten der MongoDB B1 Systems GmbH MongoDB Big Data mit Open Source 15 / 48

16 Komponenten und Begrifflichkeiten 1/2 mongod mongos ConfigServer ReplicaSets Sharding B1 Systems GmbH MongoDB Big Data mit Open Source 16 / 48

17 Komponenten und Begrifflichkeiten 2/2 Abbildung : MongoDB Standalone/ReplicaSet B1 Systems GmbH MongoDB Big Data mit Open Source 17 / 48

18 Aufbau MongoDB Standalone B1 Systems GmbH MongoDB Big Data mit Open Source 18 / 48

19 Standalone-Instanz Testzwecke Entwicklung kleine Applikationen (keine Redundanz!) B1 Systems GmbH MongoDB Big Data mit Open Source 19 / 48

20 Konfiguration Standalone Basiskonfiguration: # cat /etc/mongodb.conf fork = true port = bind_ip = dbpath = /data/mongodb logpath = /var/log/mongodb/mongodb.log logappend = true nohttpinterface = true B1 Systems GmbH MongoDB Big Data mit Open Source 20 / 48

21 Authentifizierung 1/3 Authentifizierung in Basiskonfiguration inaktiv Benutzerauthentifizierung pro Datenbank Rechtevergabe anhand eines Rollensystems B1 Systems GmbH MongoDB Big Data mit Open Source 21 / 48

22 Authentifizierung 2/3 Anlegen Admin-User zur Aktivierung des Auth-Systems: $ mongo admin connecting to: admin > db.adduser("admin", "password"); { "user" : "admin", "readonly" : false, "pwd" : "9e7085a6bd3bd9d413444d3adad882bd", "_id" : ObjectId("526c39bbaa18b118ec0fc039") } B1 Systems GmbH MongoDB Big Data mit Open Source 22 / 48

23 Authentifizierung 3/3 Anlage eines Applikationsbenutzers: $ mongo admin -u admin -p connecting to: admin > use customers > db.adduser({user:"demo",pwd:"password",roles:["read"]}) { "user" : "demo", "pwd" : "cd acbc2b7d9a4a8e2c043b", "roles" : [ "read" ], "_id" : ObjectId("544df94cb6809cdd0bba4107") } B1 Systems GmbH MongoDB Big Data mit Open Source 23 / 48

24 Liveaufbau Standalone B1 Systems GmbH MongoDB Big Data mit Open Source 24 / 48

25 Aufbau MongoDB ReplicaSet B1 Systems GmbH MongoDB Big Data mit Open Source 25 / 48

26 MongoDB ReplicaSet 1/4 bietet Redundanz kann Kapazität bei Reads erhöhen erleichtert Backupstrategien und Restores besteht aus 3-12 mongod existentes Standalone-System kann migriert werden B1 Systems GmbH MongoDB Big Data mit Open Source 26 / 48

27 MongoDB ReplicaSet 2/4 B1 Systems GmbH MongoDB Big Data mit Open Source 27 / 48

30 Konfiguration ReplicaSet Basiskonfiguration: # cat /etc/mongodb.conf fork = true port = bind_ip = dbpath = /data/mongodb logpath = /var/log/mongodb/mongodb.log logappend = true nohttpinterface = true auth = true keyfile = /etc/mongodb.key replset = rs00 B1 Systems GmbH MongoDB Big Data mit Open Source 30 / 48

31 Konfiguration ReplicaSet Für die interne Authentifizierung der einzelnen Clusterkomponenten wird ein Authkey erstellt: # openssl rand -base > /etc/mongodb.key # chmod 0600 /etc/auth.key # chown mongodb:mongodb /etc/mongodb.key B1 Systems GmbH MongoDB Big Data mit Open Source 31 / 48

32 Initialisierung ReplicaSet Basiskonfiguration: $ mongo admin -u admin -p > newset = { _id: rs00, members: [... {_id: 0, host: mongodb-rs00-01:27117 },... {_id: 1, host: mongodb-rs00-02:27127 },... {_id: 2, host: mongodb-rs00-03:27137 }]} > rs.initiate(newset) [...] > rs.status() [...] B1 Systems GmbH MongoDB Big Data mit Open Source 32 / 48

33 Liveaufbau ReplicaSet B1 Systems GmbH MongoDB Big Data mit Open Source 33 / 48

34 Aufbau MongoDB ShardedCluster B1 Systems GmbH MongoDB Big Data mit Open Source 34 / 48

35 MongoDB ShardedCluster 1/5 bietet vertikale Skalierbarkeit kann Kapazität von Writes erhöhen erweitert verfügbaren Speicherplatz B1 Systems GmbH MongoDB Big Data mit Open Source 35 / 48

36 MongoDB ShardedCluster 2/5 Minimalsetup für einen redundanten MongoDB Cluster: 2 ReplicaSets mit jeweils 3 mongod-instanzen 3 ConfigServer 2 MongoS Instanzen B1 Systems GmbH MongoDB Big Data mit Open Source 36 / 48

37 MongoDB ShardedCluster 3/5 Abbildung : Sharded Cluster B1 Systems GmbH MongoDB Big Data mit Open Source 37 / 48

38 MongoDB ShardedCluster 4/5 Abbildung : Sharded Cluster - Beispiel 2 B1 Systems GmbH MongoDB Big Data mit Open Source 38 / 48

39 MongoDB ShardedCluster 5/5 Abbildung : Sharded Cluster - Beispiel 3 B1 Systems GmbH MongoDB Big Data mit Open Source 39 / 48

40 Konfiguration ConfigServer Basiskonfiguration: # cat /etc/mongodb.conf fork = true port = bind_ip = dbpath = /data/mongodb auth = true keyfile = /etc/mongodb.key logpath = /var/log/mongodb/mongodb.log logappend = true nohttpinterface = true configsvr = true B1 Systems GmbH MongoDB Big Data mit Open Source 40 / 48

41 Konfiguration MongoS Basiskonfiguration: # cat /etc/mongodb.conf fork = true bind_ip = port = keyfile = /etc/mongodb.key logpath = /var/log/mongodb/mongodb.log logappend = true nohttpinterface = true configdb = mongodb-cfg-01:27019,mongodb-cfg-02:27029,mongodb-cfg-03:27039 B1 Systems GmbH MongoDB Big Data mit Open Source 41 / 48

42 Initialisierung Cluster 1/2 Anlegen Adminuser Cluster: $ mongo admin connecting to: admin mongos> db.adduser("admin", "password"); { "user" : "admin", "readonly" : false, "pwd" : "9e7085a6bd3bd9d413444d3adad882bd", "_id" : ObjectId("526c39bbaa18b118ec0fc039") } B1 Systems GmbH MongoDB Big Data mit Open Source 42 / 48

43 Initialisierung Cluster 2/2 Anlegen Adminuser Cluster: $ mongo admin -u admin -p connecting to: admin mongos> use config switched to db config mongos> sh.addshard("rs00/mongodb-rs00-01:27117") { "shardadded" : "rs00", "ok" : 1 } mongos> sh.status() [...] B1 Systems GmbH MongoDB Big Data mit Open Source 43 / 48

44 Aktivierung Sharding Anlegen Adminuser Cluster: mongos> sh.enablesharding("demodata") { "ok" : 1 } mongos> sh.shardcollection("demodata.products", {_id:1}) { "collectionsharded" : "demodata.products", "ok" : 1 } mongos> sh.status() [...] B1 Systems GmbH MongoDB Big Data mit Open Source 44 / 48

45 Liveaufbau ReplicaSet B1 Systems GmbH MongoDB Big Data mit Open Source 45 / 48

46 Optionale Komponenten B1 Systems GmbH MongoDB Big Data mit Open Source 46 / 48

47 Optionale Komponenten Arbiter Hidden Member Delayed Member B1 Systems GmbH MongoDB Big Data mit Open Source 47 / 48

48 Vielen Dank für Ihre Aufmerksamkeit! Bei weiteren Fragen wenden Sie sich bitte an oder +49 (0) B1 Systems GmbH - Linux/Open Source Consulting, Training, Support & Development