MongoDB. kurz und bündig für den ORACLE-DBA. Thomas Köppel März 2017

Transkript

1 MongoDB kurz und bündig für den ORACLE-DBA Thomas Köppel März 2017

2 Motivation Die MongoDB ist eine der bekanntesten NoSQL- Datenbanken und kommt immer häufiger zum Einsatz. Nach dem Motto "Datenbank ist Datenbank" werden die Oracle-DBAs oftmals überraschend in Besprechungen mit ihr konfrontiert, ohne deren Konzepte zu kennen. Dabei unterscheidet sich die MongoDB grundlegend von einer Oracle- oder MySQL-Datenbank. Dieser Vortrag bietet einen Überblick über die Grundlagen, Eigenheiten und Architektur-Konzepte der MongoDB und soll den Einstieg in das Thema erleichtern. Der Vortrag entstand im Rahmen einer Projekt-Evaluation mit der MongoDB Version 3.2 im September Markenzeichen und Markennamen sind Eigentum der jeweiligen Markeninhaber.

3 Thomas Köppel Stellv. DOAG Regio Leiter Nürnberg/Franken Oracle IT-Berater 20 Jahre Erfahrung Oracle Database XING: Thomas Köppel Mail:

4 SINTEC Informatik GmbH Softwareentwicklungs- und Beratungshaus Mittelständler mit über 20 Jahre IT- Projekterfahrung Team aus erfahrenen und zertifizierten Analytikern, Software- Ingenieuren, Programmierern, IT- und Prozessberatern, Testern, Scrum Master, Projektleitern sowie Netzwerk- und Datenbankenspezialisten Maßgeschneiderte IT-Applikationen und -Services für digitale Transformation / Industrie 4.0 und Internet of Things (IoT) Innovative Lösungsansätze, z.b. mit Design Thinking

5 MongoDB?

6 humongous Etymologies Perhaps blend of huge and monstrous or tremendous. (American Heritage Dictionary of the English Language, Fourth Edition) From huge + monstrous (Wiktionary)

7 Was ist die MongoDB? NoSQL-Datenbank Ist Schemafrei, hat keine Tablespaces Clusterfähigkeit ist Bestandteil des Architekturkonzepts

8 Wer steht hinter der MongoDB? MongoDB Inc., gegründet 2007 von Dwight Merriman, Eliot Horowitz und Kevin Ryan das Team hinter DoubleClick.

9 Thesen von MongDB Inc. zu MongoDB

10 Analystenmeinung Forrester (1) NoSQL-Datenbanken Leaders MongoDB remains the most popular NoSQL database Oracle s NoSQL is a viable option for Oracle customers a Key-Value-Database D.h. die Datenbanken sind nicht direkt vergleichbar.

11 Analystenmeinung Forrester (2) zu MongoDB und Oracle NoSQL

12 Ranking von DB-Engines SQL und NoSQL-Datenbanken Es wird kein Unterschied zwischen Oracles's RDBMS und NoSQL Datenbank gemacht!

13 Software der MongoDB DB-Editionen Enterprise Edition (kostenpflichtig), enthält u.a. Transport-Verschlüsselung (keine Daten), LDAP, Kerberos, Point-In-Time-Snapshots Community Edition (kostenlos) Tools (kostenpflichtig) Ops Manager, Compass, Connector for BI Download:

14 Dokumentation Allgemeine Sizing Monitoring withnotes?next_slideshow=

15 NoSQL-Datenbank MongoDB

16 Erstkontakt zu einer MongoDB MongoDB-Shell als Kommandozeilen-Interface Linux: tsk023lx:/data/mongodb #> mongo MongoDB shell version: connecting to: test Welcome to the MongoDB shell. For interactive help, type "help". For more comprehensive documentation, see Questions? Try the support group : Windows: C:\mongoDB\Server\3.2\bin> mongo MongoDB shell version: connecting to: test :

17 NoSQL vs. Relationale Datenbank NoSQL (MongoDB) Database Collection Index BSON-Document BSON-Field Embedding and Linking _id-field (ObjectID) Relationale DB (MySQL) Database Table Index Row Column Join PrimaryKey

18 Database Physischer Container von Collections/User/Rollen... (eher mit MySQL vergleichbar, nicht mit ORACLE RDBMS), default Datenbank ist "test". > use mydb Erzeugen einer Datenbank, wird aber erst bei dem insert-command persistiert. > show dbs Anzeigen aller Datenbanken

19 Collection Entspricht einer Tabelle in einer relationalen Datenbank. > db.people.insert ( {"name": "John"} )

20 Document Entspricht einem Datensatz in einer relationalen Datenbank. MonogDB verwendet die BSON-Struktur Nicht nur die Werte, sondern auch die Feld- Bezeichner werden gespeichert. Lange Feld-Bezeichner bedeuten mehr Speicherplatz- Verbrauch. Ein Dokument kann max. 16 Mbytes groß werden. Es können doppelte Feld-Bezeichner verwendet werden. => ggf. schwierig bei Abfragen und Tools

21 BSON Es gibt keine Struktur innerhalb eines Dokumentes Beliebige Felder können beliebige Inhalte/Datentypen haben BSON ist das Binary-JSON-Format, um mehr Datentypen verwenden zu können.

22 Speicherstruktur eines BSON-Dokuments Beispiel: {"hello": "world"} Speicher: \x16\x00\x00\x00 # total document size \x02 # 0x02 = type String hello\x00 # field name \x06\x00\x00\x00world\x00 # field value \x00 # 0x00 = type EOO ('end of object')

23 Document-Fields Entspricht den Feldern in einer relationalen Datenbank. Müssen sehr genau gehandhabt werden => Disziplin beim Entwickeln notwendig. Folgende Inserts sind einander ähnlich und valide, aber Abfrage-Ergebnisse sind unterschiedlich: {"FirstName": "Albert", "LastName": "Einstein" } {FirstName : "Marie", LastName: "Curie" } {"Firstname": "Ernest", "Lastname": "Rutherford" } {"Firstname": "Wolfgang", "LastName": "Pauli" } {"Lastname" : "Noether", "Firstname": "Emmy" } {"Lastname" : "Röntgen", "Firstname": "Wilhelm", "Firstname" : "Carl" } {"Last Name": "Feyman", "First Name": "Richard" } Abfrage (Select) mit Find db.people.find( { "Firstname" : "Emmy" } )

24 Inserts > db.people.insert ( { "FirstName": "Albert", "LastName": "Einstein" } ); WriteResult({ "ninserted" : 1 }) > db.people.insert ( { FirstName: "Marie", LastName: "Curie" } ); WriteResult({ "ninserted" : 1 }) > db.people.insert ( { "Firstname": "Ernest", "Lastname": "Rutherford" } ); WriteResult({ "ninserted" : 1 }) > db.people.insert ( { "Firstname": "Wolfgang", "LastName": "Pauli" } ); WriteResult({ "ninserted" : 1 }) > db.people.insert ( { "Lastname": "Noether", "Firstname": "Emmy" } ); WriteResult({ "ninserted" : 1 }) > db.people.insert ( { "Lastname": "Röntgen", "Firstname": "Wilhelm", "Firstname": "Carl" } ); WriteResult({ "ninserted" : 1 }) > db.people.insert ( { "Last Name": "Feyman", "First Name": "Richard" } ); WriteResult({ "ninserted" : 1 })

25 Find(e) die Fehler (Select) > db.people.find (); { "_id" : ObjectId("57f3fdad53eb50a1ea573aa6"), "FirstName" : "Albert", "LastName" : "Einstein" } { "_id" : ObjectId("57f3fdb553eb50a1ea573aa7"), "FirstName" : "Marie", "LastName" : "Curie" } { "_id" : ObjectId("57f3fdb553eb50a1ea573aa8"), "Firstname" : "Ernest", "Lastname" : "Rutherford" { "_id" : ObjectId("57f3fdb553eb50a1ea573aa9"), "Firstname" : "Wolfgang", "LastName" : "Pauli" } { "_id" : ObjectId("57f3fdb553eb50a1ea573aaa"), "Lastname" : "Noether", "Firstname" : "Emmy" } { "_id" : ObjectId("57f3fdb553eb50a1ea573aab"), "Lastname" : "Röntgen", "Firstname" : "Carl" } { "_id" : ObjectId("57f3fdb553eb50a1ea573aac"), "Last Name" : "Feyman", "First Name" : "Richard" } > db.people.find ( { firstname: "Carl" } ) ; > db.people.find ( { Firstname: "Carl" } ) ; { "_id" : ObjectId("57f3fdb553eb50a1ea573aab"), "Lastname" : "Röntgen", "Firstname" : "Carl" } > db.people.find ( { Firstname: "Wilhelm" } ) ; > db.people.find ( { Firstname: "Marie" } ) ; > db.people.find ( { FirstName: "Marie" } ) ; { "_id" : ObjectId("57f3fdb553eb50a1ea573aa7"), "FirstName" : "Marie", "LastName" : "Curie" }

26 Beispiel für komplexeres Dokument { _id: ObjectId(" df3f4948bd2f98391"), name: { first: "Alan", last: "Turing" }, birth: new Date('Jun 23, 1912'), death: new Date('Jun 07, 1954'), contribs: [ "Turing machine", "Turing test", "Turingery" ], views : NumberLong( ), contact: { phone: { type: "cell", number: " " } } }

27 Datentypen Vorheriges Dokument verwendet folgende Datentypen: _id verwendet den Typ ObjectId als Primary Key. name ist ein embedded document, dass die Felder first und last enthält. birth und death speichert Werte vom Typ Date. contribs speichert ein Array of strings. views speichert den Wert des Typs NumberLong. contact enthält ein embedded document, dass wiederum ein embedded document (phone) beinhaltet, mit den Feldern type und number (contact.phone.number)

28 Transaktionsverhalten MongoDB kennt keine Transaktionen wie die Oracle Datenbank. Transaktionen müssen in der Anwendungslogik nachgebaut werden. Beispiel: Eine Kontoüberweisung sind 2 Transaktion die in ggf. in 2 unterschiedlichen Shards stattfinden können. Bei Verwendung von Shards muss ein "Two-Phase- Commit" programmiert werden. Ein Update ist immer ein Delete- und ein Insert- Operation auf Dokumentebene!

29 Die Auswahl der Datenbank als Frage der zu speichernden Datenstruktur Nicht jede Datenstruktur ist gleichermaßen für die MongoDB geeignet. GUT: In sich abgeschlossene Dokumente Keine Änderungen (Updates) Nicht so gut: Social Media Datenstrukturen Verlinkte Dokumente Rekursive Dokumente

30 Security Figure Ursache Konfigurationsfehler: 1) Disablen der bind_ip Directive 2) Kein Access Control aktiviert Hilfestellung siehe

31 MongoDB-Komponenten Je nach Rolle in einem System müssen die Instanzen unterschiedlich konfiguriert werden. Konfigurations-Datei: /etc/mongod.conf Log-Datei: /var/log/mongodb/mongod.log

32 mongod-instanz Instanz zur Datenspeicherung Sollte nur einmal auf jedem Server laufen! Hohe Anforderungen an die Hardware schnelles Festplattensystem viel RAM (komplettes WorkingSet, WorkloadSet) P/S

33 ReplicaSet Verbund von mongod-instanzen (vertikale Skalierung) Dient der Ausfallsicherheit Min. 3 Instanzen (ein Primary, mehrere Secondary) Umfasst n ungerade mongod-instanzen Keine Performance-Verbesserung beim Schreiben RS01 Kopien der Datensätze durch Anwenden eines Change-Logs (Oplog): S2 liest von S1 liest von P. Für höchstmögliche Sicherheit kann ein System so konfiguriert werden, dass die Bestätigung an die Anwendung nur dann zurück gegeben wird, falls m von n Server bestätigen, das ein WriteOK stattgefunden hat. P S1 S2

34 Ausfallszenarien Die Primary-Instanz fällt aus Secondary-Instanzen wählen, ggfs. auch mit Arbiter, (Election) die neue Primary-Instanz, ggfs. mit unterschiedlichen Gewichtungen der Instanzen. Die Kommunikation zwischen den Instanzen fällt aus Eine einzelne Secondary-Instanz meldet sich nie als Primary-Instanz! Bei zwei Gruppen wird die Gruppe mit den meisten Mitgliedern die Primary Gruppe.

35 Problem Replication-Lag Auseinanderlaufen der Replication Ausfall zu langsame Hardware, Netzwerk Instanz herunterfahren, Datenfiles kopieren, Instanz hochfahren

36 mongo-cluster Verbund von mehreren Instanzen Kann je nach Anforderung aus den unterschiedlichste Kombinationen von verschiedenen Instanz-Typen gebaut werden.

37 Sharding RS_01 Aufteilen der Daten in verschiedene Bereiche (Shards) S1 P mittels eines Shardkey als horizontale Skalierung. S2 S1 "Ahnlich wie die Partitioning-Option bei der Oracle Datenbank " Shardkey-Typen: Hash, Zone (Type), Range Ein Shard ist in der Regel immer ein ReplicaSet. Sharding wird auch eingesetzt, falls der Festplatten- Speicher für eine mongod-instanz nicht mehr ausreicht... Oder zur Performance-Steigerung Balancer verteilt (nachts/manuell) die Daten zwischen den Shards, falls Änderungen anstehen. P RS_02 S2 RS_03 S1 S2 P

38 ConfigDB Spezielle mongod-instanz Verwaltet die Konfiguration und die aktuellen Zustände der Shards und des Clusters. Ist das "Adressbuch" (Welche Daten werden in welchem Shard gespeichert). Distributed Lock Manager Kann auf einem leistungsschwächerem System laufen. Single-Point-of-Failure (Totalversagen) Ab Version 3.2 sollte die ConfigDB in einem ReplicaSet aufgebaut werden. CfP RS_Cf CfP Cf1 Cf2

39 mongos-instanz MongoDB Shard: Routing-Instanz S zwischen Applikation und mongo-datenbank Cacht die Einträge der ConfigDB Ablauf: client -> mongos (ConfigDB)-> mongod Es können mehrere mongos-instanzen laufen, z.b. einem pro Webserver. Konfiguration enthält Verweise auf die ConfigDB-Instanzen.

40 Weitere Instanz-Typen, z.b. Arbiter A Hält keine Daten Dient nur als Stimmberechtigter um bei einem Ausfall die Primary-Instanz zu bestimmen. Hidden-member Unsichtbar für Clients Kann nie Primary-Instanz werden Kann z.b. für Backup-Strategien eingesetzt werden Delay-member (Slave Delay) Entspricht einer nachlaufenden Datenbank (Schutz vor Anwenderfehler)

41 WebServer Driver S Daten- Zugriff Architektur eines Sharded-Cluster AppServer Driver RS_Cf S Metadaten CfP Cf1 Cf2 RS_01 RS_02 RS_03 P S2 S1 S3 S1 P S2 A S2 S1 P

42 Aufbau eines Sharded-Clusters 1. Aufbau einer mongod-instanz 1. Installation/Konfiguration einer mongod-instanz 2. Erstellen und Verteilen eines Authentifizierungsschlüssel / Konfiguration 3. Einrichtung eines Cluster-Administrators 2. Aufbau von mongod-instanzen gemäß Zusammenschließen der mongod s zu ReplicaSets 4. Aufbau von Shards aus ReplicaSets 5. Aufbau einer ConfigDB als ReplicaSet 6. Aufbau von mongos-instanzen

43 Fragen???