Einführung in die Praxis mit Oracle NoSQL

Transkript

1

2 Einführung in die Praxis mit Oracle #NoSQL #Doag Negib Marhoul, Systemberater Oracle Deutschland Mittwoch, 18. November 2015

3 Safe Harbor Statement The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle s products remains at the sole discretion of Oracle. 3

4 Agenda NoSQL Herkunft und Ausrichtung Einsatzgebiete der Oracle NoSQL DB Aufbau eines Clusters und Skalierung in der Produktion Key Value Store - Implizierte Datenstrukturen 4

5 NoSQL Herkunft und Ausrichtung Kurz und Bündig 5

6 Not Only SQL NoSQL Herkunft und Ausrichtung 6

7 2005 7

8 2009 8

9 One Size Fits all NoSQL Herkunft und Ausrichtung Dritte Normalform vs. Objekt Orientierte Programmierung Schema vs. Kein Schema Cluster mit Shared Everything vs. Sharding 9

10 Was haben NoSQL DB häufig gemeinsam Etwas Theorie zum Mitnehmen Verteilte Systeme Non-Relational Open Source Schemaless 10

11 NoSQL Datenmodelle Impliziertes Schema Polyglot Persistency Key-Value Stores Vergleichbar mit Hash Maps, Put/Get API Document Stores Jedes Dokument definiert eine Struktur, z.b. JSON Column Stores Graph Databases 11

12 CAP Eine Formel mit Nebenwirkung Available (A) Consistency (C) Partition (P) Tolerance Single Server Systeme können CA sein Verteilte Systeme sind immer eine Auswahl zwischen CP oder AP Die Wahl zwischen Konsistenz und Ausfallsicherheit ist eine Business Entscheidung Kompromiss wird zwischen Consistency und Respondstime 12

13 CAP Eine Formel mit Mehrfachdeutung Available (A) Consistency (C) Partition (P) Tolerance Single Server Systeme können CA sein Verteilte Systeme sind immer eine Auswahl zwischen CP oder AP Die Wahl zwischen Konsistenz und Ausfallsicherheit ist eine Business Entscheidung Kompromiss wird zwischen Consistency und Respondstime Martin Kleppmann 13

14 Aufbau der Oracle NoSQL DB Aufbau eines Clusters und Skalierung in der Produktion 14

15 Wo steht Oracle NoSQL Skalierbar, Hochverfügbar, Key-Value Datenbank Application Application NoSQL DB Driver Storage Nodes Datacenter A Application Application NoSQL DB Driver Storage Nodes Datacenter B Oracle NoSQL DB Funktionen Key-Value, JSON BASE Transactions Online Management Smarte Topologie Unterscheidungsmerkmale: Table Data Model Secondary Indices Data Center Support Flexible schema Streaming Large Object API ACID Transactions Online Rolling Upgrade OEM managed & Oracle technology integrated Engineered Big Data Appliance 15

16 Architektur Taxanomie Oracle NoSQL DB Treiber: Smart Driver Technology, Topology Aware Storage Node (SN): Jeder SN stellt die Hardware und beinhaltet N tion Nodes (RepNode) tion Node (RN): Ein RN pro Disk Drive ist praktisch jeweils eine KV-Datenbank Instanz Shard (Replikationsgruppe, RG) : Eine logische und ausfallsichere Gruppierung der verfügbaren RN mit konfigurierbarem Replikationsfaktor 17

17 Topologie Einführung : Basis, Aktualisierung und Ausbau Shard 1 Shard 2 Shard 3 Zone 1 Rechenzentrum : Frankfurt Storage Node 1 KV Store: Capacity 3, RF 3 Storage Node 2 Storage Node 3 KV Store: Container für Storage Nodes und tion Nodes Capacity: Ressourcen der Storage Nodes, z.b. Disk Drives. tion Factor: Erhöht die Datensicherheit und Leseperformanz. tion Node And Partitions 18

18 Topologie Einführung : Basis, Aktualisierung und Ausbau Shard 1 Zone 1 Rechenzentrum : Frankfurt Storage Node 1 KV Store: Capacity 3, RF 3 Storage Node 2 Storage Node 3 Zone 2 Rechenzentrum München Capacity 3, RF 1 Storage Node 4 Partitions: Verhindern Hotspots. Zones: Ausfallsicherheit über Rechenzentren. Shard 2 Topology: Automatisierte Bereitstellung und Aktualisierung des Clusters Shard 3 19

19 Topologie Ausfallsicherheit, Skalierbarkeit und Upgrade Read/Write Zone 1 Rechenzentrum Frankfurt KVStore: Primary Storage Node 1 Read / Write Prozess. Kopiert Daten an alle s im Shard. Slave Read Only Prozess. Read Only 20

20 Topologie Ausfallsicherheit, Skalierbarkeit und Upgrade Zone 1 Rechenzentrum Frankfurt KVStore: Primary Storage Node 1 Zone 1 Rechenzentrum Frankfurt KVStore: Primary Storage Node 1 Wenn ausfällt 1 Verbleibende s wählen neuen (PAXOS). 2 Alter koten kann als wieder eingebunden werden. 3 Bei einem einzigen Knoten im Shard. 21

21 Topologie Ausfallsicherheit, Skalierbarkeit und Upgrade Zone 1 Rechenzentrum Frankfurt KVStore: Primary Storage Node 1 Zone 1 Rechenzentrum Frankfurt KVStore: Primary Storage Node 1 Zone 1 Rechenzentrum Frankfurt KVStore: Primary Storage Node 1 Storage Node Administrator (SNA) 1 Listener für tion Node 2 Automatischer Restart von oder Knoten. 3 Read Only, Bei einem Knoten 22

22 Topologie Ausfallsicherheit und Skalierbarkeit capacity: 3 Shard 1 Shard 2 Shard 3 tion Factor = 2 tion Factor = 3 Datendurchsatz Mehr Shards => Höhere Schreibperformanz Mehr s pro Shard => Höhere Leseperformanz Datenkapazität Mehr Storage Nodes => Mehr Datenkapazität Mehr Disks pro SN => Mehr Datenkapazität Shard 1 Shard 2 23

23 Topologie Rebalancing Cluster Elastitzität Storage Node 1 Storage Node 2 Storage Node 3 Anpassungen an unterschiedliche Hardware im Cluster Stärkere Knoten können mehr Last übernehmen Häufig gefordert bei Austausch einzelner HW-Knoten Oracle NoSQL DB Partition 24

24 Kapazitätsplanung Tools und Calculator inklusive java -Xmx256m -Xms256m -d64 -XX:+UseCompressedOops -jar $KVHOME/lib/je.jar DbCacheSize -key 13 -data records === Database Cache Size === Number of Bytes Description ,492,337,504 Internal nodes only 46,132,787,584 Internal nodes and record versions 1,116,604,787,616 Internal nodes and leaf nodes 40 GB RAM tion Factor 3 = 120 GB RAM 1,2 TB Disk tion Factor 3 = 3,6 TB Disk 25

25 Kapazitätsplanung Beispiel Hardware-Ausstattung Pro Storage Node - 48 GB RAM - 3 Disks mit jeweils 500 GB 48 GB 500 GB 500 GB 500 GB 26

26 Kapazitätsplanung Beispiel Hardware-Ausstattung 3 Storage Nodes - 48 GB RAM x 3 = 144 GB (> 120GB) 48 GB 48 GB 48 GB - 1,5 TB (500GBx3) x 3 = 4,5 TB (> 3,6 TB) 1,5 TB 1,5 TB 1,5 TB 27

27 Installation, Bootstrapping und Deployment der Topologie Bootstrapping Storage Node Storage Node (SN) - Cluster Konfiguration Start Storage Node Agent (SNA) SNA $KVROOT/ config.xml - NoSQL Listener Kommunikation zwischen Admin Knoten und den NoSQL DB Knoten Admin Tasks Create Store Create Datacenter Assigne SN to DC Deploy MxN Topology tion Node 1 tion Node 2 tion Node 3 - Auf Basis vom Replikationsfaktor werden mit dem deployen der Topologie entsprechend Shards und tion Nodes angelegt - KV Store : DataCenter: Frankfurt tion Factor = 3 Events 28

28 Bootstraping Oracle NoSQL DB Skript Beispiel 29

29 Deployment der Topologie Skript Beispiel 30

30 Aufbau eines Clusters und Skalierung in der Produktion Demo 31

31 Demo Capacity 3 tion Factor 3 Zone 1 Nürnberg 3x3 32

32 3x3 NoSQL DB Cluster Zone 1 Rechenzentrum : Nürnberg KV Store: Capacity 3, RF 3 Shard 1 Shard 2 Shard 3 33

33 Demo Capacity 3 tion Factor 3 Zone 1 Nürnberg 4x3 34

34 4x3 NoSQL DB Cluster Zone 1 Rechenzentrum : Nürnberg KV Store: Capacity 3, RF 3 Shard 1 Shard 2 Shard 3 Shard 4 35

35 Demo Capacity 4 tion Factor 1 Zone 1 Nürnberg 4x4 ZONE Zone 2 München 36

36 4x4 NoSQL DB Cluster Zone 1 Rechenzentrum : Nürnberg KV Store: Capacity 3, RF 3 Shard 1 Shard 2 Shard 3 Shard 4 Zone 2 Rechenzentrum : München KV Store: Capacity 4, RF 1 37

37 Key Value Store Implizierte Datenstrukturen 38

38 Die Basis: Was ist ein "Key-Value-Store"? Key = Index Key-Value Store CUSTOMERS Key Value Zeilen A A A A Das ist ein Text, der als Value abgelegt ist Datenstrukturen sind nicht selbstbeschreibend Im wesentlichen eine zweispaltige Tabelle "KEY" und "VALUE" VALUE kann auch ein komplexes Objekt sein Die Anwendung kennt die Datenstrukturen nicht selbstbeschreibend Joins zu anderen Key-Value Stores allein durch die Anwendung Einfache Zugriffe: GET, PUT, DELETE 39

39 Key Value ist nicht alles Tabellenstrukturen gehen auch Table API Tabellen-Abstraktion Zeilen und Spalten Secondary Indexes JSON / Avro Datenstrukturen Schema-Support JSON-Daten Key-Value Einfaches Datenmodell Key-Value Paare (major+minor-key Paradigma) Einfache Operationen read/insert/update/delete, Multi-Write support Scope der Transaktion Sätze eines major Key, ein API Aufruf Einfache Operationen Beliebige Binärdaten 40

40 Flexibles Datenmodell Key Value Paare Strings Major key: Minor key: subscriptions userid address picture Byte Array Value: expiration date phone # id.jpg Value Options: Opaque Object JSON Large Object RDF Triples Tables/Rows 41

41 Major und Minor Keys Major key Major key: Gruppen Information Eine Transaktion bezieht sich auf Sätze eines major Key Gespeichert im gleichen Shard Minor key: Server identifiziert einzelnes Element der Gruppe Unterstützung Untergruppen SSN: First_Name: Ashok Last_Name: Joshi Address: Street: 400 Oracle Parkway City: Redwood Shores State: CA ZIP: Balance: $1,000, Transaction history: : Buy X for $100;00, sell Y for $ : Buy X for $140.00, : Minor key Nested Minor key 42

42 Leseprozess der Oracle NoSQL DB Operation Results New Partition Map RepNode Storage Table tion Node ID Request Operation Hash Major Key Partition Map State Table Load Balancer Key, Transaction Policy Partition ID Shard ID Storage Node ID KV Store: Primary Shard 1 Applikation Smart Topology Driver Hash Function Partition Number... Shard 2 Operation + Key[M,m] + Value + Transaction Policy 43

43 Schreibkonsistenz festlegen: Codebeispiel Auf Ebene des Calls setzbar sowohl Table API als auch KV API Applikationsweiter Default : Durability d = new Durability( Durability.SyncPolicy.SYNC, Durability.SyncPolicy.SYNC, Durability.AckPolicy.NONE ); // Commit-Policy MASTER // Commit-Policy REPLICA // Replikations-Policy <KVStoreConfig>config.setDurability(d); : 44

44 Beispielanwendung App ER Diagram 45

45 Tabellen API der Oracle NoSQL Hierarchical key space, table meta layer Parent/child Parent/child Value Value Value Value 46

46 Tabellen und NoSQL Wiederspruch oder Ergänzung $ java -jar $KVHOME/lib/kvcli.jar -host kvhost01 -port store Doag2015Store kv-> execute "CREATE TABLE IF NOT EXISTS users (userid STRING, name RECORD (first STRING, middle STRING, last STRING), age INTEGER CHECK(age >=0 AND age<=200), gender ENUM(M,F), STRING,password STRING,active BOOLEAN DEFAULT TRUE, createdon LONG, modifiedon LONG,PRIMARY KEY (userid))"; Statement completed successfully kv-> show tables Tables: users 47

47 Tabellen und NoSQL Wiederspruch oder Ergänzung kv-> put table -name users -json Operation successful, row inserted. kv-> get table -name users lcome1","active":true,"createdon":0,"modifiedon":0} kv-> get table -name users -field userid -value 7369 lcome1","active":true,"createdon":0,"modifiedon":0} 48

48 Beispiel Diverse Abfragen Query by primary key kv-> get table -name user -field userid -value 1 Parent/child Query by secondary index Parent/child kv-> get table -name user -index index -field -value mike.smith@ .com Range Queries kv-> get table -name user -index ageindex -field age - start 12 -end 20 Queries with Value Value kv-> ordered results Value get table -name user -index index Value 49

49 Beispiel Join - Abfragen Intersection Queries (JOIN) Parent/child Parent/child kv-> get table -name User.Folder.Message -field userid - value 1 -field folderid -value 2 Value Value Value Value 50

50 NoSQL Briefkasten App Demo 51

51 Weitere Informationen zum Thema Forester Wave for NoSQL KeyValue Databases Q Yahoo Cloud Service Benchmark Oracle NoSQL Blog Vielen Dank fürs zuhören! Oracle NoSQL DB Dokumentation NoSQL-DB Org ORM Is an Offensive Anti-Pattern #NoSQL #Doag2015 A plain english introduction to CAP Theorem NoSQL Databases - Free Online Book Negib Marhoul, Systemberater Oracle Deutschland 52

52 Safe Harbor Statement The preceding is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle s products remains at the sole discretion of Oracle. 53

53 54

54