Soziotechnische Informationssysteme

Transkript

1 Soziotechnische Informationssysteme 8. NoSQL Relationale Datenbank

2 NoSQL Datenbank Relationale Datenbank? NoSQL Datenbank RDBM 2

3 Warum? Skalierbarkeit Riesige Datenmengen Performanz und Elastizität Auslastung großer Cluster Agile Modelle Erst schießen dann fragen Die gute alte Zeit 3

4 RDBMs 970, IBM Edgar Codd Persistente Datenspeicherung Formal fundierte Methode Transaktionen Retrievalsprache 4

5 Kleinere Wehwehchen J Impedance Mismatch OO als Cure Shared Database Integration Wachsende Komplexität Application Databases Integration über Services Service- Orientation Schema A priori erstelltes Datenmodell Objekte Objektbeziehungen inkl. Kardinalitäten Erweitertes Entity- Relationship- Modell Abbildung auf Relationen Normalisierung Vermeidung von Datenredundanzen Werzeugunterstützt 5

6 Schema Spieler Name Elo 2 0..* Spiel Ergebnis..* Zug Notation..* Stellung 0..* 0..* Kommentar Inhalt 0..* 0..* 6

7 Spieler PKey Name Elo Carlsen Aronian Kramnik 28 4 Anand Sturm 42 Relationen Spiel GKey Weiss Schwarz Resultat 0 2 :0 5 0: Zug GKey Lfd PosKey Notation 234 f e g Qh4# e4 Stellung 4242 (Fool s Mate) 7

8 Ein Server (RDBMS) Spieler Zug Kommentar Spiel Stellung RDBMS Mehrere Server (Distribution) Spieler Spiel Stellung RDBMS Zug RDBMS Kommentar RDBMS 8

9 Mehrere Server (Partitioning) Spieler Zug Spiel RDBMS Stellung Spiel Zug RDBMS Zug Kommentar Stellung RDBMS SQL Structured Query Language Definition Manipulation Control Retrieval 979 entstanden, 986 ANSI, 987 ISO 20: SQL/XML 9

10 Join Tabellenverknüpfung Primär- und Fremdschlüssel Spieler PKey Name Elo Carlsen Aronian Kramnik 28 4 Anand Sturm 42 Spiel GKey Weiss Schwarz Resultat 0 2 :0 5 0: Schemaless Unbekanntes Terrain Moving Target Unstrukturierte /Semi- strukturierte Daten Manchmal Strukturiert - > Semistrukturiert Höhere Performanz durch Datenaggregation 0

11 Schema Spieler Name Elo 2 0..* Spiel Ergebnis..* Zug Notation..* Stellung 0..* 0..* Kommentar Inhalt 0..* 0..* Aggregation Spieler Name Elo 2 0..* Spiel Ergebnis..* Zug Notation..* Stellung 0..* 0..* Kommentar Inhalt 0..* 0..*

12 Beispiel JSON Bemerkungen Aggregate in sich abgeschlossen Groß Datenredundanzen Vielfältige Aggregationsmöglichkeiten Nicht wirklich Schemalos Implizit im Programmcode 2

13 Zäsur Skalierbarkeit bei RDBMS hat Grenzen Datenvolumen Ausschöpfen der inhärenten Parallelität Echtzeit- Internet Zuverlässigkeit Verteilung Verfügbarkeit Neue Denkmodelle Konzentration In- Memory TB Hauptspeicher = 8300 Euro 8 GB DIMM, DDR3, 800 MHz ManyCore CPUs Teile der DB im Hauptspeicher cachen Cache- und speicher- optimierte Algorithmen 3

14 Microsoft Hekaton Beispiel bwin: 5k TPS auf 250k TPS Teil von SQL Server 202 (xvelocity) Maßgeschneiderte Daten- und Indexstrukturen Cache- Optimierung (Bw- Tree) Lock- free Algorithmen Multi- version Concurrency Control HMC Hybrid Memory Cubes 320 GB/s statt GB/s (DDR3 DIMM) 4

15 NoSQL (Aggregates) Map- Reduce NoSQL NoSQL NoSQL 5

16 A tomicity C onsistency I solation D urability Transaktion Mehrere Operationen als Einheit auffassen BOT EOT Datenkonsistenz 6

17 Atomicity Unteilbarkeit Alles oder Nichts EOT: Abort EOT: Commit Abort Consistency T Anwendungsdefiniert BOT... EOT Datenkonsistenz Commit 7

18 Isolation Serialisierbarkeit T T2 XOR T T2 t T2 T Durability 8

19 B asically A available S oft state E eventual consistency 9

20 BASE Verfügbarkeit Wiederherstellbarer Zustand Näherungen Teilsichten Latenztoleranz Schwächt D in ACID ab Schwache Konsistenz Kopien letztendlich identisch Betonung Distributed Traditionelle DBMS Vertikale Skalierung NoSQL- Systeme Horizontale Skalierung 20

21 Skalierungsvarianten Sharding (= Partitionierung) Verteilen der Daten über alle Knoten Replikation Master (RW) / Slave (R) Peer- 2- Peer (RW) Schnelles Finden Distributed Hash Table (DHT) DHT Hash Konsistenter Hash Einfügen neuer Knoten kann nur bei benachbarten Datensätzen einen Ortswechsel zur Folge haben. 2

22 Funktionstüchtiger Knoten antwortet bei Empfang einer Nachricht Availability A CAP Theorem Consistency C P Partition Tolerance Falls es mehrere Kopien eines Datums gibt, dann sind diese gleich Brewer, 2000 There is no free lunch! A C P 22

23 A AP C P Hochgradig replizierte Daten Inkonsistenzen tolerieren (Eventually) Beispiele DNS, NoSQL,... A CA C P Vertikale Skalierung Keine Antwort bei erkannter Partitionierung Beispiele Klassische Datenbanksysteme 23

24 A CP C P Hauptsache konsistent und partitions- tolerant Beispiele Geldautomat,... Historisches Wachsende Datenfluten Pioniere Google BigTable (2004) Amazon Dynamo (2007) Forschungsergebnisse sinnvoll anwenden Verteilte Systeme, P2P,... 24

25 Datenmodelle Schema Relationen Objekt- relational (UML) Schemaless Key- Value Document Column- Family Graph Größte Gruppe Value opaque Key Key Key Key Key Key Value Value Value Value Value Value Beispiele Cassandra, Dynamo(DB), Voldemort, Redis (In- Memory), MongoDB, FoundationDB (ACID), InfinityDB,... 25

26 Key Document Value zu einem gewissen Grad strukturiert Beispiele CouchDB (JSON), MongoDB (BSON), OrientDB, SimpleDB Column- Family Beispiele BigTable, Accumulo, HBase,... 26

27 Carlsen Sturm Graph Anand Eher SQL als NoSQL! Einige bieten ACID Vertikale Skalierung Graph Query Languages 0: Beispiele Neo4j, OrientDB, FlockDB (Scala) e4 f3 e5 g4 :0 Qh4 Vertikale Skalierung In- Memory- Technologien Fazit Horizontale Skalierung Vorteile verteilter Systeme Parallelarbeit / Performanz Verfügbarkeit Nachteile Latenzen Partitionierungen und Ausfälle Schwache Konsistenz 27

28 Polyglot Persistence Wechselseitige Synergieeffekte Innovative Ansätze finden Einzug in RDBMS ACID (in Teilen) und SQL für NewSQL Nutzung mehrerer DBMS Application DB Service- Orientierung Neue Denkmodelle Vielfach RDBMS weiterhin. Wahl Mut zu alternativen Ansätzen Auch bei kleineren Datenmengen Übung / Erfahrung Beherrschungsstufe 28

29 Relationale Datenbank NoSQL Datenbank NewSQL Datenbank NewSQL Datenbank NewSQL Datenbank NewSQL Datenbank NewSQL Datenbank 29

30 Referenzen 30