ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik

Transkript

1 ARFA ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik Ralf Leipner Domain Architect Analytics, Risk Management & Finance 33. Berner Architekten Treffen

2

3 Warum haben wir NoSQL Datenbanken im Einsatz? Andere 11% Komplexität 12% Kosten, Aufwand 16% hohe Latenz, niedrige Perfomance 29% Unfähigkeit in der Skalierung 35% unflexibel, starres Schema 49% Quelle: Couchbase NoSQL Survey, Dezember 2011, 1351 PostFinance AG V1.00 öffentlich NoSQL Datenbanken Ralf Leipner Seite 3

4 Gründe für die Entstehung von NoSQL Datenvolumen & Skalierbarkeit Google: BigTable -> HBase Facebook Cassanda Riak Neue oder / und komplexe Datenstrukturen Graphen: Neo4j Änderungsfrequenz Agile Softwareentwicklung Performance InMemory: Redis Verfügbarkeit PostFinance AG V1.00 öffentlich NoSQL Datenbanken Ralf Leipner Seite 4

5 Definition von NoSQL Datenbanken Es gibt keine gültige oder gebräuchliche Definition nur die lapidare Formulierung»Not Only SQL». Eingrenzung: Unter NoSQL wird eine neue Generation von Datenbanksystemen verstanden, die meistens einige der nachfolgenden Punkte berücksichtigen: 1. Das zugrundeliegende Datenmodell ist nicht relational. 2. Die Systeme sind von Anbeginn an auf eine verteilte und horizontale Skalierbarkeit ausgerichtet. 3. Das NoSQL-System ist Open Source. 4. Das System ist schemafrei oder hat nur schwächere Schemarestriktionen. 5. Aufgrund der verteilten Architektur unterstützt das System eine einfache Datenreplikation. 6. Das System bietet eine einfache API. 7. Dem System liegt meistens auch ein anderes Konsistenzmodell zugrunde: z.b. "Eventually Consistent" aber nicht "ACID". PostFinance AG V1.00 öffentlich NoSQL Datenbanken Ralf Leipner Seite 5

6

7 Kategorien von NoSQL Datenbanken PostFinance AG V1.00 öffentlich NoSQL Datenbanken Ralf Leipner Seite 7

8 PostFinance AG V1.00 öffentlich NoSQL Datenbanken Ralf Leipner Seite 8

9 NoSQL Kategorien Quelle:: Die Zusammenstellung erhebt keinen Anspruch auf Vollständigkeit. Es sind Stand nosql Datenbanken gelistet. Projekte, die eingestellt wurden, sind nicht berücksichtigt. Graphisch aufgearbeitet mit WebFocus. PostFinance AG V1.00 öffentlich NoSQL Datenbanken Ralf Leipner Seite 9

10 NoSQL Typen total Quelle:: Die Zusammenstellung erhebt keinen Anspruch auf Vollständigkeit. Es sind Stand nosql Datenbanken gelistet. Projekte, die eingestellt wurden, sind nicht berücksichtigt. Graphisch aufgearbeitet mit WebFocus. PostFinance AG V1.00 öffentlich NoSQL Datenbanken Ralf Leipner Seite 10

11 NoSQL Typen anteilig Quelle:: Die Zusammenstellung erhebt keinen Anspruch auf Vollständigkeit. Es sind Stand nosql Datenbanken gelistet. Projekte, die eingestellt wurden, sind nicht berücksichtigt. Graphisch aufgearbeitet mit WebFocus. PostFinance AG V1.00 öffentlich NoSQL Datenbanken Ralf Leipner Seite 11

12 Key Value Store Assoziatives Array, Key ist der Index meist in binären Blobs gespeichert Zugriff nur über einen Schlüssel Zusammengesetzte Keys möglich customer:residential:meier Teilweise mit Transaktionsunterstützung (REDIS) Auch in-memory (Persistieren auf Disk in Intervallen) mit begrenzter Skalierung Auch als skalierbare Lösung ausgelegt (RIAK) Replikationen auch kaskadierend Einsatzszenario: Time Series Data Management, Media Streaming PostFinance AG V1.00 öffentlich NoSQL Datenbanken Ralf Leipner Seite 12

13 Column Stores Basieren auf Konzepten von Googles Big Table Verwalten Daten in Tabellen Datensatz mit beliebig vielen (auch unterschiedlichen) Spalten Dynamisches Schema & nicht schemalos Tabellen haben keine Beziehungen Sharding: horizontale Skalierung eingebaut Über konsistent Hashing Algorithmus oder über Werte Kaum oder keine Aggregationsfunktionen (min, max, count, sum.) Kann durch Integration von Suchmaschinen teilweise kompensiert werden (Apache SOLR, ElasticSearch) Einsatzszenario: Suchmaschinen Index, Message Stores, CMS Hoher Durchsatz HBase «column families» in Anlehnung an spaltenorientierte Datenbanken Diskzugriff beim Lesen minimieren PostFinance AG V1.00 öffentlich NoSQL Datenbanken Ralf Leipner Seite 13

14 Document Store Speicherung der Daten in einer festgelegten Notation z.b. JSON auch BSON Abbildung von komplexen Datenstrukturen möglich Datensatz besteht eigentlich aus einer ID & einem Datencontainer Keine Abhängigkeiten (Joins) zwischen den Datensätzen, aber über die Applikationslogik über Referenzen im möglich In einigen Produkten ist es möglich in «Collections» gleichartige Dokumente abzubilden. Map / Reduce als Abfrage Mechanismus Map: Bildung von Key Value Paaren Reduce: Aggregation Teilweise auch dynamische Abfragen möglich API s z.b. Java, HTTP/REST Dynamische Schemata Auch in-memory (Persistieren auf Disk in Intervallen) PostFinance AG V1.00 öffentlich NoSQL Datenbanken Ralf Leipner Seite 14

15 Graphen DB s Speicherung von komplexen vernetzten Domänen und ihren Daten in Knoten (Entitäten) Kanten (Beziehungstypen) Kanten & Knoten können Eigenschaften (Attribute-Wert Paare) haben. Beziehungen werden hier nicht vermieden sondern sind Konzept Performance: Physisch werden die Beziehungen nicht wie bei RDBMS zur Laufzeit über Joins erzeugt sondern «Apriori» persistiert Visualisierung im Frontend spielt eine wichtige Rolle Algorithmen wie der schnellste Pfad von A-B gehören zum Lieferumfang Effiziente Abfragesprachen z.b. Cypher (Neo4j) PostFinance AG V1.00 öffentlich NoSQL Datenbanken Ralf Leipner Seite 15

16 Visualisierte Abfrage einer Graphen Datenbank PostFinance AG V1.00 öffentlich NoSQL Datenbanken Ralf Leipner Seite 16

17 Weitere Überlegungen Reifegrad der NoSQL Systeme? Integration in den Betrieb Backup in verteilten Systemen Aufwand bei Anpassungen oder Migration auf Grund von (neuen) Anforderungen Steigende Abfragekomplexität Welche Datenbank für welchen Zweck? Hybride Lösungen der Datenhaltung möglich? Kombinationen aus RDBMS & NoSQL Kombination NoSQL NewSQL Datenbanken PostFinance AG V1.00 öffentlich NoSQL Datenbanken Ralf Leipner Seite 17

18 Seite 18

19 Kontaktdaten - Ralf Leipner +41 (79) ralf.leipner@postfinance.ch rleipner PostFinance AG V1.00 öffentlich NoSQL Datenbanken Ralf Leipner Seite 19