Neo4J & Sones GraphDB. Graph-Datenbanken. Von Toni Fröschke. Problemseminar NoSQL-Datenbanken (WS 2011/12)

Transkript

1 Neo4J & Sones GraphDB Graph-Datenbanken Von Toni Fröschke Problemseminar NoSQL-Datenbanken (WS 2011/12)

2 Gliederung Neo4J Überblick Neo4J-Komponenten Datenhaltung/ -verwaltung Verfügbarkeit & Recovery I/O & Performance Transaktionsverwaltung Sones GraphDB Storage Engines GraphFS GraphDB GraphDS Implementierungsbeispiele

3 Neo4J Java implementierte Open-Source-Graphdatenbank Entwicklung vonneotechnologyentwickelt, Sitz in Malmö/Schweden und San Francisco Bay/USA Daten in Graphen anstelle in Tabellen strukturiert Neo4j Version 1.0 im Februar 2010 freigegeben Community-Edition unter (GPL) v3 Zusatzmodule unter (AGPL) v3 Freie oder kommerzielle Lizenz (6000 $ $)

4 Neo4J-Komponenten

5 Neo4J-Komponenten Relationships

6 Neo4J-Komponenten Properties

7 Neo4J-Komponenten Property Datentypen

8 Neo4J-Komponenten Paths

9 Neo4J-Komponenten Traversierung

10 Datenhaltung/ -verwaltung Datenintegration Eventbasierende Synchronisation Eventauslösung beim Speichern von Daten Asynchron Periodische Synchronisation Periodischer Export aus RDBMS, Import mittels SQL Query Master/Slave Sync. Periodisch vollständiger Datenimport/ -export Import großer Datenmengen in kurzer Zeit

11 Datenhaltung/ -verwaltung Indexierung Datenbank selbst als natürliche Indexierung Separat Apache Lucene als Standart-Backend mit Neo4j

12 Datenhaltung/ -verwaltung Dateigröße Dateigröße wird nur durch Betriebssystem begrenzt Keine Limits durch Neo4j. Konstruktion einer Speichermapdurch Neo4j

13 Datenhaltung/ -verwaltung Datengrößen Begrenzung duch Adressierungsspeicher für Primärschlüssel Verfügbar: 2ˆ35 (~ 34 Billionen) Nodes 2ˆ35 (~ 34 Billionen) Relationships 2ˆ36 (~ 68 Billionen) Properties

14 Datenhaltung/ -verwaltung Datenintegrität Core Graph Engine Speicherung des Datenmodells als Graph im Speicher Referenzen zwischen Relationships, Nodes und Properties Andere Datenquellen Nicht Graph basierte Suchsoftware wie Apache Lucene Zusätzliche Indexierung für Text-Queries Zwei Phasen Commit mit Rollbackunterstützung

15 Datenhaltung/ -verwaltung Datensicherheit Keine explizite Datenverschlüsselung Möglichkeit eigener Verschlüsselung mittels Java Oder: Sicherung der Daten durch Verschlüsselten Datenspeicher Datensicherung besser auf oberen Ebenen

16 Verfügbarkeit & Recovery Operationale Verfügbarkeit Online Backup (Cold spare) Online Backup (Hot spare) High Availability Cluster Cluster von Datenbankinstanzen Ein Master mit n Slaves

17 Verfügbarkeit & Recovery High Availability Cluster

18 Verfügbarkeit & Recovery Notfall-Recovery Prävention Online Backups nicht lokal High Availability Cluster Erkennung SNMP und JMX Monitoring Korrektur Online Backup High Availability Cluster

19 I/O & Performance Lesegeschwindigkeit Kein Blockieren oder Sperren von Leseoperationen Lesezugriffe über Threads möglich Simultane Querieabarbeitung Gute Skalierbarkeit

20 I/O & Performance Schreibgeschwindigkeit Kontinuierliche Operationen Schreiboperationen parallel zu Leseoperationen möglich Schreibgeschwindigkeit I/O-Kapazität begrenzt Bulk-Operation Batch Inserter für direktes Speichern Batch Inserter für große nicht transaktionale Datenimporte optimiert

21 Transaktionsverwaltung ACID Eigenschaften Atomicity Consistency Isolation» Durability Cypher Query Language START john=node:node_auto_index(name = 'John') MATCH john-[:friend]->()-[:friend]->fof RETURN john, fof

22 Transaktionsverwaltung Interaktionszyklus Schreiboperationen im Graph nur über Transaktionen Mehrere Threads für Transaktionen möglich Rollback Verfügbarkeit über gesamte Transaktion Interaktionszyklus 1. Start der Transaktion 2. Schreib-Operationen 3. Transaktionsmarkierung als erfolgreich oder nicht 4. Beenden der Transaktion

23 Transaktionsverwaltung Isolationsebenen Standart Isolationsverhalten: Keine Blocks oder Locks auf bei Leseoperationen Möglichkeit einer stärkeren Isolation Manuelle Lese- und Schreiblocks

24 Transaktionsverwaltung Standart Lockverhalten Schreiblock bei Hinzufügen, Verändern oder Entfernen von Node-Properties oder Relationships Erstellen und Löschen von Nodes Erstellen oder Löschen von Relationships Locks sind Transaktionsgebunden

25 Transaktionsverwaltung Deadlocks Deadlocks oft verursacht durch konkurrierende Schreibanfragen Deadlock-Erkennung vor dem Eintreten Exception Lösen der Locks in der Finally-Clause Abarbeitung wartender Transaktionen nach Lösen der Locks

26 Transaktionsverwaltung Löschsemantik Löschen von Nodes und Relationships Entfernen aller dazugehörigen Properties Jedoch bleiben Relationships bestehen Relationship-Bedingung beachten: NotwedigkeiteinesStart-und End-Node Löschen eines Knotens mit Relationship Exception Allgemeine Semantik: Entfernen von Node oder Relationship Entfernen aller Properties Gelöschter Node darf keine Relationships besitzen Möglichkeit einer Referenz auf einen gelöschten Node oder Relationship Kein Commit! Schreiboperationenauf Node oderrelationship nachlöschung(ohnecommit) Exception Benutzen einer Referenz eines gelöschten Objektes nach Commit Exception

27 SonesGraph DB Modellierungskonzept basiert gewichteten Graphen Entwicklung durch Firma sones in Erfurt und Leipzig Open Source Edition seit Juli 2010 Kommerziell verfügbare Enterprise Version: Erweiterten Funktionsumfang Implementierung komplett in C# sones ist Mitglied der Open Source Business Alliance

28 SonesGraph DB Vollständige Eigenentwicklung Gegebene Ansätze sollten neu durchdacht werden Vier Anwendungsschichten StorageLayer Dateisystem Datenbankmanagementsystem Data Access Layer

29 Architektur

30 Storage Engines Trennung von physikalischen Speichermedien und Applikationslogik Schnittstelle bietet Möglichkeiten zur Performancemessung und Fehlermanagement

31 Dateisystem - GraphFS Blockbasierte Speicherung der Objekte als Datenströme Datenstrom als Schnittstelle zwischen DS und SE Zugriff nicht an lokale Speichersysteme begrenzt Metadaten zur Performanceunterstützung ObjectLocation Indexierung gezielter Zugriff Möglichkeit Definition und Auswertung eigener Metadaten

32 Dateisystem - GraphFS Funktionen: Speicherung der Daten in netzartigen Strukturen Speicherung strukturierter Daten (Objekten) und Binärdaten Automatische Datenstrukturierung und -optimierung Direkte Verbindung mit dem Datenbankmanagementsystem Versionierung von Datenobjekten

33 Datenbankmanagementsystem - GraphDB Hauptfunktion: Datenorganisation Objektspeicherung und bereitstellung Datenzugriffe über Graph Query Language Indirekte Abfrageauswertung möglich Kein zusätzliches Mapping nötig

34 Datenbankmanagementsystem - GraphDB Funktionen Attribute der Datenobjekte in typischen C#-Datentypen Vererbung von Objekten Versionierung von Objekten Datensicherheit auf Objektebene möglich Datenintegrität wird durch Prüfsummen

35 DataStorage GraphDS Schnittstellen zum Produkt Administration übergql-kommandozeile oder Benutzeroberfläche Zusätzlich WebService, REST oder WebShell SPARQL als weiteren Ansatz geplant

36 Zusammenfassung Neo4J Sones GraphDB Implementierung Java (+ Apache Lucene).Net & Mono Lizenz Zugriff Duallizenz: GPLv3 und AGPLv3 / kommerziell Java API, Cypher AGPL, kommerziell Java API, C# API, WebShell, REST, GQL Skalierbarkeit +(+) ++ Verschlüsselung 0 (Java) + Integrität Referenzen / Graph im RAM Prüfsummen Datenaktualität (verteilt) Event / Master-Slave sync Versionierung Performance + +