Die Java-basierte Graphdatenbank Neo4j. Olaf Herden Duale Hochschule BW Campus Horb

Transkript

1 Die Java-basierte Graphdatenbank Neo4j Olaf Herden Duale Hochschule BW Campus Horb

2 Gliederung Einleitung & Motivation Neo4j Arbeiten mit Neo4j Zusammenfassung & Ausblick 2

3 Entwicklung Datenbanken (I) Speicherung in Dateien Datenbanken: Hierarchische Datenbanken (IMS/DB von IBM) Netzwerkmodell (CODASYL, Bachman) 3

4 Entwicklung Datenbanken (II) Relationale Datenbanken: Theoretische Grundlagen E.F. Codd 1970 Kommerzielle Systeme ab Ende 70er Jahre Immer weitere Verbreitung, Leistungsfähigkeit & Stabilität 1 Hotel Hotel_Nr : Integer Name : Zeichenkette(50) Adresse : Zeichenkette(50) N Zimmer Zimmer_Nr : Integer Hotel_Nr : Integer Typ : Zeichenkette(20) Preis : NUMBER(8,2) 1 N Buchung Hotel_Nr : Integer Gast_Nr : Integer Von : Datum Bis : Datum Raum_Nr : INTEGER N Schema Relationenname Attribute Person ID Name Geschlecht Wohnort Verdienst Alter Haarfarbe Gast Gast_Nr : Integer Name : Zeichenkette(50) Adresse : Zeichenkette(50) 1 Instanzen/ Objekte/ Datensätze/ Tupel 1 Heike weiblich Horb Blond 2 Ulf männlich Tübingen Schwarz 3 Olga weiblich Stuttgart Grau 4 Kati weiblich Tübingen Braun 5 Steffi weiblich Tübingen Rot 6 Otto männlich Stuttgart Grau 4

5 Entwicklung Datenbanken (III) Strömungen in 90er Jahren: OO-DB (z.b. ObjectStore, O2, POET, VERSANT, etc.) XML-DB (z.b. Tamino, BaseX, Xindice, etc.) Multidimensionale DB (z.b. Hyperion Essbase, etc.) Wurden von Relationaler Welt absorbiert One Size Fits All In den letzten Jahren: Big Data: Volume, Velocity, Variety NoSQL (Not Only SQL): Getrieben durch Entwickler-Community [Stonebraker10, Stonebraker11] 5

6 NoSQL Vielzahl von Systemen: Aktuell ca. 150 Systeme [ Wesentliche Kategorien: Key-Value-Stores Z.B. Amazon SimpleDB, Redis Wide Column Stores Z.B. Google BigTable, Apache Cassandra Document Stores Z.B. CouchDB, MongoDB Graphdatenbanken 6

7 Graphen Graphentheorie: Euler 1736 (Königsberger Brückenproblem) Erstes Lehrbuch 1936 Informatik: Verbreitete Datenstruktur Modellierung von z.b. Netzwerken, Verkehrsnetzen, Verzeichnisstrukturen, etc. Vielzahl von Algorithmen, z.b. Suchen, Färbungen, Kürzeste Wege, Spannbäume, etc. Wichtigste Elemente: Knoten Gerichtete/ungerichtete Kanten Knoten-/kantenmarkierungen 7

8 Property Graph Model Knoten und Kanten haben Properties (Schlüssel- Wert-Paar) Ähnlich (aber nicht gleich) markierten Graphen Beispiel: Autoren und Bücher Markierter Graph: Autoren und Bücher als Knoten Jeweils feste (verschiedene Attribute) Starr Property Graph: Autoren und Bücher als Knoten Jeweils verschiedene Properties Schemalos (oder zumindest lockererer Schemabegriff) 8

9 Property Graph vs. Relational Relational: Autoren (rot) und Bücher (blau) Aufgelöste N:M-Beziehung (gelb) Property Graph: Knoten mit Properties Verbindung in Relationship-Objekten 9

10 Zwischenbilanz & Motivation Graphen bedeutende (Daten-)Struktur Verwalten/Persistenz notwendig Verschiedene Wege: Dateien Relationale Datenbank Graphdatenbank Bei letzteren: Viele Produkte/Frameworks am Markt Im Java-Umfeld: Neo4j führend Weitere Vertreter: Java: HyperGraphDB, InfoGrid C: VertexDB.NET: Sones Kommerziell: InfiniteGraph, DEX 10

11 Übersicht Einleitung & Motivation Neo4j Arbeiten mit Neo4j Zusammenfassung & Ausblick 11

12 Grundlegende Eigenschaften Anbieter: Neo Technology Versionen: Start : Februar : April 2012 (aktuell stabile Version) 1.8: Aktuell GA Lizenz: Open Source: GPLv3 (Community Edition) AGPLv3 (Advanced Edition = Community Edition + Advanced Monitoring) Kommerziell: AGPLv3 (Advanced Edition + Live Backup + Hochverfügbarkeit (Master-Slave-Replikation)) Plattform: Unabhängig (JVM-basiert) Entwicklungssprache: Java 12

13 Datenmodell Gerichtete Kanten: Ja Ungerichtete Kanten: Nein Knoten-Property: Ja Kanten-Property: Ja Schema: Nein Sonstige Eigenschaften: Schlingen möglich Mehrfachkanten Maximale Größe: 32 Mrd. Knoten 32 Mrd. Relationships 64 Mrd. Properties 13

14 DB-Eigenschaften Replikation: Master-Slave mit Master-Failover Transaktionen: ACID, 2PL, XA-Transaktionen Persistenz/Storage Engine: Proprietär In-Memory: Nein, Disk-basiert Cache: Ja Architektur: Embeddable Server-Version (REST-Kommunikation) Indizierung: Mittels Lucene 14

15 Schnittstellen APIs: Java, C# Weitere: Ruby, Python, Scala, Clojure, PHP, JavaScript Traverser: Ja Protokolle: HTTP, REST Anfragesprache: Gremlin: Graph Scripting Language Cypher: Graph Query Language Pattern Matching SQL-artig 15

16 Utilities/Frameworks Utilities: Shell: Ja Administrationswerkzeug: Ja (Web Administration) IDE Integration: Ja Insbesondere Eclipse (Neoclipse) Importwerkzeug: Ja Exportwerkzeug: Ja Frameworks: Qi4j ( Jo4neo ( ogrm ( Spring Data Neo4J ( 16

17 Grenzen Keine Aktualisierungen Keine Verwaltung mehrerer Graphen (Verschmelzen, Auftrennen) Keine Zugriffsrechte (Anmeldung, Benutzer, Gruppen, Rollen, etc. fehlen) Administrationswerkzeug: Nicht mit z.b. Oracle Enterprise Manager vergleichbar Visualisierungen schwierig 17

18 Übersicht Einleitung & Motivation Neo4j Arbeiten mit Neo4j Zusammenfassung & Ausblick 18

19 Datenbank starten und beenden ( 1) public class Example{ ( 2) ( 3) private static final String DB_PATH = "Path to database"; ( 4) GraphDatabaseService graphdb; ( 5) ( 6) public static void main(string[] args){ ( 7) Example myexampledatabase = new Example(); ( 8) myexampledatabase.createdb(); ( 9) /* Work with database */ (10) myexampledatabase.shutdown(); (11) } (12) (13) void createdb(){ (14) graphdb = new GraphDatabaseFactory() (15).newEmbeddedDatabase(DB_PATH); (16) } (17) (18) void shutdown(){ (19) graphdb.shutdown(); (20) } (21) } 19

20 Knoten und Kanten anlegen Anlegen stets im Transaktions-Kontext Beispiel: Node[1] Frank KNOWS Node[2] Tanja ( 1) Transaction tx = graphdb.begintx(); ( 2) try{ ( 3) firstnode = graphdb.createnode(); ( 4) firstnode.setproperty("name","frank"); ( 5) secondnode = graphdb.createnode(); ( 6) secondnode.setproperty("name", Tanja"); ( 7) relationship = firstnode.createrelationshipto( ( 8) secondnode, RelTypes.KNOWS); ( 9) relationship.setproperty("message","..."); (10) tx.success(); (11) } (12) finally{ (13) tx.finish(); (14) } 20

21 Import (I) Knoten/Kanten einfügen über Transaktionen bei großen Datenmengen ineffizient Batch-Inserter: Erlaubt performantes Einfügen Szenario I (relativ kleine Graphen): Erzeuge Graphen mit R-MAT-Algorithmus [GSP10] Speichere diesen im TGF-Format (Trivial Graph Format) Führe Batch-Import aus 21

22 Import (II) Resultate: 22

23 Import (III) Szenario II (Größere Graphen): Erzeuge Zufallsgraph mit N Knoten Kantenzahl zwischen pro Knoten zwischen 1 und N/200 Resultate: 23

24 Index (I) Beispiel: Node[0] all Node[1] user1 Node[2] user2 Node[N] usern Index erstellen und abfragen nach einem Objekt: ( 1) graphdb = new GraphDatabaseFactory().newEmbeddedDatabase(DB_PATH) ( 2) nodeindex = graphdb.index().fornodes("nodes"); ( 3)... ( 4)... Erzeugen und Einfügen Knoten wie in Beispiel oben ( 5) Node node = graphdb.createnode(); ( 6) node.setproperty(username_key,username); ( 7) nodeindex.add(node,username_key,username); ( 8)... ( 9) int idtofind = 45; (10) Node founduser = nodeindex.get(username_key, (11) idtousername(idtofind)).getsingle(); (12) System.out.println("The username of user " + idtofind + " is " (13) + founduser.getproperty(username_key)); 24

25 Index (II) Index abfragen bei mengenwertigem Resultat: ( 1) IndexHits<Node> hits = nodeindex.get(username_key, ( 2) idtousername(idtofind)); ( 3) try{ ( 4) System.out.println("Found nodes: "); ( 5) for (Node node : hits){ ( 6) System.out.println(node.getProperty(USERNAME_KEY)); ( 7) } ( 8) } ( 9) finally{ (10) hits.close(); (11) } 25

26 Index (III): Anfragezeiten 26

27 Index (IV): Kosten 27

28 Traverser: Konzepte 28

29 Beispiel: Tiefensuche alle Pfade Traverser: (1) for (Path position : Traversal.description() (2).depthFirst() (3).relationships(RelTypes.KNOWS, (4) Direction.OUTGOING) (5).uniqueness(Uniqueness.NONE) (6).traverse(node)) (7) {output += position + "\n";} Ergebnis (Startknoten = 1): (1) (1)--[KNOWS,0]-->(2) (1)--[KNOWS,0]-->(2)--[KNOWS,3]-->(5) (1)--[KNOWS,0]-->(2)--[KNOWS,4]-->(6) (1)--[KNOWS,0]-->(2)--[KNOWS,5]-->(7) Node[5] Peter Node[2] Heinz Node[6] Frank (1)--[KNOWS,0]-->(2)--[KNOWS,5]-->(7)--[KNOWS,11]-->(6) (1)--[KNOWS,1]-->(3) (1)--[KNOWS,1]-->(3)--[KNOWS,6]-->(7) (1)--[KNOWS,1]-->(3)--[KNOWS,6]-->(7)--[KNOWS,11]-->(6) (1)--[KNOWS,1]-->(3)--[KNOWS,7]-->(8) (1)--[KNOWS,2]-->(4) (1)--[KNOWS,2]-->(4)--[KNOWS,8]-->(8) (1)--[KNOWS,2]-->(4)--[KNOWS,9]-->(9) (1)--[KNOWS,2]-->(4)--[KNOWS,9]-->(9)--[KNOWS,12]-->(8) (1)--[KNOWS,2]-->(4)--[KNOWS,10]-->(10) Node[7] Steffi Node[1] Werner Node[3] Sonja Node[8] Bettina Node[9] Julian Node[4] Lisa Node[10] Fritz 29

30 Beispiel: Breitensuche alle Pfade Traverser: (1) for (Path position : Traversal.description() (2).breadthFirst() (3).relationships(RelTypes.KNOWS, (4) Direction.OUTGOING) (5).uniqueness(Uniqueness.NONE) (6).traverse(node)) (7) {output += position + "\n";} Ergebnis (Startknoten = 1): (1) (1)--[KNOWS,0]-->(2) (1)--[KNOWS,1]-->(3) (1)--[KNOWS,2]-->(4) (1)--[KNOWS,0]-->(2)--[KNOWS,3]-->(5) (1)--[KNOWS,0]-->(2)--[KNOWS,4]-->(6) (1)--[KNOWS,0]-->(2)--[KNOWS,5]-->(7) (1)--[KNOWS,1]-->(3)--[KNOWS,6]-->(7) (1)--[KNOWS,1]-->(3)--[KNOWS,7]-->(8) (1)--[KNOWS,2]-->(4)--[KNOWS,8]-->(8) (1)--[KNOWS,2]-->(4)--[KNOWS,9]-->(9) (1)--[KNOWS,2]-->(4)--[KNOWS,10]-->(10) Node[5] Peter Node[2] Heinz Node[6] Frank (1)--[KNOWS,0]-->(2)--[KNOWS,5]-->(7)--[KNOWS,11]-->(6) (1)--[KNOWS,1]-->(3)--[KNOWS,6]-->(7)--[KNOWS,11]-->(6) (1)--[KNOWS,2]-->(4)--[KNOWS,9]-->(9)--[KNOWS,12]-->(8) Node[7] Steffi Node[1] Werner Node[3] Sonja Node[8] Bettina Node[9] Julian Node[4] Lisa Node[10] Fritz 30

31 Beispiel: Breitensuche Keine doppelten Knoten (Standard) Traverser: (1) for (Path position : Traversal.description() (2).breadthFirst() (3).relationships(RelTypes.KNOWS, (4) Direction.OUTGOING) (5).uniqueness(Uniqueness.NONE_GLOBAL) (6).traverse(node)) (7) {output += position + "\n";} Ergebnis (Startknoten = 1): (1) (1)--[KNOWS,0]-->(2) (1)--[KNOWS,1]-->(3) (1)--[KNOWS,2]-->(4) (1)--[KNOWS,0]-->(2)--[KNOWS,3]-->(5) (1)--[KNOWS,0]-->(2)--[KNOWS,4]-->(6) (1)--[KNOWS,0]-->(2)--[KNOWS,5]-->(7) (1)--[KNOWS,1]-->(3)--[KNOWS,6]-->(7) (1)--[KNOWS,1]-->(3)--[KNOWS,7]-->(8) (1)--[KNOWS,2]-->(4)--[KNOWS,8]-->(8) (1)--[KNOWS,2]-->(4)--[KNOWS,9]-->(9) (1)--[KNOWS,2]-->(4)--[KNOWS,10]-->(10) Node[5] Peter Node[2] Heinz Node[6] Frank Node[7] Steffi (1)--[KNOWS,0]-->(2)--[KNOWS,5]-->(7)--[KNOWS,11]-->(6) (1)--[KNOWS,1]-->(3)--[KNOWS,6]-->(7)--[KNOWS,11]-->(6) (1)--[KNOWS,2]-->(4)--[KNOWS,9]-->(9)--[KNOWS,12]-->(8) Node[1] Werner Node[3] Sonja Node[8] Bettina Node[9] Julian Node[4] Lisa Node[10] Fritz 31

32 Beispiel: Breitensuche beschränkt Suchtiefeeinstellung durch Evaluator Traverser: (1) for (Path position : Traversal.description() (2).breadthFirst() (3).relationships(RelTypes.KNOWS, (4) Direction.OUTGOING) (5).uniqueness(Uniqueness.NONE) (6).evaluator(Evaluators.toDepth(2)) (7).traverse(node)) (8) {output += position + "\n";} Node[5] Peter Node[2] Heinz Node[6] Frank Ergebnis (Startknoten = 1): (1) (1)--[KNOWS,0]-->(2) (1)--[KNOWS,1]-->(3) (1)--[KNOWS,2]-->(4) (1)--[KNOWS,0]-->(2)--[KNOWS,3]-->(5) (1)--[KNOWS,0]-->(2)--[KNOWS,4]-->(6) (1)--[KNOWS,0]-->(2)--[KNOWS,5]-->(7) (1)--[KNOWS,1]-->(3)--[KNOWS,6]-->(7) (1)--[KNOWS,1]-->(3)--[KNOWS,7]-->(8) (1)--[KNOWS,2]-->(4)--[KNOWS,8]-->(8) (1)--[KNOWS,2]-->(4)--[KNOWS,9]-->(9) (1)--[KNOWS,2]-->(4)--[KNOWS,10]-->(10) (1)--[KNOWS,0]-->(2)--[KNOWS,5]-->(7)--[KNOWS,11]-->(6) (1)--[KNOWS,1]-->(3)--[KNOWS,6]-->(7)--[KNOWS,11]-->(6) (1)--[KNOWS,2]-->(4)--[KNOWS,9]-->(9)--[KNOWS,12]-->(8) Node[7] Steffi Node[1] Werner Node[3] Sonja Node[8] Bettina Node[9] Julian Node[4] Lisa Node[10] Fritz 32

33 Beispiel: Relationships Traverser: (1) for ( Path position : Traversal.description() (2).depthFirst() (3).relationships( RelTypes.KNOWS ) (4).relationships( RelTypes.LIKES, (5) Direction.INCOMING) (6).evaluator(Evaluators.toDepth(5)) (7).traverse(node)) (8) { output += position + "\n";} Ergebnis (Startknoten = 7): (7) (7)<--[LIKES,6]--(4) (7)<--[LIKES,6]--(4)--[KNOWS,0]-->(1) (7)<--[LIKES,6]--(4)--[KNOWS,0]-->(1)--[KNOWS,2]-->(6) (7)<--[LIKES,6]--(4)--[KNOWS,0]-->(1)--[KNOWS,2]-->(6)--[KNOWS,3]-->(5) (7)<--[LIKES,6]--(4)--[KNOWS,0]-->(1)--[KNOWS,2]-->(6)--[KNOWS,3]-->(5)-- (7)<--[LIKES,6]--(4)--[KNOWS,0]-->(1)<--[KNOWS,1]--(3) [KNOWS,4]-->(2) 33

34 Übersicht Einleitung & Motivation Neo4j Arbeiten mit Neo4j Zusammenfassung & Ausblick 34

35 Zusammenfassung & Ausblick (I) Einleitung: Geschichte Persistenz NoSQL Motivation Neo4j: Eigenschaften in fünf Bereichen: Grundlegende Eigenschaften Datenmodell DB-Eigenschaften Schnittstellen Utilities Frameworks 35

36 Zusammenfassung & Ausblick (II) Arbeiten mit Neo4j: Datenbanken anlegen Objekte erzeugen und verwalten Index Traversierungen Ausblick: Weitere Untersuchungen Anfragesprachen: CYPHER Gremlin Performancetest: Vergleich mit anderen Graphdatenbanken Vergleich mit relationalen Lösungen 36

37 Vielen Dank für Ihre Aufmerksamkeit! Haben Sie Fragen? 37