Datenbanksysteme. Alternative Konzepte. Gerhard Wohlgenannt

Transkript

1 Datenbanksysteme Alternative Konzepte Gerhard Wohlgenannt

2 Alternative Konzepte Diese Einheit ist ein Mix aus Themenbereichen in der Nähe von klassischen relationalen Datenbanken Näherbringen aktueller Technologien und über den Tellerrand blicken. Agenda 1. Überblick über NoSQL, GraphenDBs, BigData. 2. Etwas mehr Details 3. Semantic Web 4. Big data 5. DBS advanced (with PostgreSQL) DATENBANKSYSTEME SEPTEMBER 2015

3 NoSQL DBs - Überblick Not only SQL!! Die besprochenen Systeme haben nicht den Anspruch und das Ziel relationale DBS zu ersetzen, sondern für gewisse Anwendungsfälle andere / spezifische Lösungen zu bieten. Sammelbegriff für verschiedene Ansätze Gemeinsamkeit: weniger Anforderungen an strenge DB- Grundsätze und Mächtigkeit des DB-Systems Daten oft nicht in Form von klassischen Tabellen gespeichert Oft keine mächtige Abfragesprache wie SQL DATENBANKSYSTEME SEPTEMBER 2015

4 ObjektDBs - Überblick Objekte aus OO Programmiersprachen selbst in der DB gehalten Einfache Form Persistenz zu erreichen Beispiel: in einer Java-GUI werden neue Mitarbeiter eingefügt. - Diese Mitarbeiter werden im Programm als Objekte der Klasse Mitarbeiter verwendet. - Anstatt nun die relevanten Attribute der Mitarbeiterobjekte in eine relationales DB zu speichern Objekte werden einfach as is in die Objekt-DB gespeichert. - Objekte können natürlich auch wieder aus der O-DB geladen/verändert werden. DATENBANKSYSTEME SEPTEMBER 2015

5 Graphendatenbanken Benutzt Graphen um Informationen darzustellen Knoten (Objekte) - Kanten gerichtete Graphen, gewichtete Graphen (zb Bandbreite bei Netzwerken) Hier: Semantisches Web, GraphDBs mit fixem Schema DATENBANKSYSTEME SEPTEMBER 2015

6 Graph Example DATENBANKSYSTEME SEPTEMBER 2015

7 NoSQL Details Geschichte - Entstand primär aus den Anforderung von Internet-Konzernen wie Google, Facebook, etc. Anforderungen: riesige Datenmengen schnell ändern und ausliefern - aber: Auch zb Twitter und Facebook verwenden für vieles MySQL Datenbanken - je nach Anforderung. Ansatz: Lightweight, einfaches Datenmodell, Konsistenz und Datensicherheit nicht sooo wichtig (Twitter) Dafür andere Anforderungen im Fokus, etwa performance. DATENBANKSYSTEME SEPTEMBER 2015

8 SQL DBs SQL DBs ursprünglich verbreitet in Banken und Versicherungen Fokus auf Konsistenz und Transaktionssicherheit Transaktionen am Beispiel Ueberweisung Mächtige Abfragesprachen zur Erstellung von Reports, etwa Kontoauszug Die Sicherstellung von Konsistenz, die Mächtigkeit des Systems, die Möglichkeit zu Integritätsbedingungen, JOINs, etc führt zwangsweise zu Kompromissen bei der Abfrage-Performanz Beispiel: Einfügen von neuem Datensatz führt zu Constraint-Checks (Datentyp, FK), zu index-updates, event. Funktionsaufrufen über Trigger... DATENBANKSYSTEME SEPTEMBER 2015

9 Neue Entwicklungen wie Cloud SQL um NoSQL-ähnliche Anforderungen zu erfüllen DATENBANKSYSTEME SEPTEMBER 2015

10 NoSQL Oft optimiert für simple Abfragen und sehr grosse Datenmengen Simple Abfragen, Beispiel: key-value store Keine komplexen Operationen, etwa Joins Weiteres Ziel: Skalierbarkeit inbes. durch Verteilung Nur eventual consistency: changes propagated after sufficiently long period Wichtiger Aspekt: distributed und fault-tolerant (via redundancy) passt gut zusammen mit cloud-computing - Scalability einfach durch Hinzufügen neuer Rechner DATENBANKSYSTEME SEPTEMBER 2015

11 Types of NoSQL DBs Key-value stores: selbsterklärend :-) BigTable: entwickelt von Google, mehrdimensionale Map, soll auf Petabytes skalieren Document store: Für effiziente Speicherung / Retrieval von semistrukturierten Daten ( Dokument ) Graph-Stores: siehe unten DATENBANKSYSTEME SEPTEMBER 2015

12 Key-Value stores Huge collection of key-value pairs (distributed) Values können wiederum zusammengesetzt sein Grundlage: Amazon s paper über Dynamo Implementations: Redis, Voldemort (linkedin), Riak, Tokyo DATENBANKSYSTEME SEPTEMBER 2015

13 NoSQL BigTables Based on Googles BigTable paper A huge table without a fixed schema, base cols and optional ones No deletes just additions with a timestamp Implementations: HBase, Hypertable, Cassandra DATENBANKSYSTEME SEPTEMBER 2015

14 NoSQL BigQuery (Dremel) From Google Something like read-only SQL / relational DB In 5-20 sec for massive amounts of data Analyze terabytes of data in seconds Typical use case: when you access big parts of the table, eg counts / sums / etc. When you need to scan big parts for the table using columnar representation is better DATENBANKSYSTEME SEPTEMBER 2015

15 NoSQL BigQuery (Dremel)(2) Converts a JSON-like dataset into relational and optimizes - Fills up datasets with missing elements lots of NULL - Add special data: repetition count, path depths (definition count) - Repetion count provides info if a new item or not - this is the most important trick in dremel - Further massive speed-up by distribution (multiple layers of servers) API available DATENBANKSYSTEME SEPTEMBER 2015

16 ObjektDBs (Details) Wie gesagt: Direktes persistentes Speichern von Objekten macht ORM (mapping Objekte Relationen überflüssig Besonderer Vorteil bei komplexen Objekten die schwer ins relationale Schema abbildbar sind Vorzeigen am Beispiel db4o, First Steps wikipedia.org/wiki/db4o DATENBANKSYSTEME SEPTEMBER 2015

17 Document DB Example DATENBANKSYSTEME SEPTEMBER 2015

18 NoSQL Document stores Document-oriented DBs haben überlicherweise einen unique key um auf records zuzugreifen Inspired by Lotus Notes Retrieval: (RESTful)-API or Simple Query Language, eg. all docs with field topic= football Implementations: CouchDB, MongoDB, and many others DATENBANKSYSTEME SEPTEMBER 2015

19 NoSQL MongoDB Example of a document store see other slides... DATENBANKSYSTEME SEPTEMBER 2015

20 GraphenDBs Details Nodes.. entspricht in etwa Objekten in OO Sprachen Edges.. Beziehungen/connections Properties.. Information in den Beziehungen GraphDB kann: - Spezielle Queries: shortest path -... Noch keine einheitliche Abfragesprachen Implementations: AllegroGraph, Sones, Neo4j DATENBANKSYSTEME SEPTEMBER 2015

21 Property Graph DATENBANKSYSTEME SEPTEMBER 2015

22 NoSQL Vergleich Key-Value: For huge data size, low complexity (semistructured, connected) of data Big Tables: For less big data size, a bit more of complexity of data Document DBs: For less big data size, a bit more of complexity of data Graph DBs: For less big data size, a bit more of complexity of data >: The more connected, the harder to scale DATENBANKSYSTEME SEPTEMBER 2015

23 New slide: In-Memory DBs Traditional: Disk optimized In Memory: Fast response time, predictable DB & transaction log persisted to disk Very good overview: DATENBANKSYSTEME SEPTEMBER 2015

24 Semantic Web Daten/Properties bekommen definierte Semantik (zb in Form von Ontologien) Daten als Graph gesehen Simple Datenstruktur: Subjekt - Prädikat - Objekt Subjekte und Prädikate müssen URIs sein Identifikation + Semantik DATENBANKSYSTEME SEPTEMBER 2015

25 Semantic Web (Web of Data) data oriented for humans and machines structured data explicit semantics of content and links a giant global graph linking is essential same architectural principles as Web of Documents - scalable, 1 data model (which is RDF, graph-based) - single global Web of data - Typed hyperlinks to connect any type of thing, eg. a person and a place with locatedin different from: Databases and Web APIs many different models, applications have to be built depending on model DATENBANKSYSTEME SEPTEMBER 2015

26 Usecase / Motivation Goal: Seek a windsurfing spot with characteristics: - in February, more than 70% days with 4 Bft. - with equipment rent - avg. daily max temp. 20 C - hotel and flight available and cheap time-consuming with traditional (google) keyword search - Problem A: Precision/Recall. Find (all) relevant documents - Problem B: Need to read all documents DATENBANKSYSTEME SEPTEMBER 2015

27 DATENBANKSYSTEME SEPTEMBER 2015

28 Usecase: Vision Goal / Vision: - Do a semantic search - Get extensive list of results automatically sorted by eg. price or distance How? - Semantic annotation of resources - Clearly defined annotation languages allowing reasoning etc. DATENBANKSYSTEME SEPTEMBER 2015

29 Usecase - Bestandsaufnahme die notwendigen Informationen sind bereits mehr oder weniger strukturiert in elektronischer Form abrufbar Problem: intelligente Kombination der Informationsquellen Hintergrund: Ressourcen sind für Maschinen nicht verständlich DATENBANKSYSTEME SEPTEMBER 2015

30 SW Graph People foaf:person rdf:type rdf:type study mathematics Borbala Nagy EMS-Schüler hasmember foaf:birthday dc:creator DATENBANKSYSTEME SEPTEMBER 2015

31 SW - Datenformate: Turtle aw: < dc: < foaf: < rdf: < 6 aw:hans foaf:birthday " ". 8 aw:rdfbook rdf:type aw:book; 9 dc:creator < anna>. 11 aw:albert rdf:type aw:person; 12 foaf:birthday " ". DATENBANKSYSTEME SEPTEMBER 2015

32 SW - Datenformate - RDF/XML 1 <?xml version="1.0" encoding="utf-8"?> 2 <rdf:rdf xmlns=" > 4 <rdf:description rdf:about=" 5 <rdf:type rdf:resource=" /> 6 <dc:creator rdf:resource=" anna" /> 7 <readers> 8 <rdf:description rdf:about=" 9 <rdf:type 10 rdf:resource=" /> 11 <foaf:birthday> </foaf:birthday> 12 </rdf:description> 13 </readers> 14 </rdf:description></rdf:rdf> DATENBANKSYSTEME SEPTEMBER 2015

33 OWL - Ontologien Event participantof Person Committee memberof SocialEvent Workshop Presentation Attendee CommitteeMember presenterof KeynoteTalk Presenter owl:somevaluesof KeynoteSpeaker Quelle: DATENBANKSYSTEME SEPTEMBER 2015

34 Linked Data Was ist? a term used to describe a recommended best practice for exposing, sharing, and connecting pieces of data, information, and knowledge on the Semantic Web using URIs and RDF. (Wikipedia) From data islands to a global data space: typed links between data items, not documents Eine grosse und wachsende Menge von Datensätzen, welche semantisch annotiert sind und verlinkt Global einheitliches Format DATENBANKSYSTEME SEPTEMBER 2015

35 Linked Data Principles 1. Use URIs as names! 2. Use HTTP URIs, so that people can look up those names. 3. Dereferenceable: When someone looks up a URI, provide useful information, using the standards (RDF, SPARQL). 4. Include links to other URIs, so that they can discover more things. DATENBANKSYSTEME SEPTEMBER 2015

36 LOD cloud Quelle: DATENBANKSYSTEME SEPTEMBER 2015

37 Data Sets Examples DBpedia ( Structured version of Wikipedia. - A DBpedia ontology for the vocabulary million things : 416,000 persons, 526,000 places (including 360,000 populated places), 106,000 music albums, 60,000 films, 17,500 video games, 169,000 organizations,... - eg: Manchester Geographische datasets, zb Geonames ( geonames.org/), linked data version of the CIA world factbook DATENBANKSYSTEME SEPTEMBER 2015

38 Media, zb linked MBD (films, actors,... ) DATENBANKSYSTEME SEPTEMBER 2015

39 Triple Stores Def.: purpose-built database for the storage and retrieval of triples Wie schon gesagt, das triple (subject-prädikat-objekt) ist die Art wie Daten im SW verwaltet werden. Es gibt eine spezielle Abfragesprache (SPARQL) Implementations: Virtuoso, 4store, BigOWLIM, Sesame,... DATENBANKSYSTEME SEPTEMBER 2015

40 SW: Was tun? Was kann man nun mit diesen Daten machen? Reasoning: Automatisches Schliessen anhand der Daten, etwa: der Rechner weiss anhand der Ontologie dass ein Lehrer auch ein Mensch ist, etc. < wu:teach Java Resultat: mehr triples (mehr Information automatisch erzeugt) Abfragen: siehe unten DATENBANKSYSTEME SEPTEMBER 2015

41 SPARQL SPARQL: is the query language of the Semantic Web (W3C Recommendation) Jump to other slideset briefly wohlg/ir/pdf/sparql.pdf Use DATENBANKSYSTEME SEPTEMBER 2015

42 DATENBANKSYSTEME SEPTEMBER 2015

43 Big data Big Data Eines der Hype-Keywords 2012 Big Data = Transactions + Interactions + Observations Datenmenge so gross dass mit konventionellen (DB-)tools schwer handhabbar Grosse Datenmenge entsteht auch durch den Wunsch nach Integration und Finden von Beziehunge zwischen kleineren data sets Bzw auch durch mobile devices, Sensordaten, software logs,... Beispiele: Wettermodelle, Webanalyse, LHC, Bioinformatik DATENBANKSYSTEME SEPTEMBER 2015

44 Big data (2) Wie gesagt is difficult to work with using relational databases and desktop statistics and visualization packages requiring instead massively parallel software running on tens, hundreds, or even thousands of servers (wikipedia) avp5d16wep0 DATENBANKSYSTEME SEPTEMBER 2015

45 Finally.. (20-30min) Big data slides by Aidan Hogan see slides at hypertext2014.pptx DATENBANKSYSTEME SEPTEMBER 2015