Weniger ist mehr? Skalierbares Datenmanagement zwischen NoSQL und klassischen DBS

Größe: px
Ab Seite anzeigen:

Download "Weniger ist mehr? Skalierbares Datenmanagement zwischen NoSQL und klassischen DBS"

Transkript

1 Weniger ist mehr? Skalierbares Datenmanagement zwischen NoSQL und klassischen DBS Herbsttreffen der FG DB, 17./ Kai-Uwe Sattler Ilmenau University of Technology, Germany

2 Stell dir vor GB Daten 1000 Nutzer/Tag 2

3 ... doch dann GB Daten Nutzer/Tag 3

4 Gliederung Skalierung von Datenmanagement Benchmarking für Skalierbarkeit Techniken für skalierbares Datenmanagement NoSQL als Alternative? Fazit 4

5 Scale up vs. Scale out Scale up: wenige, aber größere Server Scale out: viele, kleinere (Commodity-)Server Quelle: ibm.com Quelle: storagesystems1.com 5

6 Scale up Vorteil: transparent für DBMS Administrationsaufwand konstant Nachteil: 6

7 Scale out Vorteil: Nachteil: Verteilung von Last/Daten notwendig Maßnahmen zur Lastverteilung notwendig ggf. verteilte Protokolle (2PC, Replikation) 7

8 Benchmarking für Skalierbarkeit Ziele Bewertung/Vergleich des Systemverhaltens bei Zunahme von Last/Datenmenge Einfluss der Hinzunahme von Ressourcen (Server,...) Bewertungsmaße: Performanz, Preis/Performanz,... Benchmarks TPC-* Yahoo! Cloud Serving Benchmark Tractor Pulling... 8

9 TPC TPC-H: Decision Support, Data Warehousing einfaches, normalisiertes Schema mit wenigen Tabellen komplexe Ad-hoc-Anfragen Metriken: TPC-C: Order Entry Application (Bestellungen, Lieferungen, Warenbestand,...) einfaches Schema Updates, 5 Transaktionstypen (ACID) Metriken: tpmc, $/tpmc TPC-DS: potentieller TPC-H-Nachfolger komplexeres, realitätsnäheres Schema CH-BenCHmark (DBTest 2011): hybrider Lösung aus TPC-C und TPC-H Skalierung über DB-Größe Scale-Faktor bei TPC-H (LINEITEM) und TPC-C (WAREHOUSE) bei TPC-C auch über Nutzer/Requests 9

10 Yahoo! Cloud Serving Benchmark Yahoo! Research (SoCC 2010) eine Tabelle mit Records; verschiedene Datenverteilungen einfache Operationen: Lesen, Einfügen, Löschen von Records, Range Scans Metriken: Performanz: Latenz bei wachsendem Durchsatz Scaling: Scaleup konstante Performanz bei wachsender Datenmenge und Serveranzahl? Elastic Speedup: Performanzverbesserung beim Hinzufügen von Servern im laufenden Betrieb 10

11 Yahoo! Cloud Serving Benchmark Quelle: B. Cooper 11

12 Tractor Pulling (DBTest 2011) Ergebnis eines Dagstuhl-Seminars zu Robust Query Processing 2010 Ziel: Messen von Robustheit von DBMS 12

13 Tractor Pulling kontrollierte Zunahme von Last und/oder Datenvolumen Schrittweises Vorgehen; Schritt aus Änderungen am Katalog Daten laden, Indexe erzeugen Anfragen ausführen (konstante Anfragen, Anfragen mit zunehmender Komplexität, konkurrierend) Prinzip Uniform Zipf 13

14 0 Tractor Pulling: Tracks und Metriken Szenarien: Hills: langsam wachsende DB, komplexere Anfragen, konstante Nutzerzahl Meadows: konstante DB-Größe, zunehmende Anfragekomplexität Rockies: wachsende DB + Anfragekomplexität + Nutzer... Metriken (für Robustheit) Standardabweichung für Ladezeit, Speicherbedarf, Anfrageoptimierungs- und -ausführungszeit,... Step Zeit in s Meadows -CLIQUE 14

15 Techniken für skalierbares Datenmanagement Arbeit verteilen klassische Parallelisierungstechniken (Inter-Query- bzw. Intra-Query- Parallelität) Sharding Arbeit reduzieren IO als dominierenden Faktor reduzieren (Caching, Main Memory DBMS) Spezialisierung (Column Stores, OLTP- DBMS) Arbeit outsourcen Amazon RDS (5 GB..1 TB), SQL Azure (100 GB) 15

16 Partitionierung und Verteilung Voraussetzung: Problem (Last, Daten) ist partitionierbar Horizontale Partitionierung der Daten: pro Server = Partition transparent durch globales Verteilungsschema Sharding: explizit in der Applikation Kunden Brandenburg Kunden Thüringen Kunden Sachsen Kunden Bayern Vorteil: Aufteilung der Last Nachteile: Realisierung partitionsübergreifenden Operationen (Vereinigung, Join) Schemamanagement über viele Knoten ggf. Redistribution der Daten und Anpassung der Applikation notwendig 16

17 Partitionierung und Verteilung Denormalisierung Unterstützung von Sharding + Concurrency durch Normalisierung Probleme: Redundanz,... Consistent Hashing Schlüssel (Daten + Serveradressen) als Punkte auf einem Ring abbilden (über Hashfunktion) Server ist für Schlüsselbereich zuständig Vermeidet aufwendiges Remapping aller Schlüssel bei Hinzunahme/Entfernen von Serverknoten K49 K57 K40 K33 N42 N58 N32 K23 K31 K59 K5 N8 N21 K10 K15 17

18 IO-Aufwand reduzieren Disk-Zugriffe eliminieren Vorberechnung (Materialized Views) Caching: Memcached Cache-Server: Zwischenspeichern von serialisierten Objekten (Werte, Dokumente, Anfrageergebnisse) unter einem Schlüssel Beschleunigt nur Leseoperationen Main-Memory-DBMS: Vollständige Verwaltung der Datenbank im Hauptspeicher Beispiele: TimesTen, ParAccel, HANA, Membase, MonetDB,... Hauptspeichergrenze weiterhin vorhanden Spaltenorientierte Datenorganisation: Reduzierung der zu lesenden Daten auf den für die Anfrage notwendigen Teil Vektorisierte Verarbeitung statt Iterator-Prinzip MonetDB, Sybase IQ, VectorWise, Vertica,... Ergebnis: siehe aktuelletpc-h-rangliste 18

19 Grenzen: Hardware als limitierender Faktor Hauptspeicher: Adressierbarkeit, Kosten,... IO: Bandbreite von SATA (3/6 GBit), Fibre Channel,... CPU-Takt: 19

20 Grenzen: CAP-Theorem [Brewer 2000] Consistency: alle Clients (Anwendungen) haben die gleiche Sicht auf den Datenbestand auch im Fall von Updates Availability: es ist immer eine Kopie der Daten verfügbar, auch im Fehlerfall Partition Tolerance: Systemeigenschaften bleiben auch bei Partitionierung des Netzwerks erhalten Für verteilte Shared-Data-Systeme sind zu jeder Zeit nur maximal zwei dieser drei Eigenschaften erreichbar. 20

21 CAP-Theorem Im Partitionierungsfall: warten bis Daten wieder konsistent sind Sperrverfahren Consistency Keine Konsistenzgarantien Updates erfordern Konfliktbehandlung Availability Partition Tolerance Jeder Knoten ist mit jedem verbunden oder alle bilden eine atomare Einheit 2PC 21

22 Außerdem... Optimierung und Ausführung von Anfragen formuliert in SQL: SQL/XML über 1000 Knoten hinweg?? Umgang mit Ausfällen 1 Server 1 Ausfall alle 3 Jahre (1000 Tage) Server 10 Ausfälle pro Tag! Konsequenz: Einschränkung der Funktionalität AP, CA, (CP)-Systeme Transaktionssemantik (begrenzte Atomarität) Anfrageoperationen (Schlüsselzugriffe, keine Verbunde) 22

23 NoSQL eine Alternative? Klasse von Datenbanksystemen, die einen nicht-relationalen Ansatz verfolgen 23 im Datenmodell: Graphen, Dokumente,... in der Anfragesprache: kein SQL, keine Anfragesprache,... in Architektur und Features: massiv verteilt, eingeschränkte ACID- Eigenschaften (Konsistenz, Isolation) kein SQL, keine Transaktionen, kein Schema und keine Integritätsbedingungen

24 Markt & Beispiele Key-Value-Stores: Speicherung von Schlüssel-Wert-Paaren, Lookup-Operationen Beispiele: S3, Riak,... Dokumentenzentrierte Systeme: kein oder flexibles Schema (JSON-Dokumente) Beispiele: CouchDB, mongodb,... Graphenorientierte Systeme: Verwaltung von Graphstrukturen (z.b. für soziale Netze) Beispiele: Sones,... Row und Column Stores: klassische tupelstrukturierte Daten, SQL-ähnliche Anfragen Beispiele: BigTable, SimpleDB,... 24

25 Cassandra entwickelt von Facebook und 2008 als Open Source veröffentlicht seit 2010 Top-Level-Projekt bei Apache Kombination von Amazon Dynamo (massiv verteilt) und BigTable (ColumnFamily) Basis: DHT mit Consistent Hashing Replikate im Ring verteilt asynchrone und synchrone Replikation 25

26 Cassandra: Datenmodell Column = Tripel aus (Name, Wert, Zeitstempel) ColumnFamily (CF) = Tabelle aus Rows mit eindeutigem Schlüssel Immer sortiert nach Schlüssel (Index) Zusätzliche Sekundärindexe möglich Keyspace: Bestellsystem CF: CUSTOMER Key Column: Name Column: Address 42 Felix Potsdam 43 Alfons München CF: ORDERS... 26

27 Cassandra: Anfragen Thrift-API (RPC-Zugriffe) CQL einfachste Anfragen Selektion über indexierte Spalten Keine Joins Operationsspezifische Beeinflussung der Konsistenz ZERO (keine Garantien), ANY, ONE (Schreiben auf mind. 1 Knoten), QUORUM (Mindestanzahl von Knoten beim Schreiben), ALL (alle Knoten) Konflikterkennung über Zeitstempel Commit-Logs, nicht nur Replikation 27

28 VoltDB In-Memory OLTP-System basierend auf H-Store Beobachtungen Disk-IO als Bottleneck viele Anwendungen benutzen nur eine kleine (und bekannte) Anzahl verschiedener Transaktionen Datenplatzierung (Replikation, Partitionierung) mit großem Einfluss auf Performanz, jedoch abhängig von Schema und Workload Stripped-down-Systeme (Single threaded, Recovery durch Zustandskopieren,...) versprechen bessere Performanz Features Shared-Nothing-Cluster mit Main-memory-Datenbank automatische Partitionierung von Relationen ACID-Transaktionen Performanzziel: Durchsatz; nicht Latenz 28

29 VoltDB: Prinzip StoredProc(KUNDE) StoredProc(KUNDE) Tabelle KUNDE Tabelle BEST StoredProc(BEST) StoredProc(KUNDE Tabelle 1 1 ) Tabelle KUNDE 2 StoredProc(KUNDE Tabelle 3 3 ) StoredProc(BEST Tabelle 1 1 ) Tabelle BEST 2 Tabelle BEST 3 Knoten #1 Knoten #2 Knoten #3 29

30 VoltDB: Transaktionen Transaktion = Instanz einer Stored Procedure (Java + SQL-Anfrage) abgeleitet von einer vordefinierten Java-Klasse Annotation für Optimierungsmöglichkeiten Single Partition: kann auf einer einzelnen Partition (=ein Knoten) ausgeführt werden erlaubt Transfer der Ausführungskontrolle zu dem entsprechenden Knoten Partitionsinfo (Partitionierungsspalte, Parameter der Stored Procedure) 30

31 Amazon SimpleDB NoSQL-Cloud-Service von Amazon Alternative zu S3 (Storage) und RDS (MySQL-Instanzen) Hochverfügbar und hochskalierbar (AP-System) Pay-per-Use-Preismodell (Datentransfer, Anzahl Requests) Bsp. 1 Mill. Items a 25 Attribute (500 GB Speicher); 500 GB In/Out, Requests => $185/Monat Tools: AWS Toolkit for Eclipse Scratchpad (Javascript/HTML) SDK für Java, PHP,.NET,... 31

32 Amazon SimpleDB Datenmodell Tupelmodell: Domain = Kollektion von Items beschrieben über Key-Value-Paare; max. Größe10 GB Attribute können pro Item hinzugefügt werden (max. 256) API Storage Account Customer Order Customer #1 Customer #2 Domain Item Name: Wolfgang City: Dresden Attribute: Value Domain: CreateDomain, ListDomain,... Item: PutAttributes, DeleteAttributes bzw. GetAttributes 32

33 Amazon SimpleDB Anfragen Beschränkt auf einzelne Domain SFW-Syntax + count() + Multiattribut-Prädikate Stringwertige Daten: Vergleich nur lexikographisch Einschränkungen Standardfall: Eventually Consistent Reads Lesen garantiert nicht Ergebnisse des letzten Schreibens (erst nach Wiederholung, max. 1 Sekunde) Consistent Read für einzelne Leseanforderungen Atomares Schreiben nur pro Item Synchronisation von Hand über bedingte Put/Delete- Operationen möglich 33

34 Fazit & Take Home Message frischer Wind im Datenbankmarkt mit > 122 Einträgen NoSQL-Systeme zielen (nicht nur) auf Skalierbarkeit ab verschiedene (Optimierungs-)Ziele Durchsatz Datenvolumen flexible Schemata sind schon im produktiven Einsatz in kommerziellen Cloud-Angebote (Amazon SimpleDB, Google AppEngine,...) in Web2.0-Unternehmen (Facebook, Foursquare,...) auch von Oracle ;-) aber nicht immer dauerhaft (siehe Facebook: Cassandra HBase) 34

35 Fazit & Take Home Message TINSTAAFL There's no such thing as a free lunch Skalierbarkeit hat einen Preis: Kosten oder Funktionalität fehlende Funktionalität im DBMS (Anfragesprache, Verbunde, Transaktionsunterstützung,...) wird in Anwendung eventuell nicht vermisst oder muss in der Anwendung nachimplementiert werden daher: Bsp.: Joins in GQL für GAE, OCC in SimpleDB,... Skalierbarkeit welche Dimension? Anwendungsanforderungen Benchmarking We don't have Hadoop because we have large data; we have large data because we have Hadoop. Doug Buzzwords

Open-Source-Datenbanksysteme: Von MySQL bis NoSQL oder gleich in die Cloud?

Open-Source-Datenbanksysteme: Von MySQL bis NoSQL oder gleich in die Cloud? Open-Source-Datenbanksysteme: Von MySQL bis NoSQL oder gleich in die Cloud? GI-Regionalgruppentreffen, Jena 6.12.2011 Kai-Uwe Sattler Ilmenau University of Technology, Germany www.tu-ilmenau.de/dbis Überblick!

Mehr

ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik

ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik ARFA ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik Ralf Leipner Domain Architect Analytics, Risk Management & Finance 33. Berner Architekten

Mehr

Algorithmen. Consistent Hashing Bloom Filter MapReduce. Distributed Hash Tables. Einführung 1

Algorithmen. Consistent Hashing Bloom Filter MapReduce. Distributed Hash Tables. Einführung 1 Algorithmen Consistent Hashing Bloom Filter MapReduce Distributed Hash Tables Einführung 1 Consistent Hashing Problem: Wie finde ich den Speicherort für ein Objekt in einem verteilten System mit n Knoten?

Mehr

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2 Seminar Cloud Data Management WS09/10 Tabelle1 Tabelle2 1 Einführung DBMS in der Cloud Vergleich verschiedener DBMS Beispiele Microsoft Azure Amazon RDS Amazon EC2 Relational Databases AMIs Was gibt es

Mehr

Überblick und Vergleich von NoSQL. Datenbanksystemen

Überblick und Vergleich von NoSQL. Datenbanksystemen Fakultät Informatik Hauptseminar Technische Informationssysteme Überblick und Vergleich von NoSQL Christian Oelsner Dresden, 20. Mai 2011 1 1. Einführung 2. Historisches & Definition 3. Kategorien von

Mehr

NoSQL-Datenbanken. Kapitel 1: Einführung. Lars Kolb Sommersemester 2014. Universität Leipzig http://dbs.uni-leipzig.de 1-1

NoSQL-Datenbanken. Kapitel 1: Einführung. Lars Kolb Sommersemester 2014. Universität Leipzig http://dbs.uni-leipzig.de 1-1 NoSQL-Datenbanken Kapitel 1: Einführung Lars Kolb Sommersemester 2014 Universität Leipzig http://dbs.uni-leipzig.de 1-1 Inhaltsverzeichnis NoSQL-Datenbanken Motivation und Definition Kategorisierung, Eigenschaften

Mehr

Soziotechnische Informationssysteme

Soziotechnische Informationssysteme Soziotechnische Informationssysteme 8. NoSQL Relationale Datenbank NoSQL Datenbank Relationale Datenbank? NoSQL Datenbank RDBM 2 Warum? Skalierbarkeit Riesige Datenmengen Performanz und Elastizität Auslastung

Mehr

NoSQL. Einblick in die Welt nicht-relationaler Datenbanken. Christoph Föhrdes. UnFUG, SS10 17.06.2010

NoSQL. Einblick in die Welt nicht-relationaler Datenbanken. Christoph Föhrdes. UnFUG, SS10 17.06.2010 NoSQL Einblick in die Welt nicht-relationaler Datenbanken Christoph Föhrdes UnFUG, SS10 17.06.2010 About me Christoph Föhrdes AIB Semester 7 IRC: cfo #unfug@irc.ghb.fh-furtwangen.de netblox GbR (http://netblox.de)

Mehr

NoSQL. Was Architekten beachten sollten. Dr. Halil-Cem Gürsoy adesso AG. Architekturtag @ SEACON 2012 Hamburg

NoSQL. Was Architekten beachten sollten. Dr. Halil-Cem Gürsoy adesso AG. Architekturtag @ SEACON 2012 Hamburg NoSQL Was Architekten beachten sollten Dr. Halil-Cem Gürsoy adesso AG Architekturtag @ SEACON 2012 Hamburg 06.06.2012 Agenda Ein Blick in die Welt der RDBMS Klassifizierung von NoSQL-Datenbanken Gemeinsamkeiten

Mehr

Big Data Management Thema 14: Cassandra

Big Data Management Thema 14: Cassandra Thema 14: Cassandra Jan Kristof Nidzwetzki Thema 14: Cassandra 1 / 25 Übersicht 1 Grundlagen Überblick Geschichte Datenmodel 2 Architektur Der logische Ring Persistenz der Daten Tunable Consistency Read

Mehr

NoSQL-Databases. Präsentation für Advanced Seminar "Computer Engineering", Matthias Hauck, matthias.hauck@stud.uni-heidelberg.de

NoSQL-Databases. Präsentation für Advanced Seminar Computer Engineering, Matthias Hauck, matthias.hauck@stud.uni-heidelberg.de NoSQL-Databases Präsentation für Advanced Seminar "Computer Engineering", Matthias Hauck, matthias.hauck@stud.uni-heidelberg.de Klassische SQL-Datenbanken Anwendungsgebiet: Geschäftsanwendungen Behördenanwendungen

Mehr

Persönlichkeiten bei bluehands

Persönlichkeiten bei bluehands Persönlichkeiten bei Technologien bei Skalierbare Anwendungen mit Windows Azure GmbH & co.mmunication KG am@.de; posts..de/am 1 2 3 4 5 6 7 8 9 Immer mehr Mehr Performance Mehr Menge Mehr Verfügbarkeit

Mehr

Charakteristika und Vergleich von SQL- und NoSQL- Datenbanken

Charakteristika und Vergleich von SQL- und NoSQL- Datenbanken Universität Leipzig Fakultät für Mathematik und Informatik Abteilung Datenbanken Dozent: Prof. Dr. Erhard Rahm Betreuer: Stefan Endrullis Problemseminar NoSQL-Datenbanken Semester: WS 11/12 Charakteristika

Mehr

Einführung in Hauptspeicherdatenbanken

Einführung in Hauptspeicherdatenbanken Einführung in Hauptspeicherdatenbanken Harald Zankl Probevorlesung 13. 01., 13:15 14:00, HS C Inhaltsverzeichnis Organisation Überblick Konklusion Harald Zankl (LFU) Hauptspeicherdatenbanken 2/16 Organisation

Mehr

Kapitel 4 Teil 2 NoSQL-Datenbanksysteme

Kapitel 4 Teil 2 NoSQL-Datenbanksysteme Kapitel 4 Teil 2 NoSQL-Datenbanksysteme Inhalt: CAP (Consistency/Availability/Partition-Tolerance); BASE (Basically Available, Soft State, Eventually Consistent); Datenmodelle: Key-Value-Stores, Spaltenbasierte

Mehr

Apache HBase. A BigTable Column Store on top of Hadoop

Apache HBase. A BigTable Column Store on top of Hadoop Apache HBase A BigTable Column Store on top of Hadoop Ich bin... Mitch Köhler Selbstständig seit 2010 Tätig als Softwareentwickler Softwarearchitekt Student an der OVGU seit Oktober 2011 Schwerpunkte Client/Server,

Mehr

Datenbanksysteme Kapitel 6: Neue Konzepte der Datenbanktechnologie

Datenbanksysteme Kapitel 6: Neue Konzepte der Datenbanktechnologie Datenbanksysteme Kapitel 6: Neue Konzepte der Datenbanktechnologie Prof. Dr. Peter Chamoni Mercator School of Management Lehrstuhl für Wirtschaftsinformatik, insb. Business Intelligence Prof. Dr. Peter

Mehr

Aktuelle SE Praktiken für das WWW

Aktuelle SE Praktiken für das WWW Aktuelle SE Praktiken für das WWW SQL vs. NoSQL W. Mark Kubacki 23.06.2010 Gliederung Zusammenfassung Entstehungsgeschichte SQL vs. NoSQL Systemarchitekturen und Wachstumsmuster SQL NoSQL Überblick und

Mehr

Stefan Edlich Achim Friedland Jens Rampe Benjamin Brauer. NoSQL. Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken HANSER

Stefan Edlich Achim Friedland Jens Rampe Benjamin Brauer. NoSQL. Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken HANSER Stefan Edlich Achim Friedland Jens Rampe Benjamin Brauer NoSQL Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken HANSER Geleitwort 1 Vorwort 1 1 Einführung 1 1.1 Historie 1 1.2 Definition und

Mehr

NoSQL HANSER. Einstieg in die Web 2.0 Datenbanken. Stefan Edlich Achim Friedland Jens Hampe Benjamin Brauer Markus Brückner

NoSQL HANSER. Einstieg in die Web 2.0 Datenbanken. Stefan Edlich Achim Friedland Jens Hampe Benjamin Brauer Markus Brückner Stefan Edlich Achim Friedland Jens Hampe Benjamin Brauer Markus Brückner NoSQL Einstieg in die Web 2.0 Datenbanken 2., akutalisierte und erweiterte Auflage HANSER Geleitwort Vorwort Vorwort zur 2. Auflage

Mehr

SimpleVOC-Yetanother. Bausteine für eine Key/Value- Datenbank

SimpleVOC-Yetanother. Bausteine für eine Key/Value- Datenbank SimpleVOC-Yetanother Memcached? Bausteine für eine Key/Value- Datenbank SimpleVOC Yet another memcached? Bausteine für eine Key/Value Datenbank. Theorie (Martin Schönert) Praxis (Frank Celler) Eine Weisheit

Mehr

5.4 Benchmarks für Data Warehouses

5.4 Benchmarks für Data Warehouses 5.4 Benchmarks für Data Warehouses Benchmark ( Massstab ) zum Vergleich der Leistungsfähigkeit von Systemen Für Datenbanken: Serie von Benchmarks des Transaction Processing Performance Council (www.tpc.org)

Mehr

NoSQL Deep Dive mit Cassandra. Kai Spichale

NoSQL Deep Dive mit Cassandra. Kai Spichale NoSQL Deep Dive mit Cassandra Kai Spichale 13.04.2011 1 NoSQL 13.04.2011 2 BerlinExpertDays NoSQL Wide Column Stores / Column Families Document Stores Graph Databases Key Value / Tupe Stores 13.04.2011

Mehr

Oracle Big Data Technologien Ein Überblick

Oracle Big Data Technologien Ein Überblick Oracle Big Data Technologien Ein Überblick Ralf Lange Global ISV & OEM Sales NoSQL: Eine kurze Geschichte Internet-Boom: Erste Ansätze selbstgebauter "Datenbanken" Google stellt "MapReduce"

Mehr

Datenbanktechnologien für Big Data

Datenbanktechnologien für Big Data Datenbanktechnologien für Big Data Oktober 2013 Prof. Dr. Uta Störl Hochschule Darmstadt Big Data Technologien Motivation Big Data Technologien NoSQL-Datenbanksysteme Spaltenorientierte Datenbanksysteme

Mehr

The R(E)volution of Data Stores

The R(E)volution of Data Stores The R(E)volution of Data Stores Willkommen Schön, dass sie in diese Session kommen, ich bin Dominik Wagenknecht NoSQL Initiative Lead Technology Architect Accenture Wien Mobil: +43 676 8720 33921 dominik.wagenknecht@accenture.com

Mehr

NoSQL-Datenbanksysteme

NoSQL-Datenbanksysteme NoSQL-Datenbanksysteme Hochschule Harz 14.06.2013 Prof. Dr. Uta Störl Hochschule Darmstadt uta.stoerl@h-da.de NoSQL: DAS aktuelle Datenbank Buzzword Quelle: http://geekandpoke.typepad.com/geekandpoke/2011/01/nosql.html

Mehr

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar!

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar! Clouds Wolkig bis Heiter Erwartungen der Nutzer Er ist verwöhnt! Verfügbarkeit Viele Anwendungen Intuitive Interfaces Hohe Leistung Er ist nicht dankbar! Mehr! Mehr! Mehr! Moore 1 Erwartungen der Entwickler

Mehr

In-Memory Technologie Hekaton

In-Memory Technologie Hekaton Einleitende Worte 11. Juli 2014 Inhaltsverzeichnis I Einleitende Worte 1 Einleitende Worte 2 3 4 5 6 Hekaton... I Einleitende Worte griech:hekaton 100 (Zahlwort) Einsatz für OLTP (Echtzeit-Transaktionsverarbeitung)

Mehr

Rein relationale DB in Prod? Datenbanken in produktiven Einsatz? SQL + NoSQL DB in Prod? (MongoDB, Redis, CouchDB, Cassandra)

Rein relationale DB in Prod? Datenbanken in produktiven Einsatz? SQL + NoSQL DB in Prod? (MongoDB, Redis, CouchDB, Cassandra) 1 Rein relationale DB in Prod? Datenbanken in produktiven Einsatz? 2 SQL + NoSQL DB in Prod? (MongoDB, Redis, CouchDB, Cassandra) 3 DB-Cluster in der Cloud? NoSQL?!? SQL Normalformen Come as you are Warum

Mehr

ISBN: 978-3-8428-0679-5 Herstellung: Diplomica Verlag GmbH, Hamburg, 2011

ISBN: 978-3-8428-0679-5 Herstellung: Diplomica Verlag GmbH, Hamburg, 2011 Nils Petersohn Vergleich und Evaluation zwischen modernen und traditionellen Datenbankkonzepten unter den Gesichtspunkten Skalierung, Abfragemöglichkeit und Konsistenz Diplomica Verlag Nils Petersohn Vergleich

Mehr

Wide Column Stores. Felix Bruckner Mannheim, 15.06.2012

Wide Column Stores. Felix Bruckner Mannheim, 15.06.2012 Wide Column Stores Felix Bruckner Mannheim, 15.06.2012 Agenda Einführung Motivation Grundlagen NoSQL Grundlagen Wide Column Stores Anwendungsfälle Datenmodell Technik Wide Column Stores & Cloud Computing

Mehr

Fragenkatalog zum Kurs 1666 (Datenbanken in Rechnernetzen) Kurstext von SS 96

Fragenkatalog zum Kurs 1666 (Datenbanken in Rechnernetzen) Kurstext von SS 96 Fragenkatalog zum Kurs 1666 (Datenbanken in Rechnernetzen) Kurstext von SS 96 Dieser Fragenkatalog wurde aufgrund das Basistextes und zum Teil aus den Prüfungsprotokollen erstellt, um sich auf mögliche

Mehr

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221 Oracle 10g und SQL Server 2005 ein Vergleich Thomas Wächtler 39221 Inhalt 1. Einführung 2. Architektur SQL Server 2005 1. SQLOS 2. Relational Engine 3. Protocol Layer 3. Services 1. Replication 2. Reporting

Mehr

Think Big. Skalierbare Anwendungen mit Azure. Aydin Mir Mohammadi Bluehands GmbH & co.mmunication KG

Think Big. Skalierbare Anwendungen mit Azure. Aydin Mir Mohammadi Bluehands GmbH & co.mmunication KG Skalierbare Anwendungen mit Azure Bluehands GmbH & co.mmunication KG 1 2 3 4 5 6 7 8 9 Immer mehr Mehr Performance Mehr Menge Mehr Verfügbarkeit Skalierung http://www.flickr.com/photos/39901968@n04/4864698533/

Mehr

Peter Dikant mgm technology partners GmbH. Echtzeitsuche mit Hadoop und Solr

Peter Dikant mgm technology partners GmbH. Echtzeitsuche mit Hadoop und Solr Peter Dikant mgm technology partners GmbH Echtzeitsuche mit Hadoop und Solr ECHTZEITSUCHE MIT HADOOP UND SOLR PETER DIKANT MGM TECHNOLOGY PARTNERS GMBH WHOAMI peter.dikant@mgm-tp.com Java Entwickler seit

Mehr

Einführung in CouchDB

Einführung in CouchDB Einführung in CouchDB Zurücklehnen und entspannen! http://slog.io Thomas Schrader (@slogmen) 12/2010 Übersicht Bestandsaufnahme Ansatz Geschichte Technologien Features Skalierbarkeit Kurz & Gut Fazit Relationale

Mehr

25.09.2014. Zeit bedeutet eine Abwägung von Skalierbarkeit und Konsistenz

25.09.2014. Zeit bedeutet eine Abwägung von Skalierbarkeit und Konsistenz 1 2 Dies ist ein Vortrag über Zeit in verteilten Anwendungen Wir betrachten die diskrete "Anwendungszeit" in der nebenläufige Aktivitäten auftreten Aktivitäten in einer hochgradig skalierbaren (verteilten)

Mehr

Kap. 7: DB/TP Benchmarks

Kap. 7: DB/TP Benchmarks Kap. 7: DB/TP Benchmarks Einleitung Anforderungen an Benchmarks TPC-Benchmarks TPC-C TPC-W TPC-H 7-1 Benchmarks Leistungsbewertung eines DBMS bzw. Transaktionssystems für standardisierte Last und Ausführungsbedingungen

Mehr

SQL- & NoSQL-Datenbanken - Speichern und Analysen von großen Datenmengen

SQL- & NoSQL-Datenbanken - Speichern und Analysen von großen Datenmengen SQL- & NoSQL-Datenbanken - Speichern und Analysen von großen Datenmengen Lennart Leist Inhaltsverzeichnis 1 Einführung 2 1.1 Aufgaben einer Datenbank...................... 2 1.2 Geschichtliche Entwicklung

Mehr

NoSQL Datenbanken. Seminar:Software as a Service, Cloud-Computing und aktuelle Entwicklungen Dozent: Dipl. Inf. Andreas Göbel

NoSQL Datenbanken. Seminar:Software as a Service, Cloud-Computing und aktuelle Entwicklungen Dozent: Dipl. Inf. Andreas Göbel NoSQL Datenbanken Seminar:Software as a Service, Cloud-Computing und aktuelle Entwicklungen Dozent: Dipl. Inf. Andreas Göbel 17. Juni 2010 Gliederung Der Begriff NoSQL Wichtige Konzepte NoSQL-Arten Cassandra

Mehr

Vorlesung 30.03.2009 1) Einführung

Vorlesung 30.03.2009 1) Einführung Vorlesung 30.03.2009 1) Einführung Was versteht man unter dem Begriff Datenbank? - Eine Datenbank ist eine Struktur zur Speicherung von Daten mit lesendem und schreibendem Zugriff - Allgemein meint man

Mehr

NoSQL-Datenbanksysteme: Revolution oder Evolution?

NoSQL-Datenbanksysteme: Revolution oder Evolution? NoSQL-Datenbanksysteme: Revolution oder Evolution? Kolloquium Institut für Informatik, Universität Rostock 24.01.2013 Prof. Dr. Uta Störl Hochschule Darmstadt uta.stoerl@h-da.de NoSQL: DAS aktuelle Datenbank-Buzzword

Mehr

Hauptspeicher- Datenbanksysteme. Hardware-Entwicklungen Column- versus Row-Store...

Hauptspeicher- Datenbanksysteme. Hardware-Entwicklungen Column- versus Row-Store... Hauptspeicher- Datenbanksysteme Hardware-Entwicklungen Column- versus Row-Store... Hauptspeicher-Datenbanksysteme Disk is Tape, Tape is dead Jim Gray Die Zeit ist reif für ein Re-engineering der Datenbanksysteme

Mehr

Eine Einführung in Apache CouchDB. Java-Forum Stuttgart 2011

Eine Einführung in Apache CouchDB. Java-Forum Stuttgart 2011 Eine Einführung in Apache CouchDB Java-Forum Stuttgart 2011 Johannes Schneider, cedarsoft GmbH js@cedarsoft.com http://blog.cedarsoft.com http://cedarsoft.com Vielen Dank CouchDB The VERY Basics Vorerfahrung?

Mehr

Web Technologien NoSQL Datenbanken

Web Technologien NoSQL Datenbanken Web Technologien NoSQL Datenbanken Univ.-Prof. Dr.-Ing. Wolfgang Maass Chair in Information and Service Systems Department of Law and Economics WS 2011/2012 Wednesdays, 8:00 10:00 a.m. Room HS 021, B4

Mehr

PostgreSQL in großen Installationen

PostgreSQL in großen Installationen PostgreSQL in großen Installationen Cybertec Schönig & Schönig GmbH Hans-Jürgen Schönig Wieso PostgreSQL? - Die fortschrittlichste Open Source Database - Lizenzpolitik: wirkliche Freiheit - Stabilität,

Mehr

XAMPP-Systeme. Teil 3: My SQL. PGP II/05 MySQL

XAMPP-Systeme. Teil 3: My SQL. PGP II/05 MySQL XAMPP-Systeme Teil 3: My SQL Daten Eine Wesenseigenschaft von Menschen ist es, Informationen, in welcher Form sie auch immer auftreten, zu ordnen, zu klassifizieren und in strukturierter Form abzulegen.

Mehr

Was ist Amazon RDS? Datenbank Typen DB Instanzen Features. Live Demo Fazit. Amazon RDS - Till Ganzert 15.06.2012 2

Was ist Amazon RDS? Datenbank Typen DB Instanzen Features. Live Demo Fazit. Amazon RDS - Till Ganzert 15.06.2012 2 Was ist Amazon RDS? Datenbank Typen DB Instanzen Features Kosten Live Demo Fazit 15.06.2012 2 Web-Service von Amazon Erlaubt mieten von Datenbanken Einrichtung, Betrieb und Skalierung übernimmt Anbieter

Mehr

HANA Solution Manager als Einstieg

HANA Solution Manager als Einstieg Markus Stockhausen HANA Solution Manager als Einstieg Collogia Solution Day Hamburg 28.04.2016 Agenda HANA Solution Manager als Einstieg 1 Überblick 2 Techniken 3 Sizing Collogia Unternehmensberatung AG,

Mehr

Dokumentenorientierte Datenbanken - MongoDB

Dokumentenorientierte Datenbanken - MongoDB Dokumentenorientierte Datenbanken - MongoDB Jan Hentschel Ultra Tendency UG Übersicht Dokumente sind unabhängige Einheiten Bessere Performance (zusammengehörige Daten werden gemeinsam gelesen) Objektmodell

Mehr

DATENBANK LÖSUNGEN. mit Azure. Peter Schneider Trainer und Consultant. Lernen und Entwickeln. www.egos.co.at

DATENBANK LÖSUNGEN. mit Azure. Peter Schneider Trainer und Consultant. Lernen und Entwickeln. www.egos.co.at DATENBANK LÖSUNGEN mit Azure Peter Schneider Trainer und Consultant Agenda Cloud Services, Data Platform, Azure Portal Datenbanken in Virtuelle Maschinen Azure SQL Datenbanken und Elastic Database Pools

Mehr

PostgreSQL im praktischen Einsatz. Stefan Schumacher

PostgreSQL im praktischen Einsatz. Stefan Schumacher PostgreSQL im praktischen Einsatz 2. Brandenburger Linux Infotag 2005 Stefan Schumacher , PGP Key http:/// $Header: /home/daten/cvs/postgresql/folien.tex,v 1.11 2005/04/25

Mehr

Seminar WS 2012/13. S. Chaudhuri et al, CACM, Aug. 2011. Parallel DBS vs. Open Platforms for Big Data, e.g. HaDoop Near-Realtime OLAP

Seminar WS 2012/13. S. Chaudhuri et al, CACM, Aug. 2011. Parallel DBS vs. Open Platforms for Big Data, e.g. HaDoop Near-Realtime OLAP Seminar WS 2012/13 S. Chaudhuri et al, CACM, Aug. 2011 Parallel DBS vs. Open Platforms for Big Data, e.g. HaDoop Near-Realtime OLAP 2 Vorkonfigurierte, komplette Data Warehouse-Installation Mehrere Server,

Mehr

NoSQL & Big Data. NoSQL Databases and Big Data. NoSQL vs SQL DBs. NoSQL DBs - Überblick. Datenorientierte Systemanalyse. Gerhard Wohlgenannt

NoSQL & Big Data. NoSQL Databases and Big Data. NoSQL vs SQL DBs. NoSQL DBs - Überblick. Datenorientierte Systemanalyse. Gerhard Wohlgenannt NoSQL & Big Data Datenorientierte Systemanalyse NoSQL Databases and Big Data Gerhard Wohlgenannt Die besprochenen Systeme haben nicht den Anspruch und das Ziel DBS zu ersetzen, sondern für gewisse Anwendungsfälle

Mehr

NoSQL Databases and Big Data

NoSQL Databases and Big Data Datenorientierte Systemanalyse NoSQL Databases and Big Data Gerhard Wohlgenannt NoSQL & Big Data Die besprochenen Systeme haben nicht den Anspruch und das Ziel DBS zu ersetzen, sondern für gewisse Anwendungsfälle

Mehr

Datenbanken und SQL. Kapitel 1. Übersicht über Datenbanken. Edwin Schicker: Datenbanken und SQL (1)

Datenbanken und SQL. Kapitel 1. Übersicht über Datenbanken. Edwin Schicker: Datenbanken und SQL (1) Datenbanken und SQL Kapitel 1 Übersicht über Datenbanken Übersicht über Datenbanken Vergleich: Datenorganisation versus Datenbank Definition einer Datenbank Bierdepot: Eine Mini-Beispiel-Datenbank Anforderungen

Mehr

Workstations. Server. Recovery Log. Database. SQL Queries. Query Processing Object Mgmt. Transaction Mgmt. Buffer Mgmt. I/O Layer

Workstations. Server. Recovery Log. Database. SQL Queries. Query Processing Object Mgmt. Transaction Mgmt. Buffer Mgmt. I/O Layer Client-Server Architekturen: Query Shipping Grundprinzip 1. Client schickt Anfrage zum Server 2. Server schickt Ergebnisse der Anfrage zuruck Workstations Application Interface Layer SQL Queries Query

Mehr

RAC auf Sun Cluster 3.0

RAC auf Sun Cluster 3.0 RAC auf Sun Cluster 3.0 Schlüsselworte RAC, OPS, Sun Cluster, Performance, Availability Zusammenfassung Oracle hat mit dem Real Application Cluster (RAC) aus einer Hochverfügbarkeitslösung eine Höchstverfügbarkeitslösung

Mehr

Cassandra Query Language (CQL)

Cassandra Query Language (CQL) Cassandra Query Language (CQL) Seminar: NoSQL Wintersemester 2013/2014 Cassandra Zwischenpräsentation 1 Gliederung Basic facts Datentypen DDL/DML ähnlich zu SQL Besonderheiten Basic facts CQL kurz für

Mehr

Kapitel 14 Verteilte DBMS

Kapitel 14 Verteilte DBMS Kapitel 14 Verteilte DBMS 14 Verteilte DBMS 14 Verteilte DBMS...1 14.1 Begriff, Architektur und Ziele verteilter Datenbanksysteme...2 14.2 Verteilungsarten...5 14.2.1 Verteilung der Daten...5 14.2.2 Verteilung

Mehr

SQL- & NoSQL-Datenbanken. Speichern und Analysen von großen Datenmengen

SQL- & NoSQL-Datenbanken. Speichern und Analysen von großen Datenmengen SQL- & NoSQL-Datenbanken Speichern und Analysen von großen Datenmengen 1 04.07.14 Zitat von Eric Schmidt (Google CEO): There was 5 exabytes of information created between the dawn of civilization through

Mehr

Wide column-stores für Architekten

Wide column-stores für Architekten Wide column-stores für Architekten Andreas Buckenhofer Daimler TSS GmbH Ulm Schlüsselworte Big Data, Hadoop, HBase, Cassandra, Use Cases, Row Key, Hash Table NoSQL Datenbanken In den letzten Jahren wurden

Mehr

Scaling Rails. Jonathan Weiss, 02.09.2009 Peritor GmbH

Scaling Rails. Jonathan Weiss, 02.09.2009 Peritor GmbH Scaling Rails Jonathan Weiss, 02.09.2009 Peritor GmbH Scaling Rails 2 Scaling Rails 3 Rails 4 Performance Wikipedia: Das Wort Leistung (engl. Performance) wird in der Informatik verwendet, um das Vermögen

Mehr

Java Forum Stuttgart 2013 Kai.Spichale@adesso.de twitter.com/kspichale spichale.blogspot.de

Java Forum Stuttgart 2013 Kai.Spichale@adesso.de twitter.com/kspichale spichale.blogspot.de NoSQL für Java-Entwickler Java Forum Stuttgart 2013 Kai.Spichale@adesso.de twitter.com/kspichale spichale.blogspot.de 23.06.2013 Agenda Datengröße Key-value Stores 1. Wide Column 2. Cassandra Document

Mehr

vfabric-daten Big Data Schnell und flexibel

vfabric-daten Big Data Schnell und flexibel vfabric-daten Big Data Schnell und flexibel September 2012 2012 VMware Inc. All rights reserved Im Mittelpunkt: Daten Jeden Morgen wache ich auf und frage mich: Wie kann ich den Datenfluss optimieren,

Mehr

NoSQL in transaktionalen Enterprisesystemen

NoSQL in transaktionalen Enterprisesystemen NoSQL in transaktionalen Enterprisesystemen Version: 1.1 Orientation in Objects GmbH Weinheimer Str. 68 68309 Mannheim www.oio.de info@oio.de Wir haben hier nur ein paar Java Clients vor einem Host, wir

Mehr

Konsistenzproblematik bei der Cloud-Datenspeicherung

Konsistenzproblematik bei der Cloud-Datenspeicherung Konsistenzproblematik bei der Cloud-Datenspeicherung ISE Seminar 2012 Adrian Zylla 1 Cloud Bereitstellung von Speicher- und Rechenkapazität Die Cloud ist für den Anwender eine Blackbox Besitzt drei Servicemodelle

Mehr

Institut für Verteilte Systeme

Institut für Verteilte Systeme Institut für Verteilte Systeme Prof. Dr. Franz Hauck Seminar: Multimedia- und Internetsysteme, Wintersemester 2010/11 Betreuer: Jörg Domaschka Bericht zur Seminarssitzung am 2011-01-31 Bearbeitet von :

Mehr

Next Generation Cloud

Next Generation Cloud Next Generation Cloud Building Blocks In Zukunft wird es darum gehen, aus der Summe der Teile Anwendungen (Apps) zu generieren, die Mehrwerte zu schaffen App besteht aus Integration von > Funktionen, z.b.

Mehr

Überblick. Multi-Cloud Computing Motivation Redundant Array of Cloud Storage (RACS) Zusammenfassung. c td MWCC (WS14/15) Multi-Cloud Computing 13 1

Überblick. Multi-Cloud Computing Motivation Redundant Array of Cloud Storage (RACS) Zusammenfassung. c td MWCC (WS14/15) Multi-Cloud Computing 13 1 Überblick Multi-Cloud Computing Motivation Redundant Array of Cloud Storage (RACS) Zusammenfassung c td MWCC (WS14/15) Multi-Cloud Computing 13 1 Vendor Lock-In -Problem Typische Vorgehensweise bei der

Mehr

NoSQL-Einsatzszenarien in der transaktionalen Enterprise-IT

NoSQL-Einsatzszenarien in der transaktionalen Enterprise-IT NoSQL-Einsatzszenarien in der transaktionalen Enterprise-IT Version: 1.1 Wir haben hier nur ein in Java implementierte Frontends vor einer hostbasierten Businesslogic, wir profitieren nicht von NoSQL in

Mehr

Skalierbare Webanwendungen mit Python und Google App Engine

Skalierbare Webanwendungen mit Python und Google App Engine Skalierbare Webanwendungen mit Python und Google App Engine Oliver Albers 03. Juli 2008 1/32 Einführung Worum geht es? Pro und Contra Technik Genereller Aufbau Anwendungskonfiguration Verarbeitung von

Mehr

EHCache und Terracotta. Jochen Wiedmann, Software AG

EHCache und Terracotta. Jochen Wiedmann, Software AG EH und Terracotta Jochen Wiedmann, Software AG Autor Perl-Contributor DBD::mySQL 2, DBI::Proxy, DBI::Shell, DBD::CSV, Net::Daemon, RPC::Pl(Client Server) (Autor) DBI (Developer) ASF-Member (Apache Software

Mehr

Einführung. Kapitel 1 2 / 508

Einführung. Kapitel 1 2 / 508 Kapitel 1 Einführung 2 / 508 Einführung Was ist ein Datenbanksystem (DBS)? Ein System zum Speichern und Verwalten von Daten. Warum kein herkömmliches Dateisystem verwenden? Ausfallsicherheit und Skalierbarkeit

Mehr

NoSQL-Einsatzszenarien in der transaktionalen Enterprise-IT

NoSQL-Einsatzszenarien in der transaktionalen Enterprise-IT NoSQL-Einsatzszenarien in der transaktionalen Enterprise-IT Version: 1.1 Wir haben hier nur ein in Java implementierte Frontends vor einer hostbasierten Businesslogic, wir profitieren nicht von NoSQL in

Mehr

MySQL in großen Umgebungen

MySQL in großen Umgebungen MySQL in großen Umgebungen 03.03.2011 CeBIT Referent: Bernd Erk Agenda DESTINATION TIME REMARK KURZVORSTELLUNG MYSQL STATUS QUO STORAGE ENGINES MONITORING UND MANAGEMENT ENTERPRISE FEATURES FRAGEN UND

Mehr

NoSQL für Anwendungen

NoSQL für Anwendungen NoSQL für Anwendungen Hochschule Mannheim Fakultät für Informatik Cluster Grid Computing Seminar SS 2012 Lemmy Tauer (729400) lemmy.coldlemonade.tauer@gmail.com NoSQL CAP / ACID / Kompromisse Key-Value

Mehr

Ausarbeitung im Fach Datenbanken II

Ausarbeitung im Fach Datenbanken II Ausarbeitung im Fach Datenbanken II Datenbanken Benchmarks Michael Heinrich 02.07.2008 IN05 Inhalt OLTP... 3 OLAP / Decision Support... 4 Decision Support System... 4 Online Analytical Processing... 4

Mehr

Andreas Heuer Gunter Saake Kai-Uwe Sattler. Datenbanken. kompakt

Andreas Heuer Gunter Saake Kai-Uwe Sattler. Datenbanken. kompakt Andreas Heuer Gunter Saake Kai-Uwe Sattler Datenbanken kompakt Inhaltsverzeichnis Vorwort v 1 Was sind Datenbanken 1 1.1 Warum Datenbanken 1 1.2 Datenbanksysteme 4 1.3 Anforderungen: Die Codd'schen Regeln

Mehr

Oracle Big Data Technologien Ein Überblick

Oracle Big Data Technologien Ein Überblick Oracle Big Data Technologien Ein Überblick Jürgen Vester Oracle Deutschland B.V. & Co KG Um was geht es bei Big Data? Bei Big Data sprechen wir eine Klasse von Daten an, die in der

Mehr

Erweiterung des verteilten Datenspeichersystems Cassandra um eine Indexunterstützung

Erweiterung des verteilten Datenspeichersystems Cassandra um eine Indexunterstützung Leibniz Universität Hannover Fakultät für Elektrotechnik und Informatik Institut für Praktische Informatik Fachgebiet Datenbanken und Informationssysteme Erweiterung des verteilten Datenspeichersystems

Mehr

NoSQL-Datenbanken. Kapitel 2: Key-Value Stores. Lars Kolb Sommersemester 2014. Universität Leipzig http://dbs.uni-leipzig.de 2-1

NoSQL-Datenbanken. Kapitel 2: Key-Value Stores. Lars Kolb Sommersemester 2014. Universität Leipzig http://dbs.uni-leipzig.de 2-1 NoSQL-Datenbanken Kapitel 2: Key-Value Stores Lars Kolb Sommersemester 2014 Universität Leipzig http://dbs.uni-leipzig.de 2-1 Inhaltsverzeichnis Key-Value Stores File/Object Storage Services Beispiele:

Mehr

Gliederung Datenbanksysteme

Gliederung Datenbanksysteme Gliederung Datenbanksysteme 5. Datenbanksprachen 1. Datendefinitionsbefehle 2. Datenmanipulationsbefehle 3. Grundlagen zu SQL 6. Metadatenverwaltung 7. DB-Architekturen 1. 3-Schema-Modell 2. Verteilte

Mehr

Kap. 7: DB/TP Benchmarks

Kap. 7: DB/TP Benchmarks Kap. 7: DB/TP Benchmarks Einleitung Anforderungen an Benchmarks TPC-Benchmarks OLTP: TPC-C und TPC-E OLAP: TPC-H und TPC-DS Big Data Benchmarks BigBench 7-1 Benchmarks Leistungsbewertung eines DBMS / Transaktionssystems

Mehr

Was ist Windows Azure? (Stand Juni 2012)

Was ist Windows Azure? (Stand Juni 2012) Was ist Windows Azure? (Stand Juni 2012) Windows Azure Microsofts Cloud Plattform zu Erstellung, Betrieb und Skalierung eigener Cloud-basierter Anwendungen Cloud Services Laufzeitumgebung, Speicher, Datenbank,

Mehr

8. Datenbank-Benchmarks Benchmark-Anforderungen TPC-Benchmarks OLTP-Benchmarks

8. Datenbank-Benchmarks Benchmark-Anforderungen TPC-Benchmarks OLTP-Benchmarks 8. Datenbank-Benchmarks Benchmark-Anforderungen TPC-Benchmarks OLTP-Benchmarks TPC-C TPC-E Decision Support Benchmark: TPC-H WS10/11, Prof. Dr. E. Rahm 8-1 Anforderungen an geeignete Benchmarks* Domain-spezifische

Mehr

Big Data Mythen und Fakten

Big Data Mythen und Fakten Big Data Mythen und Fakten Mario Meir-Huber Research Analyst, IDC Copyright IDC. Reproduction is forbidden unless authorized. All rights reserved. About me Research Analyst @ IDC Author verschiedener IT-Fachbücher

Mehr

Pavlo Baron. Big Data. für IT-Entscheider. Riesige Datenmengen. und moderne Technologien. gewinnbringend nutzen HANSER

Pavlo Baron. Big Data. für IT-Entscheider. Riesige Datenmengen. und moderne Technologien. gewinnbringend nutzen HANSER Pavlo Baron Big Data für IT-Entscheider Riesige Datenmengen und moderne Technologien gewinnbringend nutzen HANSER Inhalt Vorwort XI 1 Management Summary 1 2 Was? 7 2.1 Mein klassisches Business ist konkurrenzlos,

Mehr

Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht)

Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht) Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht) Christian Haag, DATA MART Consulting Consulting Manager Oracle DWH Team

Mehr

Semantic Web: Resource Description Framework (RDF)

Semantic Web: Resource Description Framework (RDF) Big Data Semantic Web: RDF Information Retrieval Map Reduce: Massiv parallele Verarbeitung Datenströme Peer to Peer Informationssysteme No SQL Systeme Multi-Tenancy/Cloud-Datenbanken Semantic Web: Resource

Mehr

Markus Weise. Parallele Cloud-DBS: Aufbau und Implementierung. Parallele Cloud-DBS. Abteilung Datenbanken am Institut für Informatik

Markus Weise. Parallele Cloud-DBS: Aufbau und Implementierung. Parallele Cloud-DBS. Abteilung Datenbanken am Institut für Informatik : Aufbau und Implementierung Markus Weise Markus Weise, Universität Leipzig Folie 1 Inhalt: 1. Einleitung 2. Google s Bigtable 3. Yahoo! s PNUTS 4. Zusammenfassung 5. Quellen Markus Weise, Universität

Mehr

Diplomarbeit: Open Source Rapid Web Development Frameworks - Eine Untersuchung der Skalierungsstrategien

Diplomarbeit: Open Source Rapid Web Development Frameworks - Eine Untersuchung der Skalierungsstrategien Diplomarbeit: Open Source Rapid Web Development Frameworks - Eine Untersuchung der Skalierungsstrategien Ergebnispräsentation Kolloquium Ralf Geschke FOM Köln 27.04.2009 Gliederung Einleitung Vorgehensweise

Mehr

Einführung in Hadoop

Einführung in Hadoop Einführung in Hadoop Inhalt / Lern-Ziele Übersicht: Basis-Architektur von Hadoop Einführung in HDFS Einführung in MapReduce Ausblick: Hadoop Ökosystem Optimierungen Versionen 10.02.2012 Prof. Dr. Christian

Mehr

Big Data Hype und Wirklichkeit Bringtmehrauchmehr?

Big Data Hype und Wirklichkeit Bringtmehrauchmehr? Big Data Hype und Wirklichkeit Bringtmehrauchmehr? Günther Stürner, Vice President Sales Consulting 1 Copyright 2011, Oracle and/or its affiliates. All rights Überschrift 2 Copyright 2011, Oracle and/or

Mehr

Cloud-Infrastrukturen Seminar Cloud Data Management WS09/10

Cloud-Infrastrukturen Seminar Cloud Data Management WS09/10 Cloud-Infrastrukturen Seminar Cloud Data Management WS09/10 Richard Beyer 1 Inhalt 1. Allgemeines 2. Amazon EC2 3. Yahoo Cloud 4. Vergleich 5. Fazit 6. Literatur Richard Beyer 2 Definition Cloud computing

Mehr

Die Technologie- Landschaft für Big-Data-Analyse

Die Technologie- Landschaft für Big-Data-Analyse Die Technologie- Landschaft für Big-Data-Analyse Die Verwaltung großer Datenmengen wird durch neue Technologien einfacher und vor allem preiswerter. Dadurch ergeben sich nicht nur eine bessere Kosteneffizienz,

Mehr

BigTable. 11.12.2012 Else

BigTable. 11.12.2012 Else BigTable 11.12.2012 Else Einführung Distributed Storage System im Einsatz bei Google (2006) speichert strukturierte Daten petabyte-scale, > 1000 Nodes nicht relational, NoSQL setzt auf GFS auf 11.12.2012

Mehr

Oracle BI&W Referenz Architektur Big Data und High Performance Analytics

Oracle BI&W Referenz Architektur Big Data und High Performance Analytics DATA WAREHOUSE Oracle BI&W Referenz Architektur Big Data und High Performance Analytics Alfred Schlaucher, Oracle Scale up Unternehmensdaten zusammenfassen Noch mehr Informationen

Mehr

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes Hadoop Eine Open-Source-Implementierung von MapReduce und BigTable von Philipp Kemkes Hadoop Framework für skalierbare, verteilt arbeitende Software Zur Verarbeitung großer Datenmengen (Terra- bis Petabyte)

Mehr