NoSQL Please! Wie Web2.0, Big Data und die Cloud neue Datenbanksysteme erfordern und hervorbringen. Datenbank-Stammtisch, 8.

Größe: px
Ab Seite anzeigen:

Download "NoSQL Please! Wie Web2.0, Big Data und die Cloud neue Datenbanksysteme erfordern und hervorbringen. Datenbank-Stammtisch, 8."

Transkript

1 A Database Administrator walks into a NoSQL bar, but turns and leaves because he cannot find a table. NoSQL Please! Wie Web2.0, Big Data und die Cloud neue Datenbanksysteme erfordern und hervorbringen. Datenbank-Stammtisch, Prof. Dr. Frank Schönefeld, Geschäftsleitung, T-Systems Multimedia Solutions GmbH

2 Prolog CAP-Theorem NoSQL Datenmodelle Fazit Facebook trapped in MySQL, fate worse than death. The only way out is bite the bullet und rewrite everything. (Facebook runs approx MySQL Server instances and > 1000 memcaches.) Quelle: Michael Stonebraker 800M active monthly users, 500M active daily users; 350M mobile users; 7M apps and web sites integrated via platform; 60M queries per second; 4M row changes per second Quelle: Domas Mituzas (Facebook database performance team) 2

3 Prolog CAP-Theorem NoSQL Datenmodelle Fazit und dennoch: NoSQL greift um sich auch in Facebook. NoSQL: Bedeutungswandel des Begriffs von NoSQL (API) zu Not only SQL. Amazon setzt auf Dynamo, ein verteiltes Dateisystem (Ring mit Consistent Hashing) zur Speicherung von Key/ Value Paaren. Facebook nutzt neben MySQL auch die HBase für die Verwaltung ihrer Messages als auch die kontextsensitive Ad-Verwaltung und Einspielung. HBase basiert auf Hadoop Distributed File System und implementiert die Big Table Features für Hadoop. Google verwendet Big Table (eine dreidimensionale, dünnbesetzte KeyValue Map) für Google Earth, Maps, Analytics, Orkut. Linkedin verwendet Voldemort (Big Table x Dynamo Ansatz) für spezielle Speicheranforderungen ihrer Profile. Twitter Nutzer produzieren ca. 4 PByte/a. Scribe schreibt Logs zu Hadoop. Zur People Search wird HBase verwendet. Quelle: how-twitter-uses-nosql.php 3

4 Prolog CAP-Theorem NoSQL Datenmodelle Fazit Big Data The Next Big Thing. Ist das das Web 3.0? Quelle: 4

5 Prolog CAP-Theorem NoSQL Datenmodelle Fazit Big Data The Next Big Thing? Wir betreten die ExaByte Ära (1 ExaByte = oder 2 60 = Bytes) A decade of digital universe growth 7910 Exabytes

6 Prolog CAP-Theorem NoSQL Datenmodelle Fazit Big Data The Next Big Thing? Wir betreten die ExaByte Ära (1 ExaByte = oder 2 60 = Bytes) A decade of digital universe growth 7910 Over the next decade, the number of servers (virtual and physical) worldwide will grow by 10 times. The amount of information managed by enterprise datacenters will grow by 50 times Exabytes The number of files the datacenter will have to deal with will grow by 75 times at least. Meanwhile, the number of IT professionals in the world will grow by less than 1.5 times. There were 5 exabytes of information created between the dawn of civilization through 2003, but that much information is now created every 2 days, and the pace is increasing. (Eric Schmidt Google 2010) Quelle: IDC Digital Universe

7 Prolog CAP-Theorem NoSQL Datenmodelle Fazit Probleme und Limitationen von RDBMS. Datenmodell: Die Welt ist keine Tabelle 7

8 Prolog CAP-Theorem NoSQL Datenmodelle Fazit Probleme und Limitationen von RDBMS. Datenmodell: Die Welt ist keine Tabelle Skalierung: und passt auch schlecht in eine hinein (Scale up vs. Scale out). 8

9 Prolog CAP-Theorem NoSQL Datenmodelle Fazit Lösungsansätze von NoSQL: Datenmodell Skalierung Datenmodell Key/Value Systeme Columm Family Systeme Document Stores Map-Reduce Algorithmus Skalierung Consistency Availability Von AICD zu BASE Von Locks zu MVCC Von 2PC zu PAXOS Von Master-Slave zu Gossip Graph Datenbanken Partition Tolerance Sharding Consistent Hashing 9

10 Prolog CAP-Theorem NoSQL Datenmodelle Fazit Gute Links und Literatur: Edlich et.al: NoSQL. Einstieg in die Welt Nichtrelationaler Web 2.0 DB. Hanser Marc Boeker: MongoDB. Sag ja zu NoSQL. entwickler.press Wiki der FH Köln/Campus Gummersbach zu NoSQL Sammlung von Infos zu NoSQL DB. Fundierter Lehrstoff zu Mehrrechner-DB Systemen. CouchDB Einführung 10

11 Prolog CAP-Theorem NoSQL Datenmodelle Fazit Definition von NoSQL (Arbeitsversion). NoSQL: Nichtrelationale (schemafreie) verteilbare Datenverwaltungs- und Speicherungssysteme, die den Skalierungsanforderungen globaler 24/7-Web-Anwendungen durch modifizierte Konsistenzmodelle gerecht werden und über einfache APIs (CRUD, REST) angesprochen werden. 11

12 Prolog CAP-Theorem NoSQL Datenmodelle Fazit Historie der Datenbanksysteme. Bibliothek von Alexandria. Ca. 300 vor Christus bis ca. 391 nach Christus 12

13 Prolog CAP-Theorem NoSQL Datenmodelle Fazit Historie der Datenbanksysteme. Datenbankenprodukte und Generationen. Hierarchische DBS Netzwerk DBS Relationale DBS OO DBS Dynamo NoSQL DB ORM Objectstore Poet BigTable IMS UDS Codasyl DB Oracle 1977 System/R IBM DB2 MS SQL Server mysql

14 Agenda. Prolog Teil 1 CAP-Theorem Teil 2 NoSQL-Datenmodelle Teil 3 NoSQL-Datenmodelle Key/Value Stores Teil 3a NoSQL-Datenmodelle Columm-Family Systeme Teil 3b NoSQL-Datenmodelle Document Store Teil 3c NoSQL-Datenmodelle Graph-Datenbanken Teil 3d Fazit Teil 4 Einsatz von Webmedien & Technologien in Unternehmen NoSQL 2.0 Please - Dr. Frank Schönefeld - Prof. Dr. Frank Schönefeld/ T-Systems Multimedia Solutions GmbH

15 Prolog Das CAP-Theorem NoSQL-Datenmodelle Fazit Das CAP Theorem. Consistency. Availability. Partition Tolerance. Consistency: Availability: Partition Tolerance: In verteilten DB-Systemen müssen bei Änderungen an Daten auch deren Replikate auf den aktuellen Stand gebracht werden (wo liegen die Replikate, was mache ich, wenn ein Replikatserver nicht erreichbar ist). Verfügbarkeit von Daten innerhalb akzeptabler Antwortzeiten (oder Schreibzeiten). Ausfalltoleranz des Gesamtsystems bzgl. Knoten (Server) und Verbindungen (Netzwerk, Latenz). Brewers Vermutung von 2000, dass nur 2 der 3 Eigenschaften gemeinsam realisiert werden können, wurde 2002 durch Gilbert und Lynch bewiesen. 15

16 Prolog Das CAP-Theorem NoSQL-Datenmodelle Fazit Das CAP Theorem. Consensus protocols for HA consistency Consistency Enforced consistency Paxos Availability Partition Tolerance Eventual consistency Quelle: J. Chris Anderson/Jan Lehnardt/ Noah Slater: Couch DB The Definitive Guide 16

17 Prolog Das CAP-Theorem NoSQL-Datenmodelle Fazit Lösungen für das Availability Problem. Multiversion Concurrency Control MVCC. WTS RTS WTS: Write Time Stamp 0 Joseph 0 0 Joseph 2 RTS: Read Time Stamp Vorteil: keine Lesesperren T4 Read Joseph = da (max(wts)=0) < 4 Write Maria = Ok, da (max(rts)=2) < 4 0 Joseph 2 4 Maria 4 Im Einsatz bei: CouchDB MySQL (mit InnoDB) T3 Read = Ok, liefert Joseph da (max(wts) < 3) = 0 Write Jesus T3 wird abgebrochen, und neu gestartet, da 3 < max (RTS) = 4 17

18 Prolog Das CAP-Theorem NoSQL-Datenmodelle Fazit Lösungen für das Partition Tolerance Problem. Consistent Hashing mit Hinted Handoff. S1 S2 S5 S4 S3 Consistent Hashing: Verfahren, um die Daten einem Knoten (S1-S5 zuzuweisen). Bei Ausfall eines Knotens, werden diese Daten auf die anderen verteilt, ohne die anderen Zuweisungen zu verändern. Hinted Handoff: Wenn 3 (allg. n) Replika gehalten werden und der Master-Knoten ist nicht erreichbar, merkt sich der 1. Replikaknoten die Daten mit Vermerk und versucht bei Wiederverfügbarkeit die Daten zu verschieben. Gossip: Topologieinformationsaustausch ohne Master Im Einsatz bei: Amazon Dynamo weiteren distributierten Filesystemen (GFS, ) 18

19 Prolog Das CAP-Theorem NoSQL-Datenmodelle Fazit Lösungen für das Partition Tolerance Problem. Consistent Hashing mit Hinted Handoff. S5 S4 X X S1 S2 S3 Replikation Ausfall Consistent Hashing: Verfahren, um die Daten einem Knoten (S1-S5 zuzuweisen). Bei Ausfall eines Knotens, werden diese Daten auf die anderen verteilt, ohne die anderen Zuweisungen zu verändern. Hinted Handoff: Wenn 3 (allg. n) Replika gehalten werden und der Master-Knoten ist nicht erreichbar, merkt sich der 1. Replikaknoten die Daten mit Vermerk und versucht bei Wiederverfügbarkeit die Daten zu verschieben. Gossip: Topologieinformationsaustausch ohne Master Im Einsatz bei: Amazon Dynamo weiteren distributierten Filesystemen (GFS, ) 19

20 Prolog Das CAP-Theorem NoSQL-Datenmodelle Fazit Das CAP Theorem Von ACID zu BASE. (Wortspiel!) Eine Reise durch das (Dis-)Continuum der Konsistenz. A tomicity: C onsistency: I solation: D urability: B asically available: S oft State: E ventually Consistent:. Atomare Transaktionen Ganz oder gar nicht. Die DB geht von einem konsistenten Zustand in einen anderen konsistenten Zustand über. (Auch: Alle Clients lesen den gleichen, konsistenten Zustand). Eine Transaktion hat den Eindruck, dass ihr die DB alleine gehört (sie nicht durch andere Transaktionen beeinflusst wird). Das Ergebnis einer Transaktion wird unter allen Umständen verteidigt. Mindestens eine Kopie (Replika) stellt den gültigen Zustand dar. Alles fließt. Nach genügend langer Wartezeit, hat sich der konsistente Zustand repliziert. 20

21 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Key Value Stores. Key Value Stores speichern Schlüssel und dazugehörige unstrukturierte oder strukturierte Werte. Datenmodell: {< key, value>, } oder {< key, value, timestamp>, } key value Set oder Liste key value Hash (Person) key Name: Marie Datenmanipulation: CRUD Beispiel MapReduce ff. Slides CQL Cassandra Query Language (SQL-like) jedes DBS mit eigener Sprache, kein Standard value value Alter: 34 Vertreter: Redis, Dynamo (eventually consistent) BigTable, Voldemort, Cassandra Memcached (HS-orientierte DB) Im Einsatz bei: Dynamo BigTable Memcached 21

22 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Key Value Stores - MapReduce. MapReduce ein einfaches Programmiermodell für verteilte Datenverarbeitung nach Saliya Ekanayake (map ( )) ( ) A list of values mapped into another list of values, which gets reduced into a single value (reduce ( )) Classical Notion of MapReduce in Functional Programming Quelle: 22

23 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Key Value Stores - MapReduce. MapReduce ein einfaches Programmiermodell für verteilte Datenverarbeitung nach Saliya Ekanayake parallel Version Each input to a map is a list of <key, value> pairs (<a, >, <o, >, <p, >, ) (<a, >, <o, >, <p, >, ) Grouped by key Each input to a reduce is a <key, value-list> (possibly a list of these, depending on the grouping/hashing mechanism) e.g. <a, ( )> Reduced into a list of values Quelle: 23

24 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Key Value Stores - MapReduce. MapReduce ein einfaches Programmiermodell für verteilte Datenverarbeitung nach Saliya Ekanayake parallel Version A list of <key, value> pairs mapped into another list of <key, value> pairs which gets grouped by the key and reduced into a list of values (<a, >, <o, >, <p, >, ) The idea of MapReduce in Data Intensive Computing Each input to a map is a list of <key, value> pairs (<a, >, <o, >, <p, >, ) Grouped by key Each input to a reduce is a <key, value-list> (possibly a list of these, depending on the grouping/hashing mechanism) e.g. <a, ( )> Reduced into a list of values Quelle: 24

25 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Key Value Stores MapReduce in Pseudocode. Aufgabe: WordCount in Dokumenten oder WebPages; Input: Key: document URL; Value: Document Content. Map (String input_key, String input_value) // input_key: document name // input value: document content for each word w in input_value: Emit Intermediate (w, 1 ); Reduce (String key, Iterator intermediate_values): // Key: a word, same for input and output // intermediate_value: a list of counts Int result = 0; for each v in intermediate_value: result += ParseInt (v); Emit (AsString (result)); Quelle: 25

26 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Key Value Stores MapReduce Performance. MR_Grep: Scan von 1 Terabytes in 100 sec MR_Sort: Sort von 1 Terabyte 100 Byte Records in 14 min (10 Mrd. Sätze!!!) Unter Einsatz von 1800 Rechnern (fault-tolerant) Typische Anwendungen bei Google: Language Statistics (finde alle Wortgruppen die aus 5 Wörtern bestehen und mindestens 4 mal vorkommen) Dokument-Info kombiniert mit Host-Infos (eine Art Join) Google production index Quelle: 26

27 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Column Family Systeme. Column Family Systeme speichern Sätze spaltenorientiert oder als Super Columns. Datenmodell: Column: Name, Daten, Timestamp SuperColumn: Name, {Column1, Column2, } Datenmanipulation: CRUD in Amazon Simple DB: key Domäne/Keyspace Create Domain key Name: Joseph Alter: 24 Item Name: Maria Alter: 20 Status: Single ColumnFamily: <Key, Column1, Column2, > SuperColumnFamily: <Key, SuperColumn1, > PutAttribute(attribute_name, value) Select target from domain_name where expression; Vertreter: Amazon Simple DB (eventually consistent) HBase, Hypertable Im Einsatz bei: Amazon Simple DB (AWS) HBase 27

28 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Document Stores. Document Stores speichern Daten in Form von Dokumenten. key Datenmodell: Domäne/Keyspace Name: Joseph Alter: 24 Item Name: Maria Alter: 20 Status: Single Datenmanipulation: CRUD in MongoDB: db.<collection>.<action>(<parameters>); db.beisp.insert({name: frank, age: 49, hobbies: [ volleyball, beach, DB ]}); action: find, save, update, remove Vertreter: MongoDB CouchDB MongoDB im Einsatz bei: FourSquare (für Geolocation) bit.ly (Userhistory) NY Times (Bildupload, Forms) 28

29 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Graph Datenbanken. Graph Datenbanken speichern Daten als Netzwerke verbundener Knoten. Datenmodell: Datenmanipulation: CRUD in neo4j mit dem REST API: POST /node { data} --Knoten anlegen GET /node/123 PUT /node/123/properties { data} DELETE /node/123 Vertreter: neo4j Im Einsatz bei: vorrangig für Geo-Informationssysteme Sones 29

30 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Klassifikation von NoSQL-Datenbankensystemen. Size Key-Value Stores Columm Family Stores Document Databases Graph Databases Complexity NoSQL Please! Prof. Dr. Frank Schönefeld/ T-Systems Multimedia Solutions GmbH 20. Januar

31 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Klassifikation von NoSQL-Datenbankensystemen. Size Key-Value Stores Columm Family Stores Document Databases Graph Databases > 90 % of the use cases Complexity NoSQL Please! Prof. Dr. Frank Schönefeld/ T-Systems Multimedia Solutions GmbH 20. Januar

32 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit NoSQL: Nathan Hursts Entscheidungspyramide für NoSQL-Datenbanken. Quelle:http://t3n.de/news/visual-guide-nosql-systems / NoSQL Please! Prof. Dr. Frank Schönefeld/ T-Systems Multimedia Solutions GmbH 20. Januar

33 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Anwendungsfälle für NoSQL. Nach J. Hammerbacher (Cloudera). 1. Risikoanalysen (Kreditkartenbetrug) 2. Kundenanalysen (Kündigungsgründe) 3. Empfehlungssysteme 4. Ad Targeting 5. POS Transaction Analysen (Echtzeit) 6. Netzwerkanalysen 7. Bedrohungsanalysen 8. Überwachungsdatenanalyse 9. Suchqualitätsanalysen 10. Genom Datenanalysen 33

34 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Fazit SQL vs. NoSQL. Am Beispiel von MySQL. MySQL Datenmodell: spaltenorientiert Untereinheit der DB: Tabelle Primärschlüssel: Primary Key Transaktionen: Ja Stored Procedures: Ja Trigger: Ja Cursor: Ja Views: Ja Volltextsuche: Ja Replikation: Master/Slave Binärdaten: Ja, BLOB Map/Reduce: Nein NoSQL Datenmodell: KeyValue, Dokument, Graph, Untereinheit der DB: Collection,. Primärschlüssel: Object ID, Key, Transaktionen: Meistens nein, Stored Procedures: nein Trigger: nein Cursor: Häufig ja Views: selten Volltextsuche: Nicht immer Replikation: ja, verschiedene Verfahren Binärdaten: Ja Map/Reduce: Ja Nach Marc Boeker. MongoDB. 34

35 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Fazit SQL vs. NoSQL. Quelle: 35

36 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Fazit. Web 2.0, Big Data und die Cloud haben völlig neue Typen von Datenbanken benötigt und hervorgebracht. Es ist wieder spannend, Datenbanker zu sein!!! NoSQL (Not only SQL) ist z.zt. ein dynamisches, inhomogenes noch nicht abgeschlossenes Wissensgebiet. Der Einsatz von NoSQL im normalen Unternehmensumfeld kann bereits heute Sinn machen. Deshalb in (vor) die Entwurfsphase von DB, die NoSQL-Betrachtung einbeziehen. NoSQL Please! Prof. Dr. Frank Schönefeld/ T-Systems Multimedia Solutions GmbH 20. Januar

37 Danke. NoSQL Please Prof. Dr. Frank Schönefeld/ T-Systems Multimedia Solutions GmbH 37

38 Dr. Frank Schönefeld Prokurist, Geschäftsleitung T-Systems Multimedia Solutions T-Systems Multimedia Solutions Riesaer Straße 5 D Dresden Telefon: Telefax: Web: Blog: Twitter: twitter.com/frank_open Bookmarks: delicious.com/frank_open../praxisleitfadene20 Xing: LinkedIn: Schoenefeld Xing Twitter Facebook Flickr Slideshare Youtube NoSQL Please Prof. Dr. Frank Schönefeld/ T-Systems Multimedia Solutions GmbH 38

NoSQL. Was Architekten beachten sollten. Dr. Halil-Cem Gürsoy adesso AG. Architekturtag @ SEACON 2012 Hamburg

NoSQL. Was Architekten beachten sollten. Dr. Halil-Cem Gürsoy adesso AG. Architekturtag @ SEACON 2012 Hamburg NoSQL Was Architekten beachten sollten Dr. Halil-Cem Gürsoy adesso AG Architekturtag @ SEACON 2012 Hamburg 06.06.2012 Agenda Ein Blick in die Welt der RDBMS Klassifizierung von NoSQL-Datenbanken Gemeinsamkeiten

Mehr

SQL- & NoSQL-Datenbanken. Speichern und Analysen von großen Datenmengen

SQL- & NoSQL-Datenbanken. Speichern und Analysen von großen Datenmengen SQL- & NoSQL-Datenbanken Speichern und Analysen von großen Datenmengen 1 04.07.14 Zitat von Eric Schmidt (Google CEO): There was 5 exabytes of information created between the dawn of civilization through

Mehr

Algorithmen. Consistent Hashing Bloom Filter MapReduce. Distributed Hash Tables. Einführung 1

Algorithmen. Consistent Hashing Bloom Filter MapReduce. Distributed Hash Tables. Einführung 1 Algorithmen Consistent Hashing Bloom Filter MapReduce Distributed Hash Tables Einführung 1 Consistent Hashing Problem: Wie finde ich den Speicherort für ein Objekt in einem verteilten System mit n Knoten?

Mehr

NoSQL-Datenbanken. Kapitel 1: Einführung. Lars Kolb Sommersemester 2014. Universität Leipzig http://dbs.uni-leipzig.de 1-1

NoSQL-Datenbanken. Kapitel 1: Einführung. Lars Kolb Sommersemester 2014. Universität Leipzig http://dbs.uni-leipzig.de 1-1 NoSQL-Datenbanken Kapitel 1: Einführung Lars Kolb Sommersemester 2014 Universität Leipzig http://dbs.uni-leipzig.de 1-1 Inhaltsverzeichnis NoSQL-Datenbanken Motivation und Definition Kategorisierung, Eigenschaften

Mehr

NoSQL & Big Data. NoSQL Databases and Big Data. NoSQL vs SQL DBs. NoSQL DBs - Überblick. Datenorientierte Systemanalyse. Gerhard Wohlgenannt

NoSQL & Big Data. NoSQL Databases and Big Data. NoSQL vs SQL DBs. NoSQL DBs - Überblick. Datenorientierte Systemanalyse. Gerhard Wohlgenannt NoSQL & Big Data Datenorientierte Systemanalyse NoSQL Databases and Big Data Gerhard Wohlgenannt Die besprochenen Systeme haben nicht den Anspruch und das Ziel DBS zu ersetzen, sondern für gewisse Anwendungsfälle

Mehr

Eine Einführung in Apache CouchDB. Java-Forum Stuttgart 2011

Eine Einführung in Apache CouchDB. Java-Forum Stuttgart 2011 Eine Einführung in Apache CouchDB Java-Forum Stuttgart 2011 Johannes Schneider, cedarsoft GmbH js@cedarsoft.com http://blog.cedarsoft.com http://cedarsoft.com Vielen Dank CouchDB The VERY Basics Vorerfahrung?

Mehr

NoSQL. Einblick in die Welt nicht-relationaler Datenbanken. Christoph Föhrdes. UnFUG, SS10 17.06.2010

NoSQL. Einblick in die Welt nicht-relationaler Datenbanken. Christoph Föhrdes. UnFUG, SS10 17.06.2010 NoSQL Einblick in die Welt nicht-relationaler Datenbanken Christoph Föhrdes UnFUG, SS10 17.06.2010 About me Christoph Föhrdes AIB Semester 7 IRC: cfo #unfug@irc.ghb.fh-furtwangen.de netblox GbR (http://netblox.de)

Mehr

NoSQL-Databases. Präsentation für Advanced Seminar "Computer Engineering", Matthias Hauck, matthias.hauck@stud.uni-heidelberg.de

NoSQL-Databases. Präsentation für Advanced Seminar Computer Engineering, Matthias Hauck, matthias.hauck@stud.uni-heidelberg.de NoSQL-Databases Präsentation für Advanced Seminar "Computer Engineering", Matthias Hauck, matthias.hauck@stud.uni-heidelberg.de Klassische SQL-Datenbanken Anwendungsgebiet: Geschäftsanwendungen Behördenanwendungen

Mehr

Oracle Big Data Technologien Ein Überblick

Oracle Big Data Technologien Ein Überblick Oracle Big Data Technologien Ein Überblick Ralf Lange Global ISV & OEM Sales NoSQL: Eine kurze Geschichte Internet-Boom: Erste Ansätze selbstgebauter "Datenbanken" Google stellt "MapReduce"

Mehr

SimpleVOC-Yetanother. Bausteine für eine Key/Value- Datenbank

SimpleVOC-Yetanother. Bausteine für eine Key/Value- Datenbank SimpleVOC-Yetanother Memcached? Bausteine für eine Key/Value- Datenbank SimpleVOC Yet another memcached? Bausteine für eine Key/Value Datenbank. Theorie (Martin Schönert) Praxis (Frank Celler) Eine Weisheit

Mehr

Web Technologien NoSQL Datenbanken

Web Technologien NoSQL Datenbanken Web Technologien NoSQL Datenbanken Univ.-Prof. Dr.-Ing. Wolfgang Maass Chair in Information and Service Systems Department of Law and Economics WS 2011/2012 Wednesdays, 8:00 10:00 a.m. Room HS 021, B4

Mehr

Fakultät für Informatik & Wirtschaftsinformatik DB & IS II SS 2015. NoSQL. http://www.w3resource.com/mongodb/nosql.php. Dr. Christian Senger.

Fakultät für Informatik & Wirtschaftsinformatik DB & IS II SS 2015. NoSQL. http://www.w3resource.com/mongodb/nosql.php. Dr. Christian Senger. NoSQL http://www.w3resource.com/mongodb/nosql.php NoSQL 1 Short History of Databases 1960s - Navigational DBs CODEASYL (COBOL) IMS (IBM) 1980s to 1990s - Object Oriented DBs Object DB's Object-Relational-

Mehr

Charakteristika und Vergleich von SQL- und NoSQL- Datenbanken

Charakteristika und Vergleich von SQL- und NoSQL- Datenbanken Universität Leipzig Fakultät für Mathematik und Informatik Abteilung Datenbanken Dozent: Prof. Dr. Erhard Rahm Betreuer: Stefan Endrullis Problemseminar NoSQL-Datenbanken Semester: WS 11/12 Charakteristika

Mehr

Big Data Mythen und Fakten

Big Data Mythen und Fakten Big Data Mythen und Fakten Mario Meir-Huber Research Analyst, IDC Copyright IDC. Reproduction is forbidden unless authorized. All rights reserved. About me Research Analyst @ IDC Author verschiedener IT-Fachbücher

Mehr

Cassandra Query Language (CQL)

Cassandra Query Language (CQL) Cassandra Query Language (CQL) Seminar: NoSQL Wintersemester 2013/2014 Cassandra Zwischenpräsentation 1 Gliederung Basic facts Datentypen DDL/DML ähnlich zu SQL Besonderheiten Basic facts CQL kurz für

Mehr

NoSQL Datenbanken. Seminar:Software as a Service, Cloud-Computing und aktuelle Entwicklungen Dozent: Dipl. Inf. Andreas Göbel

NoSQL Datenbanken. Seminar:Software as a Service, Cloud-Computing und aktuelle Entwicklungen Dozent: Dipl. Inf. Andreas Göbel NoSQL Datenbanken Seminar:Software as a Service, Cloud-Computing und aktuelle Entwicklungen Dozent: Dipl. Inf. Andreas Göbel 17. Juni 2010 Gliederung Der Begriff NoSQL Wichtige Konzepte NoSQL-Arten Cassandra

Mehr

NoSQL Deep Dive mit Cassandra. Kai Spichale

NoSQL Deep Dive mit Cassandra. Kai Spichale NoSQL Deep Dive mit Cassandra Kai Spichale 13.04.2011 1 NoSQL 13.04.2011 2 BerlinExpertDays NoSQL Wide Column Stores / Column Families Document Stores Graph Databases Key Value / Tupe Stores 13.04.2011

Mehr

NoSQL. Hintergründe und Anwendungen. Andreas Winschu

NoSQL. Hintergründe und Anwendungen. Andreas Winschu NoSQL Hintergründe und Anwendungen Andreas Winschu 1 Inhalt 1. Motivation 2. RDBMS 3. CAP Theorem 4. NoSQL 5. NoSql Overview 6. NoSQl Praxis 7. Zusammenfassung und Ausblick 2 1.Motivation Datenbanken Permanente

Mehr

NoSQL mit Postgres 15. Juni 2015

NoSQL mit Postgres 15. Juni 2015 Tag der Datenbanken 15. Juni 2015 Dipl.-Wirt.-Inform. Agenda l Vorstellung l Marktübersicht l Warum PostgreSQL? l Warum NoSQL? l Beispielanwendung Seite: 2 Vorstellung Dipl.-Wirt.-Inform. [1990] Erste

Mehr

Wide Column Stores. Felix Bruckner Mannheim, 15.06.2012

Wide Column Stores. Felix Bruckner Mannheim, 15.06.2012 Wide Column Stores Felix Bruckner Mannheim, 15.06.2012 Agenda Einführung Motivation Grundlagen NoSQL Grundlagen Wide Column Stores Anwendungsfälle Datenmodell Technik Wide Column Stores & Cloud Computing

Mehr

Java Forum Stuttgart 2013 Kai.Spichale@adesso.de twitter.com/kspichale spichale.blogspot.de

Java Forum Stuttgart 2013 Kai.Spichale@adesso.de twitter.com/kspichale spichale.blogspot.de NoSQL für Java-Entwickler Java Forum Stuttgart 2013 Kai.Spichale@adesso.de twitter.com/kspichale spichale.blogspot.de 23.06.2013 Agenda Datengröße Key-value Stores 1. Wide Column 2. Cassandra Document

Mehr

Datenbanktechnologien für Big Data

Datenbanktechnologien für Big Data Datenbanktechnologien für Big Data Oktober 2013 Prof. Dr. Uta Störl Hochschule Darmstadt Big Data Technologien Motivation Big Data Technologien NoSQL-Datenbanksysteme Spaltenorientierte Datenbanksysteme

Mehr

Kapitel 4 Teil 2 NoSQL-Datenbanksysteme

Kapitel 4 Teil 2 NoSQL-Datenbanksysteme Kapitel 4 Teil 2 NoSQL-Datenbanksysteme Inhalt: CAP (Consistency/Availability/Partition-Tolerance); BASE (Basically Available, Soft State, Eventually Consistent); Datenmodelle: Key-Value-Stores, Spaltenbasierte

Mehr

Datenbanken und SQL. Kapitel 1. Übersicht über Datenbanken. Edwin Schicker: Datenbanken und SQL (1)

Datenbanken und SQL. Kapitel 1. Übersicht über Datenbanken. Edwin Schicker: Datenbanken und SQL (1) Datenbanken und SQL Kapitel 1 Übersicht über Datenbanken Übersicht über Datenbanken Vergleich: Datenorganisation versus Datenbank Definition einer Datenbank Bierdepot: Eine Mini-Beispiel-Datenbank Anforderungen

Mehr

Dokumentenorientierte Datenbanken - MongoDB

Dokumentenorientierte Datenbanken - MongoDB Dokumentenorientierte Datenbanken - MongoDB Jan Hentschel Ultra Tendency UG Übersicht Dokumente sind unabhängige Einheiten Bessere Performance (zusammengehörige Daten werden gemeinsam gelesen) Objektmodell

Mehr

Persönlichkeiten bei bluehands

Persönlichkeiten bei bluehands Persönlichkeiten bei Technologien bei Skalierbare Anwendungen mit Windows Azure GmbH & co.mmunication KG am@.de; posts..de/am 1 2 3 4 5 6 7 8 9 Immer mehr Mehr Performance Mehr Menge Mehr Verfügbarkeit

Mehr

BigTable. 11.12.2012 Else

BigTable. 11.12.2012 Else BigTable 11.12.2012 Else Einführung Distributed Storage System im Einsatz bei Google (2006) speichert strukturierte Daten petabyte-scale, > 1000 Nodes nicht relational, NoSQL setzt auf GFS auf 11.12.2012

Mehr

Semantik und konzeptionelle Modellierung

Semantik und konzeptionelle Modellierung Semantik und konzeptionelle Modellierung Verteilte Datenbanken Christoph Walesch Fachbereich MNI der FH Gieÿen-Friedberg 18.1.2011 1 / 40 Inhaltsverzeichnis 1 Verteiltes Rechnen MapReduce MapReduce Beispiel

Mehr

Big Data Informationen neu gelebt

Big Data Informationen neu gelebt Seminarunterlage Version: 1.01 Copyright Version 1.01 vom 21. Mai 2015 Dieses Dokument wird durch die veröffentlicht. Copyright. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen

Mehr

Einführung in Hadoop

Einführung in Hadoop Einführung in Hadoop Inhalt / Lern-Ziele Übersicht: Basis-Architektur von Hadoop Einführung in HDFS Einführung in MapReduce Ausblick: Hadoop Ökosystem Optimierungen Versionen 10.02.2012 Prof. Dr. Christian

Mehr

MySQL in großen Umgebungen

MySQL in großen Umgebungen MySQL in großen Umgebungen 03.03.2011 CeBIT Referent: Bernd Erk Agenda DESTINATION TIME REMARK KURZVORSTELLUNG MYSQL STATUS QUO STORAGE ENGINES MONITORING UND MANAGEMENT ENTERPRISE FEATURES FRAGEN UND

Mehr

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2 Seminar Cloud Data Management WS09/10 Tabelle1 Tabelle2 1 Einführung DBMS in der Cloud Vergleich verschiedener DBMS Beispiele Microsoft Azure Amazon RDS Amazon EC2 Relational Databases AMIs Was gibt es

Mehr

Apache HBase. A BigTable Column Store on top of Hadoop

Apache HBase. A BigTable Column Store on top of Hadoop Apache HBase A BigTable Column Store on top of Hadoop Ich bin... Mitch Köhler Selbstständig seit 2010 Tätig als Softwareentwickler Softwarearchitekt Student an der OVGU seit Oktober 2011 Schwerpunkte Client/Server,

Mehr

Social Intranets und Enterprise 2.0

Social Intranets und Enterprise 2.0 Web2.0: Networked Applications that explicitly leverage network effects. Tim O Reilly Social Intranets und Enterprise 2.0 Prof. Dr. Frank Schönefeld, Geschäftsleitung, T-Systems Multimedia Solutions GmbH

Mehr

SQL- & NoSQL-Datenbanken - Speichern und Analysen von großen Datenmengen

SQL- & NoSQL-Datenbanken - Speichern und Analysen von großen Datenmengen SQL- & NoSQL-Datenbanken - Speichern und Analysen von großen Datenmengen Lennart Leist Inhaltsverzeichnis 1 Einführung 2 1.1 Aufgaben einer Datenbank...................... 2 1.2 Geschichtliche Entwicklung

Mehr

ORM & OLAP. Object-oriented Enterprise Application Programming Model for In-Memory Databases. Sebastian Oergel

ORM & OLAP. Object-oriented Enterprise Application Programming Model for In-Memory Databases. Sebastian Oergel ORM & OLAP Object-oriented Enterprise Application Programming Model for In-Memory Databases Sebastian Oergel Probleme 2 Datenbanken sind elementar für Business-Anwendungen Gängiges Datenbankparadigma:

Mehr

NoSQL in transaktionalen Enterprisesystemen

NoSQL in transaktionalen Enterprisesystemen NoSQL in transaktionalen Enterprisesystemen Version: 1.1 Orientation in Objects GmbH Weinheimer Str. 68 68309 Mannheim www.oio.de info@oio.de Wir haben hier nur ein paar Java Clients vor einem Host, wir

Mehr

NoSQL für Anwendungen

NoSQL für Anwendungen NoSQL für Anwendungen Hochschule Mannheim Fakultät für Informatik Cluster Grid Computing Seminar SS 2012 Lemmy Tauer (729400) lemmy.coldlemonade.tauer@gmail.com NoSQL CAP / ACID / Kompromisse Key-Value

Mehr

IDS Lizenzierung für IDS und HDR. Primärserver IDS Lizenz HDR Lizenz

IDS Lizenzierung für IDS und HDR. Primärserver IDS Lizenz HDR Lizenz IDS Lizenzierung für IDS und HDR Primärserver IDS Lizenz HDR Lizenz Workgroup V7.3x oder V9.x Required Not Available Primärserver Express V10.0 Workgroup V10.0 Enterprise V7.3x, V9.x or V10.0 IDS Lizenz

Mehr

Institut für Verteilte Systeme

Institut für Verteilte Systeme Institut für Verteilte Systeme Prof. Dr. Franz Hauck Seminar: Multimedia- und Internetsysteme, Wintersemester 2010/11 Betreuer: Jörg Domaschka Bericht zur Seminarssitzung am 2011-01-31 Bearbeitet von :

Mehr

Apache Hadoop. Distribute your data and your application. Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.

Apache Hadoop. Distribute your data and your application. Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache. Apache Hadoop Distribute your data and your application Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org Apache The Apache Software Foundation Community und

Mehr

PostgreSQL im praktischen Einsatz. Stefan Schumacher

PostgreSQL im praktischen Einsatz. Stefan Schumacher PostgreSQL im praktischen Einsatz 2. Brandenburger Linux Infotag 2005 Stefan Schumacher , PGP Key http:/// $Header: /home/daten/cvs/postgresql/folien.tex,v 1.11 2005/04/25

Mehr

NoSQL-Einsatzszenarien in der transaktionalen Enterprise-IT

NoSQL-Einsatzszenarien in der transaktionalen Enterprise-IT NoSQL-Einsatzszenarien in der transaktionalen Enterprise-IT Version: 1.1 Wir haben hier nur ein in Java implementierte Frontends vor einer hostbasierten Businesslogic, wir profitieren nicht von NoSQL in

Mehr

Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht

Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht Big-Data-Technologien - Überblick - Quelle: http://www.ingenieur.de/panorama/fussball-wm-in-brasilien/elektronischer-fussball-smartphone-app-helfen-training Big-Data-Anwendungen im Unternehmen Logistik

Mehr

Organisatorisches. Unit1: Intro and Basics. Bewertung. About Me.. Datenorientierte Systemanalyse. Gerhard Wohlgenannt

Organisatorisches. Unit1: Intro and Basics. Bewertung. About Me.. Datenorientierte Systemanalyse. Gerhard Wohlgenannt Organisatorisches Datenorientierte Systemanalyse Unit1: Intro and Basics Gerhard Wohlgenannt Inhalt: Datenorientierte Systemanalyse Umfang: 5 units XX.10.2013 XX.11.2013 09:00-13:30 Uhr Room XXX Infos,

Mehr

MySQL kann auch NoSQL DOAG 2011

MySQL kann auch NoSQL DOAG 2011 MySQL kann auch NoSQL DOAG 2011 Erkan Yanar 24. November 2011 rkan Yanar: MySQL kann auch NoSQL,DOAG 2011 das ich erkan yanar erkan.yanar@linsenraum.de linsenraum.de/erkules www.xing.com/profile/erkan

Mehr

NoSQL-Datenbanksysteme

NoSQL-Datenbanksysteme NoSQL-Datenbanksysteme Hochschule Harz 14.06.2013 Prof. Dr. Uta Störl Hochschule Darmstadt uta.stoerl@h-da.de NoSQL: DAS aktuelle Datenbank Buzzword Quelle: http://geekandpoke.typepad.com/geekandpoke/2011/01/nosql.html

Mehr

Pavlo Baron. Big Data. für IT-Entscheider. Riesige Datenmengen. und moderne Technologien. gewinnbringend nutzen HANSER

Pavlo Baron. Big Data. für IT-Entscheider. Riesige Datenmengen. und moderne Technologien. gewinnbringend nutzen HANSER Pavlo Baron Big Data für IT-Entscheider Riesige Datenmengen und moderne Technologien gewinnbringend nutzen HANSER Inhalt Vorwort XI 1 Management Summary 1 2 Was? 7 2.1 Mein klassisches Business ist konkurrenzlos,

Mehr

NoSQL-Datenbanken. Markus Kramer. deren Probleme herauszuarbeiten und andere Grundlagen zu erläutern.

NoSQL-Datenbanken. Markus Kramer. deren Probleme herauszuarbeiten und andere Grundlagen zu erläutern. 1 NoSQL-Datenbanken Markus Kramer Zusammenfassung NoSQL-Datenbanken sind zu einer interessanten Alternative zu herkömmlichen Datenbanken geworden. In dieser Arbeit werden die dahinter liegenden Konzepte

Mehr

Semantic Web: Resource Description Framework (RDF)

Semantic Web: Resource Description Framework (RDF) Big Data Semantic Web: RDF Information Retrieval Map Reduce: Massiv parallele Verarbeitung Datenströme Peer to Peer Informationssysteme No SQL Systeme Multi-Tenancy/Cloud-Datenbanken Semantic Web: Resource

Mehr

Web & Datenbanken SoSe2013. Web & Datenbanken

Web & Datenbanken SoSe2013. Web & Datenbanken Web & Datenbanken Vorlesung Prof. Johann Christoph Freytag, Ph.D. Institut für Informatik, Humboldt-Universität zu Berlin Bitte Handys ausschalten! 1.1 Ziel des Vortrags Welche DBMS gibt es Welche ist

Mehr

PostgreSQL in großen Installationen

PostgreSQL in großen Installationen PostgreSQL in großen Installationen Cybertec Schönig & Schönig GmbH Hans-Jürgen Schönig Wieso PostgreSQL? - Die fortschrittlichste Open Source Database - Lizenzpolitik: wirkliche Freiheit - Stabilität,

Mehr

Kein blasses Schema? NoSQL und Big Data mit Hibernate OGM

Kein blasses Schema? NoSQL und Big Data mit Hibernate OGM Kein blasses Schema? NoSQL und Big Data mit Hibernate OGM Thomas Much thomas@muchsoft.com www.muchsoft.com 1 NoSQL und Big Data Herzlich Willkommen in der NoSQL-Welt OnlySQL Not 2 NoSQL und Big Data NoSQL

Mehr

Seminar WS 2012/13. S. Chaudhuri et al, CACM, Aug. 2011. Parallel DBS vs. Open Platforms for Big Data, e.g. HaDoop Near-Realtime OLAP

Seminar WS 2012/13. S. Chaudhuri et al, CACM, Aug. 2011. Parallel DBS vs. Open Platforms for Big Data, e.g. HaDoop Near-Realtime OLAP Seminar WS 2012/13 S. Chaudhuri et al, CACM, Aug. 2011 Parallel DBS vs. Open Platforms for Big Data, e.g. HaDoop Near-Realtime OLAP 2 Vorkonfigurierte, komplette Data Warehouse-Installation Mehrere Server,

Mehr

Einführung in Hadoop & MapReduce. Dr. Kathrin Spreyer Big Data Engineer

Einführung in Hadoop & MapReduce. Dr. Kathrin Spreyer Big Data Engineer Einführung in Hadoop & MapReduce Dr. Kathrin Spreyer Big Data Engineer München, 19.06.2013 Agenda Einleitung 1. HDFS 2. MapReduce 3. APIs 4. Hive & Pig 5. Mahout Tools aus Hadoop-Ökosystem 6. HBase 2 Worum

Mehr

Infinispan - NoSQL für den Enterprise Java Alltag

Infinispan - NoSQL für den Enterprise Java Alltag Infinispan - NoSQL für den Enterprise Java Alltag Version: 1.1 Orientation in Objects GmbH Weinheimer Str. 68 68309 Mannheim www.oio.de info@oio.de Gliederung NoSQL und Java EE Infinispan Integrationsszenarien

Mehr

Hadoop. Simon Prewo. Simon Prewo

Hadoop. Simon Prewo. Simon Prewo Hadoop Simon Prewo Simon Prewo 1 Warum Hadoop? SQL: DB2, Oracle Hadoop? Innerhalb der letzten zwei Jahre hat sich die Datenmenge ca. verzehnfacht Die Klassiker wie DB2, Oracle usw. sind anders konzeptioniert

Mehr

MySQL Replikationstechnologien

MySQL Replikationstechnologien MySQL Replikationstechnologien Lenz Grimmer MySQL Community Relations Specialist $ whoami 1998 2002 2008 2010 Agenda Replikation: Definition und Klassifizierung Anwendungsgebiete

Mehr

Enterprise 2.0 Redefinition der Wissensorganisation oder alter Wein in neuen Schläuchen? 9. Publishers Forum, 23. April 2012, Berlin

Enterprise 2.0 Redefinition der Wissensorganisation oder alter Wein in neuen Schläuchen? 9. Publishers Forum, 23. April 2012, Berlin Enterprise 2.0 Redefinition der Wissensorganisation oder alter Wein in neuen Schläuchen? 9. Publishers Forum, 23. April 2012, Berlin Prof. Dr. Frank Schönefeld, T-Systems Multimedia Solutions GmbH Wenn

Mehr

Next Generation Cloud

Next Generation Cloud Next Generation Cloud Building Blocks In Zukunft wird es darum gehen, aus der Summe der Teile Anwendungen (Apps) zu generieren, die Mehrwerte zu schaffen App besteht aus Integration von > Funktionen, z.b.

Mehr

Inhalt. Ein Einführung in die Nutzung von SQL-Datenbanken am Beispiel Oracle. Daten und Tabellen - ein Beispiel. Daten und Tabellen - Normalisierung

Inhalt. Ein Einführung in die Nutzung von SQL-Datenbanken am Beispiel Oracle. Daten und Tabellen - ein Beispiel. Daten und Tabellen - Normalisierung Inhalt Ein Einführung in die Nutzung von SQL-Datenbanken am Beispiel Oracle Daten und Tabellen Normalisierung, Beziehungen, Datenmodell SQL - Structured Query Language Anlegen von Tabellen Datentypen (Spalten,

Mehr

Was ist Amazon RDS? Datenbank Typen DB Instanzen Features. Live Demo Fazit. Amazon RDS - Till Ganzert 15.06.2012 2

Was ist Amazon RDS? Datenbank Typen DB Instanzen Features. Live Demo Fazit. Amazon RDS - Till Ganzert 15.06.2012 2 Was ist Amazon RDS? Datenbank Typen DB Instanzen Features Kosten Live Demo Fazit 15.06.2012 2 Web-Service von Amazon Erlaubt mieten von Datenbanken Einrichtung, Betrieb und Skalierung übernimmt Anbieter

Mehr

Installation MySQL Replikationsserver 5.6.12

Installation MySQL Replikationsserver 5.6.12 Ergänzen Konfigurationsdatei my.ini auf Master-Server:!!! softgate gmbh!!! Master und Slave binary logging format - mixed recommended binlog_format = ROW Enabling this option causes the master to write

Mehr

Dateisysteme und Datenverwaltung in der Cloud

Dateisysteme und Datenverwaltung in der Cloud Dateisysteme und Datenverwaltung in der Cloud Sebastian Fischer Master-Seminar Cloud Computing - WS 2013/14 Institut für Telematik, Universität zu Lübeck Dateisysteme und Datenverwaltung in der Cloud 1

Mehr

Living Lab Big Data Konzeption einer Experimentierplattform

Living Lab Big Data Konzeption einer Experimentierplattform Living Lab Big Data Konzeption einer Experimentierplattform Dr. Michael May Berlin, 10.12.2012 Fraunhofer-Institut für Intelligente Analyseund Informationssysteme IAIS www.iais.fraunhofer.de Agenda n Ziele

Mehr

7. Big Data und NoSQL-Datenbanken

7. Big Data und NoSQL-Datenbanken 7. Big Data und NoSQL-Datenbanken Motivation Big Data Herausforderungen Einsatzbereiche Systemarchitekturen für Big Data Analytics Analyse-Pipeline Hadoop, MapReduce, Spark/Flink NoSQL-Datenbanken Eigenschaften

Mehr

Hauptspeicher- Datenbanksysteme. Hardware-Entwicklungen Column- versus Row-Store...

Hauptspeicher- Datenbanksysteme. Hardware-Entwicklungen Column- versus Row-Store... Hauptspeicher- Datenbanksysteme Hardware-Entwicklungen Column- versus Row-Store... Hauptspeicher-Datenbanksysteme Disk is Tape, Tape is dead Jim Gray Die Zeit ist reif für ein Re-engineering der Datenbanksysteme

Mehr

Think Big. Skalierbare Anwendungen mit Azure. Aydin Mir Mohammadi Bluehands GmbH & co.mmunication KG

Think Big. Skalierbare Anwendungen mit Azure. Aydin Mir Mohammadi Bluehands GmbH & co.mmunication KG Skalierbare Anwendungen mit Azure Bluehands GmbH & co.mmunication KG 1 2 3 4 5 6 7 8 9 Immer mehr Mehr Performance Mehr Menge Mehr Verfügbarkeit Skalierung http://www.flickr.com/photos/39901968@n04/4864698533/

Mehr

MapReduce in der Praxis

MapReduce in der Praxis MapReduce in der Praxis Rolf Daniel Seminar Multicore Programmierung 09.12.2010 1 / 53 Agenda Einleitung 1 Einleitung 2 3 Disco Hadoop BOOM 4 2 / 53 1 Einleitung 2 3 Disco Hadoop BOOM 4 3 / 53 Motivation

Mehr

1 Einführung... 25. 2 Die Grundlagen... 55. 3 Praxis 1 das Kassenbuch (zentraler CouchDB-Server)... 139. 4 Praxis 2 das Kassenbuch als CouchApp...

1 Einführung... 25. 2 Die Grundlagen... 55. 3 Praxis 1 das Kassenbuch (zentraler CouchDB-Server)... 139. 4 Praxis 2 das Kassenbuch als CouchApp... Auf einen Blick 1 Einführung... 25 2 Die Grundlagen... 55 3 Praxis 1 das Kassenbuch (zentraler CouchDB-Server)... 139 4 Praxis 2 das Kassenbuch als CouchApp... 161 5 CouchDB-Administration... 199 6 Bestehende

Mehr

NoSQL-Datenbanksysteme: Revolution oder Evolution?

NoSQL-Datenbanksysteme: Revolution oder Evolution? NoSQL-Datenbanksysteme: Revolution oder Evolution? Kolloquium Institut für Informatik, Universität Rostock 24.01.2013 Prof. Dr. Uta Störl Hochschule Darmstadt uta.stoerl@h-da.de NoSQL: DAS aktuelle Datenbank-Buzzword

Mehr

Hadoop. High Performance Batches in der Cloud. Hadoop. Folie 1 25. Januar 2011

Hadoop. High Performance Batches in der Cloud. Hadoop. Folie 1 25. Januar 2011 High Performance Batches in der Cloud Folie 1 Alles geht in die Cloud Image: Chris Sharp / FreeDigitalPhotos.net Cloud und Batches passen zusammen Batches Cloud Pay-per-Use Nur zeitweise genutzt Hohe Rechenkapazitäten

Mehr

NoSQL-Datenbanken. Kapitel 2: Key-Value Stores. Lars Kolb Sommersemester 2014. Universität Leipzig http://dbs.uni-leipzig.de 2-1

NoSQL-Datenbanken. Kapitel 2: Key-Value Stores. Lars Kolb Sommersemester 2014. Universität Leipzig http://dbs.uni-leipzig.de 2-1 NoSQL-Datenbanken Kapitel 2: Key-Value Stores Lars Kolb Sommersemester 2014 Universität Leipzig http://dbs.uni-leipzig.de 2-1 Inhaltsverzeichnis Key-Value Stores File/Object Storage Services Beispiele:

Mehr

Datenbankanwendung. Prof. Dr.-Ing. Sebastian Michel TU Kaiserslautern. Wintersemester 2014/15. smichel@cs.uni-kl.de

Datenbankanwendung. Prof. Dr.-Ing. Sebastian Michel TU Kaiserslautern. Wintersemester 2014/15. smichel@cs.uni-kl.de Datenbankanwendung Wintersemester 2014/15 Prof. Dr.-Ing. Sebastian Michel TU Kaiserslautern smichel@cs.uni-kl.de MapReduce MapReduce - Veranschaulichung der Phasen Prof. Dr.-Ing. S. Michel TU Kaiserslautern

Mehr

25.09.2014. Zeit bedeutet eine Abwägung von Skalierbarkeit und Konsistenz

25.09.2014. Zeit bedeutet eine Abwägung von Skalierbarkeit und Konsistenz 1 2 Dies ist ein Vortrag über Zeit in verteilten Anwendungen Wir betrachten die diskrete "Anwendungszeit" in der nebenläufige Aktivitäten auftreten Aktivitäten in einer hochgradig skalierbaren (verteilten)

Mehr

p^db=`oj===pìééçêíáåñçêã~íáçå=

p^db=`oj===pìééçêíáåñçêã~íáçå= p^db=`oj===pìééçêíáåñçêã~íáçå= Error: "Could not connect to the SQL Server Instance" or "Failed to open a connection to the database." When you attempt to launch ACT! by Sage or ACT by Sage Premium for

Mehr

June 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration

June 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration June 2015 Automic Hadoop Agent Data Automation - Hadoop Integration + Aufbau der Hadoop Anbindung + Was ist eigentlich ist MapReduce? + Welches sind die Stärken von Hadoop + Welches sind die Schwächen

Mehr

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221 Oracle 10g und SQL Server 2005 ein Vergleich Thomas Wächtler 39221 Inhalt 1. Einführung 2. Architektur SQL Server 2005 1. SQLOS 2. Relational Engine 3. Protocol Layer 3. Services 1. Replication 2. Reporting

Mehr

Teamprojekt & Projekt

Teamprojekt & Projekt 18. Oktober 2010 Teamprojekt & Projekt Veranstalter: Betreuer: Prof. Dr. Georg Lausen Thomas Hordnung, Alexander Schätzle, Martin Przjyaciel-Zablocki dbis Studienordnung Master: 16 ECTS 480 Semesterstunden

Mehr

MySQL 5.1. Kristian Köhntopp

MySQL 5.1. Kristian Köhntopp MySQL 5.1 Kristian Köhntopp Was ist neu? Neues InnoDB Neue Replikation Neues Logging Event Scheduler Partitions INFORMATION_SCHEMA XML Functions Was ist neu? Neues InnoDB Neue Replikation Neues Logging

Mehr

8. Big Data und NoSQL-Datenbanken

8. Big Data und NoSQL-Datenbanken 8. Big Data und NoSQL-Datenbanken Motivation Big Data wachsende Mengen und Vielfalt an Daten Herausforderungen Einsatzbereiche Systemarchitekturen für Big Data Analytics Analyse-Pipeline, Hadoop, MapReduce

Mehr

NoSQL User Group Cologne

NoSQL User Group Cologne NoSQL User Group Cologne Dieser Vortrag wurde im Rahmen eines Treffens der NoSQL User Group Cologne am 07.09.2011 gehalten. Wir treffen uns immer am ersten Mittwoch des Monats. Weitere Informationen zur

Mehr

9. Cloud Data Management

9. Cloud Data Management 9. Cloud Data Management Einführung Verteilte Datenhaltung Dateisysteme (GFS) Hbase (Google Big Table) Amazon Dynamo MapReduce B 9-1 Cloud Computing Cloud computing is using the internet to access someone

Mehr

Transaktionen in der Praxis. Dr. Karsten Tolle

Transaktionen in der Praxis. Dr. Karsten Tolle Transaktionen in der Praxis Dr. Karsten Tolle Praxisbeispiel in Java Connection con = null; try { con = DriverManager.getConnection("jdbc:db2:sample"); } catch (Exception e) { e.printstacktrace(); } con.setautocommit(false);

Mehr

Karl Glatz Oktober 2009. Vorstellung der verteilten NoSQL Datenbank CouchDB

Karl Glatz Oktober 2009. Vorstellung der verteilten NoSQL Datenbank CouchDB Karl Glatz Oktober 2009 Vorstellung der verteilten NoSQL Datenbank CouchDB Web Awendung (AJAX) MySQL SQL Web Server PHP HTTP (HTML) ORM (Framework) JSON API (AJAX) Web Browser Java Script HTTP RESTful

Mehr

Backup & Recovery in Oracle 11g Funktionen und Features

Backup & Recovery in Oracle 11g Funktionen und Features Backup & Recovery in Oracle 11g Funktionen und Features Wolfgang Thiem Server Technologies Customer Center ORACLE Deutschland GmbH Warum werden Backups gemacht? Damit man im Fehlerfall auf einen konsistenten

Mehr

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar!

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar! Clouds Wolkig bis Heiter Erwartungen der Nutzer Er ist verwöhnt! Verfügbarkeit Viele Anwendungen Intuitive Interfaces Hohe Leistung Er ist nicht dankbar! Mehr! Mehr! Mehr! Moore 1 Erwartungen der Entwickler

Mehr

Sprecher. Stephan Krauß Enterprise Portale E-Commerce. Dipl.-Phys. Johannes Knauf Business Analytics Data Science

Sprecher. Stephan Krauß Enterprise Portale E-Commerce. Dipl.-Phys. Johannes Knauf Business Analytics Data Science Sprecher Stephan Krauß Enterprise Portale E-Commerce T +49 (0)911 25 25 68 0 F +49 (0)911 25 25 68 68 info@ancud.de http://www.ancud.de Dipl.-Phys. Johannes Knauf Business Analytics Data Science T +49

Mehr

SQL für Trolle. mag.e. Dienstag, 10.2.2009. Qt-Seminar

SQL für Trolle. mag.e. Dienstag, 10.2.2009. Qt-Seminar Qt-Seminar Dienstag, 10.2.2009 SQL ist......die Abkürzung für Structured Query Language (früher sequel für Structured English Query Language )...ein ISO und ANSI Standard (aktuell SQL:2008)...eine Befehls-

Mehr

Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim

Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim Tobias Neef Cloud-Computing Seminar Hochschule Mannheim WS0910 1/23 Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim Tobias Neef Fakultät für Informatik Hochschule Mannheim tobnee@gmail.com

Mehr

Cloud Computing mit mathematischen Anwendungen

Cloud Computing mit mathematischen Anwendungen Cloud Computing mit mathematischen Anwendungen Vorlesung SoSe 2009 Dr. Marcel Kunze Karlsruhe Institute of Technology (KIT) Steinbuch Centre for Computing (SCC) KIT the cooperation of Forschungszentrum

Mehr

ein verteiltes und repliziertes Dateisystem XtreemOS IP project is funded by the European Commission under contract IST-FP6-033576

ein verteiltes und repliziertes Dateisystem XtreemOS IP project is funded by the European Commission under contract IST-FP6-033576 ein verteiltes und repliziertes Dateisystem is funded by the European Commission XtreemOS IPunder project contract IST-FP6-033576 1 Das XtreemOS Projekt Europäisches Forschungsprojekt gefördert von der

Mehr

Cloud-Plattform: Appscale Hochschule Mannheim

Cloud-Plattform: Appscale Hochschule Mannheim Florian Weispfenning Cloud-Computing Seminar Hochschule Mannheim WS0910 1/28 Cloud-Plattform: Appscale Hochschule Mannheim Florian Weispfenning Fakultät für Informatik Hochschule Mannheim florian.weispfenning@stud.hs-mannheim.de

Mehr

MySQL Backup und Restore

MySQL Backup und Restore MySQL Backup und Restore DOAG Konferenz 2013 Nürnberg Oli Sennhauser Senior MySQL Consultant, FromDual GmbH oli.sennhauser@fromdual.com 1 / 22 Über FromDual GmbH FromDual bietet neutral und unabhängig:

Mehr

MySQL Replikation. Erkan Yanar erkan.yanar@linsenraum.de linsenraum.de 19.11.2013. linsenraum.de

MySQL Replikation. Erkan Yanar erkan.yanar@linsenraum.de linsenraum.de 19.11.2013. linsenraum.de MySQL Replikation Erkan Yanar erkan.yanar@linsenraum.de linsenraum.de linsenraum.de 19.11.2013 Erkan Yanar erkan.yanar@linsenraum.de linsenraum.de (linsenraum.de) MySQL Replikation 19.11.2013 1 / 37 Who

Mehr

Key Value Stores. (CouchDB, BigTable, Hadoop, Dynamo, Cassandra)

Key Value Stores. (CouchDB, BigTable, Hadoop, Dynamo, Cassandra) Key Value Stores (CouchDB, BigTable, Hadoop, Dynamo, Cassandra) 1 Neue Herausforderungen große Datenmengen in Unternehmen Twitter, youtube, facebook, (social media) Daten als Ware bzw. Rohstoff x TB /

Mehr

Brownbag Session mongodb im Einsatz Grundlagen

Brownbag Session mongodb im Einsatz Grundlagen Brownbag Session mongodb im Einsatz Grundlagen 10.08.2012 Nils Domrose inovex GmbH Wir nutzen Technologien, um unsere Kunden glücklich zu machen. Und uns selbst. MongoDB wasn t designed in a lab. We built

Mehr

MySQL Cluster und MySQL Proxy

MySQL Cluster und MySQL Proxy MySQL Cluster und MySQL Proxy Alles Online Diese Slides gibt es auch unter: http://rt.fm/s4p Agenda (Don't) Panic Web- und MySQL-Server MySQL Master-Master Cluster MySQL Proxy und Cluster MySQL Master-Slave/Master

Mehr

NoSQL Datenbanken am Beispiel von CouchDB

NoSQL Datenbanken am Beispiel von CouchDB NoSQL Datenbanken am Beispiel von CouchDB OIO - Hauskonferenz 2011 Version: 1.0 Orientation in Objects GmbH Weinheimer Str. 68 68309 Mannheim www.oio.de info@oio.de Ihr Sprecher Thomas Bayer Programmierer

Mehr

Big Data in Azure. Ein Beispiel mit HD Insight. Ralf Stemmer

Big Data in Azure. Ein Beispiel mit HD Insight. Ralf Stemmer Big in Azure Ein Beispiel mit HD Insight Ralf Stemmer Agenda owas ist Big? Was ist HD Insight? owelche Probleme kann man damit lösen? odemo Was ist Big? Was ist HD Insight? Datenexplosion - Rasanter Zuwachs

Mehr