NoSQL Please! Wie Web2.0, Big Data und die Cloud neue Datenbanksysteme erfordern und hervorbringen. Datenbank-Stammtisch, 8.

Save this PDF as:
 WORD  PNG  TXT  JPG

Größe: px
Ab Seite anzeigen:

Download "NoSQL Please! Wie Web2.0, Big Data und die Cloud neue Datenbanksysteme erfordern und hervorbringen. Datenbank-Stammtisch, 8."

Transkript

1 A Database Administrator walks into a NoSQL bar, but turns and leaves because he cannot find a table. NoSQL Please! Wie Web2.0, Big Data und die Cloud neue Datenbanksysteme erfordern und hervorbringen. Datenbank-Stammtisch, Prof. Dr. Frank Schönefeld, Geschäftsleitung, T-Systems Multimedia Solutions GmbH

2 Prolog CAP-Theorem NoSQL Datenmodelle Fazit Facebook trapped in MySQL, fate worse than death. The only way out is bite the bullet und rewrite everything. (Facebook runs approx MySQL Server instances and > 1000 memcaches.) Quelle: Michael Stonebraker 800M active monthly users, 500M active daily users; 350M mobile users; 7M apps and web sites integrated via platform; 60M queries per second; 4M row changes per second Quelle: Domas Mituzas (Facebook database performance team) 2

3 Prolog CAP-Theorem NoSQL Datenmodelle Fazit und dennoch: NoSQL greift um sich auch in Facebook. NoSQL: Bedeutungswandel des Begriffs von NoSQL (API) zu Not only SQL. Amazon setzt auf Dynamo, ein verteiltes Dateisystem (Ring mit Consistent Hashing) zur Speicherung von Key/ Value Paaren. Facebook nutzt neben MySQL auch die HBase für die Verwaltung ihrer Messages als auch die kontextsensitive Ad-Verwaltung und Einspielung. HBase basiert auf Hadoop Distributed File System und implementiert die Big Table Features für Hadoop. Google verwendet Big Table (eine dreidimensionale, dünnbesetzte KeyValue Map) für Google Earth, Maps, Analytics, Orkut. Linkedin verwendet Voldemort (Big Table x Dynamo Ansatz) für spezielle Speicheranforderungen ihrer Profile. Twitter Nutzer produzieren ca. 4 PByte/a. Scribe schreibt Logs zu Hadoop. Zur People Search wird HBase verwendet. Quelle: how-twitter-uses-nosql.php 3

4 Prolog CAP-Theorem NoSQL Datenmodelle Fazit Big Data The Next Big Thing. Ist das das Web 3.0? Quelle: 4

5 Prolog CAP-Theorem NoSQL Datenmodelle Fazit Big Data The Next Big Thing? Wir betreten die ExaByte Ära (1 ExaByte = oder 2 60 = Bytes) A decade of digital universe growth 7910 Exabytes

6 Prolog CAP-Theorem NoSQL Datenmodelle Fazit Big Data The Next Big Thing? Wir betreten die ExaByte Ära (1 ExaByte = oder 2 60 = Bytes) A decade of digital universe growth 7910 Over the next decade, the number of servers (virtual and physical) worldwide will grow by 10 times. The amount of information managed by enterprise datacenters will grow by 50 times Exabytes The number of files the datacenter will have to deal with will grow by 75 times at least. Meanwhile, the number of IT professionals in the world will grow by less than 1.5 times. There were 5 exabytes of information created between the dawn of civilization through 2003, but that much information is now created every 2 days, and the pace is increasing. (Eric Schmidt Google 2010) Quelle: IDC Digital Universe

7 Prolog CAP-Theorem NoSQL Datenmodelle Fazit Probleme und Limitationen von RDBMS. Datenmodell: Die Welt ist keine Tabelle 7

8 Prolog CAP-Theorem NoSQL Datenmodelle Fazit Probleme und Limitationen von RDBMS. Datenmodell: Die Welt ist keine Tabelle Skalierung: und passt auch schlecht in eine hinein (Scale up vs. Scale out). 8

9 Prolog CAP-Theorem NoSQL Datenmodelle Fazit Lösungsansätze von NoSQL: Datenmodell Skalierung Datenmodell Key/Value Systeme Columm Family Systeme Document Stores Map-Reduce Algorithmus Skalierung Consistency Availability Von AICD zu BASE Von Locks zu MVCC Von 2PC zu PAXOS Von Master-Slave zu Gossip Graph Datenbanken Partition Tolerance Sharding Consistent Hashing 9

10 Prolog CAP-Theorem NoSQL Datenmodelle Fazit Gute Links und Literatur: Edlich et.al: NoSQL. Einstieg in die Welt Nichtrelationaler Web 2.0 DB. Hanser Marc Boeker: MongoDB. Sag ja zu NoSQL. entwickler.press Wiki der FH Köln/Campus Gummersbach zu NoSQL Sammlung von Infos zu NoSQL DB. Fundierter Lehrstoff zu Mehrrechner-DB Systemen. CouchDB Einführung 10

11 Prolog CAP-Theorem NoSQL Datenmodelle Fazit Definition von NoSQL (Arbeitsversion). NoSQL: Nichtrelationale (schemafreie) verteilbare Datenverwaltungs- und Speicherungssysteme, die den Skalierungsanforderungen globaler 24/7-Web-Anwendungen durch modifizierte Konsistenzmodelle gerecht werden und über einfache APIs (CRUD, REST) angesprochen werden. 11

12 Prolog CAP-Theorem NoSQL Datenmodelle Fazit Historie der Datenbanksysteme. Bibliothek von Alexandria. Ca. 300 vor Christus bis ca. 391 nach Christus 12

13 Prolog CAP-Theorem NoSQL Datenmodelle Fazit Historie der Datenbanksysteme. Datenbankenprodukte und Generationen. Hierarchische DBS Netzwerk DBS Relationale DBS OO DBS Dynamo NoSQL DB ORM Objectstore Poet BigTable IMS UDS Codasyl DB Oracle 1977 System/R IBM DB2 MS SQL Server mysql

14 Agenda. Prolog Teil 1 CAP-Theorem Teil 2 NoSQL-Datenmodelle Teil 3 NoSQL-Datenmodelle Key/Value Stores Teil 3a NoSQL-Datenmodelle Columm-Family Systeme Teil 3b NoSQL-Datenmodelle Document Store Teil 3c NoSQL-Datenmodelle Graph-Datenbanken Teil 3d Fazit Teil 4 Einsatz von Webmedien & Technologien in Unternehmen NoSQL 2.0 Please - Dr. Frank Schönefeld - Prof. Dr. Frank Schönefeld/ T-Systems Multimedia Solutions GmbH

15 Prolog Das CAP-Theorem NoSQL-Datenmodelle Fazit Das CAP Theorem. Consistency. Availability. Partition Tolerance. Consistency: Availability: Partition Tolerance: In verteilten DB-Systemen müssen bei Änderungen an Daten auch deren Replikate auf den aktuellen Stand gebracht werden (wo liegen die Replikate, was mache ich, wenn ein Replikatserver nicht erreichbar ist). Verfügbarkeit von Daten innerhalb akzeptabler Antwortzeiten (oder Schreibzeiten). Ausfalltoleranz des Gesamtsystems bzgl. Knoten (Server) und Verbindungen (Netzwerk, Latenz). Brewers Vermutung von 2000, dass nur 2 der 3 Eigenschaften gemeinsam realisiert werden können, wurde 2002 durch Gilbert und Lynch bewiesen. 15

16 Prolog Das CAP-Theorem NoSQL-Datenmodelle Fazit Das CAP Theorem. Consensus protocols for HA consistency Consistency Enforced consistency Paxos Availability Partition Tolerance Eventual consistency Quelle: J. Chris Anderson/Jan Lehnardt/ Noah Slater: Couch DB The Definitive Guide 16

17 Prolog Das CAP-Theorem NoSQL-Datenmodelle Fazit Lösungen für das Availability Problem. Multiversion Concurrency Control MVCC. WTS RTS WTS: Write Time Stamp 0 Joseph 0 0 Joseph 2 RTS: Read Time Stamp Vorteil: keine Lesesperren T4 Read Joseph = da (max(wts)=0) < 4 Write Maria = Ok, da (max(rts)=2) < 4 0 Joseph 2 4 Maria 4 Im Einsatz bei: CouchDB MySQL (mit InnoDB) T3 Read = Ok, liefert Joseph da (max(wts) < 3) = 0 Write Jesus T3 wird abgebrochen, und neu gestartet, da 3 < max (RTS) = 4 17

18 Prolog Das CAP-Theorem NoSQL-Datenmodelle Fazit Lösungen für das Partition Tolerance Problem. Consistent Hashing mit Hinted Handoff. S1 S2 S5 S4 S3 Consistent Hashing: Verfahren, um die Daten einem Knoten (S1-S5 zuzuweisen). Bei Ausfall eines Knotens, werden diese Daten auf die anderen verteilt, ohne die anderen Zuweisungen zu verändern. Hinted Handoff: Wenn 3 (allg. n) Replika gehalten werden und der Master-Knoten ist nicht erreichbar, merkt sich der 1. Replikaknoten die Daten mit Vermerk und versucht bei Wiederverfügbarkeit die Daten zu verschieben. Gossip: Topologieinformationsaustausch ohne Master Im Einsatz bei: Amazon Dynamo weiteren distributierten Filesystemen (GFS, ) 18

19 Prolog Das CAP-Theorem NoSQL-Datenmodelle Fazit Lösungen für das Partition Tolerance Problem. Consistent Hashing mit Hinted Handoff. S5 S4 X X S1 S2 S3 Replikation Ausfall Consistent Hashing: Verfahren, um die Daten einem Knoten (S1-S5 zuzuweisen). Bei Ausfall eines Knotens, werden diese Daten auf die anderen verteilt, ohne die anderen Zuweisungen zu verändern. Hinted Handoff: Wenn 3 (allg. n) Replika gehalten werden und der Master-Knoten ist nicht erreichbar, merkt sich der 1. Replikaknoten die Daten mit Vermerk und versucht bei Wiederverfügbarkeit die Daten zu verschieben. Gossip: Topologieinformationsaustausch ohne Master Im Einsatz bei: Amazon Dynamo weiteren distributierten Filesystemen (GFS, ) 19

20 Prolog Das CAP-Theorem NoSQL-Datenmodelle Fazit Das CAP Theorem Von ACID zu BASE. (Wortspiel!) Eine Reise durch das (Dis-)Continuum der Konsistenz. A tomicity: C onsistency: I solation: D urability: B asically available: S oft State: E ventually Consistent:. Atomare Transaktionen Ganz oder gar nicht. Die DB geht von einem konsistenten Zustand in einen anderen konsistenten Zustand über. (Auch: Alle Clients lesen den gleichen, konsistenten Zustand). Eine Transaktion hat den Eindruck, dass ihr die DB alleine gehört (sie nicht durch andere Transaktionen beeinflusst wird). Das Ergebnis einer Transaktion wird unter allen Umständen verteidigt. Mindestens eine Kopie (Replika) stellt den gültigen Zustand dar. Alles fließt. Nach genügend langer Wartezeit, hat sich der konsistente Zustand repliziert. 20

21 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Key Value Stores. Key Value Stores speichern Schlüssel und dazugehörige unstrukturierte oder strukturierte Werte. Datenmodell: {< key, value>, } oder {< key, value, timestamp>, } key value Set oder Liste key value Hash (Person) key Name: Marie Datenmanipulation: CRUD Beispiel MapReduce ff. Slides CQL Cassandra Query Language (SQL-like) jedes DBS mit eigener Sprache, kein Standard value value Alter: 34 Vertreter: Redis, Dynamo (eventually consistent) BigTable, Voldemort, Cassandra Memcached (HS-orientierte DB) Im Einsatz bei: Dynamo BigTable Memcached 21

22 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Key Value Stores - MapReduce. MapReduce ein einfaches Programmiermodell für verteilte Datenverarbeitung nach Saliya Ekanayake (map ( )) ( ) A list of values mapped into another list of values, which gets reduced into a single value (reduce ( )) Classical Notion of MapReduce in Functional Programming Quelle: 22

23 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Key Value Stores - MapReduce. MapReduce ein einfaches Programmiermodell für verteilte Datenverarbeitung nach Saliya Ekanayake parallel Version Each input to a map is a list of <key, value> pairs (<a, >, <o, >, <p, >, ) (<a, >, <o, >, <p, >, ) Grouped by key Each input to a reduce is a <key, value-list> (possibly a list of these, depending on the grouping/hashing mechanism) e.g. <a, ( )> Reduced into a list of values Quelle: 23

24 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Key Value Stores - MapReduce. MapReduce ein einfaches Programmiermodell für verteilte Datenverarbeitung nach Saliya Ekanayake parallel Version A list of <key, value> pairs mapped into another list of <key, value> pairs which gets grouped by the key and reduced into a list of values (<a, >, <o, >, <p, >, ) The idea of MapReduce in Data Intensive Computing Each input to a map is a list of <key, value> pairs (<a, >, <o, >, <p, >, ) Grouped by key Each input to a reduce is a <key, value-list> (possibly a list of these, depending on the grouping/hashing mechanism) e.g. <a, ( )> Reduced into a list of values Quelle: 24

25 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Key Value Stores MapReduce in Pseudocode. Aufgabe: WordCount in Dokumenten oder WebPages; Input: Key: document URL; Value: Document Content. Map (String input_key, String input_value) // input_key: document name // input value: document content for each word w in input_value: Emit Intermediate (w, 1 ); Reduce (String key, Iterator intermediate_values): // Key: a word, same for input and output // intermediate_value: a list of counts Int result = 0; for each v in intermediate_value: result += ParseInt (v); Emit (AsString (result)); Quelle: 25

26 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Key Value Stores MapReduce Performance. MR_Grep: Scan von 1 Terabytes in 100 sec MR_Sort: Sort von 1 Terabyte 100 Byte Records in 14 min (10 Mrd. Sätze!!!) Unter Einsatz von 1800 Rechnern (fault-tolerant) Typische Anwendungen bei Google: Language Statistics (finde alle Wortgruppen die aus 5 Wörtern bestehen und mindestens 4 mal vorkommen) Dokument-Info kombiniert mit Host-Infos (eine Art Join) Google production index Quelle: 26

27 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Column Family Systeme. Column Family Systeme speichern Sätze spaltenorientiert oder als Super Columns. Datenmodell: Column: Name, Daten, Timestamp SuperColumn: Name, {Column1, Column2, } Datenmanipulation: CRUD in Amazon Simple DB: key Domäne/Keyspace Create Domain key Name: Joseph Alter: 24 Item Name: Maria Alter: 20 Status: Single ColumnFamily: <Key, Column1, Column2, > SuperColumnFamily: <Key, SuperColumn1, > PutAttribute(attribute_name, value) Select target from domain_name where expression; Vertreter: Amazon Simple DB (eventually consistent) HBase, Hypertable Im Einsatz bei: Amazon Simple DB (AWS) HBase 27

28 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Document Stores. Document Stores speichern Daten in Form von Dokumenten. key Datenmodell: Domäne/Keyspace Name: Joseph Alter: 24 Item Name: Maria Alter: 20 Status: Single Datenmanipulation: CRUD in MongoDB: db.<collection>.<action>(<parameters>); db.beisp.insert({name: frank, age: 49, hobbies: [ volleyball, beach, DB ]}); action: find, save, update, remove Vertreter: MongoDB CouchDB MongoDB im Einsatz bei: FourSquare (für Geolocation) bit.ly (Userhistory) NY Times (Bildupload, Forms) 28

29 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Graph Datenbanken. Graph Datenbanken speichern Daten als Netzwerke verbundener Knoten. Datenmodell: Datenmanipulation: CRUD in neo4j mit dem REST API: POST /node { data} --Knoten anlegen GET /node/123 PUT /node/123/properties { data} DELETE /node/123 Vertreter: neo4j Im Einsatz bei: vorrangig für Geo-Informationssysteme Sones 29

30 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Klassifikation von NoSQL-Datenbankensystemen. Size Key-Value Stores Columm Family Stores Document Databases Graph Databases Complexity NoSQL Please! Prof. Dr. Frank Schönefeld/ T-Systems Multimedia Solutions GmbH 20. Januar

31 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Klassifikation von NoSQL-Datenbankensystemen. Size Key-Value Stores Columm Family Stores Document Databases Graph Databases > 90 % of the use cases Complexity NoSQL Please! Prof. Dr. Frank Schönefeld/ T-Systems Multimedia Solutions GmbH 20. Januar

32 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit NoSQL: Nathan Hursts Entscheidungspyramide für NoSQL-Datenbanken. Quelle:http://t3n.de/news/visual-guide-nosql-systems / NoSQL Please! Prof. Dr. Frank Schönefeld/ T-Systems Multimedia Solutions GmbH 20. Januar

33 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Anwendungsfälle für NoSQL. Nach J. Hammerbacher (Cloudera). 1. Risikoanalysen (Kreditkartenbetrug) 2. Kundenanalysen (Kündigungsgründe) 3. Empfehlungssysteme 4. Ad Targeting 5. POS Transaction Analysen (Echtzeit) 6. Netzwerkanalysen 7. Bedrohungsanalysen 8. Überwachungsdatenanalyse 9. Suchqualitätsanalysen 10. Genom Datenanalysen 33

34 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Fazit SQL vs. NoSQL. Am Beispiel von MySQL. MySQL Datenmodell: spaltenorientiert Untereinheit der DB: Tabelle Primärschlüssel: Primary Key Transaktionen: Ja Stored Procedures: Ja Trigger: Ja Cursor: Ja Views: Ja Volltextsuche: Ja Replikation: Master/Slave Binärdaten: Ja, BLOB Map/Reduce: Nein NoSQL Datenmodell: KeyValue, Dokument, Graph, Untereinheit der DB: Collection,. Primärschlüssel: Object ID, Key, Transaktionen: Meistens nein, Stored Procedures: nein Trigger: nein Cursor: Häufig ja Views: selten Volltextsuche: Nicht immer Replikation: ja, verschiedene Verfahren Binärdaten: Ja Map/Reduce: Ja Nach Marc Boeker. MongoDB. 34

35 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Fazit SQL vs. NoSQL. Quelle: 35

36 Prolog Das CAP-Theorem NoSQL Datenmodelle Fazit Fazit. Web 2.0, Big Data und die Cloud haben völlig neue Typen von Datenbanken benötigt und hervorgebracht. Es ist wieder spannend, Datenbanker zu sein!!! NoSQL (Not only SQL) ist z.zt. ein dynamisches, inhomogenes noch nicht abgeschlossenes Wissensgebiet. Der Einsatz von NoSQL im normalen Unternehmensumfeld kann bereits heute Sinn machen. Deshalb in (vor) die Entwurfsphase von DB, die NoSQL-Betrachtung einbeziehen. NoSQL Please! Prof. Dr. Frank Schönefeld/ T-Systems Multimedia Solutions GmbH 20. Januar

37 Danke. NoSQL Please Prof. Dr. Frank Schönefeld/ T-Systems Multimedia Solutions GmbH 37

38 Dr. Frank Schönefeld Prokurist, Geschäftsleitung T-Systems Multimedia Solutions T-Systems Multimedia Solutions Riesaer Straße 5 D Dresden Telefon: Telefax: Web: Blog: Twitter: twitter.com/frank_open Bookmarks: delicious.com/frank_open../praxisleitfadene20 Xing: LinkedIn: Schoenefeld Xing Twitter Facebook Flickr Slideshare Youtube NoSQL Please Prof. Dr. Frank Schönefeld/ T-Systems Multimedia Solutions GmbH 38

Stefan Edlich Achim Friedland Jens Rampe Benjamin Brauer. NoSQL. Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken HANSER

Stefan Edlich Achim Friedland Jens Rampe Benjamin Brauer. NoSQL. Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken HANSER Stefan Edlich Achim Friedland Jens Rampe Benjamin Brauer NoSQL Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken HANSER Geleitwort 1 Vorwort 1 1 Einführung 1 1.1 Historie 1 1.2 Definition und

Mehr

Überblick und Vergleich von NoSQL. Datenbanksystemen

Überblick und Vergleich von NoSQL. Datenbanksystemen Fakultät Informatik Hauptseminar Technische Informationssysteme Überblick und Vergleich von NoSQL Christian Oelsner Dresden, 20. Mai 2011 1 1. Einführung 2. Historisches & Definition 3. Kategorien von

Mehr

Stefan Edlich, Achim Friedland, Jens Hampe, Benjamin Brauer. NoSQL. Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken ISBN:

Stefan Edlich, Achim Friedland, Jens Hampe, Benjamin Brauer. NoSQL. Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken ISBN: sverzeichnis Stefan Edlich, Achim Friedland, Jens Hampe, Benjamin Brauer NoSQL Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken ISBN: 978-3-446-42355-8 Weitere Informationen oder Bestellungen

Mehr

NoSQL HANSER. Einstieg in die Web 2.0 Datenbanken. Stefan Edlich Achim Friedland Jens Hampe Benjamin Brauer Markus Brückner

NoSQL HANSER. Einstieg in die Web 2.0 Datenbanken. Stefan Edlich Achim Friedland Jens Hampe Benjamin Brauer Markus Brückner Stefan Edlich Achim Friedland Jens Hampe Benjamin Brauer Markus Brückner NoSQL Einstieg in die Web 2.0 Datenbanken 2., akutalisierte und erweiterte Auflage HANSER Geleitwort Vorwort Vorwort zur 2. Auflage

Mehr

Big Data Management Thema 14: Cassandra

Big Data Management Thema 14: Cassandra Thema 14: Cassandra Jan Kristof Nidzwetzki Thema 14: Cassandra 1 / 25 Übersicht 1 Grundlagen Überblick Geschichte Datenmodel 2 Architektur Der logische Ring Persistenz der Daten Tunable Consistency Read

Mehr

Inhaltsverzeichnis. Stefan Edlich, Achim Friedland, Jens Hampe, Benjamin Brauer, Markus Brückner. NoSQL

Inhaltsverzeichnis. Stefan Edlich, Achim Friedland, Jens Hampe, Benjamin Brauer, Markus Brückner. NoSQL sverzeichnis Stefan Edlich, Achim Friedland, Jens Hampe, Benjamin Brauer, Markus Brückner NoSQL Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken ISBN: 978-3-446-42753-2 Weitere Informationen

Mehr

SQL- & NoSQL-Datenbanken. Speichern und Analysen von großen Datenmengen

SQL- & NoSQL-Datenbanken. Speichern und Analysen von großen Datenmengen SQL- & NoSQL-Datenbanken Speichern und Analysen von großen Datenmengen 1 04.07.14 Zitat von Eric Schmidt (Google CEO): There was 5 exabytes of information created between the dawn of civilization through

Mehr

ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik

ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik ARFA ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik Ralf Leipner Domain Architect Analytics, Risk Management & Finance 33. Berner Architekten

Mehr

NoSQL. Was Architekten beachten sollten. Dr. Halil-Cem Gürsoy adesso AG. Architekturtag @ SEACON 2012 Hamburg

NoSQL. Was Architekten beachten sollten. Dr. Halil-Cem Gürsoy adesso AG. Architekturtag @ SEACON 2012 Hamburg NoSQL Was Architekten beachten sollten Dr. Halil-Cem Gürsoy adesso AG Architekturtag @ SEACON 2012 Hamburg 06.06.2012 Agenda Ein Blick in die Welt der RDBMS Klassifizierung von NoSQL-Datenbanken Gemeinsamkeiten

Mehr

Einführung in CouchDB

Einführung in CouchDB Einführung in CouchDB Zurücklehnen und entspannen! http://slog.io Thomas Schrader (@slogmen) 12/2010 Übersicht Bestandsaufnahme Ansatz Geschichte Technologien Features Skalierbarkeit Kurz & Gut Fazit Relationale

Mehr

NoSQL. Einblick in die Welt nicht-relationaler Datenbanken. Christoph Föhrdes. UnFUG, SS10 17.06.2010

NoSQL. Einblick in die Welt nicht-relationaler Datenbanken. Christoph Föhrdes. UnFUG, SS10 17.06.2010 NoSQL Einblick in die Welt nicht-relationaler Datenbanken Christoph Föhrdes UnFUG, SS10 17.06.2010 About me Christoph Föhrdes AIB Semester 7 IRC: cfo #unfug@irc.ghb.fh-furtwangen.de netblox GbR (http://netblox.de)

Mehr

NoSQL-Datenbanken. Kapitel 1: Einführung. Lars Kolb Sommersemester 2014. Universität Leipzig http://dbs.uni-leipzig.de 1-1

NoSQL-Datenbanken. Kapitel 1: Einführung. Lars Kolb Sommersemester 2014. Universität Leipzig http://dbs.uni-leipzig.de 1-1 NoSQL-Datenbanken Kapitel 1: Einführung Lars Kolb Sommersemester 2014 Universität Leipzig http://dbs.uni-leipzig.de 1-1 Inhaltsverzeichnis NoSQL-Datenbanken Motivation und Definition Kategorisierung, Eigenschaften

Mehr

Algorithmen. Consistent Hashing Bloom Filter MapReduce. Distributed Hash Tables. Einführung 1

Algorithmen. Consistent Hashing Bloom Filter MapReduce. Distributed Hash Tables. Einführung 1 Algorithmen Consistent Hashing Bloom Filter MapReduce Distributed Hash Tables Einführung 1 Consistent Hashing Problem: Wie finde ich den Speicherort für ein Objekt in einem verteilten System mit n Knoten?

Mehr

SimpleVOC-Yetanother. Bausteine für eine Key/Value- Datenbank

SimpleVOC-Yetanother. Bausteine für eine Key/Value- Datenbank SimpleVOC-Yetanother Memcached? Bausteine für eine Key/Value- Datenbank SimpleVOC Yet another memcached? Bausteine für eine Key/Value Datenbank. Theorie (Martin Schönert) Praxis (Frank Celler) Eine Weisheit

Mehr

NoSQL & Big Data. NoSQL Databases and Big Data. NoSQL vs SQL DBs. NoSQL DBs - Überblick. Datenorientierte Systemanalyse. Gerhard Wohlgenannt

NoSQL & Big Data. NoSQL Databases and Big Data. NoSQL vs SQL DBs. NoSQL DBs - Überblick. Datenorientierte Systemanalyse. Gerhard Wohlgenannt NoSQL & Big Data Datenorientierte Systemanalyse NoSQL Databases and Big Data Gerhard Wohlgenannt Die besprochenen Systeme haben nicht den Anspruch und das Ziel DBS zu ersetzen, sondern für gewisse Anwendungsfälle

Mehr

NoSQL Databases and Big Data

NoSQL Databases and Big Data Datenorientierte Systemanalyse NoSQL Databases and Big Data Gerhard Wohlgenannt NoSQL & Big Data Die besprochenen Systeme haben nicht den Anspruch und das Ziel DBS zu ersetzen, sondern für gewisse Anwendungsfälle

Mehr

NoSQL-Databases. Präsentation für Advanced Seminar "Computer Engineering", Matthias Hauck, matthias.hauck@stud.uni-heidelberg.de

NoSQL-Databases. Präsentation für Advanced Seminar Computer Engineering, Matthias Hauck, matthias.hauck@stud.uni-heidelberg.de NoSQL-Databases Präsentation für Advanced Seminar "Computer Engineering", Matthias Hauck, matthias.hauck@stud.uni-heidelberg.de Klassische SQL-Datenbanken Anwendungsgebiet: Geschäftsanwendungen Behördenanwendungen

Mehr

Eine Einführung in Apache CouchDB. Java-Forum Stuttgart 2011

Eine Einführung in Apache CouchDB. Java-Forum Stuttgart 2011 Eine Einführung in Apache CouchDB Java-Forum Stuttgart 2011 Johannes Schneider, cedarsoft GmbH js@cedarsoft.com http://blog.cedarsoft.com http://cedarsoft.com Vielen Dank CouchDB The VERY Basics Vorerfahrung?

Mehr

Soziotechnische Informationssysteme

Soziotechnische Informationssysteme Soziotechnische Informationssysteme 8. NoSQL Relationale Datenbank NoSQL Datenbank Relationale Datenbank? NoSQL Datenbank RDBM 2 Warum? Skalierbarkeit Riesige Datenmengen Performanz und Elastizität Auslastung

Mehr

Datenbanksysteme Kapitel 6: Neue Konzepte der Datenbanktechnologie

Datenbanksysteme Kapitel 6: Neue Konzepte der Datenbanktechnologie Datenbanksysteme Kapitel 6: Neue Konzepte der Datenbanktechnologie Prof. Dr. Peter Chamoni Mercator School of Management Lehrstuhl für Wirtschaftsinformatik, insb. Business Intelligence Prof. Dr. Peter

Mehr

Big Data Mythen und Fakten

Big Data Mythen und Fakten Big Data Mythen und Fakten Mario Meir-Huber Research Analyst, IDC Copyright IDC. Reproduction is forbidden unless authorized. All rights reserved. About me Research Analyst @ IDC Author verschiedener IT-Fachbücher

Mehr

Datenbanksysteme Kapitel 6: Neue Konzepte der Datenbanktechnologie

Datenbanksysteme Kapitel 6: Neue Konzepte der Datenbanktechnologie Datenbanksysteme Kapitel 6: Neue Konzepte der Datenbanktechnologie Prof. Dr. Peter Chamoni Mercator School of Management Lehrstuhl für Wirtschaftsinformatik, insb. Business Intelligence Prof. Dr. Peter

Mehr

Datenbanksysteme. Prof. Dr.-Ing. Sebastian Michel TU Kaiserslautern. Wintersemester 2015/16.

Datenbanksysteme. Prof. Dr.-Ing. Sebastian Michel TU Kaiserslautern. Wintersemester 2015/16. Datenbanksysteme Wintersemester 2015/16 Prof. Dr.-Ing. Sebastian Michel TU Kaiserslautern smichel@cs.uni-kl.de MapReduce, Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbanksysteme, WS 15/16 2 / 35 MapReduce,

Mehr

NoSQL. Prof. Dr. Ingo Claßen. Einführung. Kategorisierung von NoSQL-Systemen. Verteilung. Konsistenz. Literatur

NoSQL. Prof. Dr. Ingo Claßen. Einführung. Kategorisierung von NoSQL-Systemen. Verteilung. Konsistenz. Literatur NoSQL Prof. Dr. Ingo Claßen Hochschule für Technik und Wirtschaft Berlin Einführung Kategorisierung von NoSQL-Systemen Verteilung Konsistenz Literatur Einführung Warum NoSQL Unterstützung großer Datenmengen

Mehr

Fakultät für Informatik & Wirtschaftsinformatik DB & IS II SS 2015. NoSQL. http://www.w3resource.com/mongodb/nosql.php. Dr. Christian Senger.

Fakultät für Informatik & Wirtschaftsinformatik DB & IS II SS 2015. NoSQL. http://www.w3resource.com/mongodb/nosql.php. Dr. Christian Senger. NoSQL http://www.w3resource.com/mongodb/nosql.php NoSQL 1 Short History of Databases 1960s - Navigational DBs CODEASYL (COBOL) IMS (IBM) 1980s to 1990s - Object Oriented DBs Object DB's Object-Relational-

Mehr

RavenDB, schnell und skalierbar

RavenDB, schnell und skalierbar RavenDB, schnell und skalierbar Big Data & NoSQL, Aydin Mir Mohammadi bluehands GmbH & Co.mmunication KG am@bluehands.de Immer mehr Mehr Performance Mehr Menge Mehr Verfügbarkeit Skalierung http://www.flickr.com/photos/39901968@n04/4864698533/

Mehr

Oracle Big Data Technologien Ein Überblick

Oracle Big Data Technologien Ein Überblick Oracle Big Data Technologien Ein Überblick Ralf Lange Global ISV & OEM Sales NoSQL: Eine kurze Geschichte Internet-Boom: Erste Ansätze selbstgebauter "Datenbanken" Google stellt "MapReduce"

Mehr

SODA. Die Datenbank als Document Store. Rainer Willems. Master Principal Sales Consultant Oracle Deutschland B.V. & Co. KG

SODA. Die Datenbank als Document Store. Rainer Willems. Master Principal Sales Consultant Oracle Deutschland B.V. & Co. KG SODA Die Datenbank als Document Store Rainer Willems Master Principal Sales Consultant Oracle Deutschland B.V. & Co. KG vs No Anforderungskonflikte Agile Entwicklung Häufige Schema-Änderungen Relationales

Mehr

Cassandra Query Language (CQL)

Cassandra Query Language (CQL) Cassandra Query Language (CQL) Seminar: NoSQL Wintersemester 2013/2014 Cassandra Zwischenpräsentation 1 Gliederung Basic facts Datentypen DDL/DML ähnlich zu SQL Besonderheiten Basic facts CQL kurz für

Mehr

Big Data & Analytics Nationaler Akademietag, Fulda Referent: Meinhard Lingo

Big Data & Analytics Nationaler Akademietag, Fulda Referent: Meinhard Lingo Big Data & Analytics Nationaler Akademietag, Fulda 20.04.2018 Referent: Meinhard Lingo E-Mail: meinhard.lingo@bs1in.de Big Data & Analytics Big Data-Anwendungen: Ein Paradigmenwechsel. Kompetenzen? mögliche

Mehr

NoSQL mit Postgres 15. Juni 2015

NoSQL mit Postgres 15. Juni 2015 Tag der Datenbanken 15. Juni 2015 Dipl.-Wirt.-Inform. Agenda l Vorstellung l Marktübersicht l Warum PostgreSQL? l Warum NoSQL? l Beispielanwendung Seite: 2 Vorstellung Dipl.-Wirt.-Inform. [1990] Erste

Mehr

Skalierbare Webanwendungen

Skalierbare Webanwendungen Skalierbare Webanwendungen Thomas Bachmann Lead Software Architect & CIO Mambu GmbH Twitter: @thobach Anwendungsbeispiel Hohe Nichtfunktionale Anforderungen Sicherheit Vertraulichkeit Integrität Verfügbarkeit

Mehr

Web Technologien NoSQL Datenbanken

Web Technologien NoSQL Datenbanken Web Technologien NoSQL Datenbanken Univ.-Prof. Dr.-Ing. Wolfgang Maass Chair in Information and Service Systems Department of Law and Economics WS 2011/2012 Wednesdays, 8:00 10:00 a.m. Room HS 021, B4

Mehr

Apache HBase. A BigTable Column Store on top of Hadoop

Apache HBase. A BigTable Column Store on top of Hadoop Apache HBase A BigTable Column Store on top of Hadoop Ich bin... Mitch Köhler Selbstständig seit 2010 Tätig als Softwareentwickler Softwarearchitekt Student an der OVGU seit Oktober 2011 Schwerpunkte Client/Server,

Mehr

Wide Column Stores. Felix Bruckner Mannheim, 15.06.2012

Wide Column Stores. Felix Bruckner Mannheim, 15.06.2012 Wide Column Stores Felix Bruckner Mannheim, 15.06.2012 Agenda Einführung Motivation Grundlagen NoSQL Grundlagen Wide Column Stores Anwendungsfälle Datenmodell Technik Wide Column Stores & Cloud Computing

Mehr

NoSQL. Hintergründe und Anwendungen. Andreas Winschu

NoSQL. Hintergründe und Anwendungen. Andreas Winschu NoSQL Hintergründe und Anwendungen Andreas Winschu 1 Inhalt 1. Motivation 2. RDBMS 3. CAP Theorem 4. NoSQL 5. NoSql Overview 6. NoSQl Praxis 7. Zusammenfassung und Ausblick 2 1.Motivation Datenbanken Permanente

Mehr

NoSQL Datenbanken. Seminar:Software as a Service, Cloud-Computing und aktuelle Entwicklungen Dozent: Dipl. Inf. Andreas Göbel

NoSQL Datenbanken. Seminar:Software as a Service, Cloud-Computing und aktuelle Entwicklungen Dozent: Dipl. Inf. Andreas Göbel NoSQL Datenbanken Seminar:Software as a Service, Cloud-Computing und aktuelle Entwicklungen Dozent: Dipl. Inf. Andreas Göbel 17. Juni 2010 Gliederung Der Begriff NoSQL Wichtige Konzepte NoSQL-Arten Cassandra

Mehr

Big Data Informationen neu gelebt

Big Data Informationen neu gelebt Seminarunterlage Version: 1.01 Copyright Version 1.01 vom 21. Mai 2015 Dieses Dokument wird durch die veröffentlicht. Copyright. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen

Mehr

The R(E)volution of Data Stores

The R(E)volution of Data Stores The R(E)volution of Data Stores Willkommen Schön, dass sie in diese Session kommen, ich bin Dominik Wagenknecht NoSQL Initiative Lead Technology Architect Accenture Wien Mobil: +43 676 8720 33921 dominik.wagenknecht@accenture.com

Mehr

BigTable. 11.12.2012 Else

BigTable. 11.12.2012 Else BigTable 11.12.2012 Else Einführung Distributed Storage System im Einsatz bei Google (2006) speichert strukturierte Daten petabyte-scale, > 1000 Nodes nicht relational, NoSQL setzt auf GFS auf 11.12.2012

Mehr

Das diesem Dokument zugrundeliegende Vorhaben wurde mit Mitteln des Bundesministeriums für Bildung und Forschung unter dem Förderkennzeichen

Das diesem Dokument zugrundeliegende Vorhaben wurde mit Mitteln des Bundesministeriums für Bildung und Forschung unter dem Förderkennzeichen Das diesem Dokument zugrundeliegende Vorhaben wurde mit Mitteln des Bundesministeriums für Bildung und Forschung unter dem Förderkennzeichen 16OH21005 gefördert. Die Verantwortung für den Inhalt dieser

Mehr

Social Intranets und Enterprise 2.0

Social Intranets und Enterprise 2.0 Web2.0: Networked Applications that explicitly leverage network effects. Tim O Reilly Social Intranets und Enterprise 2.0 Prof. Dr. Frank Schönefeld, Geschäftsleitung, T-Systems Multimedia Solutions GmbH

Mehr

NoSQL-Datenbanken. Kapitel 1: Einführung. Dr. Anika Groß Sommersemester Universität Leipzig 1-1

NoSQL-Datenbanken. Kapitel 1: Einführung. Dr. Anika Groß Sommersemester Universität Leipzig  1-1 NoSQL-Datenbanken Kapitel 1: Einführung Dr. Anika Groß Sommersemester 2017 Universität Leipzig http://dbs.uni-leipzig.de 1-1 Inhaltsverzeichnis NoSQL-Datenbanken Motivation und Definition Kategorisierung,

Mehr

NoSQL Andere Wege in der Speicherung von Geodaten?

NoSQL Andere Wege in der Speicherung von Geodaten? NoSQL Andere Wege in der Speicherung von Geodaten? Holger Baumann, Agenda Status Quo Speicherung von Geodaten in SQL-Datenbanken Datenbanken im Web Umfeld Verteilte Datenbanken Begriff und Klassifizierung

Mehr

Semantik und konzeptionelle Modellierung

Semantik und konzeptionelle Modellierung Semantik und konzeptionelle Modellierung Verteilte Datenbanken Christoph Walesch Fachbereich MNI der FH Gieÿen-Friedberg 18.1.2011 1 / 40 Inhaltsverzeichnis 1 Verteiltes Rechnen MapReduce MapReduce Beispiel

Mehr

Kapitel 4 Teil 2 NoSQL-Datenbanksysteme

Kapitel 4 Teil 2 NoSQL-Datenbanksysteme Kapitel 4 Teil 2 NoSQL-Datenbanksysteme Inhalt: CAP (Consistency/Availability/Partition-Tolerance); BASE (Basically Available, Soft State, Eventually Consistent); Datenmodelle: Key-Value-Stores, Spaltenbasierte

Mehr

Java Forum Stuttgart 2013 Kai.Spichale@adesso.de twitter.com/kspichale spichale.blogspot.de

Java Forum Stuttgart 2013 Kai.Spichale@adesso.de twitter.com/kspichale spichale.blogspot.de NoSQL für Java-Entwickler Java Forum Stuttgart 2013 Kai.Spichale@adesso.de twitter.com/kspichale spichale.blogspot.de 23.06.2013 Agenda Datengröße Key-value Stores 1. Wide Column 2. Cassandra Document

Mehr

Charakteristika und Vergleich von SQL- und NoSQL- Datenbanken

Charakteristika und Vergleich von SQL- und NoSQL- Datenbanken Universität Leipzig Fakultät für Mathematik und Informatik Abteilung Datenbanken Dozent: Prof. Dr. Erhard Rahm Betreuer: Stefan Endrullis Problemseminar NoSQL-Datenbanken Semester: WS 11/12 Charakteristika

Mehr

Dokumentenorientierte Datenbanken - MongoDB

Dokumentenorientierte Datenbanken - MongoDB Dokumentenorientierte Datenbanken - MongoDB Jan Hentschel Ultra Tendency UG Übersicht Dokumente sind unabhängige Einheiten Bessere Performance (zusammengehörige Daten werden gemeinsam gelesen) Objektmodell

Mehr

Partitionieren über Rechnergrenzen hinweg

Partitionieren über Rechnergrenzen hinweg Partitionieren über Rechnergrenzen hinweg Erkan Yanar erkan.yanar@linsenraum.de Blog: linsenraum.de/erkules Xing: www.xing.com/profile/erkan Yanar 24. November 2011 Was tun wenn: Daten übersteigen die

Mehr

Persönlichkeiten bei bluehands

Persönlichkeiten bei bluehands Persönlichkeiten bei Technologien bei Skalierbare Anwendungen mit Windows Azure GmbH & co.mmunication KG am@.de; posts..de/am 1 2 3 4 5 6 7 8 9 Immer mehr Mehr Performance Mehr Menge Mehr Verfügbarkeit

Mehr

Wide column-stores für Architekten

Wide column-stores für Architekten Wide column-stores für Architekten Andreas Buckenhofer Daimler TSS GmbH Ulm Schlüsselworte Big Data, Hadoop, HBase, Cassandra, Use Cases, Row Key, Hash Table NoSQL Datenbanken In den letzten Jahren wurden

Mehr

NoSQL Deep Dive mit Cassandra. Kai Spichale

NoSQL Deep Dive mit Cassandra. Kai Spichale NoSQL Deep Dive mit Cassandra Kai Spichale 13.04.2011 1 NoSQL 13.04.2011 2 BerlinExpertDays NoSQL Wide Column Stores / Column Families Document Stores Graph Databases Key Value / Tupe Stores 13.04.2011

Mehr

Dominik Wagenknecht Accenture. Der No Frills Big Data Workshop -Teil3

Dominik Wagenknecht Accenture. Der No Frills Big Data Workshop -Teil3 Dominik Wagenknecht Accenture Der No Frills Big Data Workshop -Teil3 Der no frills BigData Workshop JAX 2012, 16.4.2012, Mainz Teil 3 Google ist ein Pionier von BigData und hat mit MapReduce und BigTable

Mehr

Datenbanktechnologien für Big Data

Datenbanktechnologien für Big Data Datenbanktechnologien für Big Data Oktober 2013 Prof. Dr. Uta Störl Hochschule Darmstadt Big Data Technologien Motivation Big Data Technologien NoSQL-Datenbanksysteme Spaltenorientierte Datenbanksysteme

Mehr

Oracle Big Data Technologien Ein Überblick

Oracle Big Data Technologien Ein Überblick Oracle Big Data Technologien Ein Überblick Jürgen Vester Oracle Deutschland B.V. & Co KG Um was geht es bei Big Data? Bei Big Data sprechen wir eine Klasse von Daten an, die in der

Mehr

Darko Križić. NoSQL Datenbanken

Darko Križić. NoSQL Datenbanken Darko Križić NoSQL Datenbanken Ihr Referent Darko Križić Chief Technical Officer Enterprise Architecture Java Enterprise EdiCon High Availability ESB (Talend ESB) NoSQL (MongoDB, CouchDB) NoSQL Datenbanken

Mehr

IDS Lizenzierung für IDS und HDR. Primärserver IDS Lizenz HDR Lizenz

IDS Lizenzierung für IDS und HDR. Primärserver IDS Lizenz HDR Lizenz IDS Lizenzierung für IDS und HDR Primärserver IDS Lizenz HDR Lizenz Workgroup V7.3x oder V9.x Required Not Available Primärserver Express V10.0 Workgroup V10.0 Enterprise V7.3x, V9.x or V10.0 IDS Lizenz

Mehr

Verteilte Systeme: Web Services

Verteilte Systeme: Web Services Wegweiser Verteilte Systeme: Web Services Einführung 1 SOA Service Oriented Architecture Frontend Business Logik Persistenz Service Consumer Service Provider Div. Design Prinzipien Lose Kopplung Abstraktion

Mehr

NoSQL für Anwendungen

NoSQL für Anwendungen NoSQL für Anwendungen Hochschule Mannheim Fakultät für Informatik Cluster Grid Computing Seminar SS 2012 Lemmy Tauer (729400) lemmy.coldlemonade.tauer@gmail.com NoSQL CAP / ACID / Kompromisse Key-Value

Mehr

ORM & OLAP. Object-oriented Enterprise Application Programming Model for In-Memory Databases. Sebastian Oergel

ORM & OLAP. Object-oriented Enterprise Application Programming Model for In-Memory Databases. Sebastian Oergel ORM & OLAP Object-oriented Enterprise Application Programming Model for In-Memory Databases Sebastian Oergel Probleme 2 Datenbanken sind elementar für Business-Anwendungen Gängiges Datenbankparadigma:

Mehr

Rein relationale DB in Prod? Datenbanken in produktiven Einsatz? SQL + NoSQL DB in Prod? (MongoDB, Redis, CouchDB, Cassandra)

Rein relationale DB in Prod? Datenbanken in produktiven Einsatz? SQL + NoSQL DB in Prod? (MongoDB, Redis, CouchDB, Cassandra) 1 Rein relationale DB in Prod? Datenbanken in produktiven Einsatz? 2 SQL + NoSQL DB in Prod? (MongoDB, Redis, CouchDB, Cassandra) 3 DB-Cluster in der Cloud? NoSQL?!? SQL Normalformen Come as you are Warum

Mehr

Datenbanken und SQL. Kapitel 1. Übersicht über Datenbanken. Edwin Schicker: Datenbanken und SQL (1)

Datenbanken und SQL. Kapitel 1. Übersicht über Datenbanken. Edwin Schicker: Datenbanken und SQL (1) Datenbanken und SQL Kapitel 1 Übersicht über Datenbanken Übersicht über Datenbanken Vergleich: Datenorganisation versus Datenbank Definition einer Datenbank Bierdepot: Eine Mini-Beispiel-Datenbank Anforderungen

Mehr

Aktuelle SE Praktiken für das WWW

Aktuelle SE Praktiken für das WWW Aktuelle SE Praktiken für das WWW SQL vs. NoSQL W. Mark Kubacki 23.06.2010 Gliederung Zusammenfassung Entstehungsgeschichte SQL vs. NoSQL Systemarchitekturen und Wachstumsmuster SQL NoSQL Überblick und

Mehr

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2 Seminar Cloud Data Management WS09/10 Tabelle1 Tabelle2 1 Einführung DBMS in der Cloud Vergleich verschiedener DBMS Beispiele Microsoft Azure Amazon RDS Amazon EC2 Relational Databases AMIs Was gibt es

Mehr

MySQL in großen Umgebungen

MySQL in großen Umgebungen MySQL in großen Umgebungen 03.03.2011 CeBIT Referent: Bernd Erk Agenda DESTINATION TIME REMARK KURZVORSTELLUNG MYSQL STATUS QUO STORAGE ENGINES MONITORING UND MANAGEMENT ENTERPRISE FEATURES FRAGEN UND

Mehr

PostgreSQL in großen Installationen

PostgreSQL in großen Installationen PostgreSQL in großen Installationen Cybertec Schönig & Schönig GmbH Hans-Jürgen Schönig Wieso PostgreSQL? - Die fortschrittlichste Open Source Database - Lizenzpolitik: wirkliche Freiheit - Stabilität,

Mehr

Einführung in Hadoop

Einführung in Hadoop Einführung in Hadoop Inhalt / Lern-Ziele Übersicht: Basis-Architektur von Hadoop Einführung in HDFS Einführung in MapReduce Ausblick: Hadoop Ökosystem Optimierungen Versionen 10.02.2012 Prof. Dr. Christian

Mehr

Apache Hadoop. Distribute your data and your application. Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.

Apache Hadoop. Distribute your data and your application. Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache. Apache Hadoop Distribute your data and your application Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org Apache The Apache Software Foundation Community und

Mehr

Enterprise 2.0 Redefinition der Wissensorganisation oder alter Wein in neuen Schläuchen? 9. Publishers Forum, 23. April 2012, Berlin

Enterprise 2.0 Redefinition der Wissensorganisation oder alter Wein in neuen Schläuchen? 9. Publishers Forum, 23. April 2012, Berlin Enterprise 2.0 Redefinition der Wissensorganisation oder alter Wein in neuen Schläuchen? 9. Publishers Forum, 23. April 2012, Berlin Prof. Dr. Frank Schönefeld, T-Systems Multimedia Solutions GmbH Wenn

Mehr

Next Generation Cloud

Next Generation Cloud Next Generation Cloud Building Blocks In Zukunft wird es darum gehen, aus der Summe der Teile Anwendungen (Apps) zu generieren, die Mehrwerte zu schaffen App besteht aus Integration von > Funktionen, z.b.

Mehr

NoSQL Datenbanken EIN ÜBERBLICK ÜBER NICHT-RELATIONALE DATENBANKEN UND DEREN POTENTIALE IM ALLGEMEINEN UND IN DER INDUSTRIE

NoSQL Datenbanken EIN ÜBERBLICK ÜBER NICHT-RELATIONALE DATENBANKEN UND DEREN POTENTIALE IM ALLGEMEINEN UND IN DER INDUSTRIE NoSQL Datenbanken EIN ÜBERBLICK ÜBER NICHT-RELATIONALE DATENBANKEN UND DEREN POTENTIALE IM ALLGEMEINEN UND IN DER INDUSTRIE Was bedeutet NoSQL? Ein Sammelbegriff für alternative Datenbanklösungen, die

Mehr

daniel.kreuzhofer@microsoft.com Image source http://commons.wikimedia.org/wiki/file:modern_warehouse_with_pallet_rack_storage_system.jpg Definitionen Azure Region Eine Ansammlung von Rechenzentren, die

Mehr

7. Big Data und NoSQL-Datenbanken

7. Big Data und NoSQL-Datenbanken 7. Big Data und NoSQL-Datenbanken Motivation Big Data Herausforderungen Einsatzbereiche Systemarchitekturen für Big Data Analytics Analyse-Pipeline Hadoop, MapReduce, Spark/Flink NoSQL-Datenbanken Eigenschaften

Mehr

NoSQL in transaktionalen Enterprisesystemen

NoSQL in transaktionalen Enterprisesystemen NoSQL in transaktionalen Enterprisesystemen Version: 1.1 Orientation in Objects GmbH Weinheimer Str. 68 68309 Mannheim www.oio.de info@oio.de Wir haben hier nur ein paar Java Clients vor einem Host, wir

Mehr

Neues aus der nicht-, semi- und relationalen Welt

Neues aus der nicht-, semi- und relationalen Welt Neues aus der nicht-, semi- und relationalen Welt Information Management Thomas Klughardt Senior System Consultant Das Big Data Problem Was bedeutet Big Data? Performancekritisch Echtzeit Cold Storage

Mehr

1 Einführung... 25. 2 Die Grundlagen... 55. 3 Praxis 1 das Kassenbuch (zentraler CouchDB-Server)... 139. 4 Praxis 2 das Kassenbuch als CouchApp...

1 Einführung... 25. 2 Die Grundlagen... 55. 3 Praxis 1 das Kassenbuch (zentraler CouchDB-Server)... 139. 4 Praxis 2 das Kassenbuch als CouchApp... Auf einen Blick 1 Einführung... 25 2 Die Grundlagen... 55 3 Praxis 1 das Kassenbuch (zentraler CouchDB-Server)... 139 4 Praxis 2 das Kassenbuch als CouchApp... 161 5 CouchDB-Administration... 199 6 Bestehende

Mehr

MySQL 101 Wie man einen MySQL-Server am besten absichert

MySQL 101 Wie man einen MySQL-Server am besten absichert MySQL 101 Wie man einen MySQL-Server am besten absichert Simon Bailey simon.bailey@uibk.ac.at Version 1.1 23. Februar 2003 Change History 21. Jänner 2003: Version 1.0 23. Februar 2002: Version 1.1 Diverse

Mehr

Was ist Amazon RDS? Datenbank Typen DB Instanzen Features. Live Demo Fazit. Amazon RDS - Till Ganzert 15.06.2012 2

Was ist Amazon RDS? Datenbank Typen DB Instanzen Features. Live Demo Fazit. Amazon RDS - Till Ganzert 15.06.2012 2 Was ist Amazon RDS? Datenbank Typen DB Instanzen Features Kosten Live Demo Fazit 15.06.2012 2 Web-Service von Amazon Erlaubt mieten von Datenbanken Einrichtung, Betrieb und Skalierung übernimmt Anbieter

Mehr

Thomas Matzner Berater für Systemanalyse Couchbase. Java User Group München

Thomas Matzner Berater für Systemanalyse  Couchbase. Java User Group München Thomas Matzner Berater für Systemanalyse www.tamatzner.de Couchbase Java User Group München 18. 1. 2016 Überblick Warum Couchbase bei der Einkaufszettel- App? Eigenschaften von Couchbase Entwicklung mit

Mehr

Installation MySQL Replikationsserver 5.6.12

Installation MySQL Replikationsserver 5.6.12 Ergänzen Konfigurationsdatei my.ini auf Master-Server:!!! softgate gmbh!!! Master und Slave binary logging format - mixed recommended binlog_format = ROW Enabling this option causes the master to write

Mehr

Auf einen Blick. 1 Einführung 25. 2 Die Grundlagen 55. 3 Praxis 1 - das Kassenbuch. (zentraler CouchDB-Server) 139

Auf einen Blick. 1 Einführung 25. 2 Die Grundlagen 55. 3 Praxis 1 - das Kassenbuch. (zentraler CouchDB-Server) 139 Auf einen Blick 1 Einführung 25 2 Die Grundlagen 55 3 Praxis 1 - das Kassenbuch (zentraler CouchDB-Server) 139 4 Praxis 2 - das Kassenbuch als CouchApp 161 5 CouchDB-Administration 199 6 Bestehende Anwendungen

Mehr

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes Hadoop Eine Open-Source-Implementierung von MapReduce und BigTable von Philipp Kemkes Hadoop Framework für skalierbare, verteilt arbeitende Software Zur Verarbeitung großer Datenmengen (Terra- bis Petabyte)

Mehr

Non-Standard-Datenbanken Von NoSQL zu NewSQL

Non-Standard-Datenbanken Von NoSQL zu NewSQL Non-Standard-Datenbanken Von NoSQL zu NewSQL Prof. Dr. Ralf Möller Universität zu Lübeck Institut für Informationssysteme Dennis Heinrich (Übungen) Big Data 2 NoSQL: Not Only SQL? Datenmengen werden groß

Mehr

Pavlo Baron. Big Data. für IT-Entscheider. Riesige Datenmengen. und moderne Technologien. gewinnbringend nutzen HANSER

Pavlo Baron. Big Data. für IT-Entscheider. Riesige Datenmengen. und moderne Technologien. gewinnbringend nutzen HANSER Pavlo Baron Big Data für IT-Entscheider Riesige Datenmengen und moderne Technologien gewinnbringend nutzen HANSER Inhalt Vorwort XI 1 Management Summary 1 2 Was? 7 2.1 Mein klassisches Business ist konkurrenzlos,

Mehr

Organisatorisches. Unit1: Intro and Basics. Bewertung. About Me.. Datenorientierte Systemanalyse. Gerhard Wohlgenannt

Organisatorisches. Unit1: Intro and Basics. Bewertung. About Me.. Datenorientierte Systemanalyse. Gerhard Wohlgenannt Organisatorisches Datenorientierte Systemanalyse Unit1: Intro and Basics Gerhard Wohlgenannt Inhalt: Datenorientierte Systemanalyse Umfang: 5 units XX.10.2013 XX.11.2013 09:00-13:30 Uhr Room XXX Infos,

Mehr

Dateisysteme und Datenverwaltung in der Cloud

Dateisysteme und Datenverwaltung in der Cloud Dateisysteme und Datenverwaltung in der Cloud Sebastian Fischer Master-Seminar Cloud Computing - WS 2013/14 Institut für Telematik, Universität zu Lübeck Dateisysteme und Datenverwaltung in der Cloud 1

Mehr

Institut für Verteilte Systeme

Institut für Verteilte Systeme Institut für Verteilte Systeme Prof. Dr. Franz Hauck Seminar: Multimedia- und Internetsysteme, Wintersemester 2010/11 Betreuer: Jörg Domaschka Bericht zur Seminarssitzung am 2011-01-31 Bearbeitet von :

Mehr

Soziotechnische Systeme Sommer Soziotechnische Informationssysteme. 8. SQL und NoSQL. Die gute alte Zeit. (c) Peter Sturm, Universität Trier 1

Soziotechnische Systeme Sommer Soziotechnische Informationssysteme. 8. SQL und NoSQL. Die gute alte Zeit. (c) Peter Sturm, Universität Trier 1 Soziotechnische Informationssysteme 8. SQL und NoSQL Die gute alte Zeit (c) Peter Sturm, Universität Trier 1 Relationale Datenbank (c) Peter Sturm, Universität Trier 2 RDBMs 1970, IBM Edgar Codd Persistente

Mehr

PostgreSQL im praktischen Einsatz. Stefan Schumacher

PostgreSQL im praktischen Einsatz. Stefan Schumacher PostgreSQL im praktischen Einsatz 2. Brandenburger Linux Infotag 2005 Stefan Schumacher , PGP Key http:/// $Header: /home/daten/cvs/postgresql/folien.tex,v 1.11 2005/04/25

Mehr

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse Carsten Czarski Oracle Deutschland B.V. & Co KG Big Data Betrachten von Daten die bislang nicht betrachtet wurden

Mehr

Architektur von Cassandra

Architektur von Cassandra Seminar: NoSQL Wintersemester 201/2014 Cassandra Zwischenpräsentation 1 Ablauf Replica Partitioners Snitches Besteht aus mehrere Knoten Jeder Knoten kann (Lesen, Schreib. oder Löschen) Verwendet Hash Algorithm

Mehr

Creating OpenSocial Gadgets. Bastian Hofmann

Creating OpenSocial Gadgets. Bastian Hofmann Creating OpenSocial Gadgets Bastian Hofmann Agenda Part 1: Theory What is a Gadget? What is OpenSocial? Privacy at VZ-Netzwerke OpenSocial Services OpenSocial without Gadgets - The Rest API Part 2: Practical

Mehr

Seminar WS 2012/13. S. Chaudhuri et al, CACM, Aug. 2011. Parallel DBS vs. Open Platforms for Big Data, e.g. HaDoop Near-Realtime OLAP

Seminar WS 2012/13. S. Chaudhuri et al, CACM, Aug. 2011. Parallel DBS vs. Open Platforms for Big Data, e.g. HaDoop Near-Realtime OLAP Seminar WS 2012/13 S. Chaudhuri et al, CACM, Aug. 2011 Parallel DBS vs. Open Platforms for Big Data, e.g. HaDoop Near-Realtime OLAP 2 Vorkonfigurierte, komplette Data Warehouse-Installation Mehrere Server,

Mehr

Agenda. (1) Einleitung (2) neo4j. (3) Beispiel + Demo

Agenda. (1) Einleitung (2) neo4j. (3) Beispiel + Demo Agenda (1) Einleitung (2) neo4j (1) neo4j Embedded (2) neo4j Server (REST-Interface) (3) Cypher Query Language (4) High Availability Cluster (3) Beispiel + Demo 2 Einleitung 3 Einleitung: Geschichte 1960er:

Mehr

MySQL kann auch NoSQL DOAG 2011

MySQL kann auch NoSQL DOAG 2011 MySQL kann auch NoSQL DOAG 2011 Erkan Yanar 24. November 2011 rkan Yanar: MySQL kann auch NoSQL,DOAG 2011 das ich erkan yanar erkan.yanar@linsenraum.de linsenraum.de/erkules www.xing.com/profile/erkan

Mehr

Polyglot Persistence und NoSQL

Polyglot Persistence und NoSQL Polyglot Persistence und NoSQL Mehr Flexibilität, mehr Komplexität!? Stefan Kühnlein Solution Architekt OPITZ CONSULTING GmbH Nürnberg, 18.11.2014 OPITZ CONSULTING GmbH 2014 Seite 1 Agenda 1. Rückblick

Mehr

Dipl. Inf. Eric Winter. PostgreSQLals HugeData Storage Ein Erfahrungsbericht

Dipl. Inf. Eric Winter. PostgreSQLals HugeData Storage Ein Erfahrungsbericht Dipl. Inf. Eric Winter Entwicklungsleiter PTC GPS-Services GmbH PostgreSQLals HugeData Storage Ein Erfahrungsbericht Inhalt 1. Problembeschreibung 2. Partielle Indexierung 3. Partitionierung 1. Vererbung

Mehr

MySQL 5.1. Kristian Köhntopp

MySQL 5.1. Kristian Köhntopp MySQL 5.1 Kristian Köhntopp Was ist neu? Neues InnoDB Neue Replikation Neues Logging Event Scheduler Partitions INFORMATION_SCHEMA XML Functions Was ist neu? Neues InnoDB Neue Replikation Neues Logging

Mehr

Wählen Sie das MySQL Symbol und erstellen Sie eine Datenbank und einen dazugehörigen User.

Wählen Sie das MySQL Symbol und erstellen Sie eine Datenbank und einen dazugehörigen User. 1 English Description on Page 5! German: Viele Dank für den Kauf dieses Produktes. Im nachfolgenden wird ausführlich die Einrichtung des Produktes beschrieben. Für weitere Fragen bitte IM an Hotmausi Congrejo.

Mehr