Big Data Grundlagen. Univ.-Prof. Dr.-Ing. Wolfgang Maass. Chair in Information and Service Systems Department of Law and Economics

Größe: px
Ab Seite anzeigen:

Download "Big Data Grundlagen. Univ.-Prof. Dr.-Ing. Wolfgang Maass. Chair in Information and Service Systems Department of Law and Economics"

Transkript

1 Big Data Grundlagen Univ.-Prof. Dr.-Ing. Wolfgang Maass Chair in Information and Service Systems Department of Law and Economics WS 2011/2012 Wednesdays, 8:00 10:00 a.m. Room HS 021, B4 1

2 Wrap-Up Inhaltliche (qualitative) Perspektive auf Daten Strukturierung mit XML Einfache Semantik mit RDF Komplexe Semantik mit OWL Beschreibungslogische Sicht auf OWL Regelbasiertes Schließen NoSQL: Welches DBMS für welche Inhalte? è Quantitative Perspektive auf Daten Slide 2

3 Big Data Was ist Big Data? data whose size forces us to look beyond the tried-and-true methods that are prevalent at that time Adam Jacobs The pathologies of big data. Commun. ACM 52, 8 (August 2009), è Datenmengen, die mit Standard-Technologie nicht effizient verarbeitet werden können è Hauptproblem ist nicht das Speichern sondern der Zugriff auf Daten, d.h.: Vom externen Speicher (z.b. Festplatte) zum internen Speicher (RAM) und damit CPU Von einem System (z.b. Data-Warehouse) zu einem anderen System (z.b. Data-Mining) Slide 3

4 Big Data LHC (Large Hadron Collider) 13 Petabyte (13 Mio. GB) in 2010 Worldwide LHC Computing Grid (WLCG) = Prozessoren, 150 Petabyte Speicher 1 MB Daten pro Kollisions-Event, 40 Mio. Events pro Sek., nach Filterung werden interessante Events mit 5GB pro Sek. auf WLCG verteilt gespeichert 11 Tier-1 Zentren angebunden via 10 Gbit Glasfaser, 140 Tier-2 Knoten für Verarbeitung und Speicherung (https://netstat.cern.ch/monitoring/network-statistics/ weathermap/?map=lhcopn) Geoff Brumfiel. High-energy physics: Down the petabyte highway. Nature, 469(7330): , January Slide 4

5 Standard-Technologien 1000 Mrd. GB 100 Mrd. GB 10 Mrd. GB 1 Mrd. GB = 1 Exabyte (EB) World s technological installed capacity to store information Hilbert, M, and P Lopez The Worldʼs Technological Capacity to Store, Communicate, and Compute Information. Science 60, no. 6025: Slide 5

6 Standard-Technologien MIPS: Millionen Instruktionen pro Sekunde Xbox360: MIPS 3,2 GHz (2005) Intel i7 3960X: MIPS 3,33 GHz (2011) World s technological installed capacity to compute information on general-purpose computers Hilbert, M, and P Lopez The Worldʼs Technological Capacity to Store, Communicate, and Compute Information. Science 60, no. 6025: Slide 6

7 Standard-Technologien: Speicher Hardware Beispiel (vgl. Jacobs 2009): Demographische Daten für 6,75 Mrd. Menschen (ca. 100GB) Aufgabe: Berechne Median des Alters 1980: IBM 3850 Mass Storage System (http://www-03.ibm.com/ibm/history/exhibits/storage/ storage_3850.html) Robotergesteuerte Bandbibliothek 50 MB pro Magnetbandkassette è 2000 Kassetten für 100 GB Kosten (Kauf): USD USD Slide 7

8 Standard-Technologien: Speicher Hardware Beispiel (vgl. Jacobs 2009): Demographische Daten für 6,75 Mrd. Menschen (ca. 100GB) Aufgabe: Berechne Median des Alters Heute: 100GB Festplatte ca. 35 EUR Mac Pro (http://www.apple.com/macpro/) Eine 1 TB Festplatte (oder 512 GB solid-state Festplatte) Kosten (Kauf): min USD Slide 8

9 Standard-Technologien: Speicher Software (Datenbank) Beispiel (vgl. Jacobs 2009): Demographische Daten für 6,75 Mrd. Menschen (ca. 100GB) Aufgabe: Berechne Median des Alters In-Memory Speicherung (128GB RAM): Ein Eintrag pro Person â 128 Bit (16 Byte) 6,75 Mrd. Einträge Verarbeitung: Zähle Einträge für ein bestimmtes Alter n 0 = x Mio., n 1 = y Mio.,, n 127 = z Mio. Median ist das n i bei dem die kumulative Summe n 0 + n n i die Hälfte der Gesamtsumme n 0 + n n 127 erreicht Slide 9

10 Standard-Technologien: Speicher Software (Datenbank) Beispiel (vgl. Jacobs 2009): Demographische Daten für 6,75 Mrd. Menschen (ca. 100GB) Aufgabe: Berechne Median des Alters Speicherung in RDBMS (z.b. MySQL): Entpackung der Daten in Spalten è 19 + X Byte pro Eintrag TINYINT 1 Byte INT 4 Byte SMALLINT 2 Byte TINYINT 1 Byte SMALLINT 2 Byte TINYINT 1 Byte SMALLINT 2 Byte SMALLINT 2 Byte TINYINT 1 Byte MEDIUMINT 3 Byte Slide 10

11 Standard-Technologien: Speicher Software (Datenbank) Beispiel (vgl. Jacobs 2009): Demographische Daten für 6,75 Mrd. Menschen (ca. 100GB) Aufgabe: Berechne Median des Alters External Sort: a. Generiere Teilergebnisse (Runs): 1. Lese so viele Einträge wie in den RAM passen 2. Sortiere Einträge im RAM 3. Speichere Teilergebnis auf Festplatte und leere RAM 4. Weiter mit 1 falls weitere Einträge vorhanden b. Füge Teilergebnisse zusammen (Merge): NEIN: External Sort SELECT age COUNT(*) FROM persons GROUP BY age; Genug RAM? DB/System- Informationen JA: Internal Sort 1. Lese den ersten Eintrag jedes Teilergebnisses in den RAM 2. Sortiere Einträge im RAM 3. Wähle ersten Eintrag (in sortierter Folge) und speichere diesen für Endergebnis auf Festplatte 4. Lösche/Ersetze gewählten Eintrag durch weiteren Eintrag aus dem gleichen Teilergebnis (falls vorhanden) 5. Weiter mit 2, falls RAM nicht leer Slide 11

12 Standard-Technologien: Speicher Software (Datenbank) Faktor ! Faktor ! Comparing random and sequential access in disk and memory Adam Jacobs The pathologies of big data. Commun. ACM 52, 8 (August 2009), Slide 12

13 Alternative Technologien für Big Data: Column Stores Block-Iteration: Erhöhte Geschwindigkeit durch sequenzielles Lesen Hardwareseitig: weniger Seeks auf Festplatte Softwareseitig: weniger Funktionsaufrufe (keine Selektion sondern Array abarbeiten) Kompression Geringe Informations-Entropie à effiziente Kompression (ähnliche Zeichen kommen oft vor) Z.B. Lauflängenkodierung falls sortiert Zeilenorientiert (relationale Datenbank): Joe Smith 42 Mary Jones 13 Cathy Johnson 75 Spaltenorientiert (Column Store): Joe Mary Cathy Daniel J. Abadi, Samuel R. Madden, and Nabil Hachem Columnstores vs. row-stores: how different are they really?. In Proceedings of the 2008 ACM SIGMOD international conference on Management of data (SIGMOD '08). ACM, New York, NY, USA, Smith 42 Jones 13 Johnson 75 Slide 13

14 Alternative Technologien für Big Data: Column Stores Späte Materialisierung: Bei Operation auf mehreren Spalten, werden Zeilen so spät wie möglich generiert SELECT cust, price FROM table WHERE (prod = 4) AND (store = 1) Invisible Joins à s. Abadi et al Frühe Mat.: Späte Mat.: Daniel J. Abadi, Samuel R. Madden, and Nabil Hachem Column-stores vs. row-stores: how different are they really?. In Proceedings of the 2008 ACM SIGMOD international conference on Management of data (SIGMOD '08). ACM, New York, NY, USA, prod store cust price prod store cust price Slide 14

15 Alternative Technologien für Big Data: Sharding? Sharding: Horizontale Partitionierung der Datenbank (über Zeilen) Bsp.: internationales Fernsehprogramm Programm Kanal PK Programm ID PK Kanal ID FR Startzeit Sprache Dauer FK Kanal ID DE Programm Kanal PK Programm ID Startzeit Dauer PK Kanal ID Sprache Land FK Kanal ID Slide 15

16 Alternative Technologien für Big Data: Sharding? Sharding: Horizontale Partitionierung der Datenbank (über Zeilen) User Application Data CH FR FR DE DE CH Slide 16

17 Alternative Technologien für Big Data: Sharding? Sharding: Horizontale Partitionierung der Datenbank (über Zeilen) User Application Data CH FR1? FR2 FR DE DE CH Nachteil 1: Anwendungsänderungen bei Erreichen der Kapazitätsgrenze Slide 17

18 Alternative Technologien für Big Data: Sharding? Sharding: Horizontale Partitionierung der Datenbank (über Zeilen) User Application Data CH DE Nachteil 2: Keine Joins über mehrere Partitionen möglich Zusammenführung der Daten durch Anwendung Slide 18

19 Alternative Technologien für Big Data: Sharding? Sharding: Horizontale Partitionierung der Datenbank (über Zeilen) User Application Data CH FR FR DE DE CH Nachteil 3: Administrationsaufwand wird vervielfacht (z.b. bei Schema-Änderungen) Slide 19

20 Alternative Technologien für Big Data: Cloud-based Storage Cloud-Lösung: Unzuverlässige aber dafür preiswerte Commodity-Hardware Kompensiert durch verteilte, redundante Datenhaltung Virtualisierung User Application Data Slide 20

21 Alternative Technologien für Big Data: Cloud-based Storage CAP-Theorem: Ein verteiltes System kann max. zwei der folgenden Eigenschaften erfüllen: C Konsistenz: Alle Knoten verfügen über die selben Daten A Verfügbarkeit: Alle Anfragen werden beantwortet P Partitionstoleranz: Knoten können getrennt operieren User Application Data (1) Hebt Geld ab: è 700 ACID: Atomicity Consistency Isolation Durability (2) Prüft Kontostand: 700 Slide 21

22 Alternative Technologien für Big Data: Cloud-based Storage CAP-Theorem: Ein verteiltes System kann max. zwei der folgenden Eigenschaften erfüllen: C Konsistenz: Alle Knoten verfügen über die selben Daten A Verfügbarkeit: Alle Anfragen werden beantwortet P Partitionstoleranz: Knoten können getrennt operieren CA User Application Data CH (1) Hebt Geld in CH ab: è 700 ACID: Atomicity Consistency Isolation Durability US (2) Prüft Kontostand in US: 700 Slide 22

23 Alternative Technologien für Big Data: Cloud-based Storage CAP-Theorem: Ein verteiltes System kann max. zwei der folgenden Eigenschaften erfüllen: C Konsistenz: Alle Knoten verfügen über die selben Daten A Verfügbarkeit: Alle Anfragen werden beantwortet P Partitionstoleranz: Knoten können getrennt operieren CP User Application Data CH US (1) Hebt Geld in CH ab: 1000 konsistente Datensätze ACID: Atomicity Consistency Isolation Durability (2) Prüft Kontostand in US: 1000 Slide 23

24 Alternative Technologien für Big Data: Cloud-based Storage CAP-Theorem: Ein verteiltes System kann max. zwei der folgenden Eigenschaften erfüllen: C Konsistenz: Alle Knoten verfügen über die selben Daten A Verfügbarkeit: Alle Anfragen werden beantwortet P Partitionstoleranz: Knoten können getrennt operieren AP User Application Data CH US (1) Hebt Geld in CH ab: è 700 inkonsistente Datensätze BASE = Basically Available, Softstate, Eventual consistency (2) Prüft Kontostand in US: 1000 Slide 24

25 HBase & Cassandra Open Source Column-Store entsp. Google BigTable HBase Hadoop Unterprojekt CA: Master-Slave-Architektur (Slaves für Datenhaltung, Master für Redirects) Basiert auf Hadoop Distributed File System (HDFS) è Key-Value-Store Cassandra Ursprünglich entwickelt von Facebook, jetzt Apache CP: P2P-Architektur (CA) Genutzt u.a. von Facebook und Twitter Cassandra (N = name, V = value, T = timestamp) { Datei 1 "user1":{ // <- row 1 "Users":{ // <- column family 1 "name":{"n":"name", "V":" ", "T":" "}, // <- a column " ":{"n":" ", "V":" ", "T":" "} }, Datei 2 "Stats":{ // <- column family 2 "visits":{"n":"visits", "V":" ", "T":" "} } }, "user2":{ // <- row 2 "Users":{ // <- column family 1 " ":{"n":" ", "V":" ", "T":" "} } } } Fay Chang, Jeffrey Dean, Sanjay Ghemawat, Wilson C. Hsieh, Deborah A. Wallach, Mike Burrows, Tushar Chandra, Andrew Fikes, and Robert E. Gruber Bigtable: a distributed storage system for structured data. In Proceedings of the 7th USENIX Symposium on Operating Systems Design and Implementation - Volume 7 (OSDI '06), Vol. 7. USENIX Association, Berkeley, CA, USA, Slide 25

26 Replizierung der Daten Consistent Hashing Ermöglicht einfache Verwaltung bei Veränderung der Datenmenge bzw. Anzahl der Server Daten und Server werden gemäß Hash- ID auf Adressring positioniert Daten werden auf den im UZS nachfolgenden Server gespeichert (oder auf mehrere nachfolgende Server) Virtuelle Server bei unterschiedlichen Serverkapazitäten Giuseppe DeCandia, Deniz Hastorun, Madan Jampani, Gunavardhan Kakulapati, Avinash Lakshman, Alex Pilchin, Swaminathan Sivasubramanian, Peter Vosshall, and Werner Vogels Dynamo: amazon's highly available key-value store. In Proceedings of twenty-first ACM SIGOPS symposium on Operating systems principles (SOSP '07). ACM, New York, NY, USA, Slide 26

27 Windows Azure Azure Table Storage (Key-Value-Store, AP) Plattform-as-a- Service Integration der MS Webservices Slide 27

28 Google App Engine Google App Engine Datastore (Column- Store, CP/AP) Plattform-as-a-Service Kostenlos bis Quota erreicht Laufzeitumgebung für Python & Java (weitere Sprachen geplant) Integration der Google Webservices Slide 28

29 Google App Engine Slide 29

30 Amazon Web Services Amazon S3 (Key-Value-Store, AP) Infrastructure-as-a- Service Sprachunabhängige Entwicklung Bietet Dienste für Entwickler (nicht User) Amazon EC2: Virtualisierte Server- Instanzen On-Demand Slide 30

31 Literatur Artikel: Daniel J. Abadi, Samuel R. Madden, and Nabil Hachem Column-stores vs. row-stores: how different are they really?. In Proceedings of the 2008 ACM SIGMOD international conference on Management of data (SIGMOD '08). ACM, New York, NY, USA, Chris Bunch, Navraj Chohan, Chandra Krintz, Jovan Chohan, Jonathan Kupferman, Puneet Lakhina, Yiming Li, and Yoshihide Nomura An Evaluation of Distributed Datastores Using the AppScale Cloud Platform. In Proceedings of the 2010 IEEE 3rd International Conference on Cloud Computing (CLOUD '10). IEEE Computer Society, Washington, DC, USA, Fay Chang, Jeffrey Dean, Sanjay Ghemawat, Wilson C. Hsieh, Deborah A. Wallach, Mike Burrows, Tushar Chandra, Andrew Fikes, and Robert E. Gruber Bigtable: a distributed storage system for structured data. In Proceedings of the 7th USENIX Symposium on Operating Systems Design and Implementation - Volume 7 (OSDI '06), Vol. 7. USENIX Association, Berkeley, CA, USA, Avinash Lakshman and Prashant Malik Cassandra: a decentralized structured storage system. SIGOPS Oper. Syst. Rev. 44, 2 (April 2010), Web: Big_data_The_next_frontier_for_innovation Slide 31

32 Univ.-Prof. Dr.-Ing. Wolfgang Maass Chair in Information and Service Systems Saarland University, Germany Slide 32

Web Technologien NoSQL Datenbanken

Web Technologien NoSQL Datenbanken Web Technologien NoSQL Datenbanken Univ.-Prof. Dr.-Ing. Wolfgang Maass Chair in Information and Service Systems Department of Law and Economics WS 2011/2012 Wednesdays, 8:00 10:00 a.m. Room HS 021, B4

Mehr

Markus Weise. Parallele Cloud-DBS: Aufbau und Implementierung. Parallele Cloud-DBS. Abteilung Datenbanken am Institut für Informatik

Markus Weise. Parallele Cloud-DBS: Aufbau und Implementierung. Parallele Cloud-DBS. Abteilung Datenbanken am Institut für Informatik : Aufbau und Implementierung Markus Weise Markus Weise, Universität Leipzig Folie 1 Inhalt: 1. Einleitung 2. Google s Bigtable 3. Yahoo! s PNUTS 4. Zusammenfassung 5. Quellen Markus Weise, Universität

Mehr

NoSQL. Was Architekten beachten sollten. Dr. Halil-Cem Gürsoy adesso AG. Architekturtag @ SEACON 2012 Hamburg

NoSQL. Was Architekten beachten sollten. Dr. Halil-Cem Gürsoy adesso AG. Architekturtag @ SEACON 2012 Hamburg NoSQL Was Architekten beachten sollten Dr. Halil-Cem Gürsoy adesso AG Architekturtag @ SEACON 2012 Hamburg 06.06.2012 Agenda Ein Blick in die Welt der RDBMS Klassifizierung von NoSQL-Datenbanken Gemeinsamkeiten

Mehr

Big Data Management Thema 14: Cassandra

Big Data Management Thema 14: Cassandra Thema 14: Cassandra Jan Kristof Nidzwetzki Thema 14: Cassandra 1 / 25 Übersicht 1 Grundlagen Überblick Geschichte Datenmodel 2 Architektur Der logische Ring Persistenz der Daten Tunable Consistency Read

Mehr

NoSQL-Datenbanken. Kapitel 1: Einführung. Lars Kolb Sommersemester 2014. Universität Leipzig http://dbs.uni-leipzig.de 1-1

NoSQL-Datenbanken. Kapitel 1: Einführung. Lars Kolb Sommersemester 2014. Universität Leipzig http://dbs.uni-leipzig.de 1-1 NoSQL-Datenbanken Kapitel 1: Einführung Lars Kolb Sommersemester 2014 Universität Leipzig http://dbs.uni-leipzig.de 1-1 Inhaltsverzeichnis NoSQL-Datenbanken Motivation und Definition Kategorisierung, Eigenschaften

Mehr

ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik

ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik ARFA ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik Ralf Leipner Domain Architect Analytics, Risk Management & Finance 33. Berner Architekten

Mehr

NoSQL-Databases. Präsentation für Advanced Seminar "Computer Engineering", Matthias Hauck, matthias.hauck@stud.uni-heidelberg.de

NoSQL-Databases. Präsentation für Advanced Seminar Computer Engineering, Matthias Hauck, matthias.hauck@stud.uni-heidelberg.de NoSQL-Databases Präsentation für Advanced Seminar "Computer Engineering", Matthias Hauck, matthias.hauck@stud.uni-heidelberg.de Klassische SQL-Datenbanken Anwendungsgebiet: Geschäftsanwendungen Behördenanwendungen

Mehr

Wide Column Stores. Felix Bruckner Mannheim, 15.06.2012

Wide Column Stores. Felix Bruckner Mannheim, 15.06.2012 Wide Column Stores Felix Bruckner Mannheim, 15.06.2012 Agenda Einführung Motivation Grundlagen NoSQL Grundlagen Wide Column Stores Anwendungsfälle Datenmodell Technik Wide Column Stores & Cloud Computing

Mehr

Ontologiegestützte Suche in unstrukturierten Daten

Ontologiegestützte Suche in unstrukturierten Daten Ontologiegestützte Suche in unstrukturierten Daten Veranstalter: Prof. Dr. Lausen Betreuer: Kai Simon, Thomas Hornung (Team) Projekt Anforderungen Bachelor (6 ECTS) [entsprechen 180 Stunden] Softwareentwicklung

Mehr

Big Data Mythen und Fakten

Big Data Mythen und Fakten Big Data Mythen und Fakten Mario Meir-Huber Research Analyst, IDC Copyright IDC. Reproduction is forbidden unless authorized. All rights reserved. About me Research Analyst @ IDC Author verschiedener IT-Fachbücher

Mehr

SQL- & NoSQL-Datenbanken. Speichern und Analysen von großen Datenmengen

SQL- & NoSQL-Datenbanken. Speichern und Analysen von großen Datenmengen SQL- & NoSQL-Datenbanken Speichern und Analysen von großen Datenmengen 1 04.07.14 Zitat von Eric Schmidt (Google CEO): There was 5 exabytes of information created between the dawn of civilization through

Mehr

BigTable. 11.12.2012 Else

BigTable. 11.12.2012 Else BigTable 11.12.2012 Else Einführung Distributed Storage System im Einsatz bei Google (2006) speichert strukturierte Daten petabyte-scale, > 1000 Nodes nicht relational, NoSQL setzt auf GFS auf 11.12.2012

Mehr

Apache HBase. A BigTable Column Store on top of Hadoop

Apache HBase. A BigTable Column Store on top of Hadoop Apache HBase A BigTable Column Store on top of Hadoop Ich bin... Mitch Köhler Selbstständig seit 2010 Tätig als Softwareentwickler Softwarearchitekt Student an der OVGU seit Oktober 2011 Schwerpunkte Client/Server,

Mehr

Dateisysteme und Datenverwaltung in der Cloud

Dateisysteme und Datenverwaltung in der Cloud Dateisysteme und Datenverwaltung in der Cloud Sebastian Fischer Master-Seminar Cloud Computing - WS 2013/14 Institut für Telematik, Universität zu Lübeck Dateisysteme und Datenverwaltung in der Cloud 1

Mehr

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2 Seminar Cloud Data Management WS09/10 Tabelle1 Tabelle2 1 Einführung DBMS in der Cloud Vergleich verschiedener DBMS Beispiele Microsoft Azure Amazon RDS Amazon EC2 Relational Databases AMIs Was gibt es

Mehr

Oracle Big Data Technologien Ein Überblick

Oracle Big Data Technologien Ein Überblick Oracle Big Data Technologien Ein Überblick Ralf Lange Global ISV & OEM Sales NoSQL: Eine kurze Geschichte Internet-Boom: Erste Ansätze selbstgebauter "Datenbanken" Google stellt "MapReduce"

Mehr

Einführung in Hadoop

Einführung in Hadoop Einführung in Hadoop Inhalt / Lern-Ziele Übersicht: Basis-Architektur von Hadoop Einführung in HDFS Einführung in MapReduce Ausblick: Hadoop Ökosystem Optimierungen Versionen 10.02.2012 Prof. Dr. Christian

Mehr

EXASOL @ Symposium on Scalable Analytics. www.exasol.com. Skalierbare Analysen mit EXASolution

EXASOL @ Symposium on Scalable Analytics. www.exasol.com. Skalierbare Analysen mit EXASolution EXASOL @ Symposium on Scalable Analytics Skalierbare Analysen mit EXASolution EXASOL AG Wer sind wir R&D: + seit 2000 + laufend Forschungsprojekte Produkt: Analytische Datenbank EXASolution Focus auf Komplexität

Mehr

Aktuelle SE Praktiken für das WWW

Aktuelle SE Praktiken für das WWW Aktuelle SE Praktiken für das WWW SQL vs. NoSQL W. Mark Kubacki 23.06.2010 Gliederung Zusammenfassung Entstehungsgeschichte SQL vs. NoSQL Systemarchitekturen und Wachstumsmuster SQL NoSQL Überblick und

Mehr

NoSQL Datenbanken. Seminar:Software as a Service, Cloud-Computing und aktuelle Entwicklungen Dozent: Dipl. Inf. Andreas Göbel

NoSQL Datenbanken. Seminar:Software as a Service, Cloud-Computing und aktuelle Entwicklungen Dozent: Dipl. Inf. Andreas Göbel NoSQL Datenbanken Seminar:Software as a Service, Cloud-Computing und aktuelle Entwicklungen Dozent: Dipl. Inf. Andreas Göbel 17. Juni 2010 Gliederung Der Begriff NoSQL Wichtige Konzepte NoSQL-Arten Cassandra

Mehr

Wide Column Stores. Felix Bruckner. Hochschule Mannheim Fakultät für Informatik Paul-Wittsack-Straße 10 68163 Mannheim felix.bruckner@gmail.

Wide Column Stores. Felix Bruckner. Hochschule Mannheim Fakultät für Informatik Paul-Wittsack-Straße 10 68163 Mannheim felix.bruckner@gmail. Wide Column Stores Felix Bruckner Hochschule Mannheim Fakultät für Informatik Paul-Wittsack-Straße 10 68163 Mannheim felix.bruckner@gmail.com Zusammenfassung Wide Column Stores sind verteilte nichtrelationale

Mehr

Web Technologien Klassische Datenbanken am Beispiel von MySQL

Web Technologien Klassische Datenbanken am Beispiel von MySQL Web Technologien Klassische Datenbanken am Beispiel von MySQL Univ.-Prof. Dr.-Ing. Wolfgang Maass Chair in Information and Service Systems Department of Law and Economics WS 2011/2012 Wednesdays, 8:00

Mehr

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes Hadoop Eine Open-Source-Implementierung von MapReduce und BigTable von Philipp Kemkes Hadoop Framework für skalierbare, verteilt arbeitende Software Zur Verarbeitung großer Datenmengen (Terra- bis Petabyte)

Mehr

EHCache und Terracotta. Jochen Wiedmann, Software AG

EHCache und Terracotta. Jochen Wiedmann, Software AG EH und Terracotta Jochen Wiedmann, Software AG Autor Perl-Contributor DBD::mySQL 2, DBI::Proxy, DBI::Shell, DBD::CSV, Net::Daemon, RPC::Pl(Client Server) (Autor) DBI (Developer) ASF-Member (Apache Software

Mehr

Cloud-Plattform: Appscale Hochschule Mannheim

Cloud-Plattform: Appscale Hochschule Mannheim Florian Weispfenning Cloud-Computing Seminar Hochschule Mannheim WS0910 1/28 Cloud-Plattform: Appscale Hochschule Mannheim Florian Weispfenning Fakultät für Informatik Hochschule Mannheim florian.weispfenning@stud.hs-mannheim.de

Mehr

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE Themen Big Data Buzz Word oder eine neue Dimension

Mehr

Persönlichkeiten bei bluehands

Persönlichkeiten bei bluehands Persönlichkeiten bei Technologien bei Skalierbare Anwendungen mit Windows Azure GmbH & co.mmunication KG am@.de; posts..de/am 1 2 3 4 5 6 7 8 9 Immer mehr Mehr Performance Mehr Menge Mehr Verfügbarkeit

Mehr

Cloud Computing: Der Anfang... Überblick. »We call it cloud computing (... ) « Cloud Computing: Zeitpunkt, Grundeigenschaften

Cloud Computing: Der Anfang... Überblick. »We call it cloud computing (... ) « Cloud Computing: Zeitpunkt, Grundeigenschaften Überblick Cloud Computing: Der Anfang... Cloud Computing Begriffsklärung Grundeigenschaften Technologie und Algorithmen Formen Vergleich: Timesharing-Systeme»We call it cloud computing (... ) «Eric Schmidt

Mehr

Überblick. Cloud Computing Begriffsklärung Grundeigenschaften Technologie und Algorithmen Formen Vergleich: Timesharing-Systeme

Überblick. Cloud Computing Begriffsklärung Grundeigenschaften Technologie und Algorithmen Formen Vergleich: Timesharing-Systeme Überblick Cloud Computing Begriffsklärung Grundeigenschaften Technologie und Algorithmen Formen Vergleich: Timesharing-Systeme Cloud-Computing-Systeme Amazon Web Services Twitter VS-Übung (SS13) Cloud

Mehr

The R(E)volution of Data Stores

The R(E)volution of Data Stores The R(E)volution of Data Stores Willkommen Schön, dass sie in diese Session kommen, ich bin Dominik Wagenknecht NoSQL Initiative Lead Technology Architect Accenture Wien Mobil: +43 676 8720 33921 dominik.wagenknecht@accenture.com

Mehr

NoSQL & Big Data. NoSQL Databases and Big Data. NoSQL vs SQL DBs. NoSQL DBs - Überblick. Datenorientierte Systemanalyse. Gerhard Wohlgenannt

NoSQL & Big Data. NoSQL Databases and Big Data. NoSQL vs SQL DBs. NoSQL DBs - Überblick. Datenorientierte Systemanalyse. Gerhard Wohlgenannt NoSQL & Big Data Datenorientierte Systemanalyse NoSQL Databases and Big Data Gerhard Wohlgenannt Die besprochenen Systeme haben nicht den Anspruch und das Ziel DBS zu ersetzen, sondern für gewisse Anwendungsfälle

Mehr

NoSQL Databases and Big Data

NoSQL Databases and Big Data Datenorientierte Systemanalyse NoSQL Databases and Big Data Gerhard Wohlgenannt NoSQL & Big Data Die besprochenen Systeme haben nicht den Anspruch und das Ziel DBS zu ersetzen, sondern für gewisse Anwendungsfälle

Mehr

Überblick und Vergleich von NoSQL. Datenbanksystemen

Überblick und Vergleich von NoSQL. Datenbanksystemen Fakultät Informatik Hauptseminar Technische Informationssysteme Überblick und Vergleich von NoSQL Christian Oelsner Dresden, 20. Mai 2011 1 1. Einführung 2. Historisches & Definition 3. Kategorien von

Mehr

Cloud-Infrastrukturen Seminar Cloud Data Management WS09/10

Cloud-Infrastrukturen Seminar Cloud Data Management WS09/10 Cloud-Infrastrukturen Seminar Cloud Data Management WS09/10 Richard Beyer 1 Inhalt 1. Allgemeines 2. Amazon EC2 3. Yahoo Cloud 4. Vergleich 5. Fazit 6. Literatur Richard Beyer 2 Definition Cloud computing

Mehr

Teil XI Spalten-orientierte DBMSs

Teil XI Spalten-orientierte DBMSs Teil XI Spalten-orientierte DBMSs Spalten-orientierte Datenbankmanagementsysteme 1 Motivation 2 Funktionsweise 3 Erweiterungen 4 Literatur c Sattler / Saake / Köppen Data-Warehouse-Technologien Letzte

Mehr

Big Data. Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover

Big Data. Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover Big Data Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover Agenda Was ist Big Data? Parallele Programmierung Map/Reduce Der Big Data Zoo 2 3Vs oder: Was ist Big Data? Deutsche Telekom:

Mehr

Hauptspeicher- Datenbanksysteme. Hardware-Entwicklungen Column- versus Row-Store...

Hauptspeicher- Datenbanksysteme. Hardware-Entwicklungen Column- versus Row-Store... Hauptspeicher- Datenbanksysteme Hardware-Entwicklungen Column- versus Row-Store... Hauptspeicher-Datenbanksysteme Disk is Tape, Tape is dead Jim Gray Die Zeit ist reif für ein Re-engineering der Datenbanksysteme

Mehr

Gliederung. Was ist Cloud Computing Charakteristiken Virtualisierung Cloud Service Modelle Sicherheit Amazon EC2 OnLive Vorteile und Kritik

Gliederung. Was ist Cloud Computing Charakteristiken Virtualisierung Cloud Service Modelle Sicherheit Amazon EC2 OnLive Vorteile und Kritik Cloud Computing Gliederung Was ist Cloud Computing Charakteristiken Virtualisierung Cloud Service Modelle Sicherheit Amazon EC2 OnLive Vorteile und Kritik 2 Bisher Programme und Daten sind lokal beim Anwender

Mehr

Datenverwaltung in der Cloud. Überblick. Google File System. Anforderungen der Anwendungen an das Dateisystem

Datenverwaltung in der Cloud. Überblick. Google File System. Anforderungen der Anwendungen an das Dateisystem Überblick Datenverwaltung in der Cloud Datenverwaltung in der Cloud Motivation Windows Azure Storage: Zusammenfassung CAP-Theorem nach [Brewer] In einem verteilten System ist es nicht möglich gleichzeitig

Mehr

Information Systems & Semantic Web University of Koblenz Landau, Germany. Cloud Computing. Steffen Staab

<is web> Information Systems & Semantic Web University of Koblenz Landau, Germany. Cloud Computing. Steffen Staab Information Systems & Semantic Web University of Koblenz Landau, Germany Cloud Computing Cloud Computing if you do not have Cloud Computing in your business proposal you do not get VC funding. P. Miraglia@Austin,

Mehr

Dipl. Inf. Eric Winter. PostgreSQLals HugeData Storage Ein Erfahrungsbericht

Dipl. Inf. Eric Winter. PostgreSQLals HugeData Storage Ein Erfahrungsbericht Dipl. Inf. Eric Winter Entwicklungsleiter PTC GPS-Services GmbH PostgreSQLals HugeData Storage Ein Erfahrungsbericht Inhalt 1. Problembeschreibung 2. Partielle Indexierung 3. Partitionierung 1. Vererbung

Mehr

Seminar SS 09 Amdahl`s Law and Cloud-Computing

Seminar SS 09 Amdahl`s Law and Cloud-Computing Seminar SS 09 Amdahl`s Law and Cloud-Computing Prof. G. Bengel Fakultät für Informatik SEMB 7IBW 8IB Raum HO609 Mo 9:45-11:15 1. Teil: Amdahl sches Gesetz 1. Vortrag Das Gesetz von Amdahl und Gustafson

Mehr

Charakteristika und Vergleich von SQL- und NoSQL- Datenbanken

Charakteristika und Vergleich von SQL- und NoSQL- Datenbanken Universität Leipzig Fakultät für Mathematik und Informatik Abteilung Datenbanken Dozent: Prof. Dr. Erhard Rahm Betreuer: Stefan Endrullis Problemseminar NoSQL-Datenbanken Semester: WS 11/12 Charakteristika

Mehr

Storage-Trends am LRZ. Dr. Christoph Biardzki

Storage-Trends am LRZ. Dr. Christoph Biardzki Storage-Trends am LRZ Dr. Christoph Biardzki 1 Über das Leibniz-Rechenzentrum (LRZ) Seit 50 Jahren Rechenzentrum der Bayerischen Akademie der Wissenschaften IT-Dienstleister für Münchner Universitäten

Mehr

Dominik Wagenknecht Accenture. Der No Frills Big Data Workshop -Teil3

Dominik Wagenknecht Accenture. Der No Frills Big Data Workshop -Teil3 Dominik Wagenknecht Accenture Der No Frills Big Data Workshop -Teil3 Der no frills BigData Workshop JAX 2012, 16.4.2012, Mainz Teil 3 Google ist ein Pionier von BigData und hat mit MapReduce und BigTable

Mehr

FernUniversität in Hagen. Seminar Big Data Management

FernUniversität in Hagen. Seminar Big Data Management FernUniversität in Hagen Fakultät für Mathematik und Informatik Sommersemester 2013 Seminar Big Data Management Prof. Dr. Ralf Hartmut Güting Fabio Valdés Einführung Angesichts der rasant anwachsenden

Mehr

Big Data in der Forschung

Big Data in der Forschung Big Data in der Forschung Dominik Friedrich RWTH Aachen Rechen- und Kommunikationszentrum (RZ) Gartner Hype Cycle July 2011 Folie 2 Was ist Big Data? Was wird unter Big Data verstanden Datensätze, die

Mehr

SimpleVOC-Yetanother. Bausteine für eine Key/Value- Datenbank

SimpleVOC-Yetanother. Bausteine für eine Key/Value- Datenbank SimpleVOC-Yetanother Memcached? Bausteine für eine Key/Value- Datenbank SimpleVOC Yet another memcached? Bausteine für eine Key/Value Datenbank. Theorie (Martin Schönert) Praxis (Frank Celler) Eine Weisheit

Mehr

Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht

Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht Big-Data-Technologien - Überblick - Quelle: http://www.ingenieur.de/panorama/fussball-wm-in-brasilien/elektronischer-fussball-smartphone-app-helfen-training Big-Data-Anwendungen im Unternehmen Logistik

Mehr

Architektur von Cassandra

Architektur von Cassandra Seminar: NoSQL Wintersemester 201/2014 Cassandra Zwischenpräsentation 1 Ablauf Replica Partitioners Snitches Besteht aus mehrere Knoten Jeder Knoten kann (Lesen, Schreib. oder Löschen) Verwendet Hash Algorithm

Mehr

Algorithmen. Consistent Hashing Bloom Filter MapReduce. Distributed Hash Tables. Einführung 1

Algorithmen. Consistent Hashing Bloom Filter MapReduce. Distributed Hash Tables. Einführung 1 Algorithmen Consistent Hashing Bloom Filter MapReduce Distributed Hash Tables Einführung 1 Consistent Hashing Problem: Wie finde ich den Speicherort für ein Objekt in einem verteilten System mit n Knoten?

Mehr

SQL- & NoSQL-Datenbanken - Speichern und Analysen von großen Datenmengen

SQL- & NoSQL-Datenbanken - Speichern und Analysen von großen Datenmengen SQL- & NoSQL-Datenbanken - Speichern und Analysen von großen Datenmengen Lennart Leist Inhaltsverzeichnis 1 Einführung 2 1.1 Aufgaben einer Datenbank...................... 2 1.2 Geschichtliche Entwicklung

Mehr

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar!

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar! Clouds Wolkig bis Heiter Erwartungen der Nutzer Er ist verwöhnt! Verfügbarkeit Viele Anwendungen Intuitive Interfaces Hohe Leistung Er ist nicht dankbar! Mehr! Mehr! Mehr! Moore 1 Erwartungen der Entwickler

Mehr

MICROSOFT WINDOWS AZURE

MICROSOFT WINDOWS AZURE Cloud Computing à la Microsoft MICROSOFT WINDOWS AZURE Karim El Jed netcreate OHG Agenda Was ist Cloud Computing? Anwendungsszenarien Windows Azure Platform Alternativen Was ist Cloud Computing? Was ist

Mehr

!"#$"%&'()*$+()',!-+.'/',

!#$%&'()*$+()',!-+.'/', Soziotechnische Informationssysteme 5. Facebook, Google+ u.ä. Inhalte Historisches Relevanz Relevante Technologien Anwendungsarchitekturen 4(5,12316,7'.'0,!.80/6,9*$:'0+$.;.,&0$'0, 3, Historisches Facebook

Mehr

Soziotechnische Informationssysteme

Soziotechnische Informationssysteme Soziotechnische Informationssysteme 8. NoSQL Relationale Datenbank NoSQL Datenbank Relationale Datenbank? NoSQL Datenbank RDBM 2 Warum? Skalierbarkeit Riesige Datenmengen Performanz und Elastizität Auslastung

Mehr

ISBN: 978-3-8428-0679-5 Herstellung: Diplomica Verlag GmbH, Hamburg, 2011

ISBN: 978-3-8428-0679-5 Herstellung: Diplomica Verlag GmbH, Hamburg, 2011 Nils Petersohn Vergleich und Evaluation zwischen modernen und traditionellen Datenbankkonzepten unter den Gesichtspunkten Skalierung, Abfragemöglichkeit und Konsistenz Diplomica Verlag Nils Petersohn Vergleich

Mehr

Einführung in Hauptspeicherdatenbanken

Einführung in Hauptspeicherdatenbanken Einführung in Hauptspeicherdatenbanken Harald Zankl Probevorlesung 13. 01., 13:15 14:00, HS C Inhaltsverzeichnis Organisation Überblick Konklusion Harald Zankl (LFU) Hauptspeicherdatenbanken 2/16 Organisation

Mehr

Beratung. Results, no Excuses. Consulting. Lösungen. Grown from Experience. Ventum Consulting. SQL auf Hadoop Oliver Gehlert. 2014 Ventum Consulting

Beratung. Results, no Excuses. Consulting. Lösungen. Grown from Experience. Ventum Consulting. SQL auf Hadoop Oliver Gehlert. 2014 Ventum Consulting Beratung Results, no Excuses. Consulting Lösungen Grown from Experience. Ventum Consulting SQL auf Hadoop Oliver Gehlert 1 Ventum Consulting Daten und Fakten Results, no excuses Fachwissen Branchenkenntnis

Mehr

NoSQL. Hintergründe und Anwendungen. Andreas Winschu

NoSQL. Hintergründe und Anwendungen. Andreas Winschu NoSQL Hintergründe und Anwendungen Andreas Winschu 1 Inhalt 1. Motivation 2. RDBMS 3. CAP Theorem 4. NoSQL 5. NoSql Overview 6. NoSQl Praxis 7. Zusammenfassung und Ausblick 2 1.Motivation Datenbanken Permanente

Mehr

Big & Smart Data. bernard.bekavac@htwchur.ch

Big & Smart Data. bernard.bekavac@htwchur.ch Big & Smart Data Prof. Dr. Bernard Bekavac Schweizerisches Institut für Informationswissenschaft SII Studienleiter Bachelor of Science in Information Science bernard.bekavac@htwchur.ch Quiz An welchem

Mehr

Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien

Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien Wir unternehmen IT. Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien Karlsruhe, 30.09.2015 $id thgreiner Thorsten Greiner Teamleiter Software Development ConSol* Software GmbH, Düsseldorf

Mehr

Dokumentenorientierte Datenbanken - MongoDB

Dokumentenorientierte Datenbanken - MongoDB Dokumentenorientierte Datenbanken - MongoDB Jan Hentschel Ultra Tendency UG Übersicht Dokumente sind unabhängige Einheiten Bessere Performance (zusammengehörige Daten werden gemeinsam gelesen) Objektmodell

Mehr

Oracle EngineeredSystems

Oracle EngineeredSystems Oracle EngineeredSystems Überblick was es alles gibt Themenübersicht Überblick über die Engineered Systems von Oracle Was gibt es und was ist der Einsatzzweck? Wann machen diese Systeme Sinn? Limitationen

Mehr

MATCHING VON PRODUKTDATEN IN DER CLOUD

MATCHING VON PRODUKTDATEN IN DER CLOUD MATCHING VON PRODUKTDATEN IN DER CLOUD Dr. Andreas Thor Universität Leipzig 15.12.2011 Web Data Integration Workshop 2011 Cloud Computing 2 Cloud computing is using the internet to access someone else's

Mehr

FlexiScale - Web Hosting mit Cloud-Computing Hochschule Mannheim

FlexiScale - Web Hosting mit Cloud-Computing Hochschule Mannheim Jiaming Song Cloud-Computing Seminar Hochschule Mannheim WS0910 1/31... FlexiScale - Web Hosting mit Cloud-Computing Hochschule Mannheim.... Jiaming Song Fakultät für Informatik Hochschule Mannheim jiaming360@googlemail.com

Mehr

Think Big. Skalierbare Anwendungen mit Azure. Aydin Mir Mohammadi Bluehands GmbH & co.mmunication KG

Think Big. Skalierbare Anwendungen mit Azure. Aydin Mir Mohammadi Bluehands GmbH & co.mmunication KG Skalierbare Anwendungen mit Azure Bluehands GmbH & co.mmunication KG 1 2 3 4 5 6 7 8 9 Immer mehr Mehr Performance Mehr Menge Mehr Verfügbarkeit Skalierung http://www.flickr.com/photos/39901968@n04/4864698533/

Mehr

HANA Solution Manager als Einstieg

HANA Solution Manager als Einstieg Markus Stockhausen HANA Solution Manager als Einstieg Collogia Solution Day Hamburg 28.04.2016 Agenda HANA Solution Manager als Einstieg 1 Überblick 2 Techniken 3 Sizing Collogia Unternehmensberatung AG,

Mehr

Sind Cloud Apps der nächste Hype?

Sind Cloud Apps der nächste Hype? Java Forum Stuttgart 2012 Sind Cloud Apps der nächste Hype? Tillmann Schall Stuttgart, 5. Juli 2012 : Agenda Was sind Cloud Apps? Einordnung / Vergleich mit bestehenden Cloud Konzepten Live Demo Aufbau

Mehr

SQL structured query language

SQL structured query language Umfangreiche Datenmengen werden üblicherweise in relationalen Datenbank-Systemen (RDBMS) gespeichert Logische Struktur der Datenbank wird mittels Entity/Realtionship-Diagrammen dargestellt structured query

Mehr

Windows Server 2012 R2

Windows Server 2012 R2 Windows Server 2012 R2 Eine Übersicht Raúl B. Heiduk (rh@pobox.com) www.digicomp.ch 1 Inhalt der Präsentation Die wichtigsten Neuerungen Active Directory PowerShell 4.0 Hyper-V Demos Fragen und Antworten

Mehr

Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE

Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE Institut für Kartographie und Geoinformatik Leibniz Universität Hannover Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE Frank Thiemann, Thomas Globig Frank.Thiemann@ikg.uni-hannover.de

Mehr

NoSQL Deep Dive mit Cassandra. Kai Spichale

NoSQL Deep Dive mit Cassandra. Kai Spichale NoSQL Deep Dive mit Cassandra Kai Spichale 13.04.2011 1 NoSQL 13.04.2011 2 BerlinExpertDays NoSQL Wide Column Stores / Column Families Document Stores Graph Databases Key Value / Tupe Stores 13.04.2011

Mehr

Datenbanktechnologien für Big Data

Datenbanktechnologien für Big Data Datenbanktechnologien für Big Data Oktober 2013 Prof. Dr. Uta Störl Hochschule Darmstadt Big Data Technologien Motivation Big Data Technologien NoSQL-Datenbanksysteme Spaltenorientierte Datenbanksysteme

Mehr

Unternehmen-IT sicher in der Public Cloud

Unternehmen-IT sicher in der Public Cloud Unternehmen-IT sicher in der Public Cloud Safely doing your private business in public David Treanor Team Lead Infrastructure Microsoft Certified Systems Engineer (MCSE) Microsoft Certified Systems Administrator

Mehr

Cassandra Query Language (CQL)

Cassandra Query Language (CQL) Cassandra Query Language (CQL) Seminar: NoSQL Wintersemester 2013/2014 Cassandra Zwischenpräsentation 1 Gliederung Basic facts Datentypen DDL/DML ähnlich zu SQL Besonderheiten Basic facts CQL kurz für

Mehr

PROFI UND NUTANIX. Portfolioerweiterung im Software Defined Data Center

PROFI UND NUTANIX. Portfolioerweiterung im Software Defined Data Center PROFI UND NUTANIX Portfolioerweiterung im Software Defined Data Center IDC geht davon aus, dass Software-basierter Speicher letztendlich eine wichtige Rolle in jedem Data Center spielen wird entweder als

Mehr

PostgreSQL in großen Installationen

PostgreSQL in großen Installationen PostgreSQL in großen Installationen Cybertec Schönig & Schönig GmbH Hans-Jürgen Schönig Wieso PostgreSQL? - Die fortschrittlichste Open Source Database - Lizenzpolitik: wirkliche Freiheit - Stabilität,

Mehr

DATENBANK LÖSUNGEN. mit Azure. Peter Schneider Trainer und Consultant. Lernen und Entwickeln. www.egos.co.at

DATENBANK LÖSUNGEN. mit Azure. Peter Schneider Trainer und Consultant. Lernen und Entwickeln. www.egos.co.at DATENBANK LÖSUNGEN mit Azure Peter Schneider Trainer und Consultant Agenda Cloud Services, Data Platform, Azure Portal Datenbanken in Virtuelle Maschinen Azure SQL Datenbanken und Elastic Database Pools

Mehr

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse Carsten Czarski Oracle Deutschland B.V. & Co KG Big Data Betrachten von Daten die bislang nicht betrachtet wurden

Mehr

Datenbanken und SQL. Kapitel 1. Übersicht über Datenbanken. Edwin Schicker: Datenbanken und SQL (1)

Datenbanken und SQL. Kapitel 1. Übersicht über Datenbanken. Edwin Schicker: Datenbanken und SQL (1) Datenbanken und SQL Kapitel 1 Übersicht über Datenbanken Übersicht über Datenbanken Vergleich: Datenorganisation versus Datenbank Definition einer Datenbank Bierdepot: Eine Mini-Beispiel-Datenbank Anforderungen

Mehr

Big Data Anwendungen

Big Data Anwendungen Big Data Anwendungen Univ.-Prof. Dr.-Ing. Wolfgang Maass Chair in Information and Service Systems Department of Law and Economics WS 2011/2012 Wednesdays, 8:00 10:00 a.m. Room HS 021, B4 1 Wrap-Up Effiziente

Mehr

Peter Dikant mgm technology partners GmbH. Echtzeitsuche mit Hadoop und Solr

Peter Dikant mgm technology partners GmbH. Echtzeitsuche mit Hadoop und Solr Peter Dikant mgm technology partners GmbH Echtzeitsuche mit Hadoop und Solr ECHTZEITSUCHE MIT HADOOP UND SOLR PETER DIKANT MGM TECHNOLOGY PARTNERS GMBH WHOAMI peter.dikant@mgm-tp.com Java Entwickler seit

Mehr

FernUniversität in Hagen - Seminar 01912 im Sommersemester 2013. Big Data Management

FernUniversität in Hagen - Seminar 01912 im Sommersemester 2013. Big Data Management FernUniversität in Hagen - Seminar 01912 im Sommersemester 2013 Big Data Management Thema 14 Cassandra Referent: Jan Kristof Nidzwetzki 2 Jan Kristof Nidzwetzki, Thema 14: Cassandra Inhaltsverzeichnis

Mehr

105.3 SQL-Datenverwaltung

105.3 SQL-Datenverwaltung LPI-Zertifizierung 105.3 SQL-Datenverwaltung Copyright ( ) 2009 by Dr. W. Kicherer. This work is licensed under the Creative Commons Attribution-Noncommercial-Share Alike 2.0 Germany License. To view a

Mehr

Einführung in Hadoop & MapReduce. Dr. Kathrin Spreyer Big Data Engineer

Einführung in Hadoop & MapReduce. Dr. Kathrin Spreyer Big Data Engineer Einführung in Hadoop & MapReduce Dr. Kathrin Spreyer Big Data Engineer München, 19.06.2013 Agenda Einleitung 1. HDFS 2. MapReduce 3. APIs 4. Hive & Pig 5. Mahout Tools aus Hadoop-Ökosystem 6. HBase 2 Worum

Mehr

Data. Guido Oswald Solution Architect @SAS Switzerland. make connections share ideas be inspired

Data. Guido Oswald Solution Architect @SAS Switzerland. make connections share ideas be inspired make connections share ideas be inspired Data Guido Oswald Solution Architect @SAS Switzerland BIG Data.. Wer? BIG Data.. Wer? Wikipedia sagt: Als Big Data werden besonders große Datenmengen bezeichnet,

Mehr

Seminararbeit Cloud Data Management Key Value Stores Dynamo und Cassandra

Seminararbeit Cloud Data Management Key Value Stores Dynamo und Cassandra Seminararbeit Cloud Data Management Key Value Stores Dynamo und Cassandra Simon Bin Januar 2010 Inhaltsverzeichnis 1 Einführung 4 2 Amazon Dynamo 6 2.1 Designziele................................ 6 2.2

Mehr

Proling von Software-Energieverbrauch

Proling von Software-Energieverbrauch Proling von Software-Energieverbrauch Seminar Ausgewählte Kapitel der Systemsoftwaretechnik: Energiegewahre Systemsoftware im Sommersemester 2013 Michael Fiedler 6. Juni 2013 1 Motivation (1) Grundproblem

Mehr

Hadoop. Simon Prewo. Simon Prewo

Hadoop. Simon Prewo. Simon Prewo Hadoop Simon Prewo Simon Prewo 1 Warum Hadoop? SQL: DB2, Oracle Hadoop? Innerhalb der letzten zwei Jahre hat sich die Datenmenge ca. verzehnfacht Die Klassiker wie DB2, Oracle usw. sind anders konzeptioniert

Mehr

Vorbesprechung Hauptseminar "Cloud Computing"

Vorbesprechung Hauptseminar Cloud Computing Vorbesprechung Hauptseminar "Cloud Computing" Dimka Karastoyanova, Johannes Wettinger, Frank Leymann {karastoyanova, wettinger, leymann}@iaas.uni-stuttgart.de Institute of Architecture of Application Systems

Mehr

Platform as a Service (PaaS) 15.01.2010 Prof. Dr. Ch. Reich

Platform as a Service (PaaS) 15.01.2010 Prof. Dr. Ch. Reich Platform as a Service (PaaS) 15.01.2010 Prof. Dr. Ch. Reich Cloud Computing Deployment Typen: Private cloud Besitzt das Unternehmen Community cloud Gemeinsame Nutzung durch Gemeinschaft Public cloud Öffentliche

Mehr

Key Value Stores. (CouchDB, BigTable, Hadoop, Dynamo, Cassandra)

Key Value Stores. (CouchDB, BigTable, Hadoop, Dynamo, Cassandra) Key Value Stores (CouchDB, BigTable, Hadoop, Dynamo, Cassandra) 1 Neue Herausforderungen große Datenmengen in Unternehmen Twitter, youtube, facebook, (social media) Daten als Ware bzw. Rohstoff x TB /

Mehr

Windows Azure für Java Architekten. Holger Sirtl Microsoft Deutschland GmbH

Windows Azure für Java Architekten. Holger Sirtl Microsoft Deutschland GmbH Windows Azure für Java Architekten Holger Sirtl Microsoft Deutschland GmbH Agenda Schichten des Cloud Computings Überblick über die Windows Azure Platform Einsatzmöglichkeiten für Java-Architekten Ausführung

Mehr

Kapitel 4 Teil 2 NoSQL-Datenbanksysteme

Kapitel 4 Teil 2 NoSQL-Datenbanksysteme Kapitel 4 Teil 2 NoSQL-Datenbanksysteme Inhalt: CAP (Consistency/Availability/Partition-Tolerance); BASE (Basically Available, Soft State, Eventually Consistent); Datenmodelle: Key-Value-Stores, Spaltenbasierte

Mehr

Stefan Edlich Achim Friedland Jens Rampe Benjamin Brauer. NoSQL. Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken HANSER

Stefan Edlich Achim Friedland Jens Rampe Benjamin Brauer. NoSQL. Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken HANSER Stefan Edlich Achim Friedland Jens Rampe Benjamin Brauer NoSQL Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken HANSER Geleitwort 1 Vorwort 1 1 Einführung 1 1.1 Historie 1 1.2 Definition und

Mehr

Rein relationale DB in Prod? Datenbanken in produktiven Einsatz? SQL + NoSQL DB in Prod? (MongoDB, Redis, CouchDB, Cassandra)

Rein relationale DB in Prod? Datenbanken in produktiven Einsatz? SQL + NoSQL DB in Prod? (MongoDB, Redis, CouchDB, Cassandra) 1 Rein relationale DB in Prod? Datenbanken in produktiven Einsatz? 2 SQL + NoSQL DB in Prod? (MongoDB, Redis, CouchDB, Cassandra) 3 DB-Cluster in der Cloud? NoSQL?!? SQL Normalformen Come as you are Warum

Mehr

Vielen Dank an Dennis Riehle für die Bereitstellung dieser Folien

Vielen Dank an Dennis Riehle für die Bereitstellung dieser Folien Vielen Dank an Dennis Riehle für die Bereitstellung dieser Folien 1.1 Definition Datenbank Ein Datenbanksystem (DBS) ist ein System zur elektronischen Datenverwaltung. Die wesentliche Aufgabe eines DBS

Mehr

RAID Redundant Array of Independent [Inexpensive] Disks

RAID Redundant Array of Independent [Inexpensive] Disks RAID Redundant Array of Independent [Inexpensive] Disks Stefan Wexel Proseminar Algorithms and Data Structures im WS 2011/2012 Rheinisch-Westfälische Technische Hochschule Aachen Lehrstuhl für Informatik

Mehr