Big Data Grundlagen. Univ.-Prof. Dr.-Ing. Wolfgang Maass. Chair in Information and Service Systems Department of Law and Economics

Größe: px
Ab Seite anzeigen:

Download "Big Data Grundlagen. Univ.-Prof. Dr.-Ing. Wolfgang Maass. Chair in Information and Service Systems Department of Law and Economics"

Transkript

1 Big Data Grundlagen Univ.-Prof. Dr.-Ing. Wolfgang Maass Chair in Information and Service Systems Department of Law and Economics WS 2011/2012 Wednesdays, 8:00 10:00 a.m. Room HS 021, B4 1

2 Wrap-Up Inhaltliche (qualitative) Perspektive auf Daten Strukturierung mit XML Einfache Semantik mit RDF Komplexe Semantik mit OWL Beschreibungslogische Sicht auf OWL Regelbasiertes Schließen NoSQL: Welches DBMS für welche Inhalte? è Quantitative Perspektive auf Daten Slide 2

3 Big Data Was ist Big Data? data whose size forces us to look beyond the tried-and-true methods that are prevalent at that time Adam Jacobs The pathologies of big data. Commun. ACM 52, 8 (August 2009), è Datenmengen, die mit Standard-Technologie nicht effizient verarbeitet werden können è Hauptproblem ist nicht das Speichern sondern der Zugriff auf Daten, d.h.: Vom externen Speicher (z.b. Festplatte) zum internen Speicher (RAM) und damit CPU Von einem System (z.b. Data-Warehouse) zu einem anderen System (z.b. Data-Mining) Slide 3

4 Big Data LHC (Large Hadron Collider) 13 Petabyte (13 Mio. GB) in 2010 Worldwide LHC Computing Grid (WLCG) = Prozessoren, 150 Petabyte Speicher 1 MB Daten pro Kollisions-Event, 40 Mio. Events pro Sek., nach Filterung werden interessante Events mit 5GB pro Sek. auf WLCG verteilt gespeichert 11 Tier-1 Zentren angebunden via 10 Gbit Glasfaser, 140 Tier-2 Knoten für Verarbeitung und Speicherung (https://netstat.cern.ch/monitoring/network-statistics/ weathermap/?map=lhcopn) Geoff Brumfiel. High-energy physics: Down the petabyte highway. Nature, 469(7330): , January Slide 4

5 Standard-Technologien 1000 Mrd. GB 100 Mrd. GB 10 Mrd. GB 1 Mrd. GB = 1 Exabyte (EB) World s technological installed capacity to store information Hilbert, M, and P Lopez The Worldʼs Technological Capacity to Store, Communicate, and Compute Information. Science 60, no. 6025: Slide 5

6 Standard-Technologien MIPS: Millionen Instruktionen pro Sekunde Xbox360: MIPS 3,2 GHz (2005) Intel i7 3960X: MIPS 3,33 GHz (2011) World s technological installed capacity to compute information on general-purpose computers Hilbert, M, and P Lopez The Worldʼs Technological Capacity to Store, Communicate, and Compute Information. Science 60, no. 6025: Slide 6

7 Standard-Technologien: Speicher Hardware Beispiel (vgl. Jacobs 2009): Demographische Daten für 6,75 Mrd. Menschen (ca. 100GB) Aufgabe: Berechne Median des Alters 1980: IBM 3850 Mass Storage System (http://www-03.ibm.com/ibm/history/exhibits/storage/ storage_3850.html) Robotergesteuerte Bandbibliothek 50 MB pro Magnetbandkassette è 2000 Kassetten für 100 GB Kosten (Kauf): USD USD Slide 7

8 Standard-Technologien: Speicher Hardware Beispiel (vgl. Jacobs 2009): Demographische Daten für 6,75 Mrd. Menschen (ca. 100GB) Aufgabe: Berechne Median des Alters Heute: 100GB Festplatte ca. 35 EUR Mac Pro (http://www.apple.com/macpro/) Eine 1 TB Festplatte (oder 512 GB solid-state Festplatte) Kosten (Kauf): min USD Slide 8

9 Standard-Technologien: Speicher Software (Datenbank) Beispiel (vgl. Jacobs 2009): Demographische Daten für 6,75 Mrd. Menschen (ca. 100GB) Aufgabe: Berechne Median des Alters In-Memory Speicherung (128GB RAM): Ein Eintrag pro Person â 128 Bit (16 Byte) 6,75 Mrd. Einträge Verarbeitung: Zähle Einträge für ein bestimmtes Alter n 0 = x Mio., n 1 = y Mio.,, n 127 = z Mio. Median ist das n i bei dem die kumulative Summe n 0 + n n i die Hälfte der Gesamtsumme n 0 + n n 127 erreicht Slide 9

10 Standard-Technologien: Speicher Software (Datenbank) Beispiel (vgl. Jacobs 2009): Demographische Daten für 6,75 Mrd. Menschen (ca. 100GB) Aufgabe: Berechne Median des Alters Speicherung in RDBMS (z.b. MySQL): Entpackung der Daten in Spalten è 19 + X Byte pro Eintrag TINYINT 1 Byte INT 4 Byte SMALLINT 2 Byte TINYINT 1 Byte SMALLINT 2 Byte TINYINT 1 Byte SMALLINT 2 Byte SMALLINT 2 Byte TINYINT 1 Byte MEDIUMINT 3 Byte Slide 10

11 Standard-Technologien: Speicher Software (Datenbank) Beispiel (vgl. Jacobs 2009): Demographische Daten für 6,75 Mrd. Menschen (ca. 100GB) Aufgabe: Berechne Median des Alters External Sort: a. Generiere Teilergebnisse (Runs): 1. Lese so viele Einträge wie in den RAM passen 2. Sortiere Einträge im RAM 3. Speichere Teilergebnis auf Festplatte und leere RAM 4. Weiter mit 1 falls weitere Einträge vorhanden b. Füge Teilergebnisse zusammen (Merge): NEIN: External Sort SELECT age COUNT(*) FROM persons GROUP BY age; Genug RAM? DB/System- Informationen JA: Internal Sort 1. Lese den ersten Eintrag jedes Teilergebnisses in den RAM 2. Sortiere Einträge im RAM 3. Wähle ersten Eintrag (in sortierter Folge) und speichere diesen für Endergebnis auf Festplatte 4. Lösche/Ersetze gewählten Eintrag durch weiteren Eintrag aus dem gleichen Teilergebnis (falls vorhanden) 5. Weiter mit 2, falls RAM nicht leer Slide 11

12 Standard-Technologien: Speicher Software (Datenbank) Faktor ! Faktor ! Comparing random and sequential access in disk and memory Adam Jacobs The pathologies of big data. Commun. ACM 52, 8 (August 2009), Slide 12

13 Alternative Technologien für Big Data: Column Stores Block-Iteration: Erhöhte Geschwindigkeit durch sequenzielles Lesen Hardwareseitig: weniger Seeks auf Festplatte Softwareseitig: weniger Funktionsaufrufe (keine Selektion sondern Array abarbeiten) Kompression Geringe Informations-Entropie à effiziente Kompression (ähnliche Zeichen kommen oft vor) Z.B. Lauflängenkodierung falls sortiert Zeilenorientiert (relationale Datenbank): Joe Smith 42 Mary Jones 13 Cathy Johnson 75 Spaltenorientiert (Column Store): Joe Mary Cathy Daniel J. Abadi, Samuel R. Madden, and Nabil Hachem Columnstores vs. row-stores: how different are they really?. In Proceedings of the 2008 ACM SIGMOD international conference on Management of data (SIGMOD '08). ACM, New York, NY, USA, Smith 42 Jones 13 Johnson 75 Slide 13

14 Alternative Technologien für Big Data: Column Stores Späte Materialisierung: Bei Operation auf mehreren Spalten, werden Zeilen so spät wie möglich generiert SELECT cust, price FROM table WHERE (prod = 4) AND (store = 1) Invisible Joins à s. Abadi et al Frühe Mat.: Späte Mat.: Daniel J. Abadi, Samuel R. Madden, and Nabil Hachem Column-stores vs. row-stores: how different are they really?. In Proceedings of the 2008 ACM SIGMOD international conference on Management of data (SIGMOD '08). ACM, New York, NY, USA, prod store cust price prod store cust price Slide 14

15 Alternative Technologien für Big Data: Sharding? Sharding: Horizontale Partitionierung der Datenbank (über Zeilen) Bsp.: internationales Fernsehprogramm Programm Kanal PK Programm ID PK Kanal ID FR Startzeit Sprache Dauer FK Kanal ID DE Programm Kanal PK Programm ID Startzeit Dauer PK Kanal ID Sprache Land FK Kanal ID Slide 15

16 Alternative Technologien für Big Data: Sharding? Sharding: Horizontale Partitionierung der Datenbank (über Zeilen) User Application Data CH FR FR DE DE CH Slide 16

17 Alternative Technologien für Big Data: Sharding? Sharding: Horizontale Partitionierung der Datenbank (über Zeilen) User Application Data CH FR1? FR2 FR DE DE CH Nachteil 1: Anwendungsänderungen bei Erreichen der Kapazitätsgrenze Slide 17

18 Alternative Technologien für Big Data: Sharding? Sharding: Horizontale Partitionierung der Datenbank (über Zeilen) User Application Data CH DE Nachteil 2: Keine Joins über mehrere Partitionen möglich Zusammenführung der Daten durch Anwendung Slide 18

19 Alternative Technologien für Big Data: Sharding? Sharding: Horizontale Partitionierung der Datenbank (über Zeilen) User Application Data CH FR FR DE DE CH Nachteil 3: Administrationsaufwand wird vervielfacht (z.b. bei Schema-Änderungen) Slide 19

20 Alternative Technologien für Big Data: Cloud-based Storage Cloud-Lösung: Unzuverlässige aber dafür preiswerte Commodity-Hardware Kompensiert durch verteilte, redundante Datenhaltung Virtualisierung User Application Data Slide 20

21 Alternative Technologien für Big Data: Cloud-based Storage CAP-Theorem: Ein verteiltes System kann max. zwei der folgenden Eigenschaften erfüllen: C Konsistenz: Alle Knoten verfügen über die selben Daten A Verfügbarkeit: Alle Anfragen werden beantwortet P Partitionstoleranz: Knoten können getrennt operieren User Application Data (1) Hebt Geld ab: è 700 ACID: Atomicity Consistency Isolation Durability (2) Prüft Kontostand: 700 Slide 21

22 Alternative Technologien für Big Data: Cloud-based Storage CAP-Theorem: Ein verteiltes System kann max. zwei der folgenden Eigenschaften erfüllen: C Konsistenz: Alle Knoten verfügen über die selben Daten A Verfügbarkeit: Alle Anfragen werden beantwortet P Partitionstoleranz: Knoten können getrennt operieren CA User Application Data CH (1) Hebt Geld in CH ab: è 700 ACID: Atomicity Consistency Isolation Durability US (2) Prüft Kontostand in US: 700 Slide 22

23 Alternative Technologien für Big Data: Cloud-based Storage CAP-Theorem: Ein verteiltes System kann max. zwei der folgenden Eigenschaften erfüllen: C Konsistenz: Alle Knoten verfügen über die selben Daten A Verfügbarkeit: Alle Anfragen werden beantwortet P Partitionstoleranz: Knoten können getrennt operieren CP User Application Data CH US (1) Hebt Geld in CH ab: 1000 konsistente Datensätze ACID: Atomicity Consistency Isolation Durability (2) Prüft Kontostand in US: 1000 Slide 23

24 Alternative Technologien für Big Data: Cloud-based Storage CAP-Theorem: Ein verteiltes System kann max. zwei der folgenden Eigenschaften erfüllen: C Konsistenz: Alle Knoten verfügen über die selben Daten A Verfügbarkeit: Alle Anfragen werden beantwortet P Partitionstoleranz: Knoten können getrennt operieren AP User Application Data CH US (1) Hebt Geld in CH ab: è 700 inkonsistente Datensätze BASE = Basically Available, Softstate, Eventual consistency (2) Prüft Kontostand in US: 1000 Slide 24

25 HBase & Cassandra Open Source Column-Store entsp. Google BigTable HBase Hadoop Unterprojekt CA: Master-Slave-Architektur (Slaves für Datenhaltung, Master für Redirects) Basiert auf Hadoop Distributed File System (HDFS) è Key-Value-Store Cassandra Ursprünglich entwickelt von Facebook, jetzt Apache CP: P2P-Architektur (CA) Genutzt u.a. von Facebook und Twitter Cassandra (N = name, V = value, T = timestamp) { Datei 1 "user1":{ // <- row 1 "Users":{ // <- column family 1 "name":{"n":"name", "V":" ", "T":" "}, // <- a column " ":{"n":" ", "V":" ", "T":" "} }, Datei 2 "Stats":{ // <- column family 2 "visits":{"n":"visits", "V":" ", "T":" "} } }, "user2":{ // <- row 2 "Users":{ // <- column family 1 " ":{"n":" ", "V":" ", "T":" "} } } } Fay Chang, Jeffrey Dean, Sanjay Ghemawat, Wilson C. Hsieh, Deborah A. Wallach, Mike Burrows, Tushar Chandra, Andrew Fikes, and Robert E. Gruber Bigtable: a distributed storage system for structured data. In Proceedings of the 7th USENIX Symposium on Operating Systems Design and Implementation - Volume 7 (OSDI '06), Vol. 7. USENIX Association, Berkeley, CA, USA, Slide 25

26 Replizierung der Daten Consistent Hashing Ermöglicht einfache Verwaltung bei Veränderung der Datenmenge bzw. Anzahl der Server Daten und Server werden gemäß Hash- ID auf Adressring positioniert Daten werden auf den im UZS nachfolgenden Server gespeichert (oder auf mehrere nachfolgende Server) Virtuelle Server bei unterschiedlichen Serverkapazitäten Giuseppe DeCandia, Deniz Hastorun, Madan Jampani, Gunavardhan Kakulapati, Avinash Lakshman, Alex Pilchin, Swaminathan Sivasubramanian, Peter Vosshall, and Werner Vogels Dynamo: amazon's highly available key-value store. In Proceedings of twenty-first ACM SIGOPS symposium on Operating systems principles (SOSP '07). ACM, New York, NY, USA, Slide 26

27 Windows Azure Azure Table Storage (Key-Value-Store, AP) Plattform-as-a- Service Integration der MS Webservices Slide 27

28 Google App Engine Google App Engine Datastore (Column- Store, CP/AP) Plattform-as-a-Service Kostenlos bis Quota erreicht Laufzeitumgebung für Python & Java (weitere Sprachen geplant) Integration der Google Webservices Slide 28

29 Google App Engine Slide 29

30 Amazon Web Services Amazon S3 (Key-Value-Store, AP) Infrastructure-as-a- Service Sprachunabhängige Entwicklung Bietet Dienste für Entwickler (nicht User) Amazon EC2: Virtualisierte Server- Instanzen On-Demand Slide 30

31 Literatur Artikel: Daniel J. Abadi, Samuel R. Madden, and Nabil Hachem Column-stores vs. row-stores: how different are they really?. In Proceedings of the 2008 ACM SIGMOD international conference on Management of data (SIGMOD '08). ACM, New York, NY, USA, Chris Bunch, Navraj Chohan, Chandra Krintz, Jovan Chohan, Jonathan Kupferman, Puneet Lakhina, Yiming Li, and Yoshihide Nomura An Evaluation of Distributed Datastores Using the AppScale Cloud Platform. In Proceedings of the 2010 IEEE 3rd International Conference on Cloud Computing (CLOUD '10). IEEE Computer Society, Washington, DC, USA, Fay Chang, Jeffrey Dean, Sanjay Ghemawat, Wilson C. Hsieh, Deborah A. Wallach, Mike Burrows, Tushar Chandra, Andrew Fikes, and Robert E. Gruber Bigtable: a distributed storage system for structured data. In Proceedings of the 7th USENIX Symposium on Operating Systems Design and Implementation - Volume 7 (OSDI '06), Vol. 7. USENIX Association, Berkeley, CA, USA, Avinash Lakshman and Prashant Malik Cassandra: a decentralized structured storage system. SIGOPS Oper. Syst. Rev. 44, 2 (April 2010), Web: Big_data_The_next_frontier_for_innovation Slide 31

32 Univ.-Prof. Dr.-Ing. Wolfgang Maass Chair in Information and Service Systems Saarland University, Germany Slide 32

Web Technologien NoSQL Datenbanken

Web Technologien NoSQL Datenbanken Web Technologien NoSQL Datenbanken Univ.-Prof. Dr.-Ing. Wolfgang Maass Chair in Information and Service Systems Department of Law and Economics WS 2011/2012 Wednesdays, 8:00 10:00 a.m. Room HS 021, B4

Mehr

NoSQL. Was Architekten beachten sollten. Dr. Halil-Cem Gürsoy adesso AG. Architekturtag @ SEACON 2012 Hamburg

NoSQL. Was Architekten beachten sollten. Dr. Halil-Cem Gürsoy adesso AG. Architekturtag @ SEACON 2012 Hamburg NoSQL Was Architekten beachten sollten Dr. Halil-Cem Gürsoy adesso AG Architekturtag @ SEACON 2012 Hamburg 06.06.2012 Agenda Ein Blick in die Welt der RDBMS Klassifizierung von NoSQL-Datenbanken Gemeinsamkeiten

Mehr

NoSQL-Datenbanken. Kapitel 1: Einführung. Lars Kolb Sommersemester 2014. Universität Leipzig http://dbs.uni-leipzig.de 1-1

NoSQL-Datenbanken. Kapitel 1: Einführung. Lars Kolb Sommersemester 2014. Universität Leipzig http://dbs.uni-leipzig.de 1-1 NoSQL-Datenbanken Kapitel 1: Einführung Lars Kolb Sommersemester 2014 Universität Leipzig http://dbs.uni-leipzig.de 1-1 Inhaltsverzeichnis NoSQL-Datenbanken Motivation und Definition Kategorisierung, Eigenschaften

Mehr

NoSQL-Databases. Präsentation für Advanced Seminar "Computer Engineering", Matthias Hauck, matthias.hauck@stud.uni-heidelberg.de

NoSQL-Databases. Präsentation für Advanced Seminar Computer Engineering, Matthias Hauck, matthias.hauck@stud.uni-heidelberg.de NoSQL-Databases Präsentation für Advanced Seminar "Computer Engineering", Matthias Hauck, matthias.hauck@stud.uni-heidelberg.de Klassische SQL-Datenbanken Anwendungsgebiet: Geschäftsanwendungen Behördenanwendungen

Mehr

Wide Column Stores. Felix Bruckner Mannheim, 15.06.2012

Wide Column Stores. Felix Bruckner Mannheim, 15.06.2012 Wide Column Stores Felix Bruckner Mannheim, 15.06.2012 Agenda Einführung Motivation Grundlagen NoSQL Grundlagen Wide Column Stores Anwendungsfälle Datenmodell Technik Wide Column Stores & Cloud Computing

Mehr

SQL- & NoSQL-Datenbanken. Speichern und Analysen von großen Datenmengen

SQL- & NoSQL-Datenbanken. Speichern und Analysen von großen Datenmengen SQL- & NoSQL-Datenbanken Speichern und Analysen von großen Datenmengen 1 04.07.14 Zitat von Eric Schmidt (Google CEO): There was 5 exabytes of information created between the dawn of civilization through

Mehr

Big Data Mythen und Fakten

Big Data Mythen und Fakten Big Data Mythen und Fakten Mario Meir-Huber Research Analyst, IDC Copyright IDC. Reproduction is forbidden unless authorized. All rights reserved. About me Research Analyst @ IDC Author verschiedener IT-Fachbücher

Mehr

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2 Seminar Cloud Data Management WS09/10 Tabelle1 Tabelle2 1 Einführung DBMS in der Cloud Vergleich verschiedener DBMS Beispiele Microsoft Azure Amazon RDS Amazon EC2 Relational Databases AMIs Was gibt es

Mehr

BigTable. 11.12.2012 Else

BigTable. 11.12.2012 Else BigTable 11.12.2012 Else Einführung Distributed Storage System im Einsatz bei Google (2006) speichert strukturierte Daten petabyte-scale, > 1000 Nodes nicht relational, NoSQL setzt auf GFS auf 11.12.2012

Mehr

Einführung in Hadoop

Einführung in Hadoop Einführung in Hadoop Inhalt / Lern-Ziele Übersicht: Basis-Architektur von Hadoop Einführung in HDFS Einführung in MapReduce Ausblick: Hadoop Ökosystem Optimierungen Versionen 10.02.2012 Prof. Dr. Christian

Mehr

Wide Column Stores. Felix Bruckner. Hochschule Mannheim Fakultät für Informatik Paul-Wittsack-Straße 10 68163 Mannheim felix.bruckner@gmail.

Wide Column Stores. Felix Bruckner. Hochschule Mannheim Fakultät für Informatik Paul-Wittsack-Straße 10 68163 Mannheim felix.bruckner@gmail. Wide Column Stores Felix Bruckner Hochschule Mannheim Fakultät für Informatik Paul-Wittsack-Straße 10 68163 Mannheim felix.bruckner@gmail.com Zusammenfassung Wide Column Stores sind verteilte nichtrelationale

Mehr

Oracle Big Data Technologien Ein Überblick

Oracle Big Data Technologien Ein Überblick Oracle Big Data Technologien Ein Überblick Ralf Lange Global ISV & OEM Sales NoSQL: Eine kurze Geschichte Internet-Boom: Erste Ansätze selbstgebauter "Datenbanken" Google stellt "MapReduce"

Mehr

Dateisysteme und Datenverwaltung in der Cloud

Dateisysteme und Datenverwaltung in der Cloud Dateisysteme und Datenverwaltung in der Cloud Sebastian Fischer Master-Seminar Cloud Computing - WS 2013/14 Institut für Telematik, Universität zu Lübeck Dateisysteme und Datenverwaltung in der Cloud 1

Mehr

Apache HBase. A BigTable Column Store on top of Hadoop

Apache HBase. A BigTable Column Store on top of Hadoop Apache HBase A BigTable Column Store on top of Hadoop Ich bin... Mitch Köhler Selbstständig seit 2010 Tätig als Softwareentwickler Softwarearchitekt Student an der OVGU seit Oktober 2011 Schwerpunkte Client/Server,

Mehr

NoSQL Datenbanken. Seminar:Software as a Service, Cloud-Computing und aktuelle Entwicklungen Dozent: Dipl. Inf. Andreas Göbel

NoSQL Datenbanken. Seminar:Software as a Service, Cloud-Computing und aktuelle Entwicklungen Dozent: Dipl. Inf. Andreas Göbel NoSQL Datenbanken Seminar:Software as a Service, Cloud-Computing und aktuelle Entwicklungen Dozent: Dipl. Inf. Andreas Göbel 17. Juni 2010 Gliederung Der Begriff NoSQL Wichtige Konzepte NoSQL-Arten Cassandra

Mehr

Teil XI Spalten-orientierte DBMSs

Teil XI Spalten-orientierte DBMSs Teil XI Spalten-orientierte DBMSs Spalten-orientierte Datenbankmanagementsysteme 1 Motivation 2 Funktionsweise 3 Erweiterungen 4 Literatur c Sattler / Saake / Köppen Data-Warehouse-Technologien Letzte

Mehr

EXASOL @ Symposium on Scalable Analytics. www.exasol.com. Skalierbare Analysen mit EXASolution

EXASOL @ Symposium on Scalable Analytics. www.exasol.com. Skalierbare Analysen mit EXASolution EXASOL @ Symposium on Scalable Analytics Skalierbare Analysen mit EXASolution EXASOL AG Wer sind wir R&D: + seit 2000 + laufend Forschungsprojekte Produkt: Analytische Datenbank EXASolution Focus auf Komplexität

Mehr

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE Themen Big Data Buzz Word oder eine neue Dimension

Mehr

Persönlichkeiten bei bluehands

Persönlichkeiten bei bluehands Persönlichkeiten bei Technologien bei Skalierbare Anwendungen mit Windows Azure GmbH & co.mmunication KG am@.de; posts..de/am 1 2 3 4 5 6 7 8 9 Immer mehr Mehr Performance Mehr Menge Mehr Verfügbarkeit

Mehr

Cloud-Plattform: Appscale Hochschule Mannheim

Cloud-Plattform: Appscale Hochschule Mannheim Florian Weispfenning Cloud-Computing Seminar Hochschule Mannheim WS0910 1/28 Cloud-Plattform: Appscale Hochschule Mannheim Florian Weispfenning Fakultät für Informatik Hochschule Mannheim florian.weispfenning@stud.hs-mannheim.de

Mehr

EHCache und Terracotta. Jochen Wiedmann, Software AG

EHCache und Terracotta. Jochen Wiedmann, Software AG EH und Terracotta Jochen Wiedmann, Software AG Autor Perl-Contributor DBD::mySQL 2, DBI::Proxy, DBI::Shell, DBD::CSV, Net::Daemon, RPC::Pl(Client Server) (Autor) DBI (Developer) ASF-Member (Apache Software

Mehr

SQL- & NoSQL-Datenbanken - Speichern und Analysen von großen Datenmengen

SQL- & NoSQL-Datenbanken - Speichern und Analysen von großen Datenmengen SQL- & NoSQL-Datenbanken - Speichern und Analysen von großen Datenmengen Lennart Leist Inhaltsverzeichnis 1 Einführung 2 1.1 Aufgaben einer Datenbank...................... 2 1.2 Geschichtliche Entwicklung

Mehr

Cloud Computing: Der Anfang... Überblick. »We call it cloud computing (... ) « Cloud Computing: Zeitpunkt, Grundeigenschaften

Cloud Computing: Der Anfang... Überblick. »We call it cloud computing (... ) « Cloud Computing: Zeitpunkt, Grundeigenschaften Überblick Cloud Computing: Der Anfang... Cloud Computing Begriffsklärung Grundeigenschaften Technologie und Algorithmen Formen Vergleich: Timesharing-Systeme»We call it cloud computing (... ) «Eric Schmidt

Mehr

Überblick. Cloud Computing Begriffsklärung Grundeigenschaften Technologie und Algorithmen Formen Vergleich: Timesharing-Systeme

Überblick. Cloud Computing Begriffsklärung Grundeigenschaften Technologie und Algorithmen Formen Vergleich: Timesharing-Systeme Überblick Cloud Computing Begriffsklärung Grundeigenschaften Technologie und Algorithmen Formen Vergleich: Timesharing-Systeme Cloud-Computing-Systeme Amazon Web Services Twitter VS-Übung (SS13) Cloud

Mehr

Hauptspeicher- Datenbanksysteme. Hardware-Entwicklungen Column- versus Row-Store...

Hauptspeicher- Datenbanksysteme. Hardware-Entwicklungen Column- versus Row-Store... Hauptspeicher- Datenbanksysteme Hardware-Entwicklungen Column- versus Row-Store... Hauptspeicher-Datenbanksysteme Disk is Tape, Tape is dead Jim Gray Die Zeit ist reif für ein Re-engineering der Datenbanksysteme

Mehr

Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht

Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht Big-Data-Technologien - Überblick - Quelle: http://www.ingenieur.de/panorama/fussball-wm-in-brasilien/elektronischer-fussball-smartphone-app-helfen-training Big-Data-Anwendungen im Unternehmen Logistik

Mehr

Cloud-Infrastrukturen Seminar Cloud Data Management WS09/10

Cloud-Infrastrukturen Seminar Cloud Data Management WS09/10 Cloud-Infrastrukturen Seminar Cloud Data Management WS09/10 Richard Beyer 1 Inhalt 1. Allgemeines 2. Amazon EC2 3. Yahoo Cloud 4. Vergleich 5. Fazit 6. Literatur Richard Beyer 2 Definition Cloud computing

Mehr

Charakteristika und Vergleich von SQL- und NoSQL- Datenbanken

Charakteristika und Vergleich von SQL- und NoSQL- Datenbanken Universität Leipzig Fakultät für Mathematik und Informatik Abteilung Datenbanken Dozent: Prof. Dr. Erhard Rahm Betreuer: Stefan Endrullis Problemseminar NoSQL-Datenbanken Semester: WS 11/12 Charakteristika

Mehr

NoSQL & Big Data. NoSQL Databases and Big Data. NoSQL vs SQL DBs. NoSQL DBs - Überblick. Datenorientierte Systemanalyse. Gerhard Wohlgenannt

NoSQL & Big Data. NoSQL Databases and Big Data. NoSQL vs SQL DBs. NoSQL DBs - Überblick. Datenorientierte Systemanalyse. Gerhard Wohlgenannt NoSQL & Big Data Datenorientierte Systemanalyse NoSQL Databases and Big Data Gerhard Wohlgenannt Die besprochenen Systeme haben nicht den Anspruch und das Ziel DBS zu ersetzen, sondern für gewisse Anwendungsfälle

Mehr

Algorithmen. Consistent Hashing Bloom Filter MapReduce. Distributed Hash Tables. Einführung 1

Algorithmen. Consistent Hashing Bloom Filter MapReduce. Distributed Hash Tables. Einführung 1 Algorithmen Consistent Hashing Bloom Filter MapReduce Distributed Hash Tables Einführung 1 Consistent Hashing Problem: Wie finde ich den Speicherort für ein Objekt in einem verteilten System mit n Knoten?

Mehr

Big Data. Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover

Big Data. Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover Big Data Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover Agenda Was ist Big Data? Parallele Programmierung Map/Reduce Der Big Data Zoo 2 3Vs oder: Was ist Big Data? Deutsche Telekom:

Mehr

FernUniversität in Hagen. Seminar Big Data Management

FernUniversität in Hagen. Seminar Big Data Management FernUniversität in Hagen Fakultät für Mathematik und Informatik Sommersemester 2013 Seminar Big Data Management Prof. Dr. Ralf Hartmut Güting Fabio Valdés Einführung Angesichts der rasant anwachsenden

Mehr

Big Data Anwendungen

Big Data Anwendungen Big Data Anwendungen Univ.-Prof. Dr.-Ing. Wolfgang Maass Chair in Information and Service Systems Department of Law and Economics WS 2011/2012 Wednesdays, 8:00 10:00 a.m. Room HS 021, B4 1 Wrap-Up Effiziente

Mehr

Seminar SS 09 Amdahl`s Law and Cloud-Computing

Seminar SS 09 Amdahl`s Law and Cloud-Computing Seminar SS 09 Amdahl`s Law and Cloud-Computing Prof. G. Bengel Fakultät für Informatik SEMB 7IBW 8IB Raum HO609 Mo 9:45-11:15 1. Teil: Amdahl sches Gesetz 1. Vortrag Das Gesetz von Amdahl und Gustafson

Mehr

NoSQL. Hintergründe und Anwendungen. Andreas Winschu

NoSQL. Hintergründe und Anwendungen. Andreas Winschu NoSQL Hintergründe und Anwendungen Andreas Winschu 1 Inhalt 1. Motivation 2. RDBMS 3. CAP Theorem 4. NoSQL 5. NoSql Overview 6. NoSQl Praxis 7. Zusammenfassung und Ausblick 2 1.Motivation Datenbanken Permanente

Mehr

Gliederung. Was ist Cloud Computing Charakteristiken Virtualisierung Cloud Service Modelle Sicherheit Amazon EC2 OnLive Vorteile und Kritik

Gliederung. Was ist Cloud Computing Charakteristiken Virtualisierung Cloud Service Modelle Sicherheit Amazon EC2 OnLive Vorteile und Kritik Cloud Computing Gliederung Was ist Cloud Computing Charakteristiken Virtualisierung Cloud Service Modelle Sicherheit Amazon EC2 OnLive Vorteile und Kritik 2 Bisher Programme und Daten sind lokal beim Anwender

Mehr

Storage-Trends am LRZ. Dr. Christoph Biardzki

Storage-Trends am LRZ. Dr. Christoph Biardzki Storage-Trends am LRZ Dr. Christoph Biardzki 1 Über das Leibniz-Rechenzentrum (LRZ) Seit 50 Jahren Rechenzentrum der Bayerischen Akademie der Wissenschaften IT-Dienstleister für Münchner Universitäten

Mehr

Cassandra Query Language (CQL)

Cassandra Query Language (CQL) Cassandra Query Language (CQL) Seminar: NoSQL Wintersemester 2013/2014 Cassandra Zwischenpräsentation 1 Gliederung Basic facts Datentypen DDL/DML ähnlich zu SQL Besonderheiten Basic facts CQL kurz für

Mehr

Big & Smart Data. bernard.bekavac@htwchur.ch

Big & Smart Data. bernard.bekavac@htwchur.ch Big & Smart Data Prof. Dr. Bernard Bekavac Schweizerisches Institut für Informationswissenschaft SII Studienleiter Bachelor of Science in Information Science bernard.bekavac@htwchur.ch Quiz An welchem

Mehr

Windows Server 2012 R2

Windows Server 2012 R2 Windows Server 2012 R2 Eine Übersicht Raúl B. Heiduk (rh@pobox.com) www.digicomp.ch 1 Inhalt der Präsentation Die wichtigsten Neuerungen Active Directory PowerShell 4.0 Hyper-V Demos Fragen und Antworten

Mehr

Dipl. Inf. Eric Winter. PostgreSQLals HugeData Storage Ein Erfahrungsbericht

Dipl. Inf. Eric Winter. PostgreSQLals HugeData Storage Ein Erfahrungsbericht Dipl. Inf. Eric Winter Entwicklungsleiter PTC GPS-Services GmbH PostgreSQLals HugeData Storage Ein Erfahrungsbericht Inhalt 1. Problembeschreibung 2. Partielle Indexierung 3. Partitionierung 1. Vererbung

Mehr

Information Systems & Semantic Web University of Koblenz Landau, Germany. Cloud Computing. Steffen Staab

<is web> Information Systems & Semantic Web University of Koblenz Landau, Germany. Cloud Computing. Steffen Staab Information Systems & Semantic Web University of Koblenz Landau, Germany Cloud Computing Cloud Computing if you do not have Cloud Computing in your business proposal you do not get VC funding. P. Miraglia@Austin,

Mehr

Einführung in Hauptspeicherdatenbanken

Einführung in Hauptspeicherdatenbanken Einführung in Hauptspeicherdatenbanken Harald Zankl Probevorlesung 13. 01., 13:15 14:00, HS C Inhaltsverzeichnis Organisation Überblick Konklusion Harald Zankl (LFU) Hauptspeicherdatenbanken 2/16 Organisation

Mehr

NoSQL Deep Dive mit Cassandra. Kai Spichale

NoSQL Deep Dive mit Cassandra. Kai Spichale NoSQL Deep Dive mit Cassandra Kai Spichale 13.04.2011 1 NoSQL 13.04.2011 2 BerlinExpertDays NoSQL Wide Column Stores / Column Families Document Stores Graph Databases Key Value / Tupe Stores 13.04.2011

Mehr

Big Data in der Forschung

Big Data in der Forschung Big Data in der Forschung Dominik Friedrich RWTH Aachen Rechen- und Kommunikationszentrum (RZ) Gartner Hype Cycle July 2011 Folie 2 Was ist Big Data? Was wird unter Big Data verstanden Datensätze, die

Mehr

9. Cloud Data Management

9. Cloud Data Management 9. Cloud Data Management Einführung Verteilte Datenhaltung Dateisysteme (GFS) Hbase (Google Big Table) Amazon Dynamo MapReduce B 9-1 Cloud Computing Cloud computing is using the internet to access someone

Mehr

Seminararbeit Cloud Data Management Key Value Stores Dynamo und Cassandra

Seminararbeit Cloud Data Management Key Value Stores Dynamo und Cassandra Seminararbeit Cloud Data Management Key Value Stores Dynamo und Cassandra Simon Bin Januar 2010 Inhaltsverzeichnis 1 Einführung 4 2 Amazon Dynamo 6 2.1 Designziele................................ 6 2.2

Mehr

Vorbesprechung Hauptseminar "Cloud Computing"

Vorbesprechung Hauptseminar Cloud Computing Vorbesprechung Hauptseminar "Cloud Computing" Dimka Karastoyanova, Johannes Wettinger, Frank Leymann {karastoyanova, wettinger, leymann}@iaas.uni-stuttgart.de Institute of Architecture of Application Systems

Mehr

NoSQL-Datenbanken. Markus Kramer. deren Probleme herauszuarbeiten und andere Grundlagen zu erläutern.

NoSQL-Datenbanken. Markus Kramer. deren Probleme herauszuarbeiten und andere Grundlagen zu erläutern. 1 NoSQL-Datenbanken Markus Kramer Zusammenfassung NoSQL-Datenbanken sind zu einer interessanten Alternative zu herkömmlichen Datenbanken geworden. In dieser Arbeit werden die dahinter liegenden Konzepte

Mehr

Dokumentenorientierte Datenbanken - MongoDB

Dokumentenorientierte Datenbanken - MongoDB Dokumentenorientierte Datenbanken - MongoDB Jan Hentschel Ultra Tendency UG Übersicht Dokumente sind unabhängige Einheiten Bessere Performance (zusammengehörige Daten werden gemeinsam gelesen) Objektmodell

Mehr

SQL structured query language

SQL structured query language Umfangreiche Datenmengen werden üblicherweise in relationalen Datenbank-Systemen (RDBMS) gespeichert Logische Struktur der Datenbank wird mittels Entity/Realtionship-Diagrammen dargestellt structured query

Mehr

FlexiScale - Web Hosting mit Cloud-Computing Hochschule Mannheim

FlexiScale - Web Hosting mit Cloud-Computing Hochschule Mannheim Jiaming Song Cloud-Computing Seminar Hochschule Mannheim WS0910 1/31... FlexiScale - Web Hosting mit Cloud-Computing Hochschule Mannheim.... Jiaming Song Fakultät für Informatik Hochschule Mannheim jiaming360@googlemail.com

Mehr

SimpleVOC-Yetanother. Bausteine für eine Key/Value- Datenbank

SimpleVOC-Yetanother. Bausteine für eine Key/Value- Datenbank SimpleVOC-Yetanother Memcached? Bausteine für eine Key/Value- Datenbank SimpleVOC Yet another memcached? Bausteine für eine Key/Value Datenbank. Theorie (Martin Schönert) Praxis (Frank Celler) Eine Weisheit

Mehr

Data. Guido Oswald Solution Architect @SAS Switzerland. make connections share ideas be inspired

Data. Guido Oswald Solution Architect @SAS Switzerland. make connections share ideas be inspired make connections share ideas be inspired Data Guido Oswald Solution Architect @SAS Switzerland BIG Data.. Wer? BIG Data.. Wer? Wikipedia sagt: Als Big Data werden besonders große Datenmengen bezeichnet,

Mehr

Datenbanken und SQL. Kapitel 1. Übersicht über Datenbanken. Edwin Schicker: Datenbanken und SQL (1)

Datenbanken und SQL. Kapitel 1. Übersicht über Datenbanken. Edwin Schicker: Datenbanken und SQL (1) Datenbanken und SQL Kapitel 1 Übersicht über Datenbanken Übersicht über Datenbanken Vergleich: Datenorganisation versus Datenbank Definition einer Datenbank Bierdepot: Eine Mini-Beispiel-Datenbank Anforderungen

Mehr

Think Big. Skalierbare Anwendungen mit Azure. Aydin Mir Mohammadi Bluehands GmbH & co.mmunication KG

Think Big. Skalierbare Anwendungen mit Azure. Aydin Mir Mohammadi Bluehands GmbH & co.mmunication KG Skalierbare Anwendungen mit Azure Bluehands GmbH & co.mmunication KG 1 2 3 4 5 6 7 8 9 Immer mehr Mehr Performance Mehr Menge Mehr Verfügbarkeit Skalierung http://www.flickr.com/photos/39901968@n04/4864698533/

Mehr

Datenbanktechnologien für Big Data

Datenbanktechnologien für Big Data Datenbanktechnologien für Big Data Oktober 2013 Prof. Dr. Uta Störl Hochschule Darmstadt Big Data Technologien Motivation Big Data Technologien NoSQL-Datenbanksysteme Spaltenorientierte Datenbanksysteme

Mehr

FernUniversität in Hagen - Seminar 01912 im Sommersemester 2013. Big Data Management

FernUniversität in Hagen - Seminar 01912 im Sommersemester 2013. Big Data Management FernUniversität in Hagen - Seminar 01912 im Sommersemester 2013 Big Data Management Thema 14 Cassandra Referent: Jan Kristof Nidzwetzki 2 Jan Kristof Nidzwetzki, Thema 14: Cassandra Inhaltsverzeichnis

Mehr

Dezentrale Datenproduktion und -analyse bei DØ

Dezentrale Datenproduktion und -analyse bei DØ Dezentrale Datenproduktion und -analyse bei DØ Thomas Nunnemann LMU München nunne@fnal.gov DPG Mainz 31.3.04 Computing: Aufgaben/Anforderungen Datenaustausch verteilter Datenbankzugriff Prozessierung von

Mehr

NoSQL-Einsatzszenarien in der transaktionalen Enterprise-IT

NoSQL-Einsatzszenarien in der transaktionalen Enterprise-IT NoSQL-Einsatzszenarien in der transaktionalen Enterprise-IT Version: 1.1 Wir haben hier nur ein in Java implementierte Frontends vor einer hostbasierten Businesslogic, wir profitieren nicht von NoSQL in

Mehr

NoSQL in transaktionalen Enterprisesystemen

NoSQL in transaktionalen Enterprisesystemen NoSQL in transaktionalen Enterprisesystemen Version: 1.1 Orientation in Objects GmbH Weinheimer Str. 68 68309 Mannheim www.oio.de info@oio.de Wir haben hier nur ein paar Java Clients vor einem Host, wir

Mehr

Key Value Stores. (CouchDB, BigTable, Hadoop, Dynamo, Cassandra)

Key Value Stores. (CouchDB, BigTable, Hadoop, Dynamo, Cassandra) Key Value Stores (CouchDB, BigTable, Hadoop, Dynamo, Cassandra) 1 Neue Herausforderungen große Datenmengen in Unternehmen Twitter, youtube, facebook, (social media) Daten als Ware bzw. Rohstoff x TB /

Mehr

NoSQL. Einblick in die Welt nicht-relationaler Datenbanken. Christoph Föhrdes. UnFUG, SS10 17.06.2010

NoSQL. Einblick in die Welt nicht-relationaler Datenbanken. Christoph Föhrdes. UnFUG, SS10 17.06.2010 NoSQL Einblick in die Welt nicht-relationaler Datenbanken Christoph Föhrdes UnFUG, SS10 17.06.2010 About me Christoph Föhrdes AIB Semester 7 IRC: cfo #unfug@irc.ghb.fh-furtwangen.de netblox GbR (http://netblox.de)

Mehr

MapReduce in der Praxis

MapReduce in der Praxis MapReduce in der Praxis Rolf Daniel Seminar Multicore Programmierung 09.12.2010 1 / 53 Agenda Einleitung 1 Einleitung 2 3 Disco Hadoop BOOM 4 2 / 53 1 Einleitung 2 3 Disco Hadoop BOOM 4 3 / 53 Motivation

Mehr

Institut für Verteilte Systeme

Institut für Verteilte Systeme Institut für Verteilte Systeme Prof. Dr. Franz Hauck Seminar: Multimedia- und Internetsysteme, Wintersemester 2010/11 Betreuer: Jörg Domaschka Bericht zur Seminarssitzung am 2011-01-31 Bearbeitet von :

Mehr

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar!

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar! Clouds Wolkig bis Heiter Erwartungen der Nutzer Er ist verwöhnt! Verfügbarkeit Viele Anwendungen Intuitive Interfaces Hohe Leistung Er ist nicht dankbar! Mehr! Mehr! Mehr! Moore 1 Erwartungen der Entwickler

Mehr

PostgreSQL in großen Installationen

PostgreSQL in großen Installationen PostgreSQL in großen Installationen Cybertec Schönig & Schönig GmbH Hans-Jürgen Schönig Wieso PostgreSQL? - Die fortschrittlichste Open Source Database - Lizenzpolitik: wirkliche Freiheit - Stabilität,

Mehr

NoSQL für Anwendungen

NoSQL für Anwendungen NoSQL für Anwendungen Hochschule Mannheim Fakultät für Informatik Cluster Grid Computing Seminar SS 2012 Lemmy Tauer (729400) lemmy.coldlemonade.tauer@gmail.com NoSQL CAP / ACID / Kompromisse Key-Value

Mehr

Hadoop. Simon Prewo. Simon Prewo

Hadoop. Simon Prewo. Simon Prewo Hadoop Simon Prewo Simon Prewo 1 Warum Hadoop? SQL: DB2, Oracle Hadoop? Innerhalb der letzten zwei Jahre hat sich die Datenmenge ca. verzehnfacht Die Klassiker wie DB2, Oracle usw. sind anders konzeptioniert

Mehr

Kapitel 4 Teil 2 NoSQL-Datenbanksysteme

Kapitel 4 Teil 2 NoSQL-Datenbanksysteme Kapitel 4 Teil 2 NoSQL-Datenbanksysteme Inhalt: CAP (Consistency/Availability/Partition-Tolerance); BASE (Basically Available, Soft State, Eventually Consistent); Datenmodelle: Key-Value-Stores, Spaltenbasierte

Mehr

Caching. Hintergründe, Patterns &" Best Practices" für Business Anwendungen

Caching. Hintergründe, Patterns & Best Practices für Business Anwendungen Caching Hintergründe, Patterns &" Best Practices" für Business Anwendungen Michael Plöd" Senacor Technologies AG @bitboss Business-Anwendung!= Twitter / Facebook & co. " / kæʃ /" bezeichnet in der EDV

Mehr

Sind Cloud Apps der nächste Hype?

Sind Cloud Apps der nächste Hype? Java Forum Stuttgart 2012 Sind Cloud Apps der nächste Hype? Tillmann Schall Stuttgart, 5. Juli 2012 : Agenda Was sind Cloud Apps? Einordnung / Vergleich mit bestehenden Cloud Konzepten Live Demo Aufbau

Mehr

REAL-TIME DATA WAREHOUSING

REAL-TIME DATA WAREHOUSING REAL-TIME DATA WAREHOUSING Lisa Wenige Seminarvortrag Data Warehousing und Analytische Datenbanken Friedrich-Schiller-Universität Jena - 19.01.12 Lisa Wenige 19.01.2012 2 Agenda 1. Motivation 2. Begriffsbestimmung

Mehr

Oracle EngineeredSystems

Oracle EngineeredSystems Oracle EngineeredSystems Überblick was es alles gibt Themenübersicht Überblick über die Engineered Systems von Oracle Was gibt es und was ist der Einsatzzweck? Wann machen diese Systeme Sinn? Limitationen

Mehr

Einführung in Hadoop & MapReduce. Dr. Kathrin Spreyer Big Data Engineer

Einführung in Hadoop & MapReduce. Dr. Kathrin Spreyer Big Data Engineer Einführung in Hadoop & MapReduce Dr. Kathrin Spreyer Big Data Engineer München, 19.06.2013 Agenda Einleitung 1. HDFS 2. MapReduce 3. APIs 4. Hive & Pig 5. Mahout Tools aus Hadoop-Ökosystem 6. HBase 2 Worum

Mehr

Institut für Unternehmensinformatik SeDiCo Towards a Framework for a Secure and Distributed Data Store in Clouds

Institut für Unternehmensinformatik SeDiCo Towards a Framework for a Secure and Distributed Data Store in Clouds Institut für Unternehmensinformatik SeDiCo Towards a Framework for a Secure and Distributed Data Store in Clouds IHK Frankfurt Jens Kohler Frankfurt, 03.07.2014 Hochschule Mannheim University of Applied

Mehr

BigTable vs. HBase. Iman Gharib. Schriftliche Ausarbeitung angefertigt im Rahmen des Seminars NOSQL

BigTable vs. HBase. Iman Gharib. Schriftliche Ausarbeitung angefertigt im Rahmen des Seminars NOSQL BigTable vs. HBase Iman Gharib Schriftliche Ausarbeitung angefertigt im Rahmen des Seminars NOSQL Universität Leipzig Fakultät für Mathematik und Informatik Wintersemester 2012 Betreuerin: Diplom-Bioinformatikerin

Mehr

Performance Tuning & Scale-Out mit MySQL

Performance Tuning & Scale-Out mit MySQL Performance Tuning & Scale-Out mit MySQL Erfa-Gruppe Internet Briefing 2. März 2010 Oli Sennhauser Senior MySQL Consultant, FromDual oli.sennhauser@fromdual.com www.fromdual.com 1 Inhalt Allgemeines zu

Mehr

RAID Redundant Array of Independent [Inexpensive] Disks

RAID Redundant Array of Independent [Inexpensive] Disks RAID Redundant Array of Independent [Inexpensive] Disks Stefan Wexel Proseminar Algorithms and Data Structures im WS 2011/2012 Rheinisch-Westfälische Technische Hochschule Aachen Lehrstuhl für Informatik

Mehr

PostgreSQL im praktischen Einsatz. Stefan Schumacher

PostgreSQL im praktischen Einsatz. Stefan Schumacher PostgreSQL im praktischen Einsatz 2. Brandenburger Linux Infotag 2005 Stefan Schumacher , PGP Key http:/// $Header: /home/daten/cvs/postgresql/folien.tex,v 1.11 2005/04/25

Mehr

Data Mining in der Cloud

Data Mining in der Cloud Data Mining in der Cloud von Jan-Christoph Meier Hamburg, 21.06.2012 1 Ablauf Einführung Verwandte Arbeiten Fazit / Ausblick Literatur 2 Ablauf Einführung Verwandte Arbeiten Fazit / Ausblick Literatur

Mehr

Cloud-Computing Seminar - Vergleichende Technologien: Grid-Computing Hochschule Mannheim

Cloud-Computing Seminar - Vergleichende Technologien: Grid-Computing Hochschule Mannheim Sven Hartlieb Cloud-Computing Seminar Hochschule Mannheim WS0910 1/23 Cloud-Computing Seminar - Vergleichende Technologien: Grid-Computing Hochschule Mannheim Sven Hartlieb Fakultät für Informatik Hochschule

Mehr

Überblick über NoSQL Datenbanken

Überblick über NoSQL Datenbanken 1 Überblick über NoSQL Datenbanken Seminararbeit Software Systems Engineering - WS 2012 / 2013 Mario David - Student - Master Informatik (SSE) Universität zu Lübeck Zusammenfassung Diese Seminararbeit

Mehr

Unternehmen-IT sicher in der Public Cloud

Unternehmen-IT sicher in der Public Cloud Unternehmen-IT sicher in der Public Cloud Safely doing your private business in public David Treanor Team Lead Infrastructure Microsoft Certified Systems Engineer (MCSE) Microsoft Certified Systems Administrator

Mehr

Seminar Database-as. Kosten für Datenverwaltung. Herausforderungen. Organisation: Vortrag. Organisation: Prüfungsleistungen. Database-as-a-Service

Seminar Database-as. Kosten für Datenverwaltung. Herausforderungen. Organisation: Vortrag. Organisation: Prüfungsleistungen. Database-as-a-Service Seminar Database-as as-a-service Einführung und Themenvergabe Kosten für Datenverwaltung Problem: Hohe DBS-Kosten $3 mio $2 mio $1 mio 1984 $3 mio 2000 Administration $2 mio Administration Hardware $1

Mehr

PROFI UND NUTANIX. Portfolioerweiterung im Software Defined Data Center

PROFI UND NUTANIX. Portfolioerweiterung im Software Defined Data Center PROFI UND NUTANIX Portfolioerweiterung im Software Defined Data Center IDC geht davon aus, dass Software-basierter Speicher letztendlich eine wichtige Rolle in jedem Data Center spielen wird entweder als

Mehr

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221 Oracle 10g und SQL Server 2005 ein Vergleich Thomas Wächtler 39221 Inhalt 1. Einführung 2. Architektur SQL Server 2005 1. SQLOS 2. Relational Engine 3. Protocol Layer 3. Services 1. Replication 2. Reporting

Mehr

Semantik und konzeptionelle Modellierung

Semantik und konzeptionelle Modellierung Semantik und konzeptionelle Modellierung Verteilte Datenbanken Christoph Walesch Fachbereich MNI der FH Gieÿen-Friedberg 18.1.2011 1 / 40 Inhaltsverzeichnis 1 Verteiltes Rechnen MapReduce MapReduce Beispiel

Mehr

Pavlo Baron. Big Data. für IT-Entscheider. Riesige Datenmengen. und moderne Technologien. gewinnbringend nutzen HANSER

Pavlo Baron. Big Data. für IT-Entscheider. Riesige Datenmengen. und moderne Technologien. gewinnbringend nutzen HANSER Pavlo Baron Big Data für IT-Entscheider Riesige Datenmengen und moderne Technologien gewinnbringend nutzen HANSER Inhalt Vorwort XI 1 Management Summary 1 2 Was? 7 2.1 Mein klassisches Business ist konkurrenzlos,

Mehr

Was ist Amazon RDS? Datenbank Typen DB Instanzen Features. Live Demo Fazit. Amazon RDS - Till Ganzert 15.06.2012 2

Was ist Amazon RDS? Datenbank Typen DB Instanzen Features. Live Demo Fazit. Amazon RDS - Till Ganzert 15.06.2012 2 Was ist Amazon RDS? Datenbank Typen DB Instanzen Features Kosten Live Demo Fazit 15.06.2012 2 Web-Service von Amazon Erlaubt mieten von Datenbanken Einrichtung, Betrieb und Skalierung übernimmt Anbieter

Mehr

Fakultät für Informatik & Wirtschaftsinformatik DB & IS II SS 2015. NoSQL. http://www.w3resource.com/mongodb/nosql.php. Dr. Christian Senger.

Fakultät für Informatik & Wirtschaftsinformatik DB & IS II SS 2015. NoSQL. http://www.w3resource.com/mongodb/nosql.php. Dr. Christian Senger. NoSQL http://www.w3resource.com/mongodb/nosql.php NoSQL 1 Short History of Databases 1960s - Navigational DBs CODEASYL (COBOL) IMS (IBM) 1980s to 1990s - Object Oriented DBs Object DB's Object-Relational-

Mehr

HANA. TOBA-Team Dresden 19.05.2012

HANA. TOBA-Team Dresden 19.05.2012 HANA TOBA-Team Dresden 19.05.2012 Kunde droht mit Auftrag! Ein großer Discounter schickt Anfrage: Bis wann und zu welchem Preis können Sie 30.000 Stück liefern? Die Hektik beginnt! Bis wann Welche und

Mehr

Simplivity Rechenzentrum in a Box

Simplivity Rechenzentrum in a Box 09-10.09 2 Tag Simplivity Rechenzentrum in a Box Markus Schmidt Consultant markus.schmidt@interface-systems.de Agenda 1.Motivation Warum ein neuer Ansatz 2.Technischer Überblick 3.Anwendungsszenarien 4.Performancebetrachtung

Mehr

NoSQL mit Postgres 15. Juni 2015

NoSQL mit Postgres 15. Juni 2015 Tag der Datenbanken 15. Juni 2015 Dipl.-Wirt.-Inform. Agenda l Vorstellung l Marktübersicht l Warum PostgreSQL? l Warum NoSQL? l Beispielanwendung Seite: 2 Vorstellung Dipl.-Wirt.-Inform. [1990] Erste

Mehr

Tuning von PostGIS mit Read- Only-Daten von OpenStreetMap

Tuning von PostGIS mit Read- Only-Daten von OpenStreetMap Tuning von PostGIS mit Read- Only-Daten von OpenStreetMap Prof. Stefan Keller (Fach-)Hochschule für Technik Rapperswil (bei Zürich) 11.11.2011 PGConf.DE - Stefan Keller 1 Was ist OpenStreetMap? Wikipedia

Mehr

Hadoop. High Performance Batches in der Cloud. Hadoop. Folie 1 25. Januar 2011

Hadoop. High Performance Batches in der Cloud. Hadoop. Folie 1 25. Januar 2011 High Performance Batches in der Cloud Folie 1 Alles geht in die Cloud Image: Chris Sharp / FreeDigitalPhotos.net Cloud und Batches passen zusammen Batches Cloud Pay-per-Use Nur zeitweise genutzt Hohe Rechenkapazitäten

Mehr

Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht)

Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht) Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht) Christian Haag, DATA MART Consulting Consulting Manager Oracle DWH Team

Mehr

Big Data Informationen neu gelebt

Big Data Informationen neu gelebt Seminarunterlage Version: 1.01 Copyright Version 1.01 vom 21. Mai 2015 Dieses Dokument wird durch die veröffentlicht. Copyright. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen

Mehr

Internet Briefing. Real-Time Web. Technische Standards und Herausforderungen. Namics. Jürg Stuker. CEO. Partner. 7. April 2010

Internet Briefing. Real-Time Web. Technische Standards und Herausforderungen. Namics. Jürg Stuker. CEO. Partner. 7. April 2010 Internet Briefing. Real-Time Web. Technische Standards und Herausforderungen. Namics. Jürg Stuker. CEO. Partner. 7. April 2010 The sum of the expertise of the people in the audience is greater than the

Mehr