SEMT. Prof. G. Bengel. Searching as a Service (Programming Model: MapReduce)

Größe: px
Ab Seite anzeigen:

Download "SEMT. Prof. G. Bengel. Searching as a Service (Programming Model: MapReduce)"

Transkript

1 Hochschule Mannheim Fakultät für Informatik SEMT Prof. G. Bengel Sommersemester 2009 Semester 8I Searching as a Service (Programming Model: MapReduce) Michel Schmitt (520361)

2 Inhalt 1. Einführung MapReduce Key/Value Codebeispiel Map-Phase Reduce-Phase Arbeitsweise Anwendungsbeispiele Ausfallsicherheit/Problembehebung Worker Fehler Lokale Daten Backup Tasks Weitere Implementierungen Amazon OpenSource Hadoop Quellverweis Abbildungsverweis... 11

3 1. Einführung Da sich immer größere Datenmengen anhäufen, wird es fortwährend schwerer diese auch in vertretbarer Zeit zu verarbeiten und zu analysieren. Anbieter wie Google, ein großer Internetdienstleister, haben deshalb an einer Möglichkeit gearbeitet, Prozesse die über riesige Datenmengen ausgeführt werden, hinsichtlich Geschwindigkeit und Verteilung zu optimieren. Das Resultat ist das von Google entwickelte MapReduce, ein System, das die zu verarbeitenden Daten in kleine Stücke aufteilt und diese dann parallel von vielen Rechnern abarbeiten lässt. Einsatz findet dieses System bevorzugt in großen Cluster Systemen, aber auch in Mehrkernarchitekturen mit einem gemeinsamen Speicher und erzielt eine sehr gute Performanz. Auch skaliert das System sehr gut indem man einfach weitere Rechner zum Cluster hinzufügt oder aber zusätzliche Kerne verwendet. Die Implementierung von MapReduce wird in verschiedenen Programmiersprachen wie Java, Perl, Ruby, Python, PHP, R, oder C++ angeboten. 2. MapReduce MapReduce ist ein von Google inc. eingeführtes Framework um sehr große Datenmengen effektiv auf Computercluster zu verarbeiten. Die Idee dahinter basiert auf den map und reduce Funktionen von funktionalen Programmiersprachen wie in Lisp. In der Mapping-Phase werden Key/Value Paare kreiert welche dann in der Reduce-Phase zusammengeführt und kombiniert als Ergebnis zurückgeliefert werden. Hierzu wird in einem vom Benutzer geschriebenen Programm die Eingabe festgelegt und die gewünschten Werte die daraus entnommen werden sollen bestimmt. Die Eingabe kann zum Beispiel mehrere gecrawlte Webseiten, bestehend aus all den dazugehörigen Dokumenten sein und als Suchwert alle vorhandenen Begriffe.

4 2.1. Key/Value Codebeispiel Anhand des folgenden Pseudo-Codes werden die Aufgaben von Mapper und Reducer und den Key/Values veranschaulicht. Hier wird die Anzahl eines vorkommenden Wortes berechnet. map(string key, String value): // key: document name // value: document contents for each word w in value: EmitIntermediate(w, "1"); reduce(string key, Iterator values): // key: a word // values: a list of counts int result = 0; for each v in values: result += ParseInt(v); Emit(AsString(result)); Map-Phase Map bekommt jeweils einen Dokumentnamen key und ein Dokument value als Zeichenkette übergeben. Map durchläuft das Dokument Wort für Wort. Jedes Mal, wenn ein Wort w angetroffen wird, wandert eine 1 in die w- Zwischenergebnisliste (falls diese noch nicht existiert, wird sie angelegt). Ist man mit allen Wörtern durch und hat der Text insgesamt n verschiedene Wörter, so endet die Map-Phase mit n Zwischenergebnislisten, jede für ein anderes Wort sammelnd, welche so viele 1-Einträge enthält, wie das entsprechende Wort im Dokument gefunden wurde. Eventuell liefen viele Map-Instanzen gleichzeitig, falls dem Framework mehrere Worte und Dokumente übergeben wurde.[6] Reduce-Phase Reduce wird für das Wort key und die Zwischenergebnisliste values aufgerufen. Reduce durchläuft die Zwischenergebnisliste und addiert alle gefundenen Zahlen auf. Die Summe result wird an das Framework zurück gegeben, sie enthält, wie oft das Wort key im Dokument gefunden wurde. Die Zwischenergebnisse konnten parallel, durch gleichzeitige Reduce-Aufrufe, berechnet werden[6]

5 2.2. Arbeitsweise Das Analysieren der Daten wird auf mehrere Rechner im Cluster aufgeteilt. Die Mapper-Prozesse generieren die Key/Value Paare und speichern ihre Zwischenergebnisse lokal ab. Reducer-Prozesse greifen auf die gespeicherten Daten kombinieren die zugehörigen Key/Value Paare. der Maper zu und Abbildung 1 Arbeitsweise 1: Die in dem Benutzerprogramm eingebundene MapReduce Bibliothek teilt zuerst die Eingabedaten, je nach Parametrierung in MB große Blöcke. Danach werden Kopien des Programms erzeugt und an die einzelnen Rechner im Cluster verteilt (Worker). 2: Der Master-Prozess entscheidet welcher Rechner Mapper- oder Reducer- Aufgaben erledigt. 3: Ein Worker welcher als Mapper fungiert liest den Inhalt einer oder mehrerer gesplitteten Eingabedaten. Die Map-Funktion im Programm ermittelt die Key/Value Paare. Die geparsten Key/Value Paare werden zunächst im Speicher des jeweiligen Rechners behalten.

6 4:Periodisch werden die Zwischendaten der Mapper auf ihre lokale Festplatte geschrieben. Die in MapReduce integrierte Partitionierungsfunktion speichert die Daten in verschiedene Regionen. Die Speicheradressen der Zwischendaten werden an den Masterprozess weitergegeben. 5: Wenn der Master einem Reducer die Speicheradressen eines Zwischenergebnisses mitgeteilt hat, greift dieser auf die Daten zu. Nachdem der Reducer alle Informationen eingelesen hat gruppiert er alle Zwischendaten anhand der gleich vorkommenden Keys. 6: Der Reducer sammelt so für jeden einzigartigen Key alle vorkommenden Values und gibt diese an die Reduce-Funktion weiter. Das Ergebnis wird anschließend an eine Ausgabedatei angehängt. Wenn alle Mapper- und Reducer-Prozesse fertig sind wird in das Programm des Benutzers zurückgekehrt und der MapReduce aufruf endet Anwendungsbeispiele Bildung verschiedener Statistiken für Web-Seiten Invertierter Web-Link Graph (welche Seiten zeigen auf eine bestimmte Seite?) Bildung von invertierten Indizes (in welchen Dokumenten kommt ein best. Wort vor?) Verteiltes Sortieren Maschinelles Lernen Cluster-Algorithmen Verarbeitung von Satelliten-Bildern Sprachverarbeitung für automatische Übersetzung Graphentheorie

7 2.4. Ausfallsicherheit/Problembehebung Da das MapReduce Framework dazu entworfen wurde eine große Datenmenge zu verarbeiten die hunderte bis tausende Rechner in einem Cluster mit einbeziehen, muss auf Fehler entsprechend reagiert werden Worker Fehler Der Master sendet periodisch einen Ping an seine Worker. Kommt in einer gewissen Zeitspanne keine Antwort, wird dieser Worker als nicht erreichbar markiert. Alle von diesem Worker bearbeiteten Prozesse werden in den Idle Status versetzt und werden somit vom Scheduler an andere Worker verteilt. Schon fertige Mapper-Tasks werden bei einem Fehler erneut ausgeführt, da jeder Worker die Zwischenergebnisse lokal speichert. Fällt dieser Rechner aus, sind diese Daten nicht mehr abrufbar. Abgeschlossene Reduce-Task hingegen müssen nicht erneut ausgeführt werden da die Ausgabe global gespeichert wird Lokale Daten Um den Netzwerk Traffic in einem großen Computercluster gering wie möglich zu halten arbeitet MapReduce viel mit temporären lokal gespeicherten Dateien. Um Datenverlust zu vermeiden benutzt MapReduce von Google ein intern Entwickeltes Dateisystem GFS. Gespeicherte Daten werden in 64 MB große Blöcke geteilt und Kopien (Typischerweise 3) jedes Blocks werden auf verschiedene Rechner im Cluster abgelegt. Der Master Prozess kennt alle Speicheradressen der abgelegten Daten. Kann auf einen Block nicht zugegriffen werden, werden die Daten von einem Backup Block gelesen Backup Tasks Der häufigste Problem bei großen MapReduce Berechnungen sind defekte Hardware oder sehr ausgelastete Worker. Eine Fehlerhafte Festplatte eines Workers könnte den ganzen MapReduce Vorgang erheblich verlangsamen. Um so einen Flaschenhals zu umgehen gibt es für jeden Task einen Backup Task. Der Master kann so bereits laufende Prozesse an andere Worker übergeben. Ein Prozess ist erfolgreich ausgeführt wenn entweder der Backup Task oder der normale Prozess durchgelaufen ist. Um das doppelte Ausführen von Prozessen zu vermeiden merkt der Master sich die Speicheradresse für jeden erfolgreichen Prozess. Erhält er also eine neue Speicheradresse für den gleichen Prozess ignoriert er diese.

8 3. Weitere Implementierungen Amazon Amazon bietet mit seinem neuen Dienst Amazon Elastic MapReduce einen Hadoop- Cluster zum Mieten an. Damit lassen sich große Datenmengen auf verteilten Systemen verarbeiten. Die Implementierung basiert auf Amazons Storage Service S3 und aus Instanzen von Amazons EC2 (Elastic Compute Clouds). Der S3 Service dient als File-Server über den die Mapper-Prozesse mit Daten gefüttert werden und die Reducer-Prozesse die Ergebnisse speichern. Einzelne EC2 Instanzen dienen als Worker bzw. Master. EC2 Instanzen sind in folgenden Konfigurationen erhältlich: Standardinstanzen Instanz RAM EC2 Compute Units Instanzspeicher Plattform Small 1,7 GB 1 (1 virtuelle Kerne mit 1 EC2 Compute Unit) Large 7,5 GB 4 (2 virtuelle Kerne mit 2 EC2 Compute Units each) Extra Large 15 GB 8 (4 virtuelle Kerne mit 2 EC2 Compute Units each) 160 GB 32 Bit 850 GB 64 Bit 1690 GB 64 Bit Hochleistungs-CPU-Instanzen Instanz RAM EC2 Compute Units Instanzspeicher Plattform High-CPU Medium 1,7 GB 5 (2 virtuelle Kerne mit jeweils 2.5 EC2 Compute Units) 350 GB 32 Bit High-CPU Extra Large 7 GB 20 (8 virtuelle Kerne mit jeweils 2.5 EC2 Compute Units) 1690 GB 64 Bit Die Maßeinheit für Rechenleistung ist bei Amazon die EC2 Compute Unit. Eine Einheit entspricht dabei in etwa einem 1,0 bis 1,2 GHz 2007 Opteron oder 2007 Xeon-Prozessor.

9 OpenSource Hadoop Hadoop setzt die Ideen Googles nahezu eins zu eins um. Die Zielsetzungen sind ebenfalls identisch, und Hadoop ist auch für großen Rechner-Cluster ausgelegt. Yahoo, ein Konkurrent Googles, setzt Hadoop für Aufgaben ein, für die Google MapReduce entwickelt hat. Etwa die Erstellung des Reverse Index und die Darstellung der Graphenstruktur von Webseiten. Hadoop ist Open-Source-Software, und Yahoo größtenteils für die Entwicklung verantwortlich. Zu Hadoop gehört auch ein verteiltes Dateisystem, dass auf dem Google File System beruht. Zwar ist Hadoop in Java geschrieben, und wohl langsamer als Googles Implementation, allerdings ist es die einzige zur Verfügung stehende Implementation für die von den Google Entwicklern vorgesehene Größenordnung, da die von Google selbst nicht für die Außenweilt zugänglich gemacht wird. Mehr zu Hadoop ist unter [3] zu finden.

10 4. Quellverweis [1] [2] [3] [4] [6] [7]

11 5. Abbildungsverweis [1]

MapReduce in der Praxis

MapReduce in der Praxis MapReduce in der Praxis Rolf Daniel Seminar Multicore Programmierung 09.12.2010 1 / 53 Agenda Einleitung 1 Einleitung 2 3 Disco Hadoop BOOM 4 2 / 53 1 Einleitung 2 3 Disco Hadoop BOOM 4 3 / 53 Motivation

Mehr

Neue Ansätze der Softwarequalitätssicherung

Neue Ansätze der Softwarequalitätssicherung Neue Ansätze der Softwarequalitätssicherung Googles MapReduce-Framework für verteilte Berechnungen am Beispiel von Apache Hadoop Universität Paderborn Fakultät für Elektrotechnik, Informatik und Mathematik

Mehr

Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen

Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen Brownbag am Freitag, den 26.07.2013 Daniel Bäurer inovex GmbH Systems Engineer Wir nutzen Technologien, um unsere Kunden glücklich zu machen. Und

Mehr

Universität Karlsruhe (TH)

Universität Karlsruhe (TH) Universität Karlsruhe (TH) Forschungsuniversität gegründet 1825 Software Engineering für moderne, parallele Plattformen 10. MapReduce Dr. Victor Pankratius Agenda Motivation Der MapReduce-Ansatz Map- und

Mehr

Hadoop. Simon Prewo. Simon Prewo

Hadoop. Simon Prewo. Simon Prewo Hadoop Simon Prewo Simon Prewo 1 Warum Hadoop? SQL: DB2, Oracle Hadoop? Innerhalb der letzten zwei Jahre hat sich die Datenmenge ca. verzehnfacht Die Klassiker wie DB2, Oracle usw. sind anders konzeptioniert

Mehr

GPU-basierte Beschleunigung von MapReduce am Beispiel von OpenCL und Hadoop

GPU-basierte Beschleunigung von MapReduce am Beispiel von OpenCL und Hadoop am Beispiel von OpenCL und Masterseminar Hochschule für Technik, Wirtschaft und Kultur Leipzig Leipzig, 02.11.2011 Gliederung 1 Grundlagen 2 3 Gliederung 1 Grundlagen 2 3 Was ist? Clustersystem zur verteilten

Mehr

Cloud-Plattform: Appscale Hochschule Mannheim

Cloud-Plattform: Appscale Hochschule Mannheim Florian Weispfenning Cloud-Computing Seminar Hochschule Mannheim WS0910 1/28 Cloud-Plattform: Appscale Hochschule Mannheim Florian Weispfenning Fakultät für Informatik Hochschule Mannheim florian.weispfenning@stud.hs-mannheim.de

Mehr

Perzentile mit Hadoop ermitteln

Perzentile mit Hadoop ermitteln Perzentile mit Hadoop ermitteln Ausgangspunkt Ziel dieses Projektes war, einen Hadoop Job zu entwickeln, der mit Hilfe gegebener Parameter Simulationen durchführt und aus den Ergebnissen die Perzentile

Mehr

Cloud Computing mit mathematischen Anwendungen

Cloud Computing mit mathematischen Anwendungen Cloud Computing mit mathematischen Anwendungen Vorlesung SoSe 2009 Dr. Marcel Kunze Karlsruhe Institute of Technology (KIT) Steinbuch Centre for Computing (SCC) KIT the cooperation of Forschungszentrum

Mehr

Cloud-Infrastrukturen Seminar Cloud Data Management WS09/10

Cloud-Infrastrukturen Seminar Cloud Data Management WS09/10 Cloud-Infrastrukturen Seminar Cloud Data Management WS09/10 Richard Beyer 1 Inhalt 1. Allgemeines 2. Amazon EC2 3. Yahoo Cloud 4. Vergleich 5. Fazit 6. Literatur Richard Beyer 2 Definition Cloud computing

Mehr

Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim

Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim Tobias Neef Cloud-Computing Seminar Hochschule Mannheim WS0910 1/23 Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim Tobias Neef Fakultät für Informatik Hochschule Mannheim tobnee@gmail.com

Mehr

Spark, Impala und Hadoop in der Kreditrisikoberechnung

Spark, Impala und Hadoop in der Kreditrisikoberechnung Spark, Impala und Hadoop in der Kreditrisikoberechnung Big Data In-Memory-Technologien für mittelgroße Datenmengen TDWI München, 22. Juni 2015 Joschka Kupilas, Data Scientist, Adastra GmbH 2 Inhalt Vorwort

Mehr

MATCHING VON PRODUKTDATEN IN DER CLOUD

MATCHING VON PRODUKTDATEN IN DER CLOUD MATCHING VON PRODUKTDATEN IN DER CLOUD Dr. Andreas Thor Universität Leipzig 15.12.2011 Web Data Integration Workshop 2011 Cloud Computing 2 Cloud computing is using the internet to access someone else's

Mehr

FlexiScale - Web Hosting mit Cloud-Computing Hochschule Mannheim

FlexiScale - Web Hosting mit Cloud-Computing Hochschule Mannheim Jiaming Song Cloud-Computing Seminar Hochschule Mannheim WS0910 1/31... FlexiScale - Web Hosting mit Cloud-Computing Hochschule Mannheim.... Jiaming Song Fakultät für Informatik Hochschule Mannheim jiaming360@googlemail.com

Mehr

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2 Seminar Cloud Data Management WS09/10 Tabelle1 Tabelle2 1 Einführung DBMS in der Cloud Vergleich verschiedener DBMS Beispiele Microsoft Azure Amazon RDS Amazon EC2 Relational Databases AMIs Was gibt es

Mehr

Einführung in Hadoop

Einführung in Hadoop Einführung in Hadoop Inhalt / Lern-Ziele Übersicht: Basis-Architektur von Hadoop Einführung in HDFS Einführung in MapReduce Ausblick: Hadoop Ökosystem Optimierungen Versionen 10.02.2012 Prof. Dr. Christian

Mehr

Cloud-Computing. 1. Definition 2. Was bietet Cloud-Computing. 3. Technische Lösungen. 4. Kritik an der Cloud. 2.1 Industrie 2.

Cloud-Computing. 1. Definition 2. Was bietet Cloud-Computing. 3. Technische Lösungen. 4. Kritik an der Cloud. 2.1 Industrie 2. Cloud Computing Frank Hallas und Alexander Butiu Universität Erlangen Nürnberg, Lehrstuhl für Hardware/Software CoDesign Multicorearchitectures and Programming Seminar, Sommersemester 2013 1. Definition

Mehr

MapReduce-Konzept. Thomas Findling, Thomas König

MapReduce-Konzept. Thomas Findling, Thomas König MapReduce - Konzept 1 Inhalt 1. Motivation 2. Einführung MapReduce Google Rechenzentren Vergleich MapReduce und Relationale DBS 3. Hadoop Funktionsweise Input / Output Fehlerbehandlung 4. Praxis-Beispiel

Mehr

Thema: Das MapReduce-Framework

Thema: Das MapReduce-Framework Software as a Service Cloud Computing und aktuelle Entwicklungen Seminararbeit Thema: Das MapReduce-Framework Betreuer: Prof. Dr. Klaus Küspert Dipl.-Inf. Andreas Göbel Nicky Kuhnt Friedrich-Schiller-Universität

Mehr

AWSAC: Amazon Web Services for ATLAS Computing

AWSAC: Amazon Web Services for ATLAS Computing AWSAC: Amazon Web Services for ATLAS Computing Jan-Philip Gehrcke Universität Würzburg und MPI für Physik München 17. Oktober 2008 Übersicht Kurzbeschreibung: ATLAS Computing 1 Kurzbeschreibung: ATLAS

Mehr

Cloud Computing mit mathematischen Anwendungen

Cloud Computing mit mathematischen Anwendungen Cloud Computing mit mathematischen Anwendungen Vorlesung SoSe 2009 Dr. Marcel Kunze Karlsruhe Institute of Technology (KIT) Steinbuch Centre for Computing (SCC) KIT the cooperation of Forschungszentrum

Mehr

Hadoop. High Performance Batches in der Cloud. Hadoop. Folie 1 25. Januar 2011

Hadoop. High Performance Batches in der Cloud. Hadoop. Folie 1 25. Januar 2011 High Performance Batches in der Cloud Folie 1 Alles geht in die Cloud Image: Chris Sharp / FreeDigitalPhotos.net Cloud und Batches passen zusammen Batches Cloud Pay-per-Use Nur zeitweise genutzt Hohe Rechenkapazitäten

Mehr

Complex Hosting. Whitepaper. Autor.: Monika Olschewski. Version: 1.0 Erstellt am: 14.07.2010. ADACOR Hosting GmbH

Complex Hosting. Whitepaper. Autor.: Monika Olschewski. Version: 1.0 Erstellt am: 14.07.2010. ADACOR Hosting GmbH Complex Hosting Autor.: Monika Olschewski Whitepaper Version: 1.0 Erstellt am: 14.07.2010 ADACOR Hosting GmbH Kaiserleistrasse 51 63067 Offenbach am Main info@adacor.com www.adacor.com Complex Hosting

Mehr

Amazon Relational Database Service

Amazon Relational Database Service Amazon Relational Database Service Till Ganzert Hochschule Mannheim Fakultät für Informatik Paul-Wittsack-Straße 10 68163 Mannheim Zusammenfassung Dieses Dokument befasst sich mit dem Relational Database

Mehr

Datenbankanwendung. Prof. Dr.-Ing. Sebastian Michel TU Kaiserslautern. Wintersemester 2014/15. smichel@cs.uni-kl.de

Datenbankanwendung. Prof. Dr.-Ing. Sebastian Michel TU Kaiserslautern. Wintersemester 2014/15. smichel@cs.uni-kl.de Datenbankanwendung Wintersemester 2014/15 Prof. Dr.-Ing. Sebastian Michel TU Kaiserslautern smichel@cs.uni-kl.de , NoSQL source:dilbert.com Inhalte der nächsten Vorlesungen ˆ Methoden große Datenmengen

Mehr

MapReduce. Dhyan Blum

MapReduce. Dhyan Blum MapReduce Dhyan Blum Betreuer: Dirk Haage Seminar Innovative Internettechnologien und Mobilkommunikation SS2010 Lehrstuhl Netzarchitekturen und Netzdienste Fakultät für Informatik, Technische Universität

Mehr

Googles Map-Reduce-Technik

Googles Map-Reduce-Technik Googles Map-Reduce-Technik Wolfgang Gassler wolfgang.gassler@student.uibk.ac.at Zusammenfassung Durch die ständig steigende Datenflut im Internet müssen auch die Datenverarbeitungskapazitäten stark steigen.

Mehr

Systemvoraussetzungen und Installation

Systemvoraussetzungen und Installation Systemvoraussetzungen und Installation Inhaltsverzeichnis Inhaltsverzeichnis... 2 1. Einleitung... 2 2. Einzelarbeitsplatzinstallation... 3 3. Referenz: Client/Server-Installation... 5 3.1. Variante A:

Mehr

BigTable. 11.12.2012 Else

BigTable. 11.12.2012 Else BigTable 11.12.2012 Else Einführung Distributed Storage System im Einsatz bei Google (2006) speichert strukturierte Daten petabyte-scale, > 1000 Nodes nicht relational, NoSQL setzt auf GFS auf 11.12.2012

Mehr

Grundlagen des Grid Computing

Grundlagen des Grid Computing Grundlagen des Grid Computing Cloud Computing ICA Joh.. Kepler Universität t Linz Cloud Computing Zugriff auf Programme und Daten Von überall her Jederzeit Singulärer Zugriffspunkt Daten: Photos, Dokumente

Mehr

Verteilte Systeme. Map Reduce. Secure Identity Research Group

Verteilte Systeme. Map Reduce. Secure Identity Research Group Verteilte Systeme Map Reduce Map Reduce Problem: Ein Rechen-Job (meist Datenanalyse/Data-Mining) soll auf einer riesigen Datenmenge ausgeführt werden. Teile der Aufgabe sind parallelisierbar, aber das

Mehr

MapReduce und Datenbanken Thema 15: Strom bzw. Onlineverarbeitung mit MapReduce

MapReduce und Datenbanken Thema 15: Strom bzw. Onlineverarbeitung mit MapReduce MapReduce Jan Kristof Nidzwetzki MapReduce 1 / 17 Übersicht 1 Begriffe 2 Verschiedene Arbeiten 3 Ziele 4 DEDUCE: at the intersection of MapReduce and stream processing Beispiel 5 Beyond online aggregation:

Mehr

Aufbau eigener Cloud-Infrastrukturen mit Eucalyptus Hochschule Mannheim

Aufbau eigener Cloud-Infrastrukturen mit Eucalyptus Hochschule Mannheim Andreas Ries Cloud-Computing Seminar Hochschule Mannheim WS0910 1/26 Aufbau eigener Cloud-Infrastrukturen mit Eucalyptus Hochschule Mannheim Andreas Ries Fakultät für Informatik Hochschule Mannheim ries.andreas@web.de

Mehr

Dateisysteme und Datenverwaltung in der Cloud

Dateisysteme und Datenverwaltung in der Cloud Dateisysteme und Datenverwaltung in der Cloud Sebastian Fischer Master-Seminar Cloud Computing - WS 2013/14 Institut für Telematik, Universität zu Lübeck Dateisysteme und Datenverwaltung in der Cloud 1

Mehr

APACHE PIG SEMINARARBEIT SSE - WS12/13 SEBASTIAN WALTHER

APACHE PIG SEMINARARBEIT SSE - WS12/13 SEBASTIAN WALTHER APACHE PIG SEMINARARBEIT SSE - WS12/13 SEBASTIAN WALTHER INHALT Das Hadoop Framework Hadoop s Distributed File System (HDFS) MapReduce Apache Pig Was ist Apache Pig & Pig Latin Anwendungsumgebungen Unterschied

Mehr

Aufbau von Cloud-Infrastrukturen mit Eucalyptus

Aufbau von Cloud-Infrastrukturen mit Eucalyptus Michael Stapelberg Cloud-Computing Seminar Universität Heidelberg SS2009 1/34 Aufbau von Cloud-Infrastrukturen mit Eucalyptus Michael Stapelberg Universität Heidelberg Stapelberg@stud.uni-heidelberg.de

Mehr

Big Data. Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover

Big Data. Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover Big Data Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover Agenda Was ist Big Data? Parallele Programmierung Map/Reduce Der Big Data Zoo 2 3Vs oder: Was ist Big Data? Deutsche Telekom:

Mehr

MapReduce in der Praxis

MapReduce in der Praxis Universität Passau Fakultät für Informatik und Mathematik Ausarbeitung MapReduce in der Praxis Verfasser: Rolf Daniel 09.12.2010 Zusammenfassung MapReduce ist ein von Google eingeführtes Framework, das

Mehr

Antwortzeitverhalten von Online Storage Services im Vergleich

Antwortzeitverhalten von Online Storage Services im Vergleich EPOD Encrypted Private Online Disc Antwortzeitverhalten von Online Storage Services im Vergleich Fördergeber Förderprogramm Fördernehmer Projektleitung Projekt Metadaten Internet Foundation Austria netidee

Mehr

entweder: zeilenweise fgets() oder: zeichenweise fgetc()

entweder: zeilenweise fgets() oder: zeichenweise fgetc() PHP stellt viele Funktionen zur Verfügung, um mit Dateien effektiv zu arbeiten. Die grundsätzliche Vorgehensweise beim Auslesen einer Datei sieht wie folgt aus: 1. Öffnen der Datei fopen() 2. schrittweises

Mehr

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar!

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar! Clouds Wolkig bis Heiter Erwartungen der Nutzer Er ist verwöhnt! Verfügbarkeit Viele Anwendungen Intuitive Interfaces Hohe Leistung Er ist nicht dankbar! Mehr! Mehr! Mehr! Moore 1 Erwartungen der Entwickler

Mehr

MapReduce. Vereinfachte Datenverarbeitung in großen Rechnerverbünden. Semesterarbeit. für den Kurs Wissenschaftliches Arbeiten im WS2012/13

MapReduce. Vereinfachte Datenverarbeitung in großen Rechnerverbünden. Semesterarbeit. für den Kurs Wissenschaftliches Arbeiten im WS2012/13 Vereinfachte Datenverarbeitung in großen Rechnerverbünden Semesterarbeit für den Kurs Wissenschaftliches Arbeiten im WS2012/13 vorgelegt von: Igor Marijanovic Studienbereich: Medieninformatik Matrikelnummer:

Mehr

KURZANLEITUNG CLOUD BLOCK STORAGE

KURZANLEITUNG CLOUD BLOCK STORAGE KURZANLEITUNG CLOUD BLOCK STORAGE Version 1.12 01.07.2014 SEITE _ 2 INHALTSVERZEICHNIS 1. Einleitung......Seite 03 2. Anlegen eines dauerhaften Block Storage...Seite 04 3. Hinzufügen von Block Storage

Mehr

C++ Grundlagen. ++ bedeutet Erweiterung zum Ansi C Standard. Hier wird eine Funktion eingeleitet

C++ Grundlagen. ++ bedeutet Erweiterung zum Ansi C Standard. Hier wird eine Funktion eingeleitet C++ Grundlagen ++ bedeutet Erweiterung zum Ansi C Standard Hier wird eine Funktion eingeleitet Aufbau: In dieser Datei stehen die Befehle, die gestartet werden, wenn das Programm gestartet wird Int main()

Mehr

Eine Taxonomie und Bewertung von Cloud Computing Diensten aus Entwicklersicht

Eine Taxonomie und Bewertung von Cloud Computing Diensten aus Entwicklersicht Eine Taxonomie und Bewertung von Cloud Computing Diensten aus Entwicklersicht Universität der Bundeswehr München Mario Golling und Michael Kretzschmar Fakultät für Informatik E-Mail: mario.golling@unibw.de

Mehr

SKILLCLUSTER Schwalbenrainweg 30a 63741 Aschaffenburg Tel.: +49 (0)700-SCLUSTER Fax: +49 (0)700-SKILLS4U Mail: ping@skillcluster.

SKILLCLUSTER Schwalbenrainweg 30a 63741 Aschaffenburg Tel.: +49 (0)700-SCLUSTER Fax: +49 (0)700-SKILLS4U Mail: ping@skillcluster. MEGATREND CLOUDCOMPUTING THE NETWORK IS THE COMPUTER Eine 25 Jahre alte Vision BANDBREITEN Grundlagen sind geschaffen DEFINITION Cloud Computing über andere gegenwärtig diskutierte Ansätze (Software as

Mehr

RAID. Name: Artur Neumann

RAID. Name: Artur Neumann Name: Inhaltsverzeichnis 1 Was ist RAID 3 1.1 RAID-Level... 3 2 Wozu RAID 3 3 Wie werden RAID Gruppen verwaltet 3 3.1 Software RAID... 3 3.2 Hardware RAID... 4 4 Die Verschiedenen RAID-Level 4 4.1 RAID

Mehr

Konzepte zur Datenhaltung für Webseiten in einem Web-Content- Management-System

Konzepte zur Datenhaltung für Webseiten in einem Web-Content- Management-System Konzepte zur Datenhaltung für Webseiten in einem Web-Content- Management-System Web-Content-Management-Systeme () dienen dazu, komplexe Websites zu verwalten und den Autoren einzelner Webseiten möglichst

Mehr

Sind Cloud Apps der nächste Hype?

Sind Cloud Apps der nächste Hype? Java Forum Stuttgart 2012 Sind Cloud Apps der nächste Hype? Tillmann Schall Stuttgart, 5. Juli 2012 : Agenda Was sind Cloud Apps? Einordnung / Vergleich mit bestehenden Cloud Konzepten Live Demo Aufbau

Mehr

Seminarvortrag. Cloud Computing. Christophe Sokol 26.01.2012

Seminarvortrag. Cloud Computing. Christophe Sokol <sokol@inf.fu-berlin.de> 26.01.2012 Seminarvortrag Cloud Computing Christophe Sokol 26.01.2012 Ablauf des Vortrags Hintergrund: Der Plat_Forms-Wettbewerb Was ist Cloud Computing? Aufgaben lösen in der Cloud 3 / 23

Mehr

Überblick. Reparaturfunktionen File-History Sicherheit. Metro Hardware Versionen Dateisystem ReFS Storage Pools Storage Spaces Weitere Verbesserungen

Überblick. Reparaturfunktionen File-History Sicherheit. Metro Hardware Versionen Dateisystem ReFS Storage Pools Storage Spaces Weitere Verbesserungen Windows 8 Überblick Metro Hardware Versionen Dateisystem ReFS Storage Pools Storage Spaces Weitere Verbesserungen Reparaturfunktionen File-History Sicherheit 2 Metro Neuer Lockscreen Neuer Startbildschirm

Mehr

Dateisysteme mit Plugin-Funktion

Dateisysteme mit Plugin-Funktion Dateisysteme mit Plugin-Funktion Basierend auf Reiser 4 unter Linux http://llugb.amsee.de/logo.gif Ausgearbeitet und vorgetragen von Michael Berger 1/23 Agenda Die Idee Dateisysteme mit Plugin-Funktion

Mehr

Verteilte Dateisysteme in der Cloud

Verteilte Dateisysteme in der Cloud Verteilte Dateisysteme in der Cloud Cloud Data Management Maria Moritz Seminar Cloud Data Management WS09/10 Universität Leipzig 1 Inhalt 1.) Anforderungen an verteilte Dateisysteme 2.) GoogleFS 3.) Hadoop

Mehr

Neue Ansätze der Softwarequalitätssicherung. Googles MapReduce-Framework für verteilte Berechnungen am Beispiel von Apache Hadoop

Neue Ansätze der Softwarequalitätssicherung. Googles MapReduce-Framework für verteilte Berechnungen am Beispiel von Apache Hadoop Neue Ansätze der Softwarequalitätssicherung Thema des Seminars Googles MapReduce-Framework für verteilte Berechnungen am Beispiel von Apache Hadoop Universität Paderborn Fakultät für Elektrotechnik, Informatik

Mehr

Magento goes into the cloud Cloud Computing für Magento. Referent: Boris Lokschin, CEO

Magento goes into the cloud Cloud Computing für Magento. Referent: Boris Lokschin, CEO Magento goes into the cloud Cloud Computing für Magento Referent: Boris Lokschin, CEO Agenda Über symmetrics Unsere Schwerpunkte Cloud Computing Hype oder Realität? Warum Cloud Computing? Warum Cloud für

Mehr

MapReduce. Johann Volz. 3. Juni 2010. Zusammenfassung

MapReduce. Johann Volz. 3. Juni 2010. Zusammenfassung MapReduce Johann Volz 3. Juni 2010 Zusammenfassung Bei der Verarbeitung von Datenmengen, die hunderte oder gar tausende Computer zur Fertigstellung in der gewünschten Zeit brauchen, muss man sich nicht

Mehr

SEMT. Prof. G. Bengel. Infrastructure as a Service (Amazon EC2, IBM Blue Cloud)

SEMT. Prof. G. Bengel. Infrastructure as a Service (Amazon EC2, IBM Blue Cloud) Hochschule Mannheim Fakultät für Informatik SEMT Prof. G. Bengel Sommersemester 2009 Semester 9I Infrastructure as a Service (Amazon EC2, IBM Blue Cloud) Jens Feil (517122) 04.05.2009 Inhaltsverzeichnis

Mehr

Managed Cloud Services

Managed Cloud Services Managed Cloud Services Autor.: Monika Olschewski Whitepaper Version: 1.0 Erstellt am: 14.07.2010 ADACOR Hosting GmbH Kaiserleistrasse 51 63067 Offenbach am Main info@adacor.com www.adacor.com Cloud Services

Mehr

Wide Column Stores. Felix Bruckner Mannheim, 15.06.2012

Wide Column Stores. Felix Bruckner Mannheim, 15.06.2012 Wide Column Stores Felix Bruckner Mannheim, 15.06.2012 Agenda Einführung Motivation Grundlagen NoSQL Grundlagen Wide Column Stores Anwendungsfälle Datenmodell Technik Wide Column Stores & Cloud Computing

Mehr

Überblick. Verarbeitung großer Datenmengen. MapReduce. Herausforderungen

Überblick. Verarbeitung großer Datenmengen. MapReduce. Herausforderungen Überblick Verarbeitung großer Datenmengen Verarbeitung großer Datenmengen Motivation MapReduce Zusammenfassung Problemstellungen (e) Indexierung des World Wide Web PageRank-Berechnungen für Web-Seiten

Mehr

MapReduce mit Hadoop 08.11.12 1

MapReduce mit Hadoop 08.11.12 1 MapReduce mit Hadoop 08.11.12 1 Lernziele / Inhalt Wiederholung MapReduce Map in Hadoop Reduce in Hadoop Datenfluss Erste Schritte Alte vs. neue API Combiner Functions mehr als Java 08.11.12 2 Wiederholung

Mehr

5.2 Analyse des File Slack

5.2 Analyse des File Slack 5.2 Analyse des File Slack 109 Es gibt an vielen Stellen eines Betriebssystems Fundorte für Gebrauchsspuren oder Hinweise auf Auffälligkeiten. Diese Stellen sollten grundsätzlich aufgesucht und analysiert

Mehr

Persönlichkeiten bei bluehands

Persönlichkeiten bei bluehands Persönlichkeiten bei Technologien bei Skalierbare Anwendungen mit Windows Azure GmbH & co.mmunication KG am@.de; posts..de/am 1 2 3 4 5 6 7 8 9 Immer mehr Mehr Performance Mehr Menge Mehr Verfügbarkeit

Mehr

5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim

5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS1112 1/36 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim Christian Baun Karlsruher Institut für

Mehr

Next Generation Cloud

Next Generation Cloud Next Generation Cloud Building Blocks In Zukunft wird es darum gehen, aus der Summe der Teile Anwendungen (Apps) zu generieren, die Mehrwerte zu schaffen App besteht aus Integration von > Funktionen, z.b.

Mehr

Data Mining in der Cloud

Data Mining in der Cloud Data Mining in der Cloud von Jan-Christoph Meier Hamburg, 21.06.2012 1 Ablauf Einführung Verwandte Arbeiten Fazit / Ausblick Literatur 2 Ablauf Einführung Verwandte Arbeiten Fazit / Ausblick Literatur

Mehr

SPSS für Windows Installationsanweisungen (Standort-/Vertragslizenz)

SPSS für Windows Installationsanweisungen (Standort-/Vertragslizenz) SPSS für Windows Installationsanweisungen (Standort-/Vertragslizenz) Die folgenden Anweisungen gelten für die Installation von SPSS für Windows mit einer Standort-/Vertragslizenz. Dieses Dokument wendet

Mehr

Lehrgebiet Informationssysteme

Lehrgebiet Informationssysteme Lehrgebiet AG Datenbanken und (Prof. Michel, Prof. Härder) AG Heterogene (Prof. Deßloch) http://wwwlgis.informatik.uni-kl.de/ Was sind? Computergestützte Programmsysteme, die Informationen erfassen, dauerhaft

Mehr

MapReduce. Vereinfachte Datenverarbeitung in großen Rechnerverbünden. Semesterarbeit. für den Kurs Wissenschaftliches Arbeiten im WS2012/13

MapReduce. Vereinfachte Datenverarbeitung in großen Rechnerverbünden. Semesterarbeit. für den Kurs Wissenschaftliches Arbeiten im WS2012/13 Vereinfachte Datenverarbeitung in großen Rechnerverbünden Semesterarbeit für den Kurs Wissenschaftliches Arbeiten im WS2012/13 vorgelegt von: Igor Marijanovic Studienbereich: Medieninformatik Matrikelnummer:

Mehr

Google Caffeine. Was ist es, was ändert sich, wie bereite ich mich vor?

Google Caffeine. Was ist es, was ändert sich, wie bereite ich mich vor? Google Caffeine Was ist es, was ändert sich, wie bereite ich mich vor? Wer ist das? Johannes Beus, SISTRIX Suchmaschinenoptimierung seit 5 Monaten Betrieb eigener Webprojekte unterschiedlichster Themengebiete

Mehr

Überblick. MapReduce Einführung. Ablauf von MapReduce. MapReduce ist Modell zur Strukturierung von Programmen für parallele, verteilte Ausführung

Überblick. MapReduce Einführung. Ablauf von MapReduce. MapReduce ist Modell zur Strukturierung von Programmen für parallele, verteilte Ausführung Überblick MapReduce Einführung MapReduce Framework MapReduce Einführung und Grundlagen Ablauf eines MapReduce-Jobs Aufgaben des Frameworks Aufgabe 3 Abstract Factory Entwurfsmuster Vergleichen und Sortieren

Mehr

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221 Oracle 10g und SQL Server 2005 ein Vergleich Thomas Wächtler 39221 Inhalt 1. Einführung 2. Architektur SQL Server 2005 1. SQLOS 2. Relational Engine 3. Protocol Layer 3. Services 1. Replication 2. Reporting

Mehr

Autor: Michael Spahn Version: 1.0 1/10 Vertraulichkeit: öffentlich Status: Final Metaways Infosystems GmbH

Autor: Michael Spahn Version: 1.0 1/10 Vertraulichkeit: öffentlich Status: Final Metaways Infosystems GmbH Java Einleitung - Handout Kurzbeschreibung: Eine kleine Einführung in die Programmierung mit Java. Dokument: Autor: Michael Spahn Version 1.0 Status: Final Datum: 23.10.2012 Vertraulichkeit: öffentlich

Mehr

Was ist Amazon RDS? Datenbank Typen DB Instanzen Features. Live Demo Fazit. Amazon RDS - Till Ganzert 15.06.2012 2

Was ist Amazon RDS? Datenbank Typen DB Instanzen Features. Live Demo Fazit. Amazon RDS - Till Ganzert 15.06.2012 2 Was ist Amazon RDS? Datenbank Typen DB Instanzen Features Kosten Live Demo Fazit 15.06.2012 2 Web-Service von Amazon Erlaubt mieten von Datenbanken Einrichtung, Betrieb und Skalierung übernimmt Anbieter

Mehr

Map Reduce. Programmiermodell. Prof. Dr. Ingo Claÿen. Motivation. Modell. Verarbeitungsablauf. Algorithmen-Entwurf. Map-Reduce in Java

Map Reduce. Programmiermodell. Prof. Dr. Ingo Claÿen. Motivation. Modell. Verarbeitungsablauf. Algorithmen-Entwurf. Map-Reduce in Java Map Reduce Programmiermodell Prof. Dr. Ingo Claÿen Hochschule für Technik und Wirtschaft Berlin Motivation Modell Verarbeitungsablauf Algorithmen-Entwurf Map-Reduce in Java Motivation Was ist Map-Reduce

Mehr

PIWIN 1 Übung Blatt 5

PIWIN 1 Übung Blatt 5 Fakultät für Informatik Wintersemester 2008 André Gronemeier, LS 2, OH 14 Raum 307, andre.gronemeier@cs.uni-dortmund.de PIWIN 1 Übung Blatt 5 Ausgabedatum: 19.12.2008 Übungen: 12.1.2009-22.1.2009 Abgabe:

Mehr

Oracle Big Data Technologien Ein Überblick

Oracle Big Data Technologien Ein Überblick Oracle Big Data Technologien Ein Überblick Ralf Lange Global ISV & OEM Sales NoSQL: Eine kurze Geschichte Internet-Boom: Erste Ansätze selbstgebauter "Datenbanken" Google stellt "MapReduce"

Mehr

Verteiltes Backup. Einleitung Grundlegende Backup Techniken Backup in Netzwerken. Client/Server Peer-to-Peer

Verteiltes Backup. Einleitung Grundlegende Backup Techniken Backup in Netzwerken. Client/Server Peer-to-Peer Verteiltes Backup Einleitung Grundlegende Backup Techniken Backup in Netzwerken Client/Server Peer-to-Peer Einleitung Backup: Das teilweise oder gesamte Kopieren der in einem Computersystem vorhandenen

Mehr

Hochleistungsrechnen mit Windows Interaktive Benutzung und das Batchsystem Christian Terboven Rechen- und Kommunikationszentrum RWTH Aachen

Hochleistungsrechnen mit Windows Interaktive Benutzung und das Batchsystem Christian Terboven Rechen- und Kommunikationszentrum RWTH Aachen Hochleistungsrechnen mit Windows Interaktive Benutzung und das Batchsystem hristian Terboven Rechen- und Kommunikationszentrum RWTH Aachen 1 Hochleistungsrechnen mit Windows enter omputing and ommunication

Mehr

Preisvergleich ProfitBricks - Amazon Web Services M3 Instanz

Preisvergleich ProfitBricks - Amazon Web Services M3 Instanz Preisvergleich - Amazon Web Services M3 Instanz Stand Preisliste : 10.04.2014 www.profitbricks.de Stand Preisliste : 10.04.2014 Hotline: 0800 22 44 66 8 product@profitbricks.com Vorwort Preisvergleiche

Mehr

Die allerwichtigsten Raid Systeme

Die allerwichtigsten Raid Systeme Die allerwichtigsten Raid Systeme Michael Dienert 4. Mai 2009 Vorbemerkung Dieser Artikel gibt eine knappe Übersicht über die wichtigsten RAID Systeme. Inhaltsverzeichnis 1 Die Abkürzung RAID 2 1.1 Fehlerraten

Mehr

Storage-Trends am LRZ. Dr. Christoph Biardzki

Storage-Trends am LRZ. Dr. Christoph Biardzki Storage-Trends am LRZ Dr. Christoph Biardzki 1 Über das Leibniz-Rechenzentrum (LRZ) Seit 50 Jahren Rechenzentrum der Bayerischen Akademie der Wissenschaften IT-Dienstleister für Münchner Universitäten

Mehr

Parallele und funktionale Programmierung Wintersemester 2013/14. 8. Übung Abgabe bis 20.12.2013, 16:00 Uhr

Parallele und funktionale Programmierung Wintersemester 2013/14. 8. Übung Abgabe bis 20.12.2013, 16:00 Uhr 8. Übung Abgabe bis 20.12.2013, 16:00 Uhr Aufgabe 8.1: Zeigerverdopplung Ermitteln Sie an folgendem Beispiel den Rang für jedes Listenelement sequentiell und mit dem in der Vorlesung vorgestellten parallelen

Mehr

Teamprojekt & Projekt

Teamprojekt & Projekt 18. Oktober 2010 Teamprojekt & Projekt Veranstalter: Betreuer: Prof. Dr. Georg Lausen Thomas Hordnung, Alexander Schätzle, Martin Przjyaciel-Zablocki dbis Studienordnung Master: 16 ECTS 480 Semesterstunden

Mehr

Ein kleines Computer-Lexikon

Ein kleines Computer-Lexikon Stefan Edelmann 10b NIS-Klasse Ein kleines Computer-Lexikon Mainboard Die Hauptplatine! Sie wird auch Motherboard genannt. An ihr wird das gesamte Computerzubehör angeschlossen: z.b. Grafikkarte Soundkarte

Mehr

Big Data Mythen und Fakten

Big Data Mythen und Fakten Big Data Mythen und Fakten Mario Meir-Huber Research Analyst, IDC Copyright IDC. Reproduction is forbidden unless authorized. All rights reserved. About me Research Analyst @ IDC Author verschiedener IT-Fachbücher

Mehr

UI-Testing mit Microsoft Test Manager (MTM) Philip Gossweiler / 2013-04-18

UI-Testing mit Microsoft Test Manager (MTM) Philip Gossweiler / 2013-04-18 UI-Testing mit Microsoft Test Manager (MTM) Philip Gossweiler / 2013-04-18 Software Testing Automatisiert Manuell 100% 70% 1 Überwiegender Teil der Testing Tools fokusiert auf automatisiertes Testen Microsoft

Mehr

Dunkel Cloud Storage. Der sichere Cloud-Speicher für Unternehmen

Dunkel Cloud Storage. Der sichere Cloud-Speicher für Unternehmen Dunkel Cloud Storage Der sichere Cloud-Speicher für Unternehmen Was ist Dunkel Cloud Storage? Dunkel Cloud Storage (DCS) stellt Ihnen Speicherplatz nach Bedarf zur Verfügung, auf den Sie jederzeit über

Mehr

DduP - Towards a Deduplication Framework utilising Apache Spark

DduP - Towards a Deduplication Framework utilising Apache Spark - Towards a Deduplication Framework utilising Apache Spark utilising Apache Spark Universität Hamburg, Fachbereich Informatik Gliederung 1 Duplikaterkennung 2 Apache Spark 3 - Interactive Big Data Deduplication

Mehr

Neue Ansätze der Softwarequalitätssicherung. Googles MapReduce-Framework für verteilte Berechnungen am Beispiel von Apache Hadoop

Neue Ansätze der Softwarequalitätssicherung. Googles MapReduce-Framework für verteilte Berechnungen am Beispiel von Apache Hadoop Neue Ansätze der Softwarequalitätssicherung Thema des Seminars Googles MapReduce-Framework für verteilte Berechnungen am Beispiel von Apache Hadoop Universität Paderborn Fakultät für Elektrotechnik, Informatik

Mehr

Seminar SS 09 Amdahl`s Law and Cloud-Computing

Seminar SS 09 Amdahl`s Law and Cloud-Computing Seminar SS 09 Amdahl`s Law and Cloud-Computing Prof. G. Bengel Fakultät für Informatik SEMB 7IBW 8IB Raum HO609 Mo 9:45-11:15 1. Teil: Amdahl sches Gesetz 1. Vortrag Das Gesetz von Amdahl und Gustafson

Mehr

Private Cloud mit Eucalyptus am SCC

Private Cloud mit Eucalyptus am SCC Private Cloud mit Eucalyptus am SCC Christian Baun 15. Dezember 2009 KIT The cooperation of Forschungszentrum Karlsruhe GmbH und Universität Karlsruhe (TH) http://www.kit.edu Cloud-Comuting = Grid-Computing?!

Mehr

Workflow+ Installation und Konfiguration

Workflow+ Installation und Konfiguration Workflow+ Installation und Konfiguration Systemübersicht Workflow+ Designer Mit dem Workflow+ Designer werden Workflows und Eingabemasken erstellt. Mit der integrierten Test- und Debugging Funktion können

Mehr

Stefan Edlich, Achim Friedland, Jens Hampe, Benjamin Brauer. NoSQL. Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken ISBN: 978-3-446-42355-8

Stefan Edlich, Achim Friedland, Jens Hampe, Benjamin Brauer. NoSQL. Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken ISBN: 978-3-446-42355-8 Leseprobe Stefan Edlich, Achim Friedland, Jens Hampe, Benjamin Brauer NoSQL Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken ISBN: 978-3-446-42355-8 Weitere Informationen oder Bestellungen unter

Mehr

Zuschauer beim Berlin-Marathon

Zuschauer beim Berlin-Marathon Zuschauer beim Berlin-Marathon Stefan Hougardy, Stefan Kirchner und Mariano Zelke Jedes Computerprogramm, sei es ein Betriebssystem, eine Textverarbeitung oder ein Computerspiel, ist aus einer Vielzahl

Mehr

Pavlo Baron. Big Data. für IT-Entscheider. Riesige Datenmengen. und moderne Technologien. gewinnbringend nutzen HANSER

Pavlo Baron. Big Data. für IT-Entscheider. Riesige Datenmengen. und moderne Technologien. gewinnbringend nutzen HANSER Pavlo Baron Big Data für IT-Entscheider Riesige Datenmengen und moderne Technologien gewinnbringend nutzen HANSER Inhalt Vorwort XI 1 Management Summary 1 2 Was? 7 2.1 Mein klassisches Business ist konkurrenzlos,

Mehr

RICHTLINIEN UND ANTRAG FÜR DIE EINRICHTUNG UND BETRIEB EINES VIRTUELLEN RECHNERS (VM) IM VMWARE- CLUSTER DES RECHENZENTRUMS

RICHTLINIEN UND ANTRAG FÜR DIE EINRICHTUNG UND BETRIEB EINES VIRTUELLEN RECHNERS (VM) IM VMWARE- CLUSTER DES RECHENZENTRUMS Rechenzentrum Stand 13.11.2012 Prof. Jan Münchenberg Wissenschaftlicher Leiter RICHTLINIEN UND ANTRAG FÜR DIE EINRICHTUNG UND BETRIEB EINES VIRTUELLEN RECHNERS (VM) IM VMWARE- CLUSTER DES RECHENZENTRUMS

Mehr

Azure und die Cloud. Proseminar Objektorientiertes Programmieren mit.net und C# Simon Pigat. Institut für Informatik Software & Systems Engineering

Azure und die Cloud. Proseminar Objektorientiertes Programmieren mit.net und C# Simon Pigat. Institut für Informatik Software & Systems Engineering Azure und die Cloud Proseminar Objektorientiertes Programmieren mit.net und C# Simon Pigat Institut für Informatik Software & Systems Engineering Agenda Was heißt Cloud? IaaS? PaaS? SaaS? Woraus besteht

Mehr

Projektarbeit mit Storebox

Projektarbeit mit Storebox Projektarbeit mit Storebox Whitepaper Swisscom (Schweiz) AG Inhaltsverzeichnis Inhaltsverzeichnis... 2 Einleitung... 3 Unterscheidung und Backup... 3 Welche Methode passt wo?... 3 Ausgangslage... 4 Anforderungen...

Mehr

Session Storage im Zend Server Cluster Manager

Session Storage im Zend Server Cluster Manager Session Storage im Zend Server Cluster Manager Jan Burkl System Engineer, Zend Technologies Agenda Einführung in Zend Server und ZSCM Überblick über PHP Sessions Zend Session Clustering Session Hochverfügbarkeit

Mehr