Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE

Save this PDF as:
 WORD  PNG  TXT  JPG

Größe: px
Ab Seite anzeigen:

Download "Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE"

Transkript

1 Institut für Kartographie und Geoinformatik Leibniz Universität Hannover Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE Frank Thiemann, Thomas Globig

2 Motivation Generalisierung großer (Gebäude-)Datenbestände Hohe Laufzeit, viel Speicher Bei sehr großen Datensätzen Bedarf übersteigt evtl. Ressourcen einzelner Rechner Aufteilung in Teilaufgaben Partitionierung Räumlichen Kontext beachten Prozessierung Sequentiel Parallel (Hadoop) Komposition Konflikte behandeln Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 2

3 Übersicht Partitionierung und Komposition 2 Strategien Sequentielle Verarbeitung Laufzeittest Parallele Verarbeitung Hadoop Framework Umsetzung CHANGE Laufzeittest Zusammenfassung und Ausblick Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 3

4 Räumliche Partitionierungsstrategien Kacheln mit redundantem Rand Redundanzfreie Cluster Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 4

5 Räumliche Partitionierungsstrategieen Kacheln Generisch Einfache Hashingoperation Redundanz Konflikte an den Kachelgrenzen Cluster Unabhängige Einheiten Keine Redundanz Entweder Zusatzdaten erforderlich (z.b.: Straßen, Flüsse, ) oder Clustering (räumliche Operation) Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 5

6 Kacheln: Probleme Komposition durch Selektion Puffer > aggregierte Gebäude 500 m städtische Baublöcke 1 km Flughafengebäude 3 km Produktionshallen Begrenzte Kachelgröße Kleine Kacheln hohe Redundanz Reihenfolgeabhängigkeit Kompositionskonflikte Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 6

7 Partitionierung mittels Clustering (DBSCAN) Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 7

8 CHANGE: Laufzeit - Clustergröße Laufzeit in Sekunden Zeit Partitioniert Zeit je Partition Gebäudeanzahl Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 8

9 Laufzeitbeispiele Struktur Gebäude MB Geb/km² Im Ganzen In Part. Beschl. ALK Gemischt :00:38 - ALK Ländlich :00:31 - ALK Gemischt :00:49 0:00:46 108% ALK Stadt :01:02 0:00:58 108% ALK Stadt :06:32 0:03:38 180% USA Gemischt :29:51 0:07:34 394% USA Stadt :24:17 0:05:59 406% USA Stadt :37:12 0:10:02 371% USA Stadt :12:33 0:21: % Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 9

10 Parallele Verarbeitung mit Hadoop

11 Hadoop Open Source Framework für verteiltes Rechnen in Computer- Clustern Implementierung von Googles MapReduce und Google File System (HDFS) Vorteile: skalierbar, ausfallsicher Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 11

12 Hadoop: Arbeitsweise (k1,v1) List (k2,v2) (k2, List v2) Lists (k3,v3) Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 12

13 CHANGE Parallelisierung mit Hadoop Eingabe: Partitionen (Dateien < 64 MB) HDFS Verteilt Partitionen Job-Tracker Erzeugt ein Map Task je Partition Prozesskontrolle (größte Datenpakete zuerst) Map-Task Lädt die Daten ins lokale Dateisystem Startet CHANGE Kopiert die Ergebnisse ins HDFS Ausgabe: generalisierten Partitionen Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 13

14 Cluster am ikg Komponente Beschreibung 1 Master Intel Xeon 4 2,0 GHz, 6 GB RAM, 2 TB RAID 4 Worker Intel Xeon 4 3,4 GHz, 16 GB RAM, 3 1 TB HDD 1 GB switch 24 port, managed, dynamic link aggregation 12 parallele Tasks Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 14

15 Laufzeittest Chicago (134 MB, Gebäude) Partitionierungsstrategie Generalisierung Laufzeit Partitionierung Komposition Σ Without 92:56 min 92:56 min Cluster 31 s sequ. 7:37 min (8%) 8:11 min (9%) 3 s paral. 2:03 min (2%) 2:37 min (3%) Geschwindigkeitssteigerung nur um Faktur 4 statt 12 Rest geht für Overhead drauf. Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 15

16 Zusammenfassung Nutzung der enthaltenden Unterbrechungen im Datensatz Clustering in linearer Laufzeit generierbar Keine Redundanz Keine Wiedersprüche Hadoop MapReduce kann nicht ohne weiteres mit räumlichen Kontext umgehen Effiziente Verteilung und Parallelisierung Skalierbar, ausfallsicher Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 16

17 Ausblick Implementierung als Batch-Skript verfügbar Aufteilung in gleichgroße Partitionen von etwa Gebäuden Generalisierung Komposition der Partitionen Geplant: Einbettung in die 3A-Editor-Schnittstelle Partitionierung und sequentielle Verarbeitung im Hintergrund Keine Umstellung auf Benutzerseite Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 17

Neue Ansätze der Softwarequalitätssicherung

Neue Ansätze der Softwarequalitätssicherung Neue Ansätze der Softwarequalitätssicherung Googles MapReduce-Framework für verteilte Berechnungen am Beispiel von Apache Hadoop Universität Paderborn Fakultät für Elektrotechnik, Informatik und Mathematik

Mehr

Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen

Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen Brownbag am Freitag, den 26.07.2013 Daniel Bäurer inovex GmbH Systems Engineer Wir nutzen Technologien, um unsere Kunden glücklich zu machen. Und

Mehr

Peter Dikant mgm technology partners GmbH. Echtzeitsuche mit Hadoop und Solr

Peter Dikant mgm technology partners GmbH. Echtzeitsuche mit Hadoop und Solr Peter Dikant mgm technology partners GmbH Echtzeitsuche mit Hadoop und Solr ECHTZEITSUCHE MIT HADOOP UND SOLR PETER DIKANT MGM TECHNOLOGY PARTNERS GMBH WHOAMI peter.dikant@mgm-tp.com Java Entwickler seit

Mehr

!! Waldemar Reger Köln,

!! Waldemar Reger Köln, Analyse und Evaluierung von Parameterabhängigkeiten anhand der Laufzeit von MapReduce-Jobs zur Konzeptionierung von Hadoop-Clustern Waldemar Reger Köln, 23.07.2014 Agenda 1. Hadoop Grundlagen 2. Cluster

Mehr

Data Mining und Machine Learning

Data Mining und Machine Learning Data Mining und Machine Learning Teil 7: Verteiltes Rechnen mit Map Reduce Dr. Harald König, FHDW Hannover 30. November 2015 Inhalt 1 Verteiltes Rechnen 2 Map Reduce 3 Anwendungen 4 Map Reduce: Weiterführende

Mehr

MapReduce. Vereinfachte Datenverarbeitung in großen Rechnerverbünden. Igor Marijanovic 794894. Fachvortrag WAR 19.12.2012

MapReduce. Vereinfachte Datenverarbeitung in großen Rechnerverbünden. Igor Marijanovic 794894. Fachvortrag WAR 19.12.2012 MapReduce Vereinfachte Datenverarbeitung in großen Rechnerverbünden Igor Marijanovic 794894 Fachvortrag WAR 19.12.2012 Beuth Hochschule für Technik Berlin Inhalt Einleitung Hauptteil Abschluss MapReduce

Mehr

MapReduce in der Praxis

MapReduce in der Praxis MapReduce in der Praxis Rolf Daniel Seminar Multicore Programmierung 09.12.2010 1 / 53 Agenda Einleitung 1 Einleitung 2 3 Disco Hadoop BOOM 4 2 / 53 1 Einleitung 2 3 Disco Hadoop BOOM 4 3 / 53 Motivation

Mehr

MapReduce und Datenbanken Thema 15: Strom bzw. Onlineverarbeitung mit MapReduce

MapReduce und Datenbanken Thema 15: Strom bzw. Onlineverarbeitung mit MapReduce MapReduce Jan Kristof Nidzwetzki MapReduce 1 / 17 Übersicht 1 Begriffe 2 Verschiedene Arbeiten 3 Ziele 4 DEDUCE: at the intersection of MapReduce and stream processing Beispiel 5 Beyond online aggregation:

Mehr

Hadoop. Simon Prewo. Simon Prewo

Hadoop. Simon Prewo. Simon Prewo Hadoop Simon Prewo Simon Prewo 1 Warum Hadoop? SQL: DB2, Oracle Hadoop? Innerhalb der letzten zwei Jahre hat sich die Datenmenge ca. verzehnfacht Die Klassiker wie DB2, Oracle usw. sind anders konzeptioniert

Mehr

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE Themen Big Data Buzz Word oder eine neue Dimension

Mehr

SEMT. Prof. G. Bengel. Searching as a Service (Programming Model: MapReduce)

SEMT. Prof. G. Bengel. Searching as a Service (Programming Model: MapReduce) Hochschule Mannheim Fakultät für Informatik SEMT Prof. G. Bengel Sommersemester 2009 Semester 8I Searching as a Service (Programming Model: MapReduce) Michel Schmitt (520361) 1.06.2009 Inhalt 1. Einführung...

Mehr

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2 Seminar Cloud Data Management WS09/10 Tabelle1 Tabelle2 1 Einführung DBMS in der Cloud Vergleich verschiedener DBMS Beispiele Microsoft Azure Amazon RDS Amazon EC2 Relational Databases AMIs Was gibt es

Mehr

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes Hadoop Eine Open-Source-Implementierung von MapReduce und BigTable von Philipp Kemkes Hadoop Framework für skalierbare, verteilt arbeitende Software Zur Verarbeitung großer Datenmengen (Terra- bis Petabyte)

Mehr

Spark, Impala und Hadoop in der Kreditrisikoberechnung

Spark, Impala und Hadoop in der Kreditrisikoberechnung Spark, Impala und Hadoop in der Kreditrisikoberechnung Big Data In-Memory-Technologien für mittelgroße Datenmengen TDWI München, 22. Juni 2015 Joschka Kupilas, Data Scientist, Adastra GmbH 2 Inhalt Vorwort

Mehr

Big Data in der Forschung

Big Data in der Forschung Big Data in der Forschung Dominik Friedrich RWTH Aachen Rechen- und Kommunikationszentrum (RZ) Gartner Hype Cycle July 2011 Folie 2 Was ist Big Data? Was wird unter Big Data verstanden Datensätze, die

Mehr

Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien

Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien Wir unternehmen IT. Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien Karlsruhe, 30.09.2015 $id thgreiner Thorsten Greiner Teamleiter Software Development ConSol* Software GmbH, Düsseldorf

Mehr

Endorsed SI Anwenderbericht: Einsatz von System Platform 2012 R2 in virtualisierten Umgebungen zur Prozessvisualisierung

Endorsed SI Anwenderbericht: Einsatz von System Platform 2012 R2 in virtualisierten Umgebungen zur Prozessvisualisierung Endorsed SI Anwenderbericht: Einsatz von System Platform 2012 R2 in virtualisierten Umgebungen zur Prozessvisualisierung Fritz Günther 17.03.2014 Folie 1 Agenda Was ist Virtualisierung Server- / Clientvirtualisierung

Mehr

Big Data. Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover

Big Data. Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover Big Data Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover Agenda Was ist Big Data? Parallele Programmierung Map/Reduce Der Big Data Zoo 2 3Vs oder: Was ist Big Data? Deutsche Telekom:

Mehr

Einführung in Hadoop

Einführung in Hadoop Einführung in Hadoop Inhalt / Lern-Ziele Übersicht: Basis-Architektur von Hadoop Einführung in HDFS Einführung in MapReduce Ausblick: Hadoop Ökosystem Optimierungen Versionen 10.02.2012 Prof. Dr. Christian

Mehr

Schneller als Hadoop?

Schneller als Hadoop? Schneller als Hadoop? Einführung in Spark Cluster Computing 19.11.2013 Dirk Reinemann 1 Agenda 1. Einführung 2. Motivation 3. Infrastruktur 4. Performance 5. Ausblick 19.11.2013 Dirk Reinemann 2 EINFÜHRUNG

Mehr

GPU-basierte Beschleunigung von MapReduce am Beispiel von OpenCL und Hadoop

GPU-basierte Beschleunigung von MapReduce am Beispiel von OpenCL und Hadoop am Beispiel von OpenCL und Masterseminar Hochschule für Technik, Wirtschaft und Kultur Leipzig Leipzig, 02.11.2011 Gliederung 1 Grundlagen 2 3 Gliederung 1 Grundlagen 2 3 Was ist? Clustersystem zur verteilten

Mehr

Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht)

Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht) Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht) Christian Haag, DATA MART Consulting Consulting Manager Oracle DWH Team

Mehr

Hadoop aus IT-Operations Sicht Teil 2 Hardware- und Netzwerk-Grundlagen

Hadoop aus IT-Operations Sicht Teil 2 Hardware- und Netzwerk-Grundlagen Hadoop aus IT-Operations Sicht Teil 2 Hardware- und Netzwerk-Grundlagen Brownbag am Freitag, den 09.08.2013 Daniel Bäurer inovex GmbH Systems Engineer Wir nutzen Technologien, um unsere Kunden glücklich

Mehr

Inhaltsangabe zu den Systemvoraussetzungen:

Inhaltsangabe zu den Systemvoraussetzungen: Inhaltsangabe zu den Systemvoraussetzungen: Seite 2 bis 1.500 Wohneinheiten und bis 2 Seite 3 bis 1.500 Wohneinheiten und bis 5 Seite 4 bis 5.000 Wohneinheiten und mehr als 10 Seite 5 bis 15.000 Wohneinheiten

Mehr

MapReduce. www.kit.edu. Johann Volz. IPD Snelting, Lehrstuhl Programmierparadigmen

MapReduce. www.kit.edu. Johann Volz. IPD Snelting, Lehrstuhl Programmierparadigmen MapReduce Johann Volz IPD Snelting, Lehrstuhl Programmierparadigmen KIT Universität des Landes Baden-Württemberg und nationales Großforschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Wozu MapReduce?

Mehr

MATCHING VON PRODUKTDATEN IN DER CLOUD

MATCHING VON PRODUKTDATEN IN DER CLOUD MATCHING VON PRODUKTDATEN IN DER CLOUD Dr. Andreas Thor Universität Leipzig 15.12.2011 Web Data Integration Workshop 2011 Cloud Computing 2 Cloud computing is using the internet to access someone else's

Mehr

Data Mining in der Cloud

Data Mining in der Cloud Data Mining in der Cloud von Jan-Christoph Meier Hamburg, 21.06.2012 1 Ablauf Einführung Verwandte Arbeiten Fazit / Ausblick Literatur 2 Ablauf Einführung Verwandte Arbeiten Fazit / Ausblick Literatur

Mehr

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar!

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar! Clouds Wolkig bis Heiter Erwartungen der Nutzer Er ist verwöhnt! Verfügbarkeit Viele Anwendungen Intuitive Interfaces Hohe Leistung Er ist nicht dankbar! Mehr! Mehr! Mehr! Moore 1 Erwartungen der Entwickler

Mehr

Virtual Elastic Services

Virtual Elastic Services Überblick Inhalt dieses Vortrages Virtualisierung Seminar zum Schwerpunkt Systemtechnik von 10. März 2007 Überblick Inhalt dieses Vortrages Virtualisierung.: Überblick :. Ausblick auf Virtualisierungskonzepte

Mehr

ServiceGlobe: Flexible and Reliable Web Service Execution

ServiceGlobe: Flexible and Reliable Web Service Execution ServiceGlobe: Flexible and Reliable Web Service Execution Markus Keidl, Stefan Seltzsam und Alfons Kemper Universität Passau Fakultät für Mathematik und Informatik 94030 Passau @db.fmi.uni-passau.de

Mehr

MapReduce: Simplified Data Processing on Large Clusters

MapReduce: Simplified Data Processing on Large Clusters MapReduce: Simplified Data Processing on Large Clusters Hardware-Software-Co-Design Universität Erlangen-Nürnberg Tobias.Schwarzer@e-technik.stud.uni-erlangen.de Michael.Theil@mathe.stud.uni-erlangen.de

Mehr

DduP - Towards a Deduplication Framework utilising Apache Spark

DduP - Towards a Deduplication Framework utilising Apache Spark - Towards a Deduplication Framework utilising Apache Spark utilising Apache Spark Universität Hamburg, Fachbereich Informatik Gliederung 1 Duplikaterkennung 2 Apache Spark 3 - Interactive Big Data Deduplication

Mehr

PROFI UND NUTANIX. Portfolioerweiterung im Software Defined Data Center

PROFI UND NUTANIX. Portfolioerweiterung im Software Defined Data Center PROFI UND NUTANIX Portfolioerweiterung im Software Defined Data Center IDC geht davon aus, dass Software-basierter Speicher letztendlich eine wichtige Rolle in jedem Data Center spielen wird entweder als

Mehr

Apache Lucene. Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org

Apache Lucene. Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org Apache Lucene Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org 1 Apache Apache Software Foundation Software free of charge Apache Software

Mehr

Das SCAPE Projekt: Langzeitarchivierung und Skalierbarkeit Teil 2: Anwendungsfälle an der Nationalbibliothek

Das SCAPE Projekt: Langzeitarchivierung und Skalierbarkeit Teil 2: Anwendungsfälle an der Nationalbibliothek Das SCAPE Projekt: Langzeitarchivierung und Skalierbarkeit Teil 2: Anwendungsfälle an der Nationalbibliothek Dr. Sven Schlarb Österreichische Nationalbibliothek SCAPE ½ Informationstag 05. Mai 2014, Österreichische

Mehr

INDEX. Netzwerk Überblick. Benötigte Komponenten für: Windows Server 2008. Windows Server 2008 R2. Windows Server 2012

INDEX. Netzwerk Überblick. Benötigte Komponenten für: Windows Server 2008. Windows Server 2008 R2. Windows Server 2012 INDEX Netzwerk Überblick Benötigte Komponenten für: Windows Server 2008 Windows Server 2008 R2 Windows Server 2012 Windows SQL Server 2008 (32 Bit & 64 Bit) Windows SQL Server 2012 Client Voraussetzungen

Mehr

Parallelisierung von NIDS

Parallelisierung von NIDS Brandenburgische Technische Universität Cottbus Lehrstuhl Rechnernetze und Kommunikationssysteme Parallelisierung von NIDS René Rietz E-Mail: rrietz@informatik.tu-cottbus.de Inhalt I Motivation II Ansätze

Mehr

Cloud-Computing. 1. Definition 2. Was bietet Cloud-Computing. 3. Technische Lösungen. 4. Kritik an der Cloud. 2.1 Industrie 2.

Cloud-Computing. 1. Definition 2. Was bietet Cloud-Computing. 3. Technische Lösungen. 4. Kritik an der Cloud. 2.1 Industrie 2. Cloud Computing Frank Hallas und Alexander Butiu Universität Erlangen Nürnberg, Lehrstuhl für Hardware/Software CoDesign Multicorearchitectures and Programming Seminar, Sommersemester 2013 1. Definition

Mehr

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse Carsten Czarski Oracle Deutschland B.V. & Co KG Big Data Betrachten von Daten die bislang nicht betrachtet wurden

Mehr

!"#$"%&'()*$+()',!-+.'/',

!#$%&'()*$+()',!-+.'/', Soziotechnische Informationssysteme 5. Facebook, Google+ u.ä. Inhalte Historisches Relevanz Relevante Technologien Anwendungsarchitekturen 4(5,12316,7'.'0,!.80/6,9*$:'0+$.;.,&0$'0, 3, Historisches Facebook

Mehr

High Performance Computing Cluster-Lösung mit MOSIX im Einsatz bei VA-TECH HYDRO

High Performance Computing Cluster-Lösung mit MOSIX im Einsatz bei VA-TECH HYDRO High Performance Computing Cluster-Lösung mit MOSIX im Einsatz bei VA-TECH HYDRO Anastasios Stomas SFI Technology Services AG 12. März 2003 anastasios.stomas@sfi.ch Seite 1 Hintergrund INHALT Cluster-

Mehr

Mesh-Visualisierung. Von Matthias Kostka. Visualisierung großer Datensätze

Mesh-Visualisierung. Von Matthias Kostka. Visualisierung großer Datensätze Mesh-Visualisierung Von Matthias Kostka Übersicht Einführung Streaming Meshes Quick-VDR Rendering virtueller Umgebung Rendering mit PC-Clustern Zusammenfassung 2 Mesh Untereinander verbundene Punkte bilden

Mehr

Persönlichkeiten bei bluehands

Persönlichkeiten bei bluehands Persönlichkeiten bei Technologien bei Skalierbare Anwendungen mit Windows Azure GmbH & co.mmunication KG am@.de; posts..de/am 1 2 3 4 5 6 7 8 9 Immer mehr Mehr Performance Mehr Menge Mehr Verfügbarkeit

Mehr

Veriton M. Mit Skalierbarkeit für die Zukunft gewappnet. Eingebaute Kontrolle. Nur das Beste für Sie und die Umwelt

Veriton M. Mit Skalierbarkeit für die Zukunft gewappnet. Eingebaute Kontrolle. Nur das Beste für Sie und die Umwelt Veriton M Die Desktop-Computer der Serie Veriton M sind vollgepackt mit hochwertigen Komponenten und Spitzentechnologie. Damit bieten sie Ihnen die richtigen Ressourcen für anspruchsvolle Büro-Tasks und

Mehr

Oracle Big Data Technologien Ein Überblick

Oracle Big Data Technologien Ein Überblick Oracle Big Data Technologien Ein Überblick Ralf Lange Global ISV & OEM Sales NoSQL: Eine kurze Geschichte Internet-Boom: Erste Ansätze selbstgebauter "Datenbanken" Google stellt "MapReduce"

Mehr

Menge Leistung* Preis mtl.* Preis Setup* Dedicated Server Bronze

Menge Leistung* Preis mtl.* Preis Setup* Dedicated Server Bronze Unternehmen Ansprechpartner Strasse Ort und PLZ Telefon/Telefax Umsatz-ID Kunden-Nr. email-adresse (für allgemeines) email-adresse (für Rechnungen) Bestellung Dedicated Server Menge Leistung* Preis mtl.*

Mehr

Der Nutzen und die Entscheidung für die private Cloud. Martin Constam Rechenpower in der Private Cloud 12. Mai 2014

Der Nutzen und die Entscheidung für die private Cloud. Martin Constam Rechenpower in der Private Cloud 12. Mai 2014 Der Nutzen und die Entscheidung für die private Cloud Martin Constam Rechenpower in der Private Cloud 12. Mai 2014 1 Übersicht - Wer sind wir? - Was sind unsere Aufgaben? - Hosting - Anforderungen - Entscheidung

Mehr

Big Data Anwendungen Chancen und Risiken

Big Data Anwendungen Chancen und Risiken Big Data Anwendungen Chancen und Risiken Dr. Kurt Stockinger Studienleiter Data Science, Dozent für Informatik Zürcher Hochschule für Angewandte Wissenschaften Big Data Workshop Squeezing more out of Data

Mehr

Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim

Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim Tobias Neef Cloud-Computing Seminar Hochschule Mannheim WS0910 1/23 Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim Tobias Neef Fakultät für Informatik Hochschule Mannheim tobnee@gmail.com

Mehr

June 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration

June 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration June 2015 Automic Hadoop Agent Data Automation - Hadoop Integration + Aufbau der Hadoop Anbindung + Was ist eigentlich ist MapReduce? + Welches sind die Stärken von Hadoop + Welches sind die Schwächen

Mehr

Hadoop in a Nutshell Einführung HDFS und MapReduce. Oracle/metafinanz Roadshow Februar 2014

Hadoop in a Nutshell Einführung HDFS und MapReduce. Oracle/metafinanz Roadshow Februar 2014 Hadoop in a Nutshell Einführung HDFS und MapReduce Oracle/metafinanz Roadshow Februar 2014 Head of Data Warehousing DWH Principal Consultant DWH Senior Consultant Wir fokussieren mit unseren Services die

Mehr

Grundlagen der Parallelisierung

Grundlagen der Parallelisierung Grundlagen der Parallelisierung Philipp Kegel, Sergei Gorlatch AG Parallele und Verteilte Systeme Institut für Informatik Westfälische Wilhelms-Universität Münster 3. Juli 2009 Inhaltsverzeichnis 1 Einführung

Mehr

Dateisysteme und Datenverwaltung in der Cloud

Dateisysteme und Datenverwaltung in der Cloud Dateisysteme und Datenverwaltung in der Cloud Sebastian Fischer Master-Seminar Cloud Computing - WS 2013/14 Institut für Telematik, Universität zu Lübeck Dateisysteme und Datenverwaltung in der Cloud 1

Mehr

BIG UNIVERSITÄTSRECHENZENTRUM

BIG UNIVERSITÄTSRECHENZENTRUM UNIVERSITÄTS RECHENZENTRUM LEIPZIG BIG DATA @ UNIVERSITÄTSRECHENZENTRUM Forschung und Entwicklung Entwicklung eines E-Science-Angebots für die Forschenden an der Universität Leipzig Stefan Kühne Axel Ngonga

Mehr

Speichermanagement auf Basis von Festplatten und optischer Jukebox

Speichermanagement auf Basis von Festplatten und optischer Jukebox Speichermanagement auf Basis von Festplatten und optischer Jukebox Horst Schellong DISC GmbH hschellong@disc-gmbh.com Company Profile Hersteller von optischen Libraries und Speichersystemen Gegründet 1994

Mehr

Frederik Wagner Leibniz-Rechenzentrum der Bayerischen Akademie der Wissenschaften

Frederik Wagner Leibniz-Rechenzentrum der Bayerischen Akademie der Wissenschaften Erfahrungen mit Single-Namespace NFS im HPC-Umfeld Frederik Wagner Leibniz-Rechenzentrum der Bayerischen Akademie der Wissenschaften Das Linux-Cluster am LRZ 2 Speichersysteme am Linux-Cluster Homeverzeichnisse

Mehr

SiriusDataCS Installationsanleitung. SiriusDataCS Installation. 11.11.2013 Seite 1 / 12

SiriusDataCS Installationsanleitung. SiriusDataCS Installation. 11.11.2013 Seite 1 / 12 SiriusDataCS Installation 11.11.2013 Seite 1 / 12 Inhalt I. INSTALLATIONSSZENARIEN... 3 II. SYSTEMVORAUSETZUNGEN... 4 1. INSTALLATION MICROSOFT SQL DATENBANK... 5 1.1. ANDERE VERSIONEN DES MICROSOFT SQL

Mehr

Partitionieren und Formatieren

Partitionieren und Formatieren Partitionieren und Formatieren Auf eine Festplatte werden Partitionen angelegt, damit Daten an verschiedenen (relativ) unabhängigen Orten gespeichert werden können oder dass mehrere unabhängige Betriebssysteme

Mehr

Systemanforderungen ab Version 5.31

Systemanforderungen ab Version 5.31 Systemanforderungen ab Version 5.31 Auszug aus BüroWARE Erste Schritte Version 5.4 Generelle Anforderungen SoftENGINE BüroWARE SQL / Pervasive Das Programm kann sowohl auf 32 Bit- als auch auf 64 Bit-en

Mehr

Projektpraktikum: Verteilte Datenverarbeitung mit MapReduce

Projektpraktikum: Verteilte Datenverarbeitung mit MapReduce Projektpraktikum: Verteilte Datenverarbeitung mit MapReduce Timo Bingmann, Peter Sanders und Sebastian Schlag 21. Oktober 2014 @ PdF Vorstellung INSTITUTE OF THEORETICAL INFORMATICS ALGORITHMICS KIT Universität

Mehr

Verteilte Systeme. Map Reduce. Secure Identity Research Group

Verteilte Systeme. Map Reduce. Secure Identity Research Group Verteilte Systeme Map Reduce Map Reduce Problem: Ein Rechen-Job (meist Datenanalyse/Data-Mining) soll auf einer riesigen Datenmenge ausgeführt werden. Teile der Aufgabe sind parallelisierbar, aber das

Mehr

Betriebssysteme K_Kap11B: Files, Filesysteme Datenstrukturen

Betriebssysteme K_Kap11B: Files, Filesysteme Datenstrukturen Betriebssysteme K_Kap11B: Files, Filesysteme Datenstrukturen 1 Files als lineare Liste File angeordnet als verkette Liste von Blöcken Jeder Block enthält Zeiger zum Nachfolger Zeiger = Adresse des Blocks

Mehr

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221 Oracle 10g und SQL Server 2005 ein Vergleich Thomas Wächtler 39221 Inhalt 1. Einführung 2. Architektur SQL Server 2005 1. SQLOS 2. Relational Engine 3. Protocol Layer 3. Services 1. Replication 2. Reporting

Mehr

MapReduce-Konzept. Thomas Findling, Thomas König

MapReduce-Konzept. Thomas Findling, Thomas König MapReduce - Konzept 1 Inhalt 1. Motivation 2. Einführung MapReduce Google Rechenzentren Vergleich MapReduce und Relationale DBS 3. Hadoop Funktionsweise Input / Output Fehlerbehandlung 4. Praxis-Beispiel

Mehr

1 Proseminar: Konzepte von Betriebssystem-Komponenten. Thema: Server OS AS/400 Referend: Sand Rainer. Server OS - AS/400

1 Proseminar: Konzepte von Betriebssystem-Komponenten. Thema: Server OS AS/400 Referend: Sand Rainer. Server OS - AS/400 1 Proseminar: Konzepte von Betriebssystem-Komponenten Server OS - AS/400 Gliederung Was ist eine AS/400? Wie ist OS/400 aufgebaut? Was kann eine AS/400? Bsp.: Logische Partitionierung 2 Proseminar: Konzepte

Mehr

Apache Hadoop. Distribute your data and your application. Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.

Apache Hadoop. Distribute your data and your application. Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache. Apache Hadoop Distribute your data and your application Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org Apache The Apache Software Foundation Community und

Mehr

Intern: Ceph Kurzeinführung in die verteile Storage-Lösung

Intern: Ceph Kurzeinführung in die verteile Storage-Lösung Intern: Ceph Kurzeinführung in die verteile Storage-Lösung Dominik Vallendor 29.05.2017 Tralios IT GmbH www.tralios.de Motivation Lokale Speicher sind unflexibel, selbst mit Redundanzlösungen (bsp. DRBD)

Mehr

SSDs als Cache für HDDs

SSDs als Cache für HDDs SSDs als Cache für HDDs CacheCade vs. BCache Dirk Geschke Linux User Group Erding 23. Oktober 2013 Dirk Geschke (LUG-Erding) SSD-Cache 23. Oktober 2013 1 / 71 Gliederung 1 Einleitunng 2 HDD Hard-Disk-Drive

Mehr

Darf's 30% schneller sein? Sandy Bridge kann's!

Darf's 30% schneller sein? Sandy Bridge kann's! Die mit dem besseren Service! Sehr geehrter Kunde! Brandheiß, Intel launcht heute die neuesten Server CPUs der Sandy Bridge Generation. First to Market: Jetzt bei Novarion & Supermicro schon verfügbar,

Mehr

Cloud Data Management

Cloud Data Management Cloud Data Management Kapitel 6: Optimierungs- Dr. Anika Groß Sommersemester 2015 techniken für MapReduce Universität Leipzig Institut für Informatik http://dbs.uni-leipzig.de Optimierungstechniken (MR-Job-Parametrisierung)

Mehr

Konfiguration Management System. Konfiguration Management System. Versionierung Parallele Entwicklung Workspace

Konfiguration Management System. Konfiguration Management System. Versionierung Parallele Entwicklung Workspace Konfiguration System ClearCase ClearQuest Unified Change Konfiguration System ClearCase Merkmale eines Konfiguration Systems (KM) Buildoptimierung UCM-Unified Change Der Software-sprozess Projekt definiert

Mehr

Thema: Das MapReduce-Framework

Thema: Das MapReduce-Framework Software as a Service Cloud Computing und aktuelle Entwicklungen Seminararbeit Thema: Das MapReduce-Framework Betreuer: Prof. Dr. Klaus Küspert Dipl.-Inf. Andreas Göbel Nicky Kuhnt Friedrich-Schiller-Universität

Mehr

Think Big. Skalierbare Anwendungen mit Azure. Aydin Mir Mohammadi Bluehands GmbH & co.mmunication KG

Think Big. Skalierbare Anwendungen mit Azure. Aydin Mir Mohammadi Bluehands GmbH & co.mmunication KG Skalierbare Anwendungen mit Azure Bluehands GmbH & co.mmunication KG 1 2 3 4 5 6 7 8 9 Immer mehr Mehr Performance Mehr Menge Mehr Verfügbarkeit Skalierung http://www.flickr.com/photos/39901968@n04/4864698533/

Mehr

Dezentrale Datenproduktion und -analyse bei DØ

Dezentrale Datenproduktion und -analyse bei DØ Dezentrale Datenproduktion und -analyse bei DØ Thomas Nunnemann LMU München nunne@fnal.gov DPG Mainz 31.3.04 Computing: Aufgaben/Anforderungen Datenaustausch verteilter Datenbankzugriff Prozessierung von

Mehr

BICsuite!focus Parallelisierung von Prozessen mit der BICsuite Dynamic Submit Funktion

BICsuite!focus Parallelisierung von Prozessen mit der BICsuite Dynamic Submit Funktion independit Integrative Technologies GmbH Bergstraße 6 D 86529 Schrobenhausen BICsuite!focus Parallelisierung von Prozessen mit der BICsuite Dynamic Submit Funktion Dieter Stubler Ronald Jeninga July 30,

Mehr

Systemvoraussetzungen:

Systemvoraussetzungen: Systemvoraussetzungen: DOMUS NAVI für DOMUS 4000 Stand 09/2017 Benötigen Sie Unterstützung* oder haben essentielle Fragen? Kundensupport Tel.: +49 [0] 89 66086-230 Fax: +49 [0] 89 66086-235 E-Mail: domusnavi@domus-software.de

Mehr

Betriebssysteme K_Kap11C: Diskquota, Raid

Betriebssysteme K_Kap11C: Diskquota, Raid Betriebssysteme K_Kap11C: Diskquota, Raid 1 Diskquota Mehrbenutzer-BS brauchen einen Mechanismus zur Einhaltung der Plattenkontingente (disk quotas) Quota-Tabelle enthält Kontingenteinträge aller Benutzer

Mehr

Map Reduce on Hadoop Seminar SS09. Similarity Join. Tim Felgentreff, Andrina Mascher

Map Reduce on Hadoop Seminar SS09. Similarity Join. Tim Felgentreff, Andrina Mascher Map Reduce on Hadoop Seminar SS09 Similarity Join Tim Felgentreff, Andrina Mascher Gliederung 2!! Aufgabe!! Demo!! Algorithmus!! Performance!! Veränderte Aufgabenstellung:!! Vergleich mit 1 Seite!! Ausblick!!

Mehr

Universität Karlsruhe (TH)

Universität Karlsruhe (TH) Universität Karlsruhe (TH) Forschungsuniversität gegründet 1825 Software Engineering für moderne, parallele Plattformen 10. MapReduce Dr. Victor Pankratius Agenda Motivation Der MapReduce-Ansatz Map- und

Mehr

Newsletter I / 2015. Professional Communication INS GmbH. Hubert-Wienen-Str. 24 52070 Aachen. Tel: 0241-1698800. Fax: 0241-1698818

Newsletter I / 2015. Professional Communication INS GmbH. Hubert-Wienen-Str. 24 52070 Aachen. Tel: 0241-1698800. Fax: 0241-1698818 Newsletter I / 2015 Hubert-Wienen-Str. 24 52070 Aachen Tel: 0241-1698800 Fax: 0241-1698818 E-Mail: vertrieb@pc-ins.de Professional Communication INS GmbH Support-Ende Windows Server 2003 Windows Server

Mehr

Diplomarbeit: Open Source Rapid Web Development Frameworks - Eine Untersuchung der Skalierungsstrategien

Diplomarbeit: Open Source Rapid Web Development Frameworks - Eine Untersuchung der Skalierungsstrategien Diplomarbeit: Open Source Rapid Web Development Frameworks - Eine Untersuchung der Skalierungsstrategien Ergebnispräsentation Kolloquium Ralf Geschke FOM Köln 27.04.2009 Gliederung Einleitung Vorgehensweise

Mehr

Systemvoraussetzungen:

Systemvoraussetzungen: Systemvoraussetzungen: DOMUS NAVI für DOMUS 1000 Stand 09/2017 Benötigen Sie Unterstützung* oder haben essentielle Fragen? Kundenbetreuung Tel.: +49 [0] 89 66086-230 Fax: +49 [0] 89 66086-235 E-Mail: domusnavi@domus-software.de

Mehr

Ausarbeitung AW2 SS2012. Jan-Christoph Meier Data Mining in der Cloud

Ausarbeitung AW2 SS2012. Jan-Christoph Meier Data Mining in der Cloud Ausarbeitung AW2 SS2012 Jan-Christoph Meier Data Mining in der Cloud Fakultät Technik und Informatik Department Informatik Faculty of Engineering and Computer Science Department of Computer Science Inhaltsverzeichnis

Mehr

Sozio- Technische Systeme

Sozio- Technische Systeme Soziotechnische Informationssysteme 7. Skalierbarkeit 2013 757 Millionen melden sich täglich an (12/2013) 802 DAUs laut FB (1 Quartal 2014) 1.23 Milliarden Nutzer im Monat (12/2013) 556 Millionen täglich

Mehr

Die wichtigsten Hadoop-Komponenten für Big Data mit SAS

Die wichtigsten Hadoop-Komponenten für Big Data mit SAS Webinar@Lunchtime Die wichtigsten Hadoop-Komponenten für Big Data mit SAS Herzlich Willkommen bei Webinar@Lunchtime Moderation Anne K. Bogner-Hamleh SAS Institute GmbH Education Consultant Xing-Profil:

Mehr

Fachpraktikum Erweiterbare Datenbanksysteme im WS 2015/16. Aufgabe 4 der Phase 2. Anfrageoptimierung für verteilte Datenbanken

Fachpraktikum Erweiterbare Datenbanksysteme im WS 2015/16. Aufgabe 4 der Phase 2. Anfrageoptimierung für verteilte Datenbanken Fachpraktiku Erweiterbare Datenbanksystee i WS 2015/16 Aufgabe 4 der Phase 2 Anfrageoptiierung für verteilte Datenbanken auf Basis der Distributed Algebra Ralf Hartut Güting, Thoas Behr, Fabio Valdés,

Mehr

Lehrveranstaltung Speichersysteme Sommersemester 2009. Kapitel 13: Parallele Dateisysteme. André Brinkmann

Lehrveranstaltung Speichersysteme Sommersemester 2009. Kapitel 13: Parallele Dateisysteme. André Brinkmann Lehrveranstaltung Speichersysteme Sommersemester 2009 Kapitel 13: Parallele Dateisysteme André Brinkmann Gliederung Parallele und Cluster Dateisysteme SemanFk der gemeinsamen Nutzung von Dateien Pufferung

Mehr

on Azure mit HDInsight & Script Ac2ons

on Azure mit HDInsight & Script Ac2ons Willkommen beim #GAB 2015! on Azure mit HDInsight & Script Ac2ons Lokale Sponsoren: HansPeter Grahsl Netconomy Entwickler & Berater FH CAMPUS 02 Twi9er: @hpgrahsl Überblick Inhalte Was ist HDInsight? Wozu

Mehr

Intel Macs. Meine Erfahrungen mit dem MacBook Pro. Vortrag von Matthias Stucki

Intel Macs. Meine Erfahrungen mit dem MacBook Pro. Vortrag von Matthias Stucki Intel Macs Meine Erfahrungen mit dem MacBook Pro Vortrag von Matthias Stucki 13. August 2006 1 Übersicht Intel-Macs Software (PPC / Universal Binary) Windows auf Mac (Boot Camp vs. Parallels) Intel-Mac-Modelle

Mehr

Multicast Backbone in the Cloud. Sebastian Zagaria Prof. Dr. Thomas C. Schmidt

Multicast Backbone in the Cloud. Sebastian Zagaria Prof. Dr. Thomas C. Schmidt Multicast Backbone in the Cloud Sebastian Zagaria Prof. Dr. Thomas C. Schmidt Gliederung Motivation HAMcast Project Cloud Computing Multicast Backbone in the Cloud Ausblick Motivation Probleme von IP Multicast

Mehr

Systemanforderungen für MSI-Reifen Release 7

Systemanforderungen für MSI-Reifen Release 7 Systemvoraussetzung [Server] Microsoft Windows Server 2000/2003/2008* 32/64 Bit (*nicht Windows Web Server 2008) oder Microsoft Windows Small Business Server 2003/2008 Standard od. Premium (bis 75 User/Geräte)

Mehr

Michael Flachsel. Das SAN an der TUB. Aufbau und Funktion. 15. November 2007

Michael Flachsel. Das SAN an der TUB. Aufbau und Funktion. 15. November 2007 Michael Flachsel Das SAN an der TUB Aufbau und Funktion 15. November 2007 Struktur Produktion Backup 2 (c) 2007 Michael Flachsel TUB-SAN" Hardware 3 (c) 2007 Michael Flachsel TUB-SAN" Komponenten 8x IBM

Mehr

Performance-Vergleich zwischen dem Open-E NAS Enterprise Server und dem Microsoft Windows Storage Server 2003

Performance-Vergleich zwischen dem Open-E NAS Enterprise Server und dem Microsoft Windows Storage Server 2003 Performance-Vergleich zwischen dem Open-E NAS Enterprise Server und dem Microsoft Windows Storage Server 2003 In diesem Whitepaper werden zwei wichtige NAS Betriebssysteme gegenübergestellt und auf ihre

Mehr

Systemvoraussetzungen

Systemvoraussetzungen Systemvoraussetzungen INDEX Netzwerk Überblick Benötigte n für: Windows Server 2008 Windows Server 2008 R2 Windows Server 2012 Windows SQL Server 2008 (32 Bit & 64 Bit) Windows SQL Server 2012 Client Voraussetzungen

Mehr

Virtuelle Präsenz. Peer to Peer Netze. Bertolt Schmidt

Virtuelle Präsenz. Peer to Peer Netze. Bertolt Schmidt Virtuelle Präsenz Peer to Peer Netze Bertolt Schmidt Übersicht Einleitung Begriffserklärung; Unterschied zu Client/Server Benötigte Infrastruktur Unterscheidung Pure Hybrid P-2-P Klassifizierung Probleme

Mehr

MicroPress "X-Series"

MicroPress X-Series MicroPress "X-Series" MicroPress von EFI ist eine mächtige Kombination aus Software und Controller für Hochleistungs-Drucken und Farbdruckumgebungen. MicroPress Software und Server sind perfekte Lösungen

Mehr

Nutzung der Scientific Computing Cluster. Lars-Peter Meyer

Nutzung der Scientific Computing Cluster. Lars-Peter Meyer Nutzung der Scientific Computing Cluster Lars-Peter Meyer Cluster Hardware Galaxy (shared nothing) 90 Worker mit jeweils 2 Cores (2x6 Cores, Intel Haswell E5 2620v3 @2,4 GHz) 28 GByte DDR4 ECC RAM RAM

Mehr

Investigation on Influence by OS and Hardware Configuration at the Test of Endurance for SSD

Investigation on Influence by OS and Hardware Configuration at the Test of Endurance for SSD Investigation on Influence by OS and Hardware Configuration at the Test of Endurance for SSD Michael Lehmann [s6373652@inf.tu-dresden.de] 13. November 2008 Gliederung Motivation und Ziele der Diplomarbeit

Mehr

EHCache und Terracotta. Jochen Wiedmann, Software AG

EHCache und Terracotta. Jochen Wiedmann, Software AG EH und Terracotta Jochen Wiedmann, Software AG Autor Perl-Contributor DBD::mySQL 2, DBI::Proxy, DBI::Shell, DBD::CSV, Net::Daemon, RPC::Pl(Client Server) (Autor) DBI (Developer) ASF-Member (Apache Software

Mehr