Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE

Größe: px
Ab Seite anzeigen:

Download "Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE"

Transkript

1 Institut für Kartographie und Geoinformatik Leibniz Universität Hannover Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE Frank Thiemann, Thomas Globig

2 Motivation Generalisierung großer (Gebäude-)Datenbestände Hohe Laufzeit, viel Speicher Bei sehr großen Datensätzen Bedarf übersteigt evtl. Ressourcen einzelner Rechner Aufteilung in Teilaufgaben Partitionierung Räumlichen Kontext beachten Prozessierung Sequentiel Parallel (Hadoop) Komposition Konflikte behandeln Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 2

3 Übersicht Partitionierung und Komposition 2 Strategien Sequentielle Verarbeitung Laufzeittest Parallele Verarbeitung Hadoop Framework Umsetzung CHANGE Laufzeittest Zusammenfassung und Ausblick Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 3

4 Räumliche Partitionierungsstrategien Kacheln mit redundantem Rand Redundanzfreie Cluster Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 4

5 Räumliche Partitionierungsstrategieen Kacheln Generisch Einfache Hashingoperation Redundanz Konflikte an den Kachelgrenzen Cluster Unabhängige Einheiten Keine Redundanz Entweder Zusatzdaten erforderlich (z.b.: Straßen, Flüsse, ) oder Clustering (räumliche Operation) Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 5

6 Kacheln: Probleme Komposition durch Selektion Puffer > aggregierte Gebäude 500 m städtische Baublöcke 1 km Flughafengebäude 3 km Produktionshallen Begrenzte Kachelgröße Kleine Kacheln hohe Redundanz Reihenfolgeabhängigkeit Kompositionskonflikte Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 6

7 Partitionierung mittels Clustering (DBSCAN) Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 7

8 CHANGE: Laufzeit - Clustergröße Laufzeit in Sekunden Zeit Partitioniert Zeit je Partition Gebäudeanzahl Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 8

9 Laufzeitbeispiele Struktur Gebäude MB Geb/km² Im Ganzen In Part. Beschl. ALK Gemischt :00:38 - ALK Ländlich :00:31 - ALK Gemischt :00:49 0:00:46 108% ALK Stadt :01:02 0:00:58 108% ALK Stadt :06:32 0:03:38 180% USA Gemischt :29:51 0:07:34 394% USA Stadt :24:17 0:05:59 406% USA Stadt :37:12 0:10:02 371% USA Stadt :12:33 0:21: % Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 9

10 Parallele Verarbeitung mit Hadoop

11 Hadoop Open Source Framework für verteiltes Rechnen in Computer- Clustern Implementierung von Googles MapReduce und Google File System (HDFS) Vorteile: skalierbar, ausfallsicher Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 11

12 Hadoop: Arbeitsweise (k1,v1) List (k2,v2) (k2, List v2) Lists (k3,v3) Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 12

13 CHANGE Parallelisierung mit Hadoop Eingabe: Partitionen (Dateien < 64 MB) HDFS Verteilt Partitionen Job-Tracker Erzeugt ein Map Task je Partition Prozesskontrolle (größte Datenpakete zuerst) Map-Task Lädt die Daten ins lokale Dateisystem Startet CHANGE Kopiert die Ergebnisse ins HDFS Ausgabe: generalisierten Partitionen Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 13

14 Cluster am ikg Komponente Beschreibung 1 Master Intel Xeon 4 2,0 GHz, 6 GB RAM, 2 TB RAID 4 Worker Intel Xeon 4 3,4 GHz, 16 GB RAM, 3 1 TB HDD 1 GB switch 24 port, managed, dynamic link aggregation 12 parallele Tasks Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 14

15 Laufzeittest Chicago (134 MB, Gebäude) Partitionierungsstrategie Generalisierung Laufzeit Partitionierung Komposition Σ Without 92:56 min 92:56 min Cluster 31 s sequ. 7:37 min (8%) 8:11 min (9%) 3 s paral. 2:03 min (2%) 2:37 min (3%) Geschwindigkeitssteigerung nur um Faktur 4 statt 12 Rest geht für Overhead drauf. Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 15

16 Zusammenfassung Nutzung der enthaltenden Unterbrechungen im Datensatz Clustering in linearer Laufzeit generierbar Keine Redundanz Keine Wiedersprüche Hadoop MapReduce kann nicht ohne weiteres mit räumlichen Kontext umgehen Effiziente Verteilung und Parallelisierung Skalierbar, ausfallsicher Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 16

17 Ausblick Implementierung als Batch-Skript verfügbar Aufteilung in gleichgroße Partitionen von etwa Gebäuden Generalisierung Komposition der Partitionen Geplant: Einbettung in die 3A-Editor-Schnittstelle Partitionierung und sequentielle Verarbeitung im Hintergrund Keine Umstellung auf Benutzerseite Generalisierung von großen Datenbeständen AGA Frankfurt 2013 Frank Thiemann 17

Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen

Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen Brownbag am Freitag, den 26.07.2013 Daniel Bäurer inovex GmbH Systems Engineer Wir nutzen Technologien, um unsere Kunden glücklich zu machen. Und

Mehr

Neue Ansätze der Softwarequalitätssicherung

Neue Ansätze der Softwarequalitätssicherung Neue Ansätze der Softwarequalitätssicherung Googles MapReduce-Framework für verteilte Berechnungen am Beispiel von Apache Hadoop Universität Paderborn Fakultät für Elektrotechnik, Informatik und Mathematik

Mehr

Peter Dikant mgm technology partners GmbH. Echtzeitsuche mit Hadoop und Solr

Peter Dikant mgm technology partners GmbH. Echtzeitsuche mit Hadoop und Solr Peter Dikant mgm technology partners GmbH Echtzeitsuche mit Hadoop und Solr ECHTZEITSUCHE MIT HADOOP UND SOLR PETER DIKANT MGM TECHNOLOGY PARTNERS GMBH WHOAMI peter.dikant@mgm-tp.com Java Entwickler seit

Mehr

Data Mining und Machine Learning

Data Mining und Machine Learning Data Mining und Machine Learning Teil 7: Verteiltes Rechnen mit Map Reduce Dr. Harald König, FHDW Hannover 30. November 2015 Inhalt 1 Verteiltes Rechnen 2 Map Reduce 3 Anwendungen 4 Map Reduce: Weiterführende

Mehr

MapReduce. Vereinfachte Datenverarbeitung in großen Rechnerverbünden. Igor Marijanovic 794894. Fachvortrag WAR 19.12.2012

MapReduce. Vereinfachte Datenverarbeitung in großen Rechnerverbünden. Igor Marijanovic 794894. Fachvortrag WAR 19.12.2012 MapReduce Vereinfachte Datenverarbeitung in großen Rechnerverbünden Igor Marijanovic 794894 Fachvortrag WAR 19.12.2012 Beuth Hochschule für Technik Berlin Inhalt Einleitung Hauptteil Abschluss MapReduce

Mehr

MapReduce in der Praxis

MapReduce in der Praxis MapReduce in der Praxis Rolf Daniel Seminar Multicore Programmierung 09.12.2010 1 / 53 Agenda Einleitung 1 Einleitung 2 3 Disco Hadoop BOOM 4 2 / 53 1 Einleitung 2 3 Disco Hadoop BOOM 4 3 / 53 Motivation

Mehr

MapReduce und Datenbanken Thema 15: Strom bzw. Onlineverarbeitung mit MapReduce

MapReduce und Datenbanken Thema 15: Strom bzw. Onlineverarbeitung mit MapReduce MapReduce Jan Kristof Nidzwetzki MapReduce 1 / 17 Übersicht 1 Begriffe 2 Verschiedene Arbeiten 3 Ziele 4 DEDUCE: at the intersection of MapReduce and stream processing Beispiel 5 Beyond online aggregation:

Mehr

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE Themen Big Data Buzz Word oder eine neue Dimension

Mehr

Big Data in der Forschung

Big Data in der Forschung Big Data in der Forschung Dominik Friedrich RWTH Aachen Rechen- und Kommunikationszentrum (RZ) Gartner Hype Cycle July 2011 Folie 2 Was ist Big Data? Was wird unter Big Data verstanden Datensätze, die

Mehr

Endorsed SI Anwenderbericht: Einsatz von System Platform 2012 R2 in virtualisierten Umgebungen zur Prozessvisualisierung

Endorsed SI Anwenderbericht: Einsatz von System Platform 2012 R2 in virtualisierten Umgebungen zur Prozessvisualisierung Endorsed SI Anwenderbericht: Einsatz von System Platform 2012 R2 in virtualisierten Umgebungen zur Prozessvisualisierung Fritz Günther 17.03.2014 Folie 1 Agenda Was ist Virtualisierung Server- / Clientvirtualisierung

Mehr

Spark, Impala und Hadoop in der Kreditrisikoberechnung

Spark, Impala und Hadoop in der Kreditrisikoberechnung Spark, Impala und Hadoop in der Kreditrisikoberechnung Big Data In-Memory-Technologien für mittelgroße Datenmengen TDWI München, 22. Juni 2015 Joschka Kupilas, Data Scientist, Adastra GmbH 2 Inhalt Vorwort

Mehr

Einführung in Hadoop

Einführung in Hadoop Einführung in Hadoop Inhalt / Lern-Ziele Übersicht: Basis-Architektur von Hadoop Einführung in HDFS Einführung in MapReduce Ausblick: Hadoop Ökosystem Optimierungen Versionen 10.02.2012 Prof. Dr. Christian

Mehr

Hadoop. Simon Prewo. Simon Prewo

Hadoop. Simon Prewo. Simon Prewo Hadoop Simon Prewo Simon Prewo 1 Warum Hadoop? SQL: DB2, Oracle Hadoop? Innerhalb der letzten zwei Jahre hat sich die Datenmenge ca. verzehnfacht Die Klassiker wie DB2, Oracle usw. sind anders konzeptioniert

Mehr

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2 Seminar Cloud Data Management WS09/10 Tabelle1 Tabelle2 1 Einführung DBMS in der Cloud Vergleich verschiedener DBMS Beispiele Microsoft Azure Amazon RDS Amazon EC2 Relational Databases AMIs Was gibt es

Mehr

Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht)

Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht) Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht) Christian Haag, DATA MART Consulting Consulting Manager Oracle DWH Team

Mehr

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes Hadoop Eine Open-Source-Implementierung von MapReduce und BigTable von Philipp Kemkes Hadoop Framework für skalierbare, verteilt arbeitende Software Zur Verarbeitung großer Datenmengen (Terra- bis Petabyte)

Mehr

MATCHING VON PRODUKTDATEN IN DER CLOUD

MATCHING VON PRODUKTDATEN IN DER CLOUD MATCHING VON PRODUKTDATEN IN DER CLOUD Dr. Andreas Thor Universität Leipzig 15.12.2011 Web Data Integration Workshop 2011 Cloud Computing 2 Cloud computing is using the internet to access someone else's

Mehr

Big Data. Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover

Big Data. Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover Big Data Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover Agenda Was ist Big Data? Parallele Programmierung Map/Reduce Der Big Data Zoo 2 3Vs oder: Was ist Big Data? Deutsche Telekom:

Mehr

Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien

Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien Wir unternehmen IT. Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien Karlsruhe, 30.09.2015 $id thgreiner Thorsten Greiner Teamleiter Software Development ConSol* Software GmbH, Düsseldorf

Mehr

SEMT. Prof. G. Bengel. Searching as a Service (Programming Model: MapReduce)

SEMT. Prof. G. Bengel. Searching as a Service (Programming Model: MapReduce) Hochschule Mannheim Fakultät für Informatik SEMT Prof. G. Bengel Sommersemester 2009 Semester 8I Searching as a Service (Programming Model: MapReduce) Michel Schmitt (520361) 1.06.2009 Inhalt 1. Einführung...

Mehr

Hadoop aus IT-Operations Sicht Teil 2 Hardware- und Netzwerk-Grundlagen

Hadoop aus IT-Operations Sicht Teil 2 Hardware- und Netzwerk-Grundlagen Hadoop aus IT-Operations Sicht Teil 2 Hardware- und Netzwerk-Grundlagen Brownbag am Freitag, den 09.08.2013 Daniel Bäurer inovex GmbH Systems Engineer Wir nutzen Technologien, um unsere Kunden glücklich

Mehr

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar!

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar! Clouds Wolkig bis Heiter Erwartungen der Nutzer Er ist verwöhnt! Verfügbarkeit Viele Anwendungen Intuitive Interfaces Hohe Leistung Er ist nicht dankbar! Mehr! Mehr! Mehr! Moore 1 Erwartungen der Entwickler

Mehr

GPU-basierte Beschleunigung von MapReduce am Beispiel von OpenCL und Hadoop

GPU-basierte Beschleunigung von MapReduce am Beispiel von OpenCL und Hadoop am Beispiel von OpenCL und Masterseminar Hochschule für Technik, Wirtschaft und Kultur Leipzig Leipzig, 02.11.2011 Gliederung 1 Grundlagen 2 3 Gliederung 1 Grundlagen 2 3 Was ist? Clustersystem zur verteilten

Mehr

Virtual Elastic Services

Virtual Elastic Services Überblick Inhalt dieses Vortrages Virtualisierung Seminar zum Schwerpunkt Systemtechnik von 10. März 2007 Überblick Inhalt dieses Vortrages Virtualisierung.: Überblick :. Ausblick auf Virtualisierungskonzepte

Mehr

Parallelisierung von NIDS

Parallelisierung von NIDS Brandenburgische Technische Universität Cottbus Lehrstuhl Rechnernetze und Kommunikationssysteme Parallelisierung von NIDS René Rietz E-Mail: rrietz@informatik.tu-cottbus.de Inhalt I Motivation II Ansätze

Mehr

ServiceGlobe: Flexible and Reliable Web Service Execution

ServiceGlobe: Flexible and Reliable Web Service Execution ServiceGlobe: Flexible and Reliable Web Service Execution Markus Keidl, Stefan Seltzsam und Alfons Kemper Universität Passau Fakultät für Mathematik und Informatik 94030 Passau @db.fmi.uni-passau.de

Mehr

PROFI UND NUTANIX. Portfolioerweiterung im Software Defined Data Center

PROFI UND NUTANIX. Portfolioerweiterung im Software Defined Data Center PROFI UND NUTANIX Portfolioerweiterung im Software Defined Data Center IDC geht davon aus, dass Software-basierter Speicher letztendlich eine wichtige Rolle in jedem Data Center spielen wird entweder als

Mehr

Inhaltsangabe zu den Systemvoraussetzungen:

Inhaltsangabe zu den Systemvoraussetzungen: Inhaltsangabe zu den Systemvoraussetzungen: Seite 2 bis 1.500 Wohneinheiten und bis 2 Seite 3 bis 1.500 Wohneinheiten und bis 5 Seite 4 bis 5.000 Wohneinheiten und mehr als 10 Seite 5 bis 15.000 Wohneinheiten

Mehr

Data Mining in der Cloud

Data Mining in der Cloud Data Mining in der Cloud von Jan-Christoph Meier Hamburg, 21.06.2012 1 Ablauf Einführung Verwandte Arbeiten Fazit / Ausblick Literatur 2 Ablauf Einführung Verwandte Arbeiten Fazit / Ausblick Literatur

Mehr

MapReduce. www.kit.edu. Johann Volz. IPD Snelting, Lehrstuhl Programmierparadigmen

MapReduce. www.kit.edu. Johann Volz. IPD Snelting, Lehrstuhl Programmierparadigmen MapReduce Johann Volz IPD Snelting, Lehrstuhl Programmierparadigmen KIT Universität des Landes Baden-Württemberg und nationales Großforschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Wozu MapReduce?

Mehr

!"#$"%&'()*$+()',!-+.'/',

!#$%&'()*$+()',!-+.'/', Soziotechnische Informationssysteme 5. Facebook, Google+ u.ä. Inhalte Historisches Relevanz Relevante Technologien Anwendungsarchitekturen 4(5,12316,7'.'0,!.80/6,9*$:'0+$.;.,&0$'0, 3, Historisches Facebook

Mehr

DduP - Towards a Deduplication Framework utilising Apache Spark

DduP - Towards a Deduplication Framework utilising Apache Spark - Towards a Deduplication Framework utilising Apache Spark utilising Apache Spark Universität Hamburg, Fachbereich Informatik Gliederung 1 Duplikaterkennung 2 Apache Spark 3 - Interactive Big Data Deduplication

Mehr

Dateisysteme und Datenverwaltung in der Cloud

Dateisysteme und Datenverwaltung in der Cloud Dateisysteme und Datenverwaltung in der Cloud Sebastian Fischer Master-Seminar Cloud Computing - WS 2013/14 Institut für Telematik, Universität zu Lübeck Dateisysteme und Datenverwaltung in der Cloud 1

Mehr

Persönlichkeiten bei bluehands

Persönlichkeiten bei bluehands Persönlichkeiten bei Technologien bei Skalierbare Anwendungen mit Windows Azure GmbH & co.mmunication KG am@.de; posts..de/am 1 2 3 4 5 6 7 8 9 Immer mehr Mehr Performance Mehr Menge Mehr Verfügbarkeit

Mehr

Das Labors für Informationslogistik an der FH Kufstein

Das Labors für Informationslogistik an der FH Kufstein international. mobile. multicultural Das Labors für Informationslogistik an der FH Kufstein "Flexible service- und prozessorientierte Informationssysteme Aachen, 13.-14. November 2008 Prof. (FH) Karsten

Mehr

Cloud-Computing. 1. Definition 2. Was bietet Cloud-Computing. 3. Technische Lösungen. 4. Kritik an der Cloud. 2.1 Industrie 2.

Cloud-Computing. 1. Definition 2. Was bietet Cloud-Computing. 3. Technische Lösungen. 4. Kritik an der Cloud. 2.1 Industrie 2. Cloud Computing Frank Hallas und Alexander Butiu Universität Erlangen Nürnberg, Lehrstuhl für Hardware/Software CoDesign Multicorearchitectures and Programming Seminar, Sommersemester 2013 1. Definition

Mehr

Mesh-Visualisierung. Von Matthias Kostka. Visualisierung großer Datensätze

Mesh-Visualisierung. Von Matthias Kostka. Visualisierung großer Datensätze Mesh-Visualisierung Von Matthias Kostka Übersicht Einführung Streaming Meshes Quick-VDR Rendering virtueller Umgebung Rendering mit PC-Clustern Zusammenfassung 2 Mesh Untereinander verbundene Punkte bilden

Mehr

INDEX. Netzwerk Überblick. Benötigte Komponenten für: Windows Server 2008. Windows Server 2008 R2. Windows Server 2012

INDEX. Netzwerk Überblick. Benötigte Komponenten für: Windows Server 2008. Windows Server 2008 R2. Windows Server 2012 INDEX Netzwerk Überblick Benötigte Komponenten für: Windows Server 2008 Windows Server 2008 R2 Windows Server 2012 Windows SQL Server 2008 (32 Bit & 64 Bit) Windows SQL Server 2012 Client Voraussetzungen

Mehr

Frederik Wagner Leibniz-Rechenzentrum der Bayerischen Akademie der Wissenschaften

Frederik Wagner Leibniz-Rechenzentrum der Bayerischen Akademie der Wissenschaften Erfahrungen mit Single-Namespace NFS im HPC-Umfeld Frederik Wagner Leibniz-Rechenzentrum der Bayerischen Akademie der Wissenschaften Das Linux-Cluster am LRZ 2 Speichersysteme am Linux-Cluster Homeverzeichnisse

Mehr

Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim

Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim Tobias Neef Cloud-Computing Seminar Hochschule Mannheim WS0910 1/23 Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim Tobias Neef Fakultät für Informatik Hochschule Mannheim tobnee@gmail.com

Mehr

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse Carsten Czarski Oracle Deutschland B.V. & Co KG Big Data Betrachten von Daten die bislang nicht betrachtet wurden

Mehr

Grundlagen der Parallelisierung

Grundlagen der Parallelisierung Grundlagen der Parallelisierung Philipp Kegel, Sergei Gorlatch AG Parallele und Verteilte Systeme Institut für Informatik Westfälische Wilhelms-Universität Münster 3. Juli 2009 Inhaltsverzeichnis 1 Einführung

Mehr

Dezentrale Datenproduktion und -analyse bei DØ

Dezentrale Datenproduktion und -analyse bei DØ Dezentrale Datenproduktion und -analyse bei DØ Thomas Nunnemann LMU München nunne@fnal.gov DPG Mainz 31.3.04 Computing: Aufgaben/Anforderungen Datenaustausch verteilter Datenbankzugriff Prozessierung von

Mehr

Hadoop in a Nutshell Einführung HDFS und MapReduce. Oracle/metafinanz Roadshow Februar 2014

Hadoop in a Nutshell Einführung HDFS und MapReduce. Oracle/metafinanz Roadshow Februar 2014 Hadoop in a Nutshell Einführung HDFS und MapReduce Oracle/metafinanz Roadshow Februar 2014 Head of Data Warehousing DWH Principal Consultant DWH Senior Consultant Wir fokussieren mit unseren Services die

Mehr

June 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration

June 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration June 2015 Automic Hadoop Agent Data Automation - Hadoop Integration + Aufbau der Hadoop Anbindung + Was ist eigentlich ist MapReduce? + Welches sind die Stärken von Hadoop + Welches sind die Schwächen

Mehr

Verteilte Systeme. Map Reduce. Secure Identity Research Group

Verteilte Systeme. Map Reduce. Secure Identity Research Group Verteilte Systeme Map Reduce Map Reduce Problem: Ein Rechen-Job (meist Datenanalyse/Data-Mining) soll auf einer riesigen Datenmenge ausgeführt werden. Teile der Aufgabe sind parallelisierbar, aber das

Mehr

High Performance Computing Cluster-Lösung mit MOSIX im Einsatz bei VA-TECH HYDRO

High Performance Computing Cluster-Lösung mit MOSIX im Einsatz bei VA-TECH HYDRO High Performance Computing Cluster-Lösung mit MOSIX im Einsatz bei VA-TECH HYDRO Anastasios Stomas SFI Technology Services AG 12. März 2003 anastasios.stomas@sfi.ch Seite 1 Hintergrund INHALT Cluster-

Mehr

Apache Lucene. Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org

Apache Lucene. Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org Apache Lucene Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org 1 Apache Apache Software Foundation Software free of charge Apache Software

Mehr

Oracle Big Data Technologien Ein Überblick

Oracle Big Data Technologien Ein Überblick Oracle Big Data Technologien Ein Überblick Ralf Lange Global ISV & OEM Sales NoSQL: Eine kurze Geschichte Internet-Boom: Erste Ansätze selbstgebauter "Datenbanken" Google stellt "MapReduce"

Mehr

SiriusDataCS Installationsanleitung. SiriusDataCS Installation. 11.11.2013 Seite 1 / 12

SiriusDataCS Installationsanleitung. SiriusDataCS Installation. 11.11.2013 Seite 1 / 12 SiriusDataCS Installation 11.11.2013 Seite 1 / 12 Inhalt I. INSTALLATIONSSZENARIEN... 3 II. SYSTEMVORAUSETZUNGEN... 4 1. INSTALLATION MICROSOFT SQL DATENBANK... 5 1.1. ANDERE VERSIONEN DES MICROSOFT SQL

Mehr

Projektpraktikum: Verteilte Datenverarbeitung mit MapReduce

Projektpraktikum: Verteilte Datenverarbeitung mit MapReduce Projektpraktikum: Verteilte Datenverarbeitung mit MapReduce Timo Bingmann, Peter Sanders und Sebastian Schlag 21. Oktober 2014 @ PdF Vorstellung INSTITUTE OF THEORETICAL INFORMATICS ALGORITHMICS KIT Universität

Mehr

MapReduce-Konzept. Thomas Findling, Thomas König

MapReduce-Konzept. Thomas Findling, Thomas König MapReduce - Konzept 1 Inhalt 1. Motivation 2. Einführung MapReduce Google Rechenzentren Vergleich MapReduce und Relationale DBS 3. Hadoop Funktionsweise Input / Output Fehlerbehandlung 4. Praxis-Beispiel

Mehr

Partitionieren und Formatieren

Partitionieren und Formatieren Partitionieren und Formatieren Auf eine Festplatte werden Partitionen angelegt, damit Daten an verschiedenen (relativ) unabhängigen Orten gespeichert werden können oder dass mehrere unabhängige Betriebssysteme

Mehr

Das SCAPE Projekt: Langzeitarchivierung und Skalierbarkeit Teil 2: Anwendungsfälle an der Nationalbibliothek

Das SCAPE Projekt: Langzeitarchivierung und Skalierbarkeit Teil 2: Anwendungsfälle an der Nationalbibliothek Das SCAPE Projekt: Langzeitarchivierung und Skalierbarkeit Teil 2: Anwendungsfälle an der Nationalbibliothek Dr. Sven Schlarb Österreichische Nationalbibliothek SCAPE ½ Informationstag 05. Mai 2014, Österreichische

Mehr

XEN Performance. Projektpraktikum Informatik. Arne Klein 2008-02-26. Arne Klein () XEN Performance 2008-02-26 1 / 25

XEN Performance. Projektpraktikum Informatik. Arne Klein 2008-02-26. Arne Klein () XEN Performance 2008-02-26 1 / 25 XEN Performance Projektpraktikum Informatik Arne Klein 2008-02-26 Arne Klein () XEN Performance 2008-02-26 1 / 25 1 Virtualisierung mit XEN 2 Performance von XEN Allgemeines Netzwerk-Performance IO-Performance

Mehr

Systemanforderungen ab Version 5.31

Systemanforderungen ab Version 5.31 Systemanforderungen ab Version 5.31 Auszug aus BüroWARE Erste Schritte Version 5.4 Generelle Anforderungen SoftENGINE BüroWARE SQL / Pervasive Das Programm kann sowohl auf 32 Bit- als auch auf 64 Bit-en

Mehr

Cloud Data Management

Cloud Data Management Cloud Data Management Kapitel 6: Optimierungs- Dr. Anika Groß Sommersemester 2015 techniken für MapReduce Universität Leipzig Institut für Informatik http://dbs.uni-leipzig.de Optimierungstechniken (MR-Job-Parametrisierung)

Mehr

Thema: Das MapReduce-Framework

Thema: Das MapReduce-Framework Software as a Service Cloud Computing und aktuelle Entwicklungen Seminararbeit Thema: Das MapReduce-Framework Betreuer: Prof. Dr. Klaus Küspert Dipl.-Inf. Andreas Göbel Nicky Kuhnt Friedrich-Schiller-Universität

Mehr

Multicore Herausforderungen an das Software-Engineering. Prof. Dr.-Ing. Michael Uelschen Hochschule Osnabrück 15.09.2010

Multicore Herausforderungen an das Software-Engineering. Prof. Dr.-Ing. Michael Uelschen Hochschule Osnabrück 15.09.2010 Multicore Herausforderungen an das Software-Engineering Prof. Dr.-Ing. Michael Uelschen Hochschule Osnabrück 15.09.2010 Inhalt _ Motivation _ Herausforderung 1: Hardware _ Herausforderung 2: Software-Partitionierung

Mehr

1 Proseminar: Konzepte von Betriebssystem-Komponenten. Thema: Server OS AS/400 Referend: Sand Rainer. Server OS - AS/400

1 Proseminar: Konzepte von Betriebssystem-Komponenten. Thema: Server OS AS/400 Referend: Sand Rainer. Server OS - AS/400 1 Proseminar: Konzepte von Betriebssystem-Komponenten Server OS - AS/400 Gliederung Was ist eine AS/400? Wie ist OS/400 aufgebaut? Was kann eine AS/400? Bsp.: Logische Partitionierung 2 Proseminar: Konzepte

Mehr

Der Nutzen und die Entscheidung für die private Cloud. Martin Constam Rechenpower in der Private Cloud 12. Mai 2014

Der Nutzen und die Entscheidung für die private Cloud. Martin Constam Rechenpower in der Private Cloud 12. Mai 2014 Der Nutzen und die Entscheidung für die private Cloud Martin Constam Rechenpower in der Private Cloud 12. Mai 2014 1 Übersicht - Wer sind wir? - Was sind unsere Aufgaben? - Hosting - Anforderungen - Entscheidung

Mehr

Inhaltsverzeichnis. BüroWARE Systemanforderungen ab Version 5.31. Generelle Anforderungen SoftENGINE BüroWARE SQL / Pervasive. 2

Inhaltsverzeichnis. BüroWARE Systemanforderungen ab Version 5.31. Generelle Anforderungen SoftENGINE BüroWARE SQL / Pervasive. 2 Inhaltsverzeichnis Generelle Anforderungen SoftENGINE BüroWARE SQL / Pervasive. 2 1. Terminal-Server-Betrieb (SQL)... 3 1.1. Server 3 1.1.1. Terminalserver... 3 1.1.2. Datenbankserver (bei einer Datenbankgröße

Mehr

Managed Hosting & Colocation. Die Rechenzentren der Zukunft

Managed Hosting & Colocation. Die Rechenzentren der Zukunft Managed Hosting & Colocation Die Rechenzentren der Zukunft Die myloc managed IT AG ist Ihr starker Partner für die Bereiche Managed Hosting und Colocation am Standort Düsseldorf. Managed Hosting Ob Dedicated

Mehr

Menge Leistung* Preis mtl.* Preis Setup* Dedicated Server Bronze

Menge Leistung* Preis mtl.* Preis Setup* Dedicated Server Bronze Unternehmen Ansprechpartner Strasse Ort und PLZ Telefon/Telefax Umsatz-ID Kunden-Nr. email-adresse (für allgemeines) email-adresse (für Rechnungen) Bestellung Dedicated Server Menge Leistung* Preis mtl.*

Mehr

Investigation on Influence by OS and Hardware Configuration at the Test of Endurance for SSD

Investigation on Influence by OS and Hardware Configuration at the Test of Endurance for SSD Investigation on Influence by OS and Hardware Configuration at the Test of Endurance for SSD Michael Lehmann [s6373652@inf.tu-dresden.de] 13. November 2008 Gliederung Motivation und Ziele der Diplomarbeit

Mehr

Big Data Anwendungen Chancen und Risiken

Big Data Anwendungen Chancen und Risiken Big Data Anwendungen Chancen und Risiken Dr. Kurt Stockinger Studienleiter Data Science, Dozent für Informatik Zürcher Hochschule für Angewandte Wissenschaften Big Data Workshop Squeezing more out of Data

Mehr

SSDs als Cache für HDDs

SSDs als Cache für HDDs SSDs als Cache für HDDs CacheCade vs. BCache Dirk Geschke Linux User Group Erding 23. Oktober 2013 Dirk Geschke (LUG-Erding) SSD-Cache 23. Oktober 2013 1 / 71 Gliederung 1 Einleitunng 2 HDD Hard-Disk-Drive

Mehr

Lehrveranstaltung Speichersysteme Sommersemester 2009. Kapitel 13: Parallele Dateisysteme. André Brinkmann

Lehrveranstaltung Speichersysteme Sommersemester 2009. Kapitel 13: Parallele Dateisysteme. André Brinkmann Lehrveranstaltung Speichersysteme Sommersemester 2009 Kapitel 13: Parallele Dateisysteme André Brinkmann Gliederung Parallele und Cluster Dateisysteme SemanFk der gemeinsamen Nutzung von Dateien Pufferung

Mehr

Betriebssysteme K_Kap11C: Diskquota, Raid

Betriebssysteme K_Kap11C: Diskquota, Raid Betriebssysteme K_Kap11C: Diskquota, Raid 1 Diskquota Mehrbenutzer-BS brauchen einen Mechanismus zur Einhaltung der Plattenkontingente (disk quotas) Quota-Tabelle enthält Kontingenteinträge aller Benutzer

Mehr

Intel Macs. Meine Erfahrungen mit dem MacBook Pro. Vortrag von Matthias Stucki

Intel Macs. Meine Erfahrungen mit dem MacBook Pro. Vortrag von Matthias Stucki Intel Macs Meine Erfahrungen mit dem MacBook Pro Vortrag von Matthias Stucki 13. August 2006 1 Übersicht Intel-Macs Software (PPC / Universal Binary) Windows auf Mac (Boot Camp vs. Parallels) Intel-Mac-Modelle

Mehr

Managed Cloud Services

Managed Cloud Services Managed Cloud Services Autor.: Monika Olschewski Whitepaper Version: 1.0 Erstellt am: 14.07.2010 ADACOR Hosting GmbH Kaiserleistrasse 51 63067 Offenbach am Main info@adacor.com www.adacor.com Cloud Services

Mehr

Think Big. Skalierbare Anwendungen mit Azure. Aydin Mir Mohammadi Bluehands GmbH & co.mmunication KG

Think Big. Skalierbare Anwendungen mit Azure. Aydin Mir Mohammadi Bluehands GmbH & co.mmunication KG Skalierbare Anwendungen mit Azure Bluehands GmbH & co.mmunication KG 1 2 3 4 5 6 7 8 9 Immer mehr Mehr Performance Mehr Menge Mehr Verfügbarkeit Skalierung http://www.flickr.com/photos/39901968@n04/4864698533/

Mehr

Systemanforderungen für MSI-Reifen Release 7

Systemanforderungen für MSI-Reifen Release 7 Systemvoraussetzung [Server] Microsoft Windows Server 2000/2003/2008* 32/64 Bit (*nicht Windows Web Server 2008) oder Microsoft Windows Small Business Server 2003/2008 Standard od. Premium (bis 75 User/Geräte)

Mehr

Universität Karlsruhe (TH)

Universität Karlsruhe (TH) Universität Karlsruhe (TH) Forschungsuniversität gegründet 1825 Software Engineering für moderne, parallele Plattformen 10. MapReduce Dr. Victor Pankratius Agenda Motivation Der MapReduce-Ansatz Map- und

Mehr

Parallelrechner (1) Anwendungen: Simulation von komplexen physikalischen oder biochemischen Vorgängen Entwurfsunterstützung virtuelle Realität

Parallelrechner (1) Anwendungen: Simulation von komplexen physikalischen oder biochemischen Vorgängen Entwurfsunterstützung virtuelle Realität Parallelrechner (1) Motivation: Bedarf für immer leistungsfähigere Rechner Leistungssteigerung eines einzelnen Rechners hat physikalische Grenzen: Geschwindigkeit von Materie Wärmeableitung Transistorgröße

Mehr

Darf's 30% schneller sein? Sandy Bridge kann's!

Darf's 30% schneller sein? Sandy Bridge kann's! Die mit dem besseren Service! Sehr geehrter Kunde! Brandheiß, Intel launcht heute die neuesten Server CPUs der Sandy Bridge Generation. First to Market: Jetzt bei Novarion & Supermicro schon verfügbar,

Mehr

Apache Hadoop. Distribute your data and your application. Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.

Apache Hadoop. Distribute your data and your application. Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache. Apache Hadoop Distribute your data and your application Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org Apache The Apache Software Foundation Community und

Mehr

Einführung in Hauptspeicherdatenbanken

Einführung in Hauptspeicherdatenbanken Einführung in Hauptspeicherdatenbanken Harald Zankl Probevorlesung 13. 01., 13:15 14:00, HS C Inhaltsverzeichnis Organisation Überblick Konklusion Harald Zankl (LFU) Hauptspeicherdatenbanken 2/16 Organisation

Mehr

Einrichten einer Festplatte mit FDISK unter Windows 95/98/98SE/Me

Einrichten einer Festplatte mit FDISK unter Windows 95/98/98SE/Me Einrichten einer Festplatte mit FDISK unter Windows 95/98/98SE/Me Bevor Sie die Platte zum ersten Mal benutzen können, muss sie noch partitioniert und formatiert werden! Vorher zeigt sich die Festplatte

Mehr

Visualisierung hochdimensionaler Daten. Hauptseminar SS11 Michael Kircher

Visualisierung hochdimensionaler Daten. Hauptseminar SS11 Michael Kircher Hauptseminar SS11 Inhalt Einführung zu hochdimensionalen Daten Visualisierungsmöglichkeiten dimensionale Teilmengen dimensionale Schachtelung Achsenumgestaltung Algorithmen zur Dimensionsreduktion Zusammenfassung

Mehr

Technische Voraussetzungen

Technische Voraussetzungen Technische Voraussetzungen Um NextPhysio Videos abspielen zu können, müssen ihr Computer und ihre Internetverbindung bestimmte Anforderungen erfüllen. Hier finden Sie alles - übersichtlich aufbereitet

Mehr

Performance-Vergleich zwischen dem Open-E NAS Enterprise Server und dem Microsoft Windows Storage Server 2003

Performance-Vergleich zwischen dem Open-E NAS Enterprise Server und dem Microsoft Windows Storage Server 2003 Performance-Vergleich zwischen dem Open-E NAS Enterprise Server und dem Microsoft Windows Storage Server 2003 In diesem Whitepaper werden zwei wichtige NAS Betriebssysteme gegenübergestellt und auf ihre

Mehr

MicroPress "X-Series"

MicroPress X-Series MicroPress "X-Series" MicroPress von EFI ist eine mächtige Kombination aus Software und Controller für Hochleistungs-Drucken und Farbdruckumgebungen. MicroPress Software und Server sind perfekte Lösungen

Mehr

Betrieb eines heterogenen Clusters

Betrieb eines heterogenen Clusters Betrieb eines heterogenen Clusters Georg Hager Regionales Rechenzentrum Erlangen (RRZE) ZKI AK Supercomputing Karlsruhe, 22./23.09.2005 Transtec GBit/IB-Cluster am RRZE IA32-Cluster 04/2003 86+2 Knoten

Mehr

ISA Server 2004 - Best Practice Analyzer

ISA Server 2004 - Best Practice Analyzer ISA Server 2004 - Best Practice Analyzer Die Informationen in diesem Artikel beziehen sich auf: Microsoft ISA Server 2004 Seit dem 08.12.2005 steht der Microsoft ISA Server 2004 Best Practice Analyzer

Mehr

BICsuite!focus Parallelisierung von Prozessen mit der BICsuite Dynamic Submit Funktion

BICsuite!focus Parallelisierung von Prozessen mit der BICsuite Dynamic Submit Funktion independit Integrative Technologies GmbH Bergstraße 6 D 86529 Schrobenhausen BICsuite!focus Parallelisierung von Prozessen mit der BICsuite Dynamic Submit Funktion Dieter Stubler Ronald Jeninga July 30,

Mehr

Xenologie oder wie man einen Plastikmainframe baut

Xenologie oder wie man einen Plastikmainframe baut Xenologie oder wie man einen Plastikmainframe baut Alexander Schreiber http://www.thangorodrim.de/ Chemnitzer Linux-Tage 2006 I think there is a world market for maybe five computers.

Mehr

Systemvoraussetzungen

Systemvoraussetzungen Systemvoraussetzungen INDEX Netzwerk Überblick Benötigte n für: Windows Server 2008 Windows Server 2008 R2 Windows Server 2012 Windows SQL Server 2008 (32 Bit & 64 Bit) Windows SQL Server 2012 Client Voraussetzungen

Mehr

Leistungsanalyse von Rechnersystemen

Leistungsanalyse von Rechnersystemen Zentrum für Informationsdienste und Hochleistungsrechnen (ZIH) Leistungsanalyse von Rechnersystemen Auf Ein-/Ausgabe spezialisierte Benchmarks Zellescher Weg 12 Willers-Bau A109 Tel. +49 351-463 - 32424

Mehr

Produkte und Preise TERRA SERVER

Produkte und Preise TERRA SERVER Höhe (Rack-Einheiten) 1 HE 1 HE 1 HE 1 HE 1 HE 1 HE 1 HE 2 HE 1-CPU / XEON SP 1-CPU / XEON SP 2-CPU / XEON DP 2-CPU / XEON DP 2-CPU / XEON DP 2-CPU / XEON DP 2-CPU / XEON DP 1-CPU / XEON SP Art# 1100819

Mehr

Performance Zertifizierung

Performance Zertifizierung Performance Zertifizierung Alois Schmid alois.schmid@itf-edv.de www.itf-edv.de Copyright 2012 ITF-EDV Fröschl GmbH Inhalt Firma.... Kapitel 1 Gründe für die Zertifizierung der Massendatentauglichkeit.....

Mehr

Server- und Storagelösungen, die mit Ihrem Business wachsen

Server- und Storagelösungen, die mit Ihrem Business wachsen Server- und Storagelösungen, die mit Ihrem Business wachsen Success Solution April 2015 Abbildung ähnlich Der FUJITSU Server PRIMERGY RX2520 M1 ist eine effiziente und skalierbare Plattform für grundlegende

Mehr

RAID. Name: Artur Neumann

RAID. Name: Artur Neumann Name: Inhaltsverzeichnis 1 Was ist RAID 3 1.1 RAID-Level... 3 2 Wozu RAID 3 3 Wie werden RAID Gruppen verwaltet 3 3.1 Software RAID... 3 3.2 Hardware RAID... 4 4 Die Verschiedenen RAID-Level 4 4.1 RAID

Mehr

Digital Forensics. Slackspace. 2011 DI Robert Jankovics DI Martin Mulazzani

Digital Forensics. Slackspace. 2011 DI Robert Jankovics DI Martin Mulazzani Digital Forensics Slackspace Slackspace Übersicht: Slack allgemein NTFS Slack FAT Slack mit Steganographie Slack allgemein Slack Space: Bezeichnet den Speicherplatz zwischen Ende der Datei und Ende des

Mehr

Content Management in der Cloud mit JCR und Oracle. Dominic Weiser, 21.11.2012

Content Management in der Cloud mit JCR und Oracle. Dominic Weiser, 21.11.2012 Content Management in der Cloud mit JCR und Oracle Dominic Weiser, 21.11.2012 Agenda Einleitung Motivation DMS JCR Jackrabbit Persistenzschicht Fazit 2 3 Einleitung Motivation Dokumente in der Cloud Speichern

Mehr

Neue Ansätze der Softwarequalitätssicherung. Googles MapReduce-Framework für verteilte Berechnungen am Beispiel von Apache Hadoop

Neue Ansätze der Softwarequalitätssicherung. Googles MapReduce-Framework für verteilte Berechnungen am Beispiel von Apache Hadoop Neue Ansätze der Softwarequalitätssicherung Thema des Seminars Googles MapReduce-Framework für verteilte Berechnungen am Beispiel von Apache Hadoop Universität Paderborn Fakultät für Elektrotechnik, Informatik

Mehr

Konfiguration Management System. Konfiguration Management System. Versionierung Parallele Entwicklung Workspace

Konfiguration Management System. Konfiguration Management System. Versionierung Parallele Entwicklung Workspace Konfiguration System ClearCase ClearQuest Unified Change Konfiguration System ClearCase Merkmale eines Konfiguration Systems (KM) Buildoptimierung UCM-Unified Change Der Software-sprozess Projekt definiert

Mehr

EXASOL @ Symposium on Scalable Analytics. www.exasol.com. Skalierbare Analysen mit EXASolution

EXASOL @ Symposium on Scalable Analytics. www.exasol.com. Skalierbare Analysen mit EXASolution EXASOL @ Symposium on Scalable Analytics Skalierbare Analysen mit EXASolution EXASOL AG Wer sind wir R&D: + seit 2000 + laufend Forschungsprojekte Produkt: Analytische Datenbank EXASolution Focus auf Komplexität

Mehr

Wide Column Stores. Felix Bruckner Mannheim, 15.06.2012

Wide Column Stores. Felix Bruckner Mannheim, 15.06.2012 Wide Column Stores Felix Bruckner Mannheim, 15.06.2012 Agenda Einführung Motivation Grundlagen NoSQL Grundlagen Wide Column Stores Anwendungsfälle Datenmodell Technik Wide Column Stores & Cloud Computing

Mehr