Hadoop aus IT-Operations Sicht Teil 2 Hardware- und Netzwerk-Grundlagen

Größe: px
Ab Seite anzeigen:

Download "Hadoop aus IT-Operations Sicht Teil 2 Hardware- und Netzwerk-Grundlagen"

Transkript

1 Hadoop aus IT-Operations Sicht Teil 2 Hardware- und Netzwerk-Grundlagen Brownbag am Freitag, den Daniel Bäurer inovex GmbH Systems Engineer Wir nutzen Technologien, um unsere Kunden glücklich zu machen. Und uns selbst.

2 Inhalt Auswahl und Konfiguration der Hardware Auswahl und Konfiguration der Netzwerktopologie

3 Auswahl und Konfiguration der Hardware MapR Whirr Sqoop HDFS Snappy Zookeeper Hortonworks NameNode DataNode Chukwa Mahout HADOOP Hive Oozie TaskTracker MapReduce JobTracker HCatalog Pig Cloudera Flume Hue HBase

4 Auswahl und Konfiguration der Hardware Hadoop ist für den Betrieb mit Standard-Hardware ( commodity hardware ) ausgelegt. Hadoop stellt über Software sicher, dass große Datenvolumen zuverlässig verwaltet werden. Daten über mehrere Knoten zuverlässig verteilt und repliziert werden. Hadoop verteilt Daten auf Knoten die Rechenoperationen ausführen. Hadoop führt Rechenoperationen auf den Knoten aus auf denen die Daten liegen.

5 Auswahl und Konfiguration der Hardware Kriterien Hardware für Hadoop kann in zwei Kategorien unterteilt werden: Master-Hardware (NameNode, JobTracker, Secondary NameNode) Slave, oder auch Worker, -Hardware (DataNodes, TaskTracker) Master-Hardware darf (soll) nicht Ausfallen (schwerwiegende Auswirkungen auf den Cluster). Slave-Hardware kann Ausfallen (keine Auswirkung auf den Cluster).

6 Auswahl und Konfiguration der Hardware Kriterien Die von einem Hadoop-Cluster auszuführenden Jobs können folgende Anforderungen haben: Rechenintensiv ( CPU-Bound ) Computerlinguistik Text-Mining Lese-/Schreibintensiv für Festplatten und Netzwerk ( I/O- Bound ) Indizieren Suchen Ausgewogen Die Anforderungen können über Teststellungen ermittelt werden.

7 Auswahl und Konfiguration der Hardware Master-Hardware: Ausfälle sind kritisch, weswegen redundante Hardware- Komponenten (Netzteile und Netzwerkkarten) nötig sind. Ein aktueller Prozessor (Quad-Core) in zweifacher Ausführung ist ausreichend. Für den Arbeitspeicher sollten ECC-Module verwendet werden und mindestens 24 GB. Die Betriebssystem-Partitionen sollten auf einem separaten RAID-Container (RAID-1) liegen. 1 GBit Netzwerk ist ausreichend, sollte aber gebündelt sein ( active-backup bonding ).

8 Auswahl und Konfiguration der Hardware Besonderheiten der NameNode-Hardware: Der NameNode ist eine der kritischsten Komponenten in einem Hadoop-Cluster und dementsprechend ist hierfür die Hardware zu wählen. Der NameNode hält alle Metadaten im Arbeitsspeicher vor, und die Größe der Metadaten hängt im wesentlichen von der Länge der Dateinamen sowie der Anzahl der Dateien ab. Deswegen muss der Arbeitsspeicher an die Größe des Clusters angepasst werden. Als grobe Hausnummer kann man annehmen, dass 1 Mio. Blocks 1 GB RAM konsumieren. Die Persistierung der Metadaten sollte auf mindestens zwei separaten Festplatten (JBOD) oder hochverfügbarem RAID-Container erfolgen (minimale Größe).

9 Auswahl und Konfiguration der Hardware Besonderheiten der JobTracker-Hardware: Der JobTracker hält den Status und Fortschritt aller Jobs und Tasks sowie die Historie der letzten n-jobs im Arbeitsspeicher vor. Die hierfür notwendige Größe hängt im wesentlichen von der Anzahl der möglichen Jobs/Tasks ab und lässt sich nur schwer berechnen. Bei kleineren und mittleren Hadoop-Clustern ist der JobTracker mit auf dem NameNode untergebracht. Entsprechend ist auch die Hardware ausgelegt.

10 Auswahl und Konfiguration der Hardware Slave-Hardware I: Ausfälle sind nicht kritisch, weswegen nicht zwingend redundante Hardware-Komponenten nötig sind. Meist kommt sehr günstige Server-Hardware zum Einsatz. Allerdings sollte berücksichtigt werden, dass durch die nicht vorhandene Redundanz höhere Entstörungskosten (auch abhängig vom Automatisierungsgrad) entstehen können. Diese sollten gegen die Anschaffungskosten redundanter Hardware abgewägt werden. Die Betriebssystem-Partitionen sollten auf einer separaten Festplatte oder einem RAID-Container (RAID-1) liegen. Je nach Anforderungsprofil ist ein 1 GBit Netzwerk ausreichend. Es können gebündelte Netzwerke zum Einsatz kommen ( active-backup bonding oder 802.3ad bonding ).

11 Auswahl und Konfiguration der Hardware Slave-Hardware II: Ein wesentlicher Faktor bei der Auswahl des Prozessors, Arbeitsspeichers und der Anzahl der Festplatten spielt das Anforderungsprofil: Rechenintensive ( CPU-Bound ) Anforderungen benötigen stärkere oder mehr Prozessoren und Arbeitsspeicher sowie weniger Festplatten. Lese-/Schreibintensive ( I/O-Bound ) Anforderungen benötigen schwächere oder weniger Prozessoren und Arbeitsspeicher sowie mehr Festplatten. Ausgeglichene Anforderungen sind sowohl Rechen- als auch Lese-/Schreibintensiv, bzw. werden daraufhin ausgelegt.

12 Auswahl und Konfiguration der Hardware Dimensionen von CPU-Bound und I/O-Bound Anforderungen Loddengaard, Alex: Cloudera s Support Team Shares Some Basic Hardware Recommendations, März 2010, Clouderas Blog

13 Auswahl und Konfiguration der Hardware Slave-Hardware III: Die Größe des Arbeitsspeichers ist abhängig von der Anzahl der parallelen Tasks die ein Knoten ausführt. Die Anzahl der Tasks die ein Knoten ausführt ist wiederum Abhängig von der Anzahl der CPUs (Cores) pro Knoten. Ein grober Richtwert ist, dass pro CPU-Core ca. 2-4 GB an Arbeitsspeicher erforderlich ist. Ebenfalls sollten ECC-Speichermodule verwendet werden.

14 Auswahl und Konfiguration der Hardware Slave-Hardware IV: Bei der Wahl der Festplatten ist folgendes zu Beachten: In Frage kommen meist nur SATA- oder SAS-Festplatten mit maximal U/Min. Bei der Datendichte wird man aktuell auf 2-3 TB Platten zurückgreifen. Generell sollte man auf ein ausgeglichenes Verhältnis zwischen Kosten und Leistung achten. Bei der Wahl des Festplatten-Controller sollte darauf geachtet werden, dass dieser JBOD unterstützen. Bei vielen Festplatten pro Knoten können auch zwei Controller verbaut werden um die I/O-Last auf die CPUs zu verteilen.

15 Auswahl und Konfiguration der Hardware Slave-Hardware V: Sämtliche Festplatten die für das HDFS auf den DataNodes bestimmt sind, müssen als JBOD verwendet werden. Warum nicht als RAID-Container? Ein RAID-Container tritt als ein Gerät (eine Festplatte) auf. Wenn nun mehrere Tasks gleichzeitig sequentielle Blöcke mit einer Mindestgröße von 64 MB einlesen wollen, so werden die Leseoperationen aufgeteilt ( I/O-Scheduling ). Durch die Aufteilung der Leseoperationen auf ein Gerät, werden faktisch wahlfreie ( random ) Leseoperationen erzeugt, was die Leistung erheblich mindert. Bei JBOD hingegen bleibt auch nach dem Aufteilen der Leseoperation das sequentielle Lesen erhalten.

16 Auswahl und Konfiguration der Hardware Slave-Hardware VI: Gegen den Einsatz von RAID auf den DataNodes (als HDFS- Store) spricht weiterhin: Hadoop ist für die Redundanz und Verteilung der Daten zuständig. Jeder DataNode muss nach dem Ausfall einer Festplatte (=> Replikationsfaktor ist nicht mehr sichergestellt) dies umgehend dem NameNode melden, so dass der Replikationsfaktor im Cluster wiederhergestellt werden kann. Ebenfalls ungeeignet sind NAS/SAN-Speichersysteme oder oder virtuelle Maschinen.

17 Auswahl und Konfiguration der Hardware Größe des Clusters: Die Größe eines Hadoop-Clusters kann anhand der zu speichernden Datenmenge sowie den prognostizierten Zuwachsraten berechnet werden. Die sich hieraus ergebende Zahl an erforderlichem Speicher kann nun auf weniger große, leistungsstarke Knoten verteilt werden oder aber auf viele kleine, leistungsschwächere Knoten. Hierbei ist allerdings zu beachten, dass mehr Knoten eventuell höhere Investitionskosten erfordert, mehr Strom verbrauchen, stärker gekühlt werden müssen und die Netzwerkinfrastruktur entsprechend ausgelegt sein muss. Die Größe eines Hadoop-Clusters kann auch anhand bestimmter Jobs erfolgen, die in einer definierten Zeit erfolgreich durchgeführt werden müssen.

18 Auswahl und Konfiguration der Netzwerktopologie MapR Whirr Sqoop HDFS Snappy Zookeeper Hortonworks NameNode DataNode Chukwa Mahout HADOOP Hive Oozie TaskTracker MapReduce JobTracker HCatalog Pig Cloudera Flume Hue HBase

19 Auswahl und Konfiguration der Netzwerktopologie Auch im Netzwerkbereich ist Hadoop darauf ausgelegt mit Standard-Netzwerktechnik und -Protokollen zu arbeiten. Das Datenaufkommen in einem Hadoop-Cluster besteht aus HDFS- und MapReduce-Verkehr. HDFS-Verkehr: Block-Report und Heartbeat der DataNodes (--) Metadaten-Anfragen an den NameNode (-) Block-Transfer und -Verteilung der DataNodes (+++) MapReduce-Verkehr: Heartbeat der TaskTracker (--) Map-Task-Ergebnisse der TaskTracker (++)

20 Auswahl und Konfiguration der Netzwerktopologie HDFS-Verkehr: Block-Report, Heartbeat und Meatadaten-Anfragen sind eine zu vernachlässigende Größe im Netzwerk. Der größte Teil des Netzwerk-Verkehrs wird durch die Replikation und Reorganisation der Blöcke verursacht. Hadoop versucht so gut es geht Leseoperationen an den Orten auszuführen an denen die Blöcke vorgehalten werden. In allen anderen Fällen müssen die Blöcke übertragen werden. Hadoop versucht ebenfalls Schreiboperationen dort auszuführen an denen die Daten entstehen. Hierdurch wird die erste Replik auf dem lokalen Knoten geschrieben. Alle anderen Schreiboperationen werden entsprechend dem Replikationsfaktor oft über das Netzwerk übertragen.

21 Auswahl und Konfiguration der Netzwerktopologie MapReduce-Verkehr: Der einzig, dafür aber auch erhebliche, Netzwerk-Verkehr der durch MapReduce erzeugt wird, sind die Zwischenergebnisse der Map-Tasks. Diese müssen allen Reduce-Tasks zur Verfügung stehen und entsprechend über das Netzwerk übertragen werden. Die Zwischenergebnisse werden nicht in das HDFS geschrieben, sondern lokal abgelegt und von den Reduce- Tasks abgeholt.

22 Auswahl und Konfiguration der Netzwerktopologie Vertikaler-Netzwerkvekehr Horizontaler-Netzwerkverkehr Baum-Topologie und Netzwerkverkehr Sammer, Eric: Hadoop Operations. Sebastopol 2012, S. 70

23 Auswahl und Konfiguration der Netzwerktopologie Vertikaler-Netzwerkverkehr vs. Horizontaler-Netzwerkverkehr: Klassische Anwendungen, beispielsweise eine Web- Applikation, verursachen einen Netzwerk-Verkehr der von außen über Core- und Distribution-Switch an die einzelnen Server geleitet wird (und wieder zurück). Dies wird als Vertikaler-Netzwerkverkehr bezeichnet. Bei Hadoop findet der meiste Netzwerk-Verkehr zwischen einzelnen Knoten statt. Der Netzwerk-Verkehr wird hierbei über die Distribution-Switch und meist auch die Core-Switch und einer weiteren Distribution-Switch geleitet. Dies bezeichnet man als Horizontaler-Netzwerkverkehr. Klassische Netzwerktopologie (Baum-Topologie) ist für kleinere und mittlere Hadoop-Installationen geeignet, stößt bei größeren Installationen aber an seine Grenzen.

24 Auswahl und Konfiguration der Netzwerktopologie 3-Schichten Baum-Topologie Sammer, Eric: Hadoop Operations. Sebastopol 2012, S. 71

25 Auswahl und Konfiguration der Netzwerktopologie Spin-Fabric Topologie mit zwei Core-Switchen Sammer, Eric: Hadoop Operations. Sebastopol 2012, S. 72

26 Auswahl und Konfiguration der Netzwerktopologie Für horizontalen Netzwerk-Verkehr besser geeignet als Baum- Topologien sind Spine-Fabric (Rückgrat-Struktur) Topologien. Jeder Knoten erreicht über seine Distribution-Switch alle Core- Switche. Über geeignete Routing-Protokolle (beispielsweise OSPF) stehen dem Netzwerkverkehr mehrere Optionen offen, um den kürzesten Pfad zwischen zwei Knoten zu wählen. Ausfälle einzelner Core-Switche haben einen nur geringen Einfluss auf die Verfügbarkeit des Hadoop-Clusters. Auch sind alle Knoten exakt drei Hops voneinander entfernt.

27 Auswahl und Konfiguration der Netzwerktopologie Spin-Fabric Topologie mit vier Core-Switchen Sammer, Eric: Hadoop Operations. Sebastopol 2012, S. 73

28 Auswahl und Konfiguration der Netzwerktopologie Die Verwendung von durchgängig 10GBit-Ethernet- Komponenten kann in Betracht gezogen werden, verursacht aber sehr hohe Kosten. 10GBit-Ethernet wird meist nur auf der Ebene Distribution- Switch/Core-Switch Verwendung finden. Um Ausfälle von einzelnen (Slave-)Knoten vorzubeugen oder die Bandbreite zu erhöhen, können auch zwei Distribution-Switche pro Knoten verwendet werden. Ein Überbuchen der Switche ist im Faktor 2:1 in Ordnung. Alle Werte die darüber hinaus gehen sollten vermieden werden.

29 Vielen Dank für Ihre Aufmerksamkeit! inovex GmbH Pforzheim Karlsruher Straße 71 D Pforzheim München Valentin-Linhof-Straße 2 D München Köln Schanzenstraße 6-20 D Köln

Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen

Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen Brownbag am Freitag, den 26.07.2013 Daniel Bäurer inovex GmbH Systems Engineer Wir nutzen Technologien, um unsere Kunden glücklich zu machen. Und

Mehr

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE Themen Big Data Buzz Word oder eine neue Dimension

Mehr

Einführung in Hadoop

Einführung in Hadoop Einführung in Hadoop Inhalt / Lern-Ziele Übersicht: Basis-Architektur von Hadoop Einführung in HDFS Einführung in MapReduce Ausblick: Hadoop Ökosystem Optimierungen Versionen 10.02.2012 Prof. Dr. Christian

Mehr

Einführung in Bacula - Teil 2 und Aufbau eines Testsystems

Einführung in Bacula - Teil 2 und Aufbau eines Testsystems Einführung in Bacula - Teil 2 und Aufbau eines Testsystems vorgestellt am 10.09.2010 in Pforzheim Daniel Bäurer inovex GmbH Systems Engineer Linux Was ich mit Ihnen besprechen möchte Einführung in Bacula

Mehr

Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE

Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE Institut für Kartographie und Geoinformatik Leibniz Universität Hannover Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE Frank Thiemann, Thomas Globig Frank.Thiemann@ikg.uni-hannover.de

Mehr

Hadoop-as-a-Service (HDaaS)

Hadoop-as-a-Service (HDaaS) Hadoop-as-a-Service (HDaaS) Flexible und skalierbare Referenzarchitektur Arnold Müller freier IT Mitarbeiter und Geschäftsführer Lena Frank Systems Engineer @ EMC Marius Lohr Systems Engineer @ EMC Fallbeispiel:

Mehr

Big Data in a Nutshell. Dr. Olaf Flebbe of ät oflebbe.de

Big Data in a Nutshell. Dr. Olaf Flebbe of ät oflebbe.de Big Data in a Nutshell Dr. Olaf Flebbe of ät oflebbe.de Zu mir Bigdata Projekt, benutzt Apache Bigtop Linux seit Anfang vor Minix/ATARI Linuxtag 2001? Promoviert in Computational Physics in Tü Seit Jan

Mehr

Managed Cloud Services

Managed Cloud Services Managed Cloud Services Autor.: Monika Olschewski Whitepaper Version: 1.0 Erstellt am: 14.07.2010 ADACOR Hosting GmbH Kaiserleistrasse 51 63067 Offenbach am Main info@adacor.com www.adacor.com Cloud Services

Mehr

Complex Hosting. Whitepaper. Autor.: Monika Olschewski. Version: 1.0 Erstellt am: 14.07.2010. ADACOR Hosting GmbH

Complex Hosting. Whitepaper. Autor.: Monika Olschewski. Version: 1.0 Erstellt am: 14.07.2010. ADACOR Hosting GmbH Complex Hosting Autor.: Monika Olschewski Whitepaper Version: 1.0 Erstellt am: 14.07.2010 ADACOR Hosting GmbH Kaiserleistrasse 51 63067 Offenbach am Main info@adacor.com www.adacor.com Complex Hosting

Mehr

MapReduce in der Praxis

MapReduce in der Praxis MapReduce in der Praxis Rolf Daniel Seminar Multicore Programmierung 09.12.2010 1 / 53 Agenda Einleitung 1 Einleitung 2 3 Disco Hadoop BOOM 4 2 / 53 1 Einleitung 2 3 Disco Hadoop BOOM 4 3 / 53 Motivation

Mehr

Big Data. Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover

Big Data. Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover Big Data Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover Agenda Was ist Big Data? Parallele Programmierung Map/Reduce Der Big Data Zoo 2 3Vs oder: Was ist Big Data? Deutsche Telekom:

Mehr

Cloud-Computing. 1. Definition 2. Was bietet Cloud-Computing. 3. Technische Lösungen. 4. Kritik an der Cloud. 2.1 Industrie 2.

Cloud-Computing. 1. Definition 2. Was bietet Cloud-Computing. 3. Technische Lösungen. 4. Kritik an der Cloud. 2.1 Industrie 2. Cloud Computing Frank Hallas und Alexander Butiu Universität Erlangen Nürnberg, Lehrstuhl für Hardware/Software CoDesign Multicorearchitectures and Programming Seminar, Sommersemester 2013 1. Definition

Mehr

Kapitel 6 Anfragebearbeitung

Kapitel 6 Anfragebearbeitung LUDWIG- MAXIMILIANS- UNIVERSITY MUNICH DEPARTMENT INSTITUTE FOR INFORMATICS DATABASE Skript zur Vorlesung: Datenbanksysteme II Sommersemester 2014 Kapitel 6 Anfragebearbeitung Vorlesung: PD Dr. Peer Kröger

Mehr

Peter Dikant mgm technology partners GmbH. Echtzeitsuche mit Hadoop und Solr

Peter Dikant mgm technology partners GmbH. Echtzeitsuche mit Hadoop und Solr Peter Dikant mgm technology partners GmbH Echtzeitsuche mit Hadoop und Solr ECHTZEITSUCHE MIT HADOOP UND SOLR PETER DIKANT MGM TECHNOLOGY PARTNERS GMBH WHOAMI peter.dikant@mgm-tp.com Java Entwickler seit

Mehr

Inhaltsverzeichnis. BüroWARE Systemanforderungen ab Version 5.31. Generelle Anforderungen SoftENGINE BüroWARE SQL / Pervasive. 2

Inhaltsverzeichnis. BüroWARE Systemanforderungen ab Version 5.31. Generelle Anforderungen SoftENGINE BüroWARE SQL / Pervasive. 2 Inhaltsverzeichnis Generelle Anforderungen SoftENGINE BüroWARE SQL / Pervasive. 2 1. Terminal-Server-Betrieb (SQL)... 3 1.1. Server 3 1.1.1. Terminalserver... 3 1.1.2. Datenbankserver (bei einer Datenbankgröße

Mehr

IT Storage Cluster Lösung

IT Storage Cluster Lösung @ EDV - Solution IT Storage Cluster Lösung Leistbar, Hochverfügbar, erprobtes System, Hersteller unabhängig @ EDV - Solution Kontakt Tel.: +43 (0)7612 / 62208-0 Fax: +43 (0)7612 / 62208-15 4810 Gmunden

Mehr

HDFS als schneller und günstiger Storage?

HDFS als schneller und günstiger Storage? HDFS als schneller und günstiger Storage? Das Hadoop Distributed File System (HDFS) verwaltet spielend riesige Datenmengen, lässt sich im laufenden Betrieb bequem skalieren und ist komfortabel zu administrieren.

Mehr

Konzept für eine Highperformance- und Hochverfügbarkeitslösung für. einen Anbieter von Krankenhaus Abrechnungen

Konzept für eine Highperformance- und Hochverfügbarkeitslösung für. einen Anbieter von Krankenhaus Abrechnungen Konzept für eine Highperformance- und Hochverfügbarkeitslösung für Anforderungen : einen Anbieter von Krankenhaus Abrechnungen Es soll eine Cluster Lösung umgesetzt werden, welche folgende Kriterien erfüllt:

Mehr

Mindestanforderungen an Systemumgebung Für die Nutzung von excellenttango

Mindestanforderungen an Systemumgebung Für die Nutzung von excellenttango Die Hardware- und Softwareanforderungen sind als allgemeine Anforderungen zu betrachten. Zahlreiche Faktoren können sich auf diese Anforderungen auswirken und müssen daher beachtet werden: Die Anzahl und

Mehr

Big Data Informationen neu gelebt

Big Data Informationen neu gelebt Seminarunterlage Version: 1.01 Copyright Version 1.01 vom 21. Mai 2015 Dieses Dokument wird durch die veröffentlicht. Copyright. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen

Mehr

WISSENSWERTES ÜBER WINDOWS SCALE-OUT FILE SERVER

WISSENSWERTES ÜBER WINDOWS SCALE-OUT FILE SERVER WISSENSWERTES ÜBER WINDOWS SCALE-OUT FILE SERVER AGENDA 01 File Server Lösungen mit Windows Server 2012 R2 02 Scale-out File Server 03 SMB 3.0 04 Neue File Server Features mit Windows Server 2016 05 Storage

Mehr

Systemanforderungen ab Version 5.31

Systemanforderungen ab Version 5.31 Systemanforderungen ab Version 5.31 Auszug aus BüroWARE Erste Schritte Version 5.4 Generelle Anforderungen SoftENGINE BüroWARE SQL / Pervasive Das Programm kann sowohl auf 32 Bit- als auch auf 64 Bit-en

Mehr

Einführung in Hadoop & MapReduce. Dr. Kathrin Spreyer Big Data Engineer

Einführung in Hadoop & MapReduce. Dr. Kathrin Spreyer Big Data Engineer Einführung in Hadoop & MapReduce Dr. Kathrin Spreyer Big Data Engineer München, 19.06.2013 Agenda Einleitung 1. HDFS 2. MapReduce 3. APIs 4. Hive & Pig 5. Mahout Tools aus Hadoop-Ökosystem 6. HBase 2 Worum

Mehr

Well-Balanced. Performance Tuning

Well-Balanced. Performance Tuning Well-Balanced Real Application Cluster Performance Tuning Über mich virtual7 GmbH Jürgen Bouché Zeppelinstraße 2 76185 Karlsruhe Tel.: +49 (721) 6190170 Fax.: +49 (721) 61901729 Email: jbouche@heine.de

Mehr

Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien

Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien Wir unternehmen IT. Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien Karlsruhe, 30.09.2015 $id thgreiner Thorsten Greiner Teamleiter Software Development ConSol* Software GmbH, Düsseldorf

Mehr

Kleine Speichersysteme ganz groß

Kleine Speichersysteme ganz groß Kleine Speichersysteme ganz groß Redundanz und Performance in Hardware RAID Systemen Wolfgang K. Bauer September 2010 Agenda Optimierung der RAID Performance Hardware-Redundanz richtig nutzen Effiziente

Mehr

Endorsed SI Anwenderbericht: Einsatz von System Platform 2012 R2 in virtualisierten Umgebungen zur Prozessvisualisierung

Endorsed SI Anwenderbericht: Einsatz von System Platform 2012 R2 in virtualisierten Umgebungen zur Prozessvisualisierung Endorsed SI Anwenderbericht: Einsatz von System Platform 2012 R2 in virtualisierten Umgebungen zur Prozessvisualisierung Fritz Günther 17.03.2014 Folie 1 Agenda Was ist Virtualisierung Server- / Clientvirtualisierung

Mehr

Hans-Peter Zorn Inovex GmbH. Wer gewinnt das SQL-Rennen auf der Hadoop-Strecke?

Hans-Peter Zorn Inovex GmbH. Wer gewinnt das SQL-Rennen auf der Hadoop-Strecke? Hans-Peter Zorn Inovex GmbH Wer gewinnt das SQL-Rennen auf der Hadoop-Strecke? War nicht BigData das gleiche NoSQL? Data Lake = Keine Struktur? flickr/matthewthecoolguy Oder gar ein Hadump? flickr/autohistorian

Mehr

Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim

Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim Tobias Neef Cloud-Computing Seminar Hochschule Mannheim WS0910 1/23 Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim Tobias Neef Fakultät für Informatik Hochschule Mannheim tobnee@gmail.com

Mehr

Verteilte Systeme. Map Reduce. Secure Identity Research Group

Verteilte Systeme. Map Reduce. Secure Identity Research Group Verteilte Systeme Map Reduce Map Reduce Problem: Ein Rechen-Job (meist Datenanalyse/Data-Mining) soll auf einer riesigen Datenmenge ausgeführt werden. Teile der Aufgabe sind parallelisierbar, aber das

Mehr

Hard & Software Raid

Hard & Software Raid Hard & Software Raid Werner von Siemens Schule Präsentation Inhaltsverzeichnis Hardware Raid Raid 0 Raid 1 Parity Raid 0+1 & 2 Raid 3 & 4 Raid 5 & 6 Raid 7 Software Raid Fragen, Schlusswort 2 Hardware

Mehr

Ralf Albers Lead Architect, Finanz-Informatik. Frank Wegner Senior Technical Account Manager, VMware. 2009 VMware Inc. All rights reserved

Ralf Albers Lead Architect, Finanz-Informatik. Frank Wegner Senior Technical Account Manager, VMware. 2009 VMware Inc. All rights reserved Ralf Albers Lead Architect, Finanz-Informatik Frank Wegner Senior Technical Account Manager, VMware 4 2009 VMware Inc. All rights reserved TerminalServer Virtualisierung mit VMware vsphere 4 Ralf Albers

Mehr

Hadoop. Simon Prewo. Simon Prewo

Hadoop. Simon Prewo. Simon Prewo Hadoop Simon Prewo Simon Prewo 1 Warum Hadoop? SQL: DB2, Oracle Hadoop? Innerhalb der letzten zwei Jahre hat sich die Datenmenge ca. verzehnfacht Die Klassiker wie DB2, Oracle usw. sind anders konzeptioniert

Mehr

Betriebssysteme K_Kap11C: Diskquota, Raid

Betriebssysteme K_Kap11C: Diskquota, Raid Betriebssysteme K_Kap11C: Diskquota, Raid 1 Diskquota Mehrbenutzer-BS brauchen einen Mechanismus zur Einhaltung der Plattenkontingente (disk quotas) Quota-Tabelle enthält Kontingenteinträge aller Benutzer

Mehr

Leistungsanalyse von XtreemFS als Ersatz für HDFS in Hadoop

Leistungsanalyse von XtreemFS als Ersatz für HDFS in Hadoop Bachelorarbeit am Institut für Informatik der Freien Universität Berlin, Arbeitsgruppe Technische Informatik, Zuverlässige Systeme Leistungsanalyse von XtreemFS als Ersatz für HDFS in Hadoop Lukas Kairies

Mehr

STORAGE. Martin Schmidt Berufsschule Obernburg

STORAGE. Martin Schmidt Berufsschule Obernburg STORAGE Martin Schmidt Berufsschule Obernburg Storage Begriffserklärung Storage ist die Bezeichnung für eine große Menge zusammenhängenden Speicherplatz in einem Netzwerk. Storage heißen auch die große

Mehr

Hochverfügbarkeit eines Server-Systems Dr. Stephan Pettinger 7-it 1 Hochverfügbarkeit Theorie Definition Hochverfügbarkeit Kopplung von Systemen Single Point of Failure Hochverfügbarkeitscluster Linux-HA-Architektur

Mehr

Big Data Lösungen mit Apache Hadoop. Gunnar Schröder, T-Systems Multimedia Solutions GmbH

Big Data Lösungen mit Apache Hadoop. Gunnar Schröder, T-Systems Multimedia Solutions GmbH Big Data Lösungen mit Apache Hadoop Gunnar Schröder, T-Systems Multimedia Solutions GmbH Was ist Big Data? 2 Charakteristiken von Big Data Three Vs of Big Data VOLUME Terabytes Petabytes Exabytes Zettabytes

Mehr

WEBINAR@LUNCHTIME THEMA: SAS TOOLS FÜR DIE DATENVERARBEITUNG IN HADOOP ODER WIE REITET MAN ELEFANTEN?" HANS-JOACHIM EDERT

WEBINAR@LUNCHTIME THEMA: SAS TOOLS FÜR DIE DATENVERARBEITUNG IN HADOOP ODER WIE REITET MAN ELEFANTEN? HANS-JOACHIM EDERT WEBINAR@LUNCHTIME THEMA: SAS TOOLS FÜR DIE DATENVERARBEITUNG IN HADOOP ODER WIE REITET MAN ELEFANTEN?" Copyr i g ht 2012, SAS Ins titut e Inc. All rights res er ve d. HANS-JOACHIM EDERT EBINAR@LUNCHTIME

Mehr

Neue Ansätze der Softwarequalitätssicherung

Neue Ansätze der Softwarequalitätssicherung Neue Ansätze der Softwarequalitätssicherung Googles MapReduce-Framework für verteilte Berechnungen am Beispiel von Apache Hadoop Universität Paderborn Fakultät für Elektrotechnik, Informatik und Mathematik

Mehr

Umstellung auf ein virtuelles Hochverfügbarkeitssystem und Migration eines Domänencontrollers. Timo Schrody POLY-TOOLS bennewart GmbH

Umstellung auf ein virtuelles Hochverfügbarkeitssystem und Migration eines Domänencontrollers. Timo Schrody POLY-TOOLS bennewart GmbH Umstellung auf ein virtuelles Hochverfügbarkeitssystem und Migration eines Domänencontrollers Timo Schrody POLY-TOOLS bennewart GmbH Auszubildender & Ausbildungsbetrieb Timo Schrody Geboren am **.**.19**

Mehr

Verteilte Dateisysteme in der Cloud

Verteilte Dateisysteme in der Cloud Verteilte Dateisysteme in der Cloud Cloud Data Management Maria Moritz Seminar Cloud Data Management WS09/10 Universität Leipzig 1 Inhalt 1.) Anforderungen an verteilte Dateisysteme 2.) GoogleFS 3.) Hadoop

Mehr

Systemvoraussetzungen: DOMUS NAVI für DOMUS 4000 Stand 02/15

Systemvoraussetzungen: DOMUS NAVI für DOMUS 4000 Stand 02/15 Systemvoraussetzungen: DOMUS NAVI für DOMUS 4000 Stand 02/15 Benötigen Sie Unterstützung* oder haben essentielle Fragen? Kundensupport Tel.: +49 [0] 89 66086-230 Fax: +49 [0] 89 66086-235 e-mail: domusnavi@domus-software.de

Mehr

Maximalwerte für die Konfiguration VMware Infrastructure 3

Maximalwerte für die Konfiguration VMware Infrastructure 3 VMware-Themen e für die Konfiguration VMware Infrastructure 3 Revision: 20080430 Achten Sie bei Auswahl und Konfiguration Ihrer virtuellen und physischen Geräte darauf, dass Sie die von VMware Infrastructure

Mehr

RAID. Name: Artur Neumann

RAID. Name: Artur Neumann Name: Inhaltsverzeichnis 1 Was ist RAID 3 1.1 RAID-Level... 3 2 Wozu RAID 3 3 Wie werden RAID Gruppen verwaltet 3 3.1 Software RAID... 3 3.2 Hardware RAID... 4 4 Die Verschiedenen RAID-Level 4 4.1 RAID

Mehr

PVFS (Parallel Virtual File System)

PVFS (Parallel Virtual File System) Management grosser Datenmengen PVFS (Parallel Virtual File System) Thorsten Schütt thorsten.schuett@zib.de Management grosser Datenmengen p.1/?? Inhalt Einführung in verteilte Dateisysteme Architektur

Mehr

Perzentile mit Hadoop ermitteln

Perzentile mit Hadoop ermitteln Perzentile mit Hadoop ermitteln Ausgangspunkt Ziel dieses Projektes war, einen Hadoop Job zu entwickeln, der mit Hilfe gegebener Parameter Simulationen durchführt und aus den Ergebnissen die Perzentile

Mehr

Systemvoraussetzungen: DOMUS 4000 Stand 02/15

Systemvoraussetzungen: DOMUS 4000 Stand 02/15 Systemvoraussetzungen: DOMUS 4000 Stand 02/15 Benötigen Sie Unterstützung* oder haben essentielle Fragen? Kundensupport Tel.: +49 [0] 89 66086-220 Fax: +49 [0] 89 66086-225 e-mail: domus4000@domus-software.de

Mehr

Manfred Helber Microsoft Senior PreSales Consultant

Manfred Helber Microsoft Senior PreSales Consultant Manfred Helber Microsoft Senior PreSales Consultant Agenda ROK Vorteile Extended Live Migration Extended Hyper-V Replica Hyper-V Cluster Erweiterungen Storage Quality of Service Auswahl geeigneter Serversysteme

Mehr

Hadoop in a Nutshell Einführung HDFS und MapReduce. Oracle/metafinanz Roadshow Februar 2014

Hadoop in a Nutshell Einführung HDFS und MapReduce. Oracle/metafinanz Roadshow Februar 2014 Hadoop in a Nutshell Einführung HDFS und MapReduce Oracle/metafinanz Roadshow Februar 2014 Head of Data Warehousing DWH Principal Consultant DWH Senior Consultant Wir fokussieren mit unseren Services die

Mehr

MATCHING VON PRODUKTDATEN IN DER CLOUD

MATCHING VON PRODUKTDATEN IN DER CLOUD MATCHING VON PRODUKTDATEN IN DER CLOUD Dr. Andreas Thor Universität Leipzig 15.12.2011 Web Data Integration Workshop 2011 Cloud Computing 2 Cloud computing is using the internet to access someone else's

Mehr

Die TravelTainment DataCollection

Die TravelTainment DataCollection Die TravelTainment DataCollection Seminararbeit im Studium Scientific Programming WS 2011/2012 Betreuer: Betreuer: Prof. Dr. Hans-Joachim Pflug Ibrahim Husseini Autor: Katharina Zacharias Matrikel-Nr:

Mehr

4 Planung von Anwendungsund

4 Planung von Anwendungsund Einführung 4 Planung von Anwendungsund Datenbereitstellung Prüfungsanforderungen von Microsoft: Planning Application and Data Provisioning o Provision applications o Provision data Lernziele: Anwendungen

Mehr

Einfach erklärt: RAC Grundlagen für Dummies

Einfach erklärt: RAC Grundlagen für Dummies Einfach erklärt: RAC Grundlagen für Dummies Ralf Appelbaum TEAM GmbH Paderborn Schlüsselworte Real Application Clusters, RAC, Grid Infrastructure, Automatic Storage Management, ASM, ASM Cloud File System,

Mehr

Systemanforderungen WoWi c/s 4.0

Systemanforderungen WoWi c/s 4.0 Haufe-Lexware Real Estate AG Ein Unternehmen der Haufe Gruppe Munzinger Str. 9 79111 Freiburg Tel.: 0800 79 724 (kostenlos) Fax.: 05207 914229 realestate@haufe.de www.haufe.de/wowi-cs Systemanforderungen

Mehr

TECHNISCHE VORAUSSETZUNGEN 08/2015

TECHNISCHE VORAUSSETZUNGEN 08/2015 Hardware- und Software-Anforderungen zum Betrieb von GSD-Softwarelösungen Stand: 30. Juli 2015 Impressum: GSD Gesellschaft für Software, Entwicklung und Datentechnik mbh Ludwigsstädter Straße 95+97 D-96342

Mehr

Virtuelle Maschinen. von Markus Köbele

Virtuelle Maschinen. von Markus Köbele Virtuelle Maschinen von Markus Köbele Was sind virtuelle Maschinen? Rechner, dessen Hardwarekomponenten vollständig durch Software emuliert und virtualisiert werden Anweisungen der virtuellen Maschine

Mehr

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes Hadoop Eine Open-Source-Implementierung von MapReduce und BigTable von Philipp Kemkes Hadoop Framework für skalierbare, verteilt arbeitende Software Zur Verarbeitung großer Datenmengen (Terra- bis Petabyte)

Mehr

Power Server aus Zizers Business Server

Power Server aus Zizers Business Server OSKAR EMMENEGGER & SÖHNE AG IT - SERVICES Email mail@it-services.tv WWW http://www.it-services.tv Stöcklistrasse CH-7205 Zizers Telefon 081-307 22 02 Telefax 081-307 22 52 Power Server aus Zizers Unsere

Mehr

RAC auf Sun Cluster 3.0

RAC auf Sun Cluster 3.0 RAC auf Sun Cluster 3.0 Schlüsselworte RAC, OPS, Sun Cluster, Performance, Availability Zusammenfassung Oracle hat mit dem Real Application Cluster (RAC) aus einer Hochverfügbarkeitslösung eine Höchstverfügbarkeitslösung

Mehr

Hochleistungs-Disk-I/O

Hochleistungs-Disk-I/O Hochleistungs-Disk-I/O mit Lustre, dcache und AFS eine vergleichende Betrachtung Stephan Wiesand DESY DV 33. Treffen des ZKI AK Supercomputing Hamburg, 2010-03-04 Computing am DESY Standort Zeuthen Batch

Mehr

Big Data. Hype oder Chance? Sebastian Kraubs

Big Data. Hype oder Chance? Sebastian Kraubs Big Data Hype oder Chance? Sebastian Kraubs Heute reden alle über Big Data Quellen: http://blogs.sybase.com/sybaseiq/2011/09/big-data-big-opportunity/ und McKinsey Studie 2011 Anwendungen Daten Technologien

Mehr

Systemanforderungen Verlage & Akzidenzdruck

Systemanforderungen Verlage & Akzidenzdruck OneVision Software AG Inhalt Asura 10, Asura Pro 10, Garda 10...2 PlugBALANCEin 10, PlugCROPin 10, PlugFITin 10, PlugRECOMPOSEin10, PlugSPOTin 10,...2 PlugTEXTin 10, PlugINKSAVEin 10, PlugWEBin 10...2

Mehr

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar!

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar! Clouds Wolkig bis Heiter Erwartungen der Nutzer Er ist verwöhnt! Verfügbarkeit Viele Anwendungen Intuitive Interfaces Hohe Leistung Er ist nicht dankbar! Mehr! Mehr! Mehr! Moore 1 Erwartungen der Entwickler

Mehr

PostgreSQL Hardware und RAM Tuning

PostgreSQL Hardware und RAM Tuning PostgreSQL Hardware und RAM Tuning Dipl. Inf. Susanne Ebrecht FrOSCon 2011 2011, 2ndQuadrant Ltd., Author: Susanne Ebrecht 1 Hinweis Zweck der Folien ist, den Vortrag zu untermalen. Die Folien allein sind

Mehr

June 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration

June 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration June 2015 Automic Hadoop Agent Data Automation - Hadoop Integration + Aufbau der Hadoop Anbindung + Was ist eigentlich ist MapReduce? + Welches sind die Stärken von Hadoop + Welches sind die Schwächen

Mehr

TECHNISCHE VORAUSSETZUNGEN 09/2014

TECHNISCHE VORAUSSETZUNGEN 09/2014 Hardware- und Software-Anforderungen zum Betrieb von GSD-Softwarelösungen Stand: 18. September 2014 Impressum: GSD Gesellschaft für Software, Entwicklung und Datentechnik mbh Ludwigsstädter Straße 95+97

Mehr

SSDs als Cache für HDDs

SSDs als Cache für HDDs SSDs als Cache für HDDs CacheCade vs. BCache Dirk Geschke Linux User Group Erding 23. Oktober 2013 Dirk Geschke (LUG-Erding) SSD-Cache 23. Oktober 2013 1 / 71 Gliederung 1 Einleitunng 2 HDD Hard-Disk-Drive

Mehr

VirtualBox und OSL Storage Cluster

VirtualBox und OSL Storage Cluster VirtualBox und OSL Storage Cluster A Cluster in a Box A Box in a Cluster Christian Schmidt Systemingenieur VirtualBox und OSL Storage Cluster VirtualBox x86 und AMD/Intel64 Virtualisierung Frei verfügbar

Mehr

Apache Lucene. Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org

Apache Lucene. Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org Apache Lucene Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org 1 Apache Apache Software Foundation Software free of charge Apache Software

Mehr

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse Carsten Czarski Oracle Deutschland B.V. & Co KG Big Data Betrachten von Daten die bislang nicht betrachtet wurden

Mehr

Apache Hadoop. Distribute your data and your application. Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.

Apache Hadoop. Distribute your data and your application. Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache. Apache Hadoop Distribute your data and your application Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org Apache The Apache Software Foundation Community und

Mehr

GPU-basierte Beschleunigung von MapReduce am Beispiel von OpenCL und Hadoop

GPU-basierte Beschleunigung von MapReduce am Beispiel von OpenCL und Hadoop am Beispiel von OpenCL und Masterseminar Hochschule für Technik, Wirtschaft und Kultur Leipzig Leipzig, 02.11.2011 Gliederung 1 Grundlagen 2 3 Gliederung 1 Grundlagen 2 3 Was ist? Clustersystem zur verteilten

Mehr

VMware vsphere 6.0 Neuigkeiten und neue Features

VMware vsphere 6.0 Neuigkeiten und neue Features VMware vsphere 6.0 Neuigkeiten und neue Features Präsentation 30. Juni 2015 1 Diese Folien sind einführendes Material für ein Seminar im Rahmen der Virtualisierung. Für ein Selbststudium sind sie nicht

Mehr

Verfügbarkeit von Applikationen und Failover Szenarien. Winfried Wojtenek. wojtenek@mac.com

Verfügbarkeit von Applikationen und Failover Szenarien. Winfried Wojtenek. wojtenek@mac.com Verfügbarkeit von Applikationen und Failover Szenarien Winfried Wojtenek wojtenek@mac.com Verfügbarkeit % Tage Stunden Minuten 99.000 3 16 36 99.500 1 20 48 99.900 0 9 46 99.990 0 0 53 99.999 0 0 5 Tabelle

Mehr

Systemanforderungen Verlage & Akzidenzdruck

Systemanforderungen Verlage & Akzidenzdruck OneVision Software AG Inhalt Asura 9.6, Asura Pro 9.6, Garda 5.6...2 PlugBALANCEin 6.6, PlugCROPin 6.6, PlugFITin 6.6, PlugRECOMPOSEin 6.6, PlugSPOTin 6.6,...2 PlugTEXTin 6.6, PlugINKSAVEin 6.6, PlugWEBin

Mehr

Storage-Trends am LRZ. Dr. Christoph Biardzki

Storage-Trends am LRZ. Dr. Christoph Biardzki Storage-Trends am LRZ Dr. Christoph Biardzki 1 Über das Leibniz-Rechenzentrum (LRZ) Seit 50 Jahren Rechenzentrum der Bayerischen Akademie der Wissenschaften IT-Dienstleister für Münchner Universitäten

Mehr

Big Data in der Forschung

Big Data in der Forschung Big Data in der Forschung Dominik Friedrich RWTH Aachen Rechen- und Kommunikationszentrum (RZ) Gartner Hype Cycle July 2011 Folie 2 Was ist Big Data? Was wird unter Big Data verstanden Datensätze, die

Mehr

Dateisysteme und Datenverwaltung in der Cloud

Dateisysteme und Datenverwaltung in der Cloud Dateisysteme und Datenverwaltung in der Cloud Sebastian Fischer Master-Seminar Cloud Computing - WS 2013/14 Institut für Telematik, Universität zu Lübeck Dateisysteme und Datenverwaltung in der Cloud 1

Mehr

IBM SPSS Modeler Text Analytics für Windows Installationsanweisungen

IBM SPSS Modeler Text Analytics für Windows Installationsanweisungen IBM SPSS Modeler Text Analytics für Windows Installationsanweisungen IBM SPSS Modeler Text Analytics Server kann so installiert und konfiguriert werden, dass es auf einem Rechner ausgeführt werden kann,

Mehr

exomium expansion R4 424E

exomium expansion R4 424E exomium expansion R4 424E Datenblatt exomium expansion storage R4 212E Systeme bieten Ihnen einfache Optionen zum Ausbau Ihres exomium storage. Die Auswahl unter verschiedenen Kapazitäten ermöglicht es

Mehr

Data Mining in der Cloud

Data Mining in der Cloud Data Mining in der Cloud von Jan-Christoph Meier Hamburg, 21.06.2012 1 Ablauf Einführung Verwandte Arbeiten Fazit / Ausblick Literatur 2 Ablauf Einführung Verwandte Arbeiten Fazit / Ausblick Literatur

Mehr

Systemvoraussetzungen und Installation

Systemvoraussetzungen und Installation Systemvoraussetzungen und Installation Inhaltsverzeichnis Inhaltsverzeichnis... 2 1. Einleitung... 2 2. Einzelarbeitsplatzinstallation... 3 3. Referenz: Client/Server-Installation... 5 3.1. Variante A:

Mehr

Systemanforderungen Verlage & Akzidenzdruck

Systemanforderungen Verlage & Akzidenzdruck OneVision Software AG Inhalt Asura 9.5, Asura Pro 9.5, Garda 5.0...2 PlugBALANCEin 6.5, PlugCROPin 6.5, PlugFITin 6.5, PlugRECOMPOSEin 6.5, PlugSPOTin 6.5,...2 PlugTEXTin 6.5, PlugINKSAVEin 6.5, PlugWEBin

Mehr

So erreichen Sie uns:

So erreichen Sie uns: für Das I Ho chp hre in Clus t d erf orm ividu ersy e s ll ant, sic en Be tem dü her und rfnis pre se. isw ert. So erreichen Sie uns: Contabo GmbH Aschauer Straße 32 a 81549 München +49 (0) 89 / 212 683

Mehr

SQL on Hadoop für praktikables BI auf Big Data.! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh

SQL on Hadoop für praktikables BI auf Big Data.! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh SQL on Hadoop für praktikables BI auf Big Data! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh War nicht BigData das gleiche NoSQL? 2 Wie viele SQL Lösungen für Hadoop gibt es mittlerweile? 3 ! No SQL!?

Mehr

Systemanforderungen und unterstützte Software

Systemanforderungen und unterstützte Software Systemanforderungen und unterstützte Software 1. Systemanforderungen für Server und Client Diese Anforderungen gelten für den Betrieb von Sage 200 ERP Extra Version 2013 Die Übersicht beschreibt die für

Mehr

Alles Spricht von RAID-Verband

Alles Spricht von RAID-Verband Alles Spricht von RAID-Verband Der Begriff "RAID" fiel in der Vergangenheit lediglich in dem Zusammenhang von Server-PC's. Doch heutzutage, wo die PC-Hardware immer günstiger werden und das Interesse an

Mehr

1 Hochverfügbarkeit. 1.1 Einführung. 1.2 Network Load Balancing (NLB) Quelle: Microsoft. Hochverfügbarkeit

1 Hochverfügbarkeit. 1.1 Einführung. 1.2 Network Load Balancing (NLB) Quelle: Microsoft. Hochverfügbarkeit 1 Hochverfügbarkeit Lernziele: Network Load Balancing (NLB) Failover-Servercluster Verwalten der Failover Cluster Rolle Arbeiten mit virtuellen Maschinen Prüfungsanforderungen von Microsoft: Configure

Mehr

Hochverfügbarkeit mit Windows Server vnext. Carsten Rachfahl Microsoft Hyper-V MVP

Hochverfügbarkeit mit Windows Server vnext. Carsten Rachfahl Microsoft Hyper-V MVP Hochverfügbarkeit mit Windows Server vnext Carsten Rachfahl Microsoft Hyper-V MVP Carsten Rachfahl www.hyper-v-server.de Roling Cluster Upgrade Herausforderung: Update eines Failover Clusters ohne Downtime

Mehr

Der Nutzen und die Entscheidung für die private Cloud. Martin Constam Rechenpower in der Private Cloud 12. Mai 2014

Der Nutzen und die Entscheidung für die private Cloud. Martin Constam Rechenpower in der Private Cloud 12. Mai 2014 Der Nutzen und die Entscheidung für die private Cloud Martin Constam Rechenpower in der Private Cloud 12. Mai 2014 1 Übersicht - Wer sind wir? - Was sind unsere Aufgaben? - Hosting - Anforderungen - Entscheidung

Mehr

Hochverfügbare Server-Hardware: Eine Fallstudie (Logistik-Zentrum)

Hochverfügbare Server-Hardware: Eine Fallstudie (Logistik-Zentrum) Hochverfügbare Server-Hardware: Eine Fallstudie (Logistik-Zentrum) Anforderungen aus heutiger Sicht Wesentliche Merkmale der Anwendung Leistungsbestimmende Komponenten Zuverlässigkeitsbestimmende Komponenten

Mehr

MATERNA GmbH 2014 www.materna.de 1

MATERNA GmbH 2014 www.materna.de 1 MATERNA GmbH 2014 www.materna.de 1 Agenda Herausforderungen BigData Größeres Pferd oder Pferdegespann? Apache Hadoop Geschichte, Versionen, Ökosystem Produkte HDFS Daten speichern und verteilen Map/Reduce

Mehr

So erreichen Sie uns:

So erreichen Sie uns: für Das I Ho chp hre in Clus t d erf orm ividu ersy e s ll ant, sic en Be tem dü her und rfnis pre se. isw ert. So erreichen Sie uns: Giga-Hosting GmbH Aschauer Straße 32 a 81549 München +49 (0) 89 / 212

Mehr

Preis- und Leistungsverzeichnis der Host Europe GmbH. Hybrid Cloud V 2.1. Stand 16.09.2014

Preis- und Leistungsverzeichnis der Host Europe GmbH. Hybrid Cloud V 2.1. Stand 16.09.2014 Preis- und Leistungsverzeichnis der Host Europe GmbH Hybrid Cloud V 2.1 Stand 16.09.2014 INHALTSVERZEICHNIS PREIS- UND LEISTUNGSVERZEICHNIS HYBRID CLOUD... 3 Produktbeschreibung... 3 Voraussetzungen...

Mehr

(früher: Double-Take Backup)

(früher: Double-Take Backup) (früher: Double-Take Backup) Eine minutengenaue Kopie aller Daten am Standort: Damit ein schlimmer Tag nicht noch schlimmer wird Double-Take RecoverNow für Windows (früher: Double-Take Backup) sichert

Mehr

on Azure mit HDInsight & Script Ac2ons

on Azure mit HDInsight & Script Ac2ons Willkommen beim #GAB 2015! on Azure mit HDInsight & Script Ac2ons Lokale Sponsoren: HansPeter Grahsl Netconomy Entwickler & Berater FH CAMPUS 02 Twi9er: @hpgrahsl Überblick Inhalte Was ist HDInsight? Wozu

Mehr

NST6000MC TM METRO- SPEICHER-CLUSTER

NST6000MC TM METRO- SPEICHER-CLUSTER DATENBLATT NST6000MC TM METRO- SPEICHER-CLUSTER Leistung, Skalierbarkeit, hohe Verfügbarkeit und Disaster Recovery NEXSAN NST6000MC TM -CONTROLLER-KNOTEN LEISTUNGSTRÄGER: UNIFIED-HYBRID-SPEICHER NST6000MC:

Mehr

Data Mining und Machine Learning

Data Mining und Machine Learning Data Mining und Machine Learning Teil 7: Verteiltes Rechnen mit Map Reduce Dr. Harald König, FHDW Hannover 30. November 2015 Inhalt 1 Verteiltes Rechnen 2 Map Reduce 3 Anwendungen 4 Map Reduce: Weiterführende

Mehr

Hyper-V Replica in Windows Server 2012 R2. Benedict Berger Microsoft MVP Virtual Machine

Hyper-V Replica in Windows Server 2012 R2. Benedict Berger Microsoft MVP Virtual Machine Hyper-V Replica in Windows Server 2012 R2 Benedict Berger Microsoft MVP Virtual Machine Ihr Referent bb@elanity.de http://blog.benedict-berger.de Hyper-V Replica VM Mobility Möglichkeiten Replica Flexibilität

Mehr