Cloud Data Management

Größe: px
Ab Seite anzeigen:

Download "Cloud Data Management"

Transkript

1 Cloud Data Management Kapitel 3: Verteilte Dateisysteme Dr. nika Groß Sommersemester 2015 Universität Leipzig

2 Inhaltsverzeichnis Dateisysteme für die Cloud Notwendigkeit, Ziele Google File System (GFS) Hadoop File System (HDFS) Hadoop Ecosystem rchitektur Operationen Rack wareness und lock Placement Fehlerbehandlung Neue Features in HDFS2

3 Dateisysteme und verteilte Dateisysteme Dateisystem System für permanente Datenspeicherung Zugriffsschicht für physischen Datenträger (HDD, DVD,...) asisobjekt: Datei eindeutig referenziert durch Namen und (hierarchischen) Pfad eispiele: FT32, NTFS, ext4,... Verteiltes Dateisystem ermöglicht Zugriff auf Dateien anderer Rechner (Server) Problemfälle Concurrency Replication Caching Dateisystem (für Nutzer/nwendung) NTFS EXT4 HDD1 HDD2 Client eispiele: DFS, NFS,... NFS NFS Server Dateisystem (Server) EXT4 EXT4 HDD1 HDD2

4 Notwendigkeit neuer Dateisysteme für Cloud Nutzer eispiele nzahl der Dateien Größe der Dateien Lesezugriff Lokal / Netzwerk nwender, (lokale) Programme Textverarbeitung Fotoverwaltung sehr viele (>>1,000,000) kleine (K-M) teilw. concurrent, komplett Schreibzugriff mehrfach Überschreiben Cloud Verteilte Large-Scale- erechnungsprogramme Suchmaschine (Index, PageRank,...), Soziales Netzwerk (Clustering, FoaF,...) wenige ( 1,000,000) große (G, T, ) concurrent, streaming write-once, nhängen von Daten (append), concurrent writes

5 nnahmen und Ziele 1. Hardware usfall 100e/1000e von Commodity Servern pro Cluster usfall ist die Norm (nicht die usnahme) Gewährleistung von Datensicherheit 2. Streaming Data ccess Verteiltes, sequentielles Lesen (blockweise) atch Processing statt interaktiver Nutzung 3. Sehr große Datensätze Millionen von Dateien mit je G-T Hohe Gesamtbandbreite nötig 4. Einfaches Kohärenzmodell Write-once-read-many Zugriffe Vereinfachung von Daten-Kohärenz-Problemen für hohen Datendurchsatz 5. Datennahe erechnung erechnung soll nah an den zu verarbeitenden Daten stattfinden Wissen über Speicherort der Daten notwendig (Lokalität) 6. Portabilität Unterstützung heterogener Hard- und Software

6 Google File System Proprietäres, verteiltes Linux-basiertes Dateisystem Hochskalierend: tausende Festplatten, mehrere 100T Open Source-lternative: Hadoop Distributed File System Netzknoten: billige Standardhardware (kein RID) Optimiert für Streaming ccess (Write-once-read-many) Physische Datenpartitionierung in Chunks (Default: 64 M) Verteilung über mehrere Chunkserver (und Replizierung jedes Chunks) Master-Server Mapping: Datei Chunk Node Replikat-Management: Default 3 Chunk-Kopien (in 2 Racks) nfragebearbeitung, Zugriffsverwaltung

7 Google File System: rchitektur [GGL03]

8 Master Metadata-Management Mapping: Datei Chunk ChunkServer (Node) lles im Hauptspeicher (performant) Logfile 64 byte pro Chunk, wenige Dateien persistentes Logging kritischer Metadaten-Updates Repliziert, Checkpoints (Recovery) Single-Master-Problem (Single Point of Failure = SPOF, ottleneck) Shadow Masters haben ( recent ) Kopie des Mappings; springen bei usfall ein Reduzierter Workload für Master nur Metadaten große Chunksize (64M), damit wenige Metadaten / Interaktion / Netzwerk Overhead uthority-weiterreichung an Primary Replicas bei Datenänderung (Lease)

9 Datenmanipulation Mutation (Schreiben oder nhängen) muss für alle Replikate durchgeführt werden Lease Mechanismus Master bestimmt ein Replica zur Koordinierung ( lease for mutation ) Primary Replica sendet Folge von Mutations-Operationen an alle Secondary Replicas Reduzierter Master-Workload Datenfluss von Kontrollfluss entkoppelt ppend-operation GFS hängt Daten von Client an File an GFS bestimmt Offset, damit parallele Schreibzugriffe möglich optimiert für Multiple-Producer-Single-Reader-Queues (z.. MapReduce) [GGL03]

10 pache Hadoop Ecosystem Coordination Serialization Workflow Graph SQL/DWH Scripting Distributed Data Processing Model Job Scheduling Column Store Distributed Storage Shared Nothing Cluster

11 pache HDFS Verteiltes Dateisystem von Hadoop Modul des pache Hadoop Core Top-Level Project Open Source unter pache Lizenz, Version 2.0 Initiale Entwicklung durch Yahoo! Vollständig in Java implementiert Non-POSIX konform für verbesserte Performanz Läuft typischerweise auf GNU/Linux etriebssystemen Distributed Storage Shared Nothing Cluster

12 rchitektur Überblick HDFS Client NameNode DataNode 0 DataNode 1 DataNode 2 TCP/IP Communication Master (Metadaten) Workers (Daten)

13 rchitektur Überblick JobTracker TaskTracker 0 TaskTracker 1 TaskTracker 2 NameNode DataNode 0 DataNode 1 DataNode 2 TCP/IP Communication Master (Metadaten) Workers (Daten)

14 rchitektur löcke lock: Minimale Datenmenge, die eine Festplatte/Dateisystem lesen o. schreiben kann 512 yte für Festplatten 4 Kilobyte für lokale Dateisysteme (z.. ext4) 64 Megabyte für HDFS (default, 128M typisch) Warum 64 M? Minimierung der Kosten für disk seeks Übertragung großer Dateien möglichst mit disk speed HDFS Dateien werden in löcke / Chunks zerlegt löcke/chunks/splits sind die asiseinheit für Replikation (kein RID) Split: Eingabe für Map- oder Reduce Task Dateigröße nicht durhc lokales Dateisystem limitiert Write-once-read-many access Modell /user/bob/file.txt [128M] ->

15 Mapping Namespace rchitektur NameNode (NN) / /user/ [755, t1,...] /user/bob/ /user/bob/file.txt /user/bob/file.txt: => {DN0, DN1, DN2} => {DN0, DN1, DN2} NameNode CP J Master Image Verwaltet Namespace-Tree des Dateisystems Eindeutige namespaceid Ordner und Dateien repräsentiert durch inodes inode: Datei- und Verzeichnisrechte (permissions), Zugriffs-& Modifizierungszeit, space quotas Verwaltet Mapping der löcke zu DataNodes (DN) Namespace + Mapping = Image Image wird vollständig im RM des NN gehalten Persistenter Namespace = Checkpoint (CP) Modification-Log des Image = Journal (J) / Edit Log Write-head-Log enthält Dateisystem Änderungen Während (Neu)start des NN wird das Image aus dem Checkpoint und Journal wiederhergestellt Checkpoint + Journal sind kritische Komponenten Typischerweise an verschiedenen (remote) locations gespeichert

16 rchitektur DataNode (DN) (1) NameNode CP J DataNode 0 Identifiziert durch eindeutige storageid Zuweisung bei erster Verbindung zu NN Unabhängig von IP dresse oder Port Registriert sich beim NN (storage ID + namespaceid) Speichert lock Replicas im lokalen Dateisystem lock wird durch zwei Dateien repräsentiert Eigentliche Daten lock Metadaten + Checksumme

17 rchitektur DataNode (DN) (2) NameNode CP J R H I DataNode 0 Sendet stündliche block reports (R) zum NN für Mapping-Updates Für jedes lock Replica: lockid, Länge, Sendet heartbeats (H) zum NN (3 Sekunden) Timeout nach 10 min, DN wird als out of service betrachtet, NN setzt löcke auf 'nicht verfügbar Weitere Informationen: Gesamtspeicherkapazität, genutzter Speicheranteil, nzahl aktueller Datentransfers Erhält instructions (I) vom NN durch Heartbeat Replies Repliziert löcke auf andere Knoten Entfernt lokale lock Replica Re-registrierung oder Shut Down des Knotens Sofortiges Senden eines lock-reports

18 rchitektur HDFS Client pplication HDFS Client NameNode CP J R/W DataNode 0? {DN0} ietet nwendungen Zugriff auf HDFS Operationen zum Lesen, Schreiben, Löschen von Dateien (read, write, delete) Operationen zur Erzeugung (create) und Löschung (delete) von Ordnern Kein Wissen über Replikation und die notwendigen lock-metadaten Übermittelt die Location der Dateiblöcke z.. von MapReduce zur Verteilung von Tasks verwendet uswahl des Servers, der die benötigten Daten vorhält Verschiedene Client Implementierungen Java und C PI Terminal Client Web rowser

19 rchitektur Secondary NameNode / Checkpoint Node / ackup Node Secondary NameNode Irreführender Name Periodischer Download des Checkpoint und Journal vom NN Merge von Checkpoint und Journal Sendet neuen Checkpoint zurück an NN Checkpoint Node (Hadoop 2) Entspricht Secondary NameNode ackup Node Wie Checkpoint Node Führt in-memory, up-to-date Image des Dateisystems Wird durch NN synchronisiert (implementiert die Journal PI) read only Name Node (enthält keine lock Locations) Vorteil: NN kann ohne persistenten Speicher laufen

20 HDFS Operationen Write /user/bob/file.txt =>{DN0, DN1, DN2} =>{DN0, DN1, DN2} 1. Create file.txt [ ] 2. Lease + DNs for 3. HDFS Client 3. Write NameNode DataNode 0 DataNode 1 DataNode 2 4. Success Erzeugung einer Datei (NN prüft, ob Datei existiert und Nutzer die erforderlichen Rechte hat) 2. NN sendet file lease und DNs, auf die 1. lock geschrieben werden soll (dfs.replication (3)) 3. Leitet Write des locks an DN1 DN0 DN2 unter Verwendung von Packets 4. DNs sendet lock-report an NN (Update Mapping) 5. Write

21 HDFS Operationen Read 1. Open file.txt 2. Get lock Locations for 4. Get lock Locations for /user/bob/file.txt 2. lock locations for =>{DN0, DN1, DN2} 4. lock locations for =>{DN0, DN1, DN2} HDFS Client 3. read 4. read NameNode DataNode 0 DataNode 1 DataNode 2 1. Öffnen einer Datei Open für read 2. Erhält lock Locations vom NN sortiert nach Distanz zum Client 3. Liest ersten lock () vom nächsten, erreichbaren DataNode, verifiziert Checksum 4. Liest zweiten lock () vom nächsten, erreichbaren DataNode, verifiziert Checksum

22 HDFS Cluster Topologie nnahme: Distanz zum Vorfahr = 1 Distanz zwischen zwei Nodes = Summe der Distanzen zum kleinsten gemeinsamen Vorfahr der Nodes distance(/d1/r1/n1, /d1/r1/n1) = 0 (same node) distance(/d1/r1/n1, /d1/r1/n2) = 2 (different nodes, same rack) distance(/d1/r1/n1, /d1/r2/n5) = 4 (different racks, same dc) distance(/d1/r1/n1, /d2/r4/n5) = 6 (different racks, different dc) / NW Switch NW Switch Rack Switch Rack Switch Rack Switch Rack Switch NameNode DataNode 4 DataNode 1 DataNode 5 DataNode 1 DataNode 5 DataNode 2 DataNode 6 DataNode 2 DataNode 6 DataNode 3 DataNode 7 DataNode 3 DataNode 7 DataNode 4 DataNode 8 Rack 1 Rack 2 Rack 3 Rack 4 Datacenter 1 Datacenter 2

23 lock Placement Tradeoff zwischen Zuverlässigkeit (reliability), Verfügbarkeit, Schreib- und Lesebandbreite Definiert durch lock Placement Policy Default Policy (dfs.replication = 3) 1. Replica auf dem gleichen Knoten wie Client 2. Replica in anderem Rack 3. Replica auf dem gleichen Rack wie 2. aber anderer Knoten 4. bis n-tes Replica Random-Zuordnung (mit Constraints) Gute alance durch Default Policy Zuverlässigkeit (locks auf zwei Racks) Schreib-andbreite (Kommunikation nur über 1 NW Switch) Lese-andbreite (zwei Racks für Lesen) lock-verteilung im Cluster (Clients schreiben nur einen lock auf lokales Rack) 1. Create file.txt [ ] 2. Write 3. NN replies {DN1, DN5, DN7} 4. Write 5. NN replies {DN1, DN4, DN6} Rack Switch NameNode Client DN 1 DataNode 2 DataNode 3 NW Switch Rack Switch DataNode 4 DataNode 5 DataNode 6 Rack 1 Rack 2 DataNode 7

24 lock Replication Management und alancierung NameNode verwaltet Replikationsstatus der löcke (lock Reports) over-replicated lock Rack wird re-aktiviert nach Netzwerkpartitionierung; Änderung von dfs.replication NN wählt zu entfernende Replica aus (versucht nicht die nzahl der Racks zu minimieren, bevorzugt sehr volle DNs) under-replicated lock Disk / Server / Rack usfall; Änderung von dfs.replication lock wird Replication Priority Queue hinzugefügt (nur 1 Replica = höchste Priorität) Queue wird periodisch gescannt und löcke werden entsprechend lock Placement Policy verteilt lle Replicas sind auf einem Rack (Rack usfall) ehandlung des locks wie under-replicated alancer Tool dministratives Tool, das Über- und Unterauslastung der DNs ermittelt und zum Erreichen einer guten alance die löcke umverteilt

25 HDFS2 High vailability (H) ctive NameNode R W I H CP J NFS Mount DataNode 0 R R Standby NameNode H HDFS1: NameNode ist SPOF HDFS2 H (NFS): zwei redundante NameNodes in aktiv/passiv Konfiguration Nur ein NN ist aktiv und verantwortlich für alle Client Operationen eide NNs haben Zugang zu einem gemeinsamen Directory (NFS) ktiver NN schreibt in Journal, Standby NN überwacht Journal auf Änderungen und wendet Updates auf eigenen Namespace an DNs senden lock Reports und Heartbeats an beide NNs Standby Node erstellt Checkpoint HDFS2 H (QJM) NFS Share ist SPOF Quorum Journal Manager Journal Nodes anstatt NFS share

26 HDFS2 Federation NN-1 NN-k NN-n NS-1 NS-k NS-n Pool 1 Pool 2 Pool 3 lock Pools R DataNode 0 DataNode 1 DataNode 2 H HDFS1: Cluster Speicher skaliert horizontal - der Namespace (NS) nicht Problematisch für große Installationen mit vielen (kleinen) Dateien Dateisystem-Operationen begrenzt durch NN Performanz Keine Isolation in Mehrbenutzerumgebung HDFS2: NS wird in mehrere Namespaces aufgeteilt Hinzufügen von NameNodes (NN-1,, NN-n), die je einen Teil des NS (NS-1,, NS-n) verwalten NS volume = NS und lock Pool (=löcke für NS) NS Volumes sind unabhängig DNs speichern löcke aus allen Pools und senden H/R an alle NNs

27 HDFS Zusammenfassung Verteilte, fehlertolerante Dateisysteme Speicherschicht des Hadoop Ecosystems Für Streaming großer Dateien Fehlertoleranz durch lock-replikation lock Placement Policy und alancierung HDFS2 High vailability zur Vermeidung /Reduzierung von usfallzeiten Federation zur Vermeidung von NS Skalierbarkeitsproblemen

28 GFS/HDFS: Zusammenfassung Eigenschaft Metadaten Technologie / Idee Instanzdaten Zuverlässigkeit Lese-Operation Schreib-Operation uf GFS/HDFS abgestimmte Programmiermodelle (z.. MapReduce) Moving Computation is Cheaper than Moving Data Ziel: erechnung auf gleichem (oder nahem) Knoten wie Daten

29 Quellen und Literatur [GGL03] Ghemawat, Gobioff, and Leung: The Google File System. Symposium on Operating Systems Principles, 2003 [W12] White, Tom. Hadoop: The Definitive Guide. 3rd Edition. O Reilly [S10] Shvachko et al. The Hadoop Distributed File System. MSST [HDFS]

Einführung in Hadoop

Einführung in Hadoop Einführung in Hadoop Inhalt / Lern-Ziele Übersicht: Basis-Architektur von Hadoop Einführung in HDFS Einführung in MapReduce Ausblick: Hadoop Ökosystem Optimierungen Versionen 10.02.2012 Prof. Dr. Christian

Mehr

Datenverwaltung in der Cloud. Überblick. Google File System. Anforderungen der Anwendungen an das Dateisystem

Datenverwaltung in der Cloud. Überblick. Google File System. Anforderungen der Anwendungen an das Dateisystem Überblick Datenverwaltung in der Cloud Datenverwaltung in der Cloud Motivation Windows Azure Storage: Zusammenfassung CAP-Theorem nach [Brewer] In einem verteilten System ist es nicht möglich gleichzeitig

Mehr

Cloud Data Management

Cloud Data Management Cloud Data Management Kapitel 2: Infrastruktur und Services Dr. Michael Hartung Sommersemester 2012 Universität Leipzig Institut für Informatik http://dbs.uni-leipzig.de 1 Inhaltsverzeichnis Hardware-Infrastruktur

Mehr

Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen

Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen Brownbag am Freitag, den 26.07.2013 Daniel Bäurer inovex GmbH Systems Engineer Wir nutzen Technologien, um unsere Kunden glücklich zu machen. Und

Mehr

Verteilte Dateisysteme in der Cloud

Verteilte Dateisysteme in der Cloud Verteilte Dateisysteme in der Cloud Cloud Data Management Maria Moritz Seminar Cloud Data Management WS09/10 Universität Leipzig 1 Inhalt 1.) Anforderungen an verteilte Dateisysteme 2.) GoogleFS 3.) Hadoop

Mehr

MapReduce in der Praxis

MapReduce in der Praxis MapReduce in der Praxis Rolf Daniel Seminar Multicore Programmierung 09.12.2010 1 / 53 Agenda Einleitung 1 Einleitung 2 3 Disco Hadoop BOOM 4 2 / 53 1 Einleitung 2 3 Disco Hadoop BOOM 4 3 / 53 Motivation

Mehr

Verteilte Systeme. Map Reduce. Secure Identity Research Group

Verteilte Systeme. Map Reduce. Secure Identity Research Group Verteilte Systeme Map Reduce Map Reduce Problem: Ein Rechen-Job (meist Datenanalyse/Data-Mining) soll auf einer riesigen Datenmenge ausgeführt werden. Teile der Aufgabe sind parallelisierbar, aber das

Mehr

Verteiltes Backup. Einleitung Grundlegende Backup Techniken Backup in Netzwerken. Client/Server Peer-to-Peer

Verteiltes Backup. Einleitung Grundlegende Backup Techniken Backup in Netzwerken. Client/Server Peer-to-Peer Verteiltes Backup Einleitung Grundlegende Backup Techniken Backup in Netzwerken Client/Server Peer-to-Peer Einleitung Backup: Das teilweise oder gesamte Kopieren der in einem Computersystem vorhandenen

Mehr

Dateisysteme und Datenverwaltung in der Cloud

Dateisysteme und Datenverwaltung in der Cloud Dateisysteme und Datenverwaltung in der Cloud Sebastian Fischer Master-Seminar Cloud Computing - WS 2013/14 Institut für Telematik, Universität zu Lübeck Dateisysteme und Datenverwaltung in der Cloud 1

Mehr

Hochverfügbarkeit mit Windows Server vnext. Carsten Rachfahl Microsoft Hyper-V MVP

Hochverfügbarkeit mit Windows Server vnext. Carsten Rachfahl Microsoft Hyper-V MVP Hochverfügbarkeit mit Windows Server vnext Carsten Rachfahl Microsoft Hyper-V MVP Carsten Rachfahl www.hyper-v-server.de Roling Cluster Upgrade Herausforderung: Update eines Failover Clusters ohne Downtime

Mehr

Neue Ansätze der Softwarequalitätssicherung

Neue Ansätze der Softwarequalitätssicherung Neue Ansätze der Softwarequalitätssicherung Googles MapReduce-Framework für verteilte Berechnungen am Beispiel von Apache Hadoop Universität Paderborn Fakultät für Elektrotechnik, Informatik und Mathematik

Mehr

Peter Dikant mgm technology partners GmbH. Echtzeitsuche mit Hadoop und Solr

Peter Dikant mgm technology partners GmbH. Echtzeitsuche mit Hadoop und Solr Peter Dikant mgm technology partners GmbH Echtzeitsuche mit Hadoop und Solr ECHTZEITSUCHE MIT HADOOP UND SOLR PETER DIKANT MGM TECHNOLOGY PARTNERS GMBH WHOAMI peter.dikant@mgm-tp.com Java Entwickler seit

Mehr

AFS / OpenAFS. Bastian Steinert. Robert Schuppenies. Präsentiert von. Und

AFS / OpenAFS. Bastian Steinert. Robert Schuppenies. Präsentiert von. Und AFS / OpenAFS Präsentiert von Bastian Steinert Und obert Schuppenies Agenda AFS Verteilte Dateisysteme, allg. Aufbau Sicherheit und Zugriffsrechte Installation Demo Vergleich zu anderen DFs Diskussion

Mehr

ein verteiltes und repliziertes Dateisystem XtreemOS IP project is funded by the European Commission under contract IST-FP6-033576

ein verteiltes und repliziertes Dateisystem XtreemOS IP project is funded by the European Commission under contract IST-FP6-033576 ein verteiltes und repliziertes Dateisystem is funded by the European Commission XtreemOS IPunder project contract IST-FP6-033576 1 Das XtreemOS Projekt Europäisches Forschungsprojekt gefördert von der

Mehr

Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim

Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim Tobias Neef Cloud-Computing Seminar Hochschule Mannheim WS0910 1/23 Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim Tobias Neef Fakultät für Informatik Hochschule Mannheim tobnee@gmail.com

Mehr

Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE

Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE Institut für Kartographie und Geoinformatik Leibniz Universität Hannover Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE Frank Thiemann, Thomas Globig Frank.Thiemann@ikg.uni-hannover.de

Mehr

Hadoop. Simon Prewo. Simon Prewo

Hadoop. Simon Prewo. Simon Prewo Hadoop Simon Prewo Simon Prewo 1 Warum Hadoop? SQL: DB2, Oracle Hadoop? Innerhalb der letzten zwei Jahre hat sich die Datenmenge ca. verzehnfacht Die Klassiker wie DB2, Oracle usw. sind anders konzeptioniert

Mehr

WISSENSWERTES ÜBER WINDOWS SCALE-OUT FILE SERVER

WISSENSWERTES ÜBER WINDOWS SCALE-OUT FILE SERVER WISSENSWERTES ÜBER WINDOWS SCALE-OUT FILE SERVER AGENDA 01 File Server Lösungen mit Windows Server 2012 R2 02 Scale-out File Server 03 SMB 3.0 04 Neue File Server Features mit Windows Server 2016 05 Storage

Mehr

PVFS (Parallel Virtual File System)

PVFS (Parallel Virtual File System) Management grosser Datenmengen PVFS (Parallel Virtual File System) Thorsten Schütt thorsten.schuett@zib.de Management grosser Datenmengen p.1/?? Inhalt Einführung in verteilte Dateisysteme Architektur

Mehr

Neues in Hyper-V Version 2

Neues in Hyper-V Version 2 Michael Korp Technical Evangelist Microsoft Deutschland GmbH http://blogs.technet.com/mkorp Neues in Hyper-V Version 2 - Virtualisieren auf die moderne Art - Windows Server 2008 R2 Hyper-V Robust Basis:

Mehr

Hadoop aus IT-Operations Sicht Teil 2 Hardware- und Netzwerk-Grundlagen

Hadoop aus IT-Operations Sicht Teil 2 Hardware- und Netzwerk-Grundlagen Hadoop aus IT-Operations Sicht Teil 2 Hardware- und Netzwerk-Grundlagen Brownbag am Freitag, den 09.08.2013 Daniel Bäurer inovex GmbH Systems Engineer Wir nutzen Technologien, um unsere Kunden glücklich

Mehr

Apache Hadoop. Distribute your data and your application. Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.

Apache Hadoop. Distribute your data and your application. Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache. Apache Hadoop Distribute your data and your application Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org Apache The Apache Software Foundation Community und

Mehr

Session Storage im Zend Server Cluster Manager

Session Storage im Zend Server Cluster Manager Session Storage im Zend Server Cluster Manager Jan Burkl System Engineer, Zend Technologies Agenda Einführung in Zend Server und ZSCM Überblick über PHP Sessions Zend Session Clustering Session Hochverfügbarkeit

Mehr

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes Hadoop Eine Open-Source-Implementierung von MapReduce und BigTable von Philipp Kemkes Hadoop Framework für skalierbare, verteilt arbeitende Software Zur Verarbeitung großer Datenmengen (Terra- bis Petabyte)

Mehr

Complex Hosting. Whitepaper. Autor.: Monika Olschewski. Version: 1.0 Erstellt am: 14.07.2010. ADACOR Hosting GmbH

Complex Hosting. Whitepaper. Autor.: Monika Olschewski. Version: 1.0 Erstellt am: 14.07.2010. ADACOR Hosting GmbH Complex Hosting Autor.: Monika Olschewski Whitepaper Version: 1.0 Erstellt am: 14.07.2010 ADACOR Hosting GmbH Kaiserleistrasse 51 63067 Offenbach am Main info@adacor.com www.adacor.com Complex Hosting

Mehr

Hadoop I/O. Datenintegrität Kompression Serialisierung Datei-basierte Datenstrukturen. 14.02.2012 Prof. Dr. Christian Herta 1/29

Hadoop I/O. Datenintegrität Kompression Serialisierung Datei-basierte Datenstrukturen. 14.02.2012 Prof. Dr. Christian Herta 1/29 Hadoop I/O Datenintegrität Kompression Serialisierung Datei-basierte Datenstrukturen 14.02.2012 Prof. Dr. Christian Herta 1/29 Data I/O und Hadoop Allgemeine Techniken Data I/O Datenintegrität Kompression

Mehr

SANsymphony V R9. Andre Lahrmann. Copyright 2012 DataCore Software Corp. All Rights Reserved.

SANsymphony V R9. Andre Lahrmann. Copyright 2012 DataCore Software Corp. All Rights Reserved. SANsymphony V R9 Andre Lahrmann Neuerungen in der Version 9.0 Multi Node Support Shared Multi Port Array Unterstützung Erweiterungen bei der Replikation Gruppen Konfigurationen Erweiterungen bei den Pools

Mehr

Manfred Helber Microsoft Senior PreSales Consultant

Manfred Helber Microsoft Senior PreSales Consultant Manfred Helber Microsoft Senior PreSales Consultant Agenda ROK Vorteile Extended Live Migration Extended Hyper-V Replica Hyper-V Cluster Erweiterungen Storage Quality of Service Auswahl geeigneter Serversysteme

Mehr

Big Data in a Nutshell. Dr. Olaf Flebbe of ät oflebbe.de

Big Data in a Nutshell. Dr. Olaf Flebbe of ät oflebbe.de Big Data in a Nutshell Dr. Olaf Flebbe of ät oflebbe.de Zu mir Bigdata Projekt, benutzt Apache Bigtop Linux seit Anfang vor Minix/ATARI Linuxtag 2001? Promoviert in Computational Physics in Tü Seit Jan

Mehr

Überblick. Aufbau einer Datenspeicher-Cloud Motivation Windows Azure Storage Zusammenfassung. c td MWCC (WS14/15) Aufbau einer Datenspeicher-Cloud 6 1

Überblick. Aufbau einer Datenspeicher-Cloud Motivation Windows Azure Storage Zusammenfassung. c td MWCC (WS14/15) Aufbau einer Datenspeicher-Cloud 6 1 Überblick Aufbau einer Datenspeicher-Cloud Motivation Windows Azure Storage Zusammenfassung c td MWCC (WS14/15) Aufbau einer Datenspeicher-Cloud 6 1 Motivation Weltumspannendes System zur Speicherung von

Mehr

Data Mining und Machine Learning

Data Mining und Machine Learning Data Mining und Machine Learning Teil 7: Verteiltes Rechnen mit Map Reduce Dr. Harald König, FHDW Hannover 30. November 2015 Inhalt 1 Verteiltes Rechnen 2 Map Reduce 3 Anwendungen 4 Map Reduce: Weiterführende

Mehr

Hadoop in a Nutshell Einführung HDFS und MapReduce. Oracle/metafinanz Roadshow Februar 2014

Hadoop in a Nutshell Einführung HDFS und MapReduce. Oracle/metafinanz Roadshow Februar 2014 Hadoop in a Nutshell Einführung HDFS und MapReduce Oracle/metafinanz Roadshow Februar 2014 Head of Data Warehousing DWH Principal Consultant DWH Senior Consultant Wir fokussieren mit unseren Services die

Mehr

Managed Cloud Services

Managed Cloud Services Managed Cloud Services Autor.: Monika Olschewski Whitepaper Version: 1.0 Erstellt am: 14.07.2010 ADACOR Hosting GmbH Kaiserleistrasse 51 63067 Offenbach am Main info@adacor.com www.adacor.com Cloud Services

Mehr

Cloud OS. eine konsistente Plattform. Private Cloud. Public Cloud. Service Provider

Cloud OS. eine konsistente Plattform. Private Cloud. Public Cloud. Service Provider Cloud OS Private Cloud Public Cloud eine konsistente Plattform Service Provider Trends 2 Das Cloud OS unterstützt jedes Endgerät überall zugeschnitten auf den Anwender ermöglicht zentrale Verwaltung gewährt

Mehr

Red Hat Cluster Suite

Red Hat Cluster Suite Red Hat Cluster Suite Building high-available Applications Thomas Grazer Linuxtage 2008 Outline 1 Clusterarten 2 3 Architektur Konfiguration 4 Clusterarten Was ist eigentlich ein Cluster? Wozu braucht

Mehr

Hochleistungs-Disk-I/O

Hochleistungs-Disk-I/O Hochleistungs-Disk-I/O mit Lustre, dcache und AFS eine vergleichende Betrachtung Stephan Wiesand DESY DV 33. Treffen des ZKI AK Supercomputing Hamburg, 2010-03-04 Computing am DESY Standort Zeuthen Batch

Mehr

Cloud-Computing. 1. Definition 2. Was bietet Cloud-Computing. 3. Technische Lösungen. 4. Kritik an der Cloud. 2.1 Industrie 2.

Cloud-Computing. 1. Definition 2. Was bietet Cloud-Computing. 3. Technische Lösungen. 4. Kritik an der Cloud. 2.1 Industrie 2. Cloud Computing Frank Hallas und Alexander Butiu Universität Erlangen Nürnberg, Lehrstuhl für Hardware/Software CoDesign Multicorearchitectures and Programming Seminar, Sommersemester 2013 1. Definition

Mehr

Cloud Data Management

Cloud Data Management Cloud Data Management Kapitel 2: Infrastruktur und Services Dr. Anika Groß Sommersemester 2015 Universität Leipzig http://dbs.uni-leipzig.de/ Inhaltsverzeichnis Hardware-Infrastruktur Grundideen performanter

Mehr

BigTable. 11.12.2012 Else

BigTable. 11.12.2012 Else BigTable 11.12.2012 Else Einführung Distributed Storage System im Einsatz bei Google (2006) speichert strukturierte Daten petabyte-scale, > 1000 Nodes nicht relational, NoSQL setzt auf GFS auf 11.12.2012

Mehr

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar!

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar! Clouds Wolkig bis Heiter Erwartungen der Nutzer Er ist verwöhnt! Verfügbarkeit Viele Anwendungen Intuitive Interfaces Hohe Leistung Er ist nicht dankbar! Mehr! Mehr! Mehr! Moore 1 Erwartungen der Entwickler

Mehr

Oracle Big Data Technologien Ein Überblick

Oracle Big Data Technologien Ein Überblick Oracle Big Data Technologien Ein Überblick Ralf Lange Global ISV & OEM Sales NoSQL: Eine kurze Geschichte Internet-Boom: Erste Ansätze selbstgebauter "Datenbanken" Google stellt "MapReduce"

Mehr

Einführung in Hadoop & MapReduce. Dr. Kathrin Spreyer Big Data Engineer

Einführung in Hadoop & MapReduce. Dr. Kathrin Spreyer Big Data Engineer Einführung in Hadoop & MapReduce Dr. Kathrin Spreyer Big Data Engineer München, 19.06.2013 Agenda Einleitung 1. HDFS 2. MapReduce 3. APIs 4. Hive & Pig 5. Mahout Tools aus Hadoop-Ökosystem 6. HBase 2 Worum

Mehr

Frederik Wagner Leibniz-Rechenzentrum der Bayerischen Akademie der Wissenschaften

Frederik Wagner Leibniz-Rechenzentrum der Bayerischen Akademie der Wissenschaften Erfahrungen mit Single-Namespace NFS im HPC-Umfeld Frederik Wagner Leibniz-Rechenzentrum der Bayerischen Akademie der Wissenschaften Das Linux-Cluster am LRZ 2 Speichersysteme am Linux-Cluster Homeverzeichnisse

Mehr

GPU-basierte Beschleunigung von MapReduce am Beispiel von OpenCL und Hadoop

GPU-basierte Beschleunigung von MapReduce am Beispiel von OpenCL und Hadoop am Beispiel von OpenCL und Masterseminar Hochschule für Technik, Wirtschaft und Kultur Leipzig Leipzig, 02.11.2011 Gliederung 1 Grundlagen 2 3 Gliederung 1 Grundlagen 2 3 Was ist? Clustersystem zur verteilten

Mehr

glite Data Management Grid Seminar 2005 Julia Coester, Thomas Warntjen

glite Data Management Grid Seminar 2005 Julia Coester, Thomas Warntjen glite Data Management Grid Seminar 2005 Julia Coester, Thomas Warntjen Inhalt Grundsatzentscheidungen von glite Benennung von Dateien Kataloge glite Storage Element glite Transfer Security dcache Interaktion

Mehr

Unterrichtseinheit 7

Unterrichtseinheit 7 Unterrichtseinheit 7 Freigegebene Ordner: Durch freigegebene Ordnern können Benutzer Zugriff auf Dateien und Ordner innerhalb eines Netzwerkes (auch bei verstreut gespeicherten Daten, mit Hilfe des Distributed

Mehr

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE Themen Big Data Buzz Word oder eine neue Dimension

Mehr

Neuigkeiten in Microsoft Windows Codename Longhorn. 2006 Egon Pramstrahler - egon@pramstrahler.it

Neuigkeiten in Microsoft Windows Codename Longhorn. 2006 Egon Pramstrahler - egon@pramstrahler.it Neuigkeiten in Microsoft Windows Codename Longhorn Windows Server - Next Generation Derzeit noch Beta Version (aktuelles Build 5308) Weder definitiver Name und Erscheinungstermin sind festgelegt Direkter

Mehr

Administering Windows Server 2012 MOC 20411

Administering Windows Server 2012 MOC 20411 Administering Windows Server 2012 MOC 20411 Diese Schulung ist Teil 2 einer Serie von drei Schulungen, in welchen Sie die nötigen Kenntnisse erlangen, um in einer bestehenden Unternehmensumgebung eine

Mehr

Cloud Data Management

Cloud Data Management Cloud Data Management Kapitel 2: Infrastruktur und Services Lars Kolb Wintersemester 2013/14 Universität Leipzig http://dbs.uni-leipzig.de/ Inhaltsverzeichnis Hardware-Infrastruktur Grundideen performanter

Mehr

on Azure mit HDInsight & Script Ac2ons

on Azure mit HDInsight & Script Ac2ons Willkommen beim #GAB 2015! on Azure mit HDInsight & Script Ac2ons Lokale Sponsoren: HansPeter Grahsl Netconomy Entwickler & Berater FH CAMPUS 02 Twi9er: @hpgrahsl Überblick Inhalte Was ist HDInsight? Wozu

Mehr

Leistungsanalyse von XtreemFS als Ersatz für HDFS in Hadoop

Leistungsanalyse von XtreemFS als Ersatz für HDFS in Hadoop Bachelorarbeit am Institut für Informatik der Freien Universität Berlin, Arbeitsgruppe Technische Informatik, Zuverlässige Systeme Leistungsanalyse von XtreemFS als Ersatz für HDFS in Hadoop Lukas Kairies

Mehr

stattdessen: geräteunabhängiges, abstraktes Format für Speicherung und Transfer von Daten Datei

stattdessen: geräteunabhängiges, abstraktes Format für Speicherung und Transfer von Daten Datei Dateiverwaltung Dateiverwaltung 2002 Prof. Dr. Rainer Manthey Informatik II 1 Dateien weitere zentrale Aufgabe des Betriebssystems: "Verbergen" der Details der Struktur von und der Zugriffe auf Sekundärspeicher-Medien

Mehr

Ceph. Distributed Storage Julian mino Klinck GPN15-05.06.2015

Ceph. Distributed Storage Julian mino Klinck GPN15-05.06.2015 Distributed Storage Julian mino Klinck GPN15-05.06.2015 Julian mino! Interessen: Netzwerke # Karlsruhe Hardware $ gpn15@lab10.de Cocktails " twitter.com/julianklinck Hacking Musik- und Lichttechnik 2 Julian

Mehr

MapReduce in der Praxis

MapReduce in der Praxis Universität Passau Fakultät für Informatik und Mathematik Ausarbeitung MapReduce in der Praxis Verfasser: Rolf Daniel 09.12.2010 Zusammenfassung MapReduce ist ein von Google eingeführtes Framework, das

Mehr

Was ist ein Dateisystem? Wozu dient es? Lokale Dateisysteme. Speichergrößen. Inhalt der Präsentation

Was ist ein Dateisystem? Wozu dient es? Lokale Dateisysteme. Speichergrößen. Inhalt der Präsentation Was ist ein Dateisystem? Wozu dient es? Lokale Dateisysteme Christine Arndt 9arndt@informatik.uni-hamburg.de Universität Hamburg - Studentin der Wirtschaftsinformatik 11. März 2011 Schicht zwischen Betriebssystem

Mehr

WINDOWS 8 WINDOWS SERVER 2012

WINDOWS 8 WINDOWS SERVER 2012 WINDOWS 8 WINDOWS SERVER 2012 IT Fachforum 2012 :: 24.09.-27.09.2012 Andreas Götzfried IT Fachforum::Agenda Windows 8 Windows Server 2012 Zertifizierung WINDOWS 8 Schöne neue Welt Andreas Götzfried Windows

Mehr

Software-Engineering Grundlagen des Software-Engineering 7.3 Sourcecode-Verwaltung mit Versionsmanagement-Systemen Einführung in Subversion (SVN)

Software-Engineering Grundlagen des Software-Engineering 7.3 Sourcecode-Verwaltung mit Versionsmanagement-Systemen Einführung in Subversion (SVN) Software-Engineering Grundlagen des Software-Engineering 7.3 Sourcecode-Verwaltung mit Versionsmanagement-Systemen Einführung in Subversion (SVN) Prof. Dr. Rolf Dornberger Software-Engineering: 7.3 Versionsmanagement-Systeme

Mehr

Verteilte Systeme. Verteilte Systeme. 9 Verteilte Dateisysteme SS 2015

Verteilte Systeme. Verteilte Systeme. 9 Verteilte Dateisysteme SS 2015 Verteilte Systeme SS 2015 Universität Siegen rolanda.dwismuellera@duni-siegena.de Tel.: 0271/740-4050, Büro: H-B 8404 Stand: 7. Juli 2015 Betriebssysteme / verteilte Systeme Verteilte Systeme (1/13) i

Mehr

HDFS als schneller und günstiger Storage?

HDFS als schneller und günstiger Storage? HDFS als schneller und günstiger Storage? Das Hadoop Distributed File System (HDFS) verwaltet spielend riesige Datenmengen, lässt sich im laufenden Betrieb bequem skalieren und ist komfortabel zu administrieren.

Mehr

The Unbreakable Database System

The Unbreakable Database System The Unbreakable Database System Real Application Cluster Unterföhring, 04.2005 M. Kühn 1 Comparisson HA - HA Ziele, DataGuard, HA Oracle, RAC RAC Features - Cache Fusion, TAF, Load Balancing RAC on Solaris

Mehr

Isilon Solutions + OneFS

Isilon Solutions + OneFS Isilon Solutions + OneFS Anne-Victoria Meyer Universität Hamburg Proseminar»Ein-/Ausgabe Stand der Wissenschaft«, 2013 Anne-Victoria Meyer Isilon Solutions + OneFS 1 / 25 Inhalt 1. Einleitung 2. Hardware

Mehr

!"#$"%&'()*$+()',!-+.'/',

!#$%&'()*$+()',!-+.'/', Soziotechnische Informationssysteme 5. Facebook, Google+ u.ä. Inhalte Historisches Relevanz Relevante Technologien Anwendungsarchitekturen 4(5,12316,7'.'0,!.80/6,9*$:'0+$.;.,&0$'0, 3, Historisches Facebook

Mehr

Teamprojekt & Projekt

Teamprojekt & Projekt 18. Oktober 2010 Teamprojekt & Projekt Veranstalter: Betreuer: Prof. Dr. Georg Lausen Thomas Hordnung, Alexander Schätzle, Martin Przjyaciel-Zablocki dbis Studienordnung Master: 16 ECTS 480 Semesterstunden

Mehr

Verteilte Dateisysteme

Verteilte Dateisysteme Verteilte Dateisysteme Blockseminar Software as a Service, Cloud Computing und aktuelle Entwicklungen Fakultät für Mathematik und Informatik Universität Jena Johannes Schmidt schmidt.johannes@uni-jena.de

Mehr

Einführung in Hauptspeicherdatenbanken

Einführung in Hauptspeicherdatenbanken Einführung in Hauptspeicherdatenbanken Harald Zankl Probevorlesung 13. 01., 13:15 14:00, HS C Inhaltsverzeichnis Organisation Überblick Konklusion Harald Zankl (LFU) Hauptspeicherdatenbanken 2/16 Organisation

Mehr

Versionsverwaltung von Softwareartefakten. 21. Oktober 2014

Versionsverwaltung von Softwareartefakten. 21. Oktober 2014 Versionsverwaltung von Softwareartefakten 21. Oktober 2014 Überblick Wie verwaltet man Softwareartefakte? Versionskontrolle für verschiedene Softwareartefakte: Anforderungsdokumente, Modelle, Code, Testdateien,

Mehr

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221 Oracle 10g und SQL Server 2005 ein Vergleich Thomas Wächtler 39221 Inhalt 1. Einführung 2. Architektur SQL Server 2005 1. SQLOS 2. Relational Engine 3. Protocol Layer 3. Services 1. Replication 2. Reporting

Mehr

Oracle Automatic Storage Management (ASM) Best Practices

Oracle Automatic Storage Management (ASM) Best Practices Oracle Automatic Storage Management (ASM) Best Practices Markus Michalewicz BU Database Technologies ORACLE Deutschland GmbH 2 Page 1 www.decus.de 1 Agenda ASM Funktionalität und Architektur Storage Management

Mehr

Hadoop-as-a-Service (HDaaS)

Hadoop-as-a-Service (HDaaS) Hadoop-as-a-Service (HDaaS) Flexible und skalierbare Referenzarchitektur Arnold Müller freier IT Mitarbeiter und Geschäftsführer Lena Frank Systems Engineer @ EMC Marius Lohr Systems Engineer @ EMC Fallbeispiel:

Mehr

peer-to-peer Dateisystem Synchronisation

peer-to-peer Dateisystem Synchronisation Ziel Realisierungen Coda Ideen Fazit Literatur peer-to-peer Dateisystem Synchronisation Studiendepartment Informatik Hochschule für Angewandte Wissenschaften Hamburg 30. November 2007 Ziel Realisierungen

Mehr

Grundlagen des Grid Computing

Grundlagen des Grid Computing Grundlagen des Grid Computing Grid Middleware Toolkits: glite ICA Joh.. Kepler Universität t Linz glite Grid Middleware für das LHC Grid Wurde im Rahmen des EGEE Projekts entwickelt Basiert auf dem Globus

Mehr

Hochverfügbarkeit eines Server-Systems Dr. Stephan Pettinger 7-it 1 Hochverfügbarkeit Theorie Definition Hochverfügbarkeit Kopplung von Systemen Single Point of Failure Hochverfügbarkeitscluster Linux-HA-Architektur

Mehr

HANA Solution Manager als Einstieg

HANA Solution Manager als Einstieg Markus Stockhausen HANA Solution Manager als Einstieg Collogia Solution Day Hamburg 28.04.2016 Agenda HANA Solution Manager als Einstieg 1 Überblick 2 Techniken 3 Sizing Collogia Unternehmensberatung AG,

Mehr

WEBINAR@LUNCHTIME THEMA: SAS TOOLS FÜR DIE DATENVERARBEITUNG IN HADOOP ODER WIE REITET MAN ELEFANTEN?" HANS-JOACHIM EDERT

WEBINAR@LUNCHTIME THEMA: SAS TOOLS FÜR DIE DATENVERARBEITUNG IN HADOOP ODER WIE REITET MAN ELEFANTEN? HANS-JOACHIM EDERT WEBINAR@LUNCHTIME THEMA: SAS TOOLS FÜR DIE DATENVERARBEITUNG IN HADOOP ODER WIE REITET MAN ELEFANTEN?" Copyr i g ht 2012, SAS Ins titut e Inc. All rights res er ve d. HANS-JOACHIM EDERT EBINAR@LUNCHTIME

Mehr

dsmisi Storage Lars Henningsen General Storage

dsmisi Storage Lars Henningsen General Storage dsmisi Storage dsmisi MAGS Lars Henningsen General Storage dsmisi Storage Netzwerk Zugang C Zugang B Zugang A Scale-Out File System dsmisi Storage Netzwerk Zugang C Zugang B Zugang A benötigt NFS oder

Mehr

Clustering mit Shared Storage. Ing. Peter-Paul Witta paul.witta@cubit.at

Clustering mit Shared Storage. Ing. Peter-Paul Witta paul.witta@cubit.at Clustering mit Shared Storage Ing. Peter-Paul Witta paul.witta@cubit.at Clustering mehrere kleine Rechner leisten gemeinsam Grosses günstige dual intel/amd Server load sharing High Availability combined

Mehr

Einfach erklärt: RAC Grundlagen für Dummies

Einfach erklärt: RAC Grundlagen für Dummies Einfach erklärt: RAC Grundlagen für Dummies Ralf Appelbaum TEAM GmbH Paderborn Schlüsselworte Real Application Clusters, RAC, Grid Infrastructure, Automatic Storage Management, ASM, ASM Cloud File System,

Mehr

Mit Clustertechnik zu mehr Verfügbarkeit:

Mit Clustertechnik zu mehr Verfügbarkeit: Mit Clustertechnik zu mehr Verfügbarkeit: Überraschend kostengünstig umgesetzt mit Open Source Werner Fischer, Thomas-Krenn.AG Perspektive Open Source Systems 2006 25. Oktober 2006 Folie 1/20 Agenda 1.

Mehr

Windows Azure für Java Architekten. Holger Sirtl Microsoft Deutschland GmbH

Windows Azure für Java Architekten. Holger Sirtl Microsoft Deutschland GmbH Windows Azure für Java Architekten Holger Sirtl Microsoft Deutschland GmbH Agenda Schichten des Cloud Computings Überblick über die Windows Azure Platform Einsatzmöglichkeiten für Java-Architekten Ausführung

Mehr

MapReduce. www.kit.edu. Johann Volz. IPD Snelting, Lehrstuhl Programmierparadigmen

MapReduce. www.kit.edu. Johann Volz. IPD Snelting, Lehrstuhl Programmierparadigmen MapReduce Johann Volz IPD Snelting, Lehrstuhl Programmierparadigmen KIT Universität des Landes Baden-Württemberg und nationales Großforschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Wozu MapReduce?

Mehr

8.4 Überblick und Vergleich weiterer ERP-Systeme. G Oracle Applications 11 G PeopleSoft 7 G J.D. Edwards One World G BaanERP

8.4 Überblick und Vergleich weiterer ERP-Systeme. G Oracle Applications 11 G PeopleSoft 7 G J.D. Edwards One World G BaanERP 8.4 Überblick und Vergleich weiterer ERP-Systeme G Oracle Applications 11 G PeopleSoft 7 G J.D. Edwards One World G BaanERP Kapitel 8: ERP-Einführung 32 Architektur von Oracle Applications 11 G Logische

Mehr

Hochverfügbare Virtualisierung mit Open Source

Hochverfügbare Virtualisierung mit Open Source Hochverfügbare Virtualisierung mit Open Source Gliederung DRBD Ganeti Libvirt Virtualisierung und Hochverfügbarkeit Hochverfügbarkeit von besonderer Bedeutung Defekt an einem Server => Ausfall vieler VMs

Mehr

Betriebssysteme WS 2012/13 Peter Klingebiel, DVZ. Zusammenfassung Kapitel 4 - Datenträger/Dateiverwaltung

Betriebssysteme WS 2012/13 Peter Klingebiel, DVZ. Zusammenfassung Kapitel 4 - Datenträger/Dateiverwaltung Betriebssysteme WS 2012/13 Peter Klingebiel, DVZ Zusammenfassung Kapitel 4 - Datenträger/Dateiverwaltung Zusammenfassung Kapitel 4 Dateiverwaltung 1 Datei logisch zusammengehörende Daten i.d.r. permanent

Mehr

Spezifikationen und Voraussetzung

Spezifikationen und Voraussetzung Projekt IGH DataExpert Paynet Adapter Spezifikationen Voraussetzungen Datum : 21.07.08 Version : 1.0.0.2 21.07.2008 Seite 1 von 7 Inhaltsverzeichnis 1 Einleitung... 3 2 Architektur... 3 2.1 Grundsätze

Mehr

Verfügbarkeit von Applikationen und Failover Szenarien. Winfried Wojtenek. wojtenek@mac.com

Verfügbarkeit von Applikationen und Failover Szenarien. Winfried Wojtenek. wojtenek@mac.com Verfügbarkeit von Applikationen und Failover Szenarien Winfried Wojtenek wojtenek@mac.com Verfügbarkeit % Tage Stunden Minuten 99.000 3 16 36 99.500 1 20 48 99.900 0 9 46 99.990 0 0 53 99.999 0 0 5 Tabelle

Mehr

Lehrveranstaltung Speichersysteme Sommersemester 2009

Lehrveranstaltung Speichersysteme Sommersemester 2009 Lehrveranstaltung Speichersysteme Sommersemester 2009 Kapitel 12: Network File Systems André Brinkmann Beispiel: SUN NFS NFS (Network File System) ist ein offenes Protokoll für den Austausch von Dateien

Mehr

Spezifikationen und Voraussetzung

Spezifikationen und Voraussetzung Projekt IGH DataExpert Yellowbill Adapter Spezifikationen Voraussetzungen Datum : 22.08.2013 Version : 1.0.0.2 22.08.2013 Seite 1 von 7 Inhaltsverzeichnis 1 Einleitung...3 2 Architektur...3 2.1 Grundsätze

Mehr

Big Data Management Thema 14: Cassandra

Big Data Management Thema 14: Cassandra Thema 14: Cassandra Jan Kristof Nidzwetzki Thema 14: Cassandra 1 / 25 Übersicht 1 Grundlagen Überblick Geschichte Datenmodel 2 Architektur Der logische Ring Persistenz der Daten Tunable Consistency Read

Mehr

Produkte und Systeme der Informationstechnologie ENERGIE- MANAGEMENT

Produkte und Systeme der Informationstechnologie ENERGIE- MANAGEMENT Produkte und Systeme der Informationstechnologie ENERGIE- MANAGEMENT Folie 1 VDE-Symposium 2013 BV Thüringen und Dresden Virtualisierung von Leittechnikkomponenten Andreas Gorbauch PSIEnergie-EE Folie

Mehr

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse Carsten Czarski Oracle Deutschland B.V. & Co KG Big Data Betrachten von Daten die bislang nicht betrachtet wurden

Mehr

2 Datei- und Druckdienste

2 Datei- und Druckdienste Datei- und Druckdienste 2 Datei- und Druckdienste Lernziele: Verteiltes Dateisystem (DFS) Dateiserver Ressourcen Manager (FSRM) Verschlüsseln Erweiterte Überwachung Prüfungsanforderungen von Microsoft:

Mehr

Seminar Grid Computing

Seminar Grid Computing Seminar Grid Computing Sabine Zill Sommersemester 2004 Übersicht Komponenten und Grundlagen Replikationsarchitektur GDMP Replikation mit GDMP Dateireplikation Objektreplikation - Benötigte Komponenten

Mehr

Linux Hochverfügbarkeits-Cluster

Linux Hochverfügbarkeits-Cluster Seminarunterlage Version: 5.05 Version 5.05 vom 23. Juli 2015 Dieses Dokument wird durch die veröffentlicht.. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen sind Warenzeichen

Mehr

Storage-Trends am LRZ. Dr. Christoph Biardzki

Storage-Trends am LRZ. Dr. Christoph Biardzki Storage-Trends am LRZ Dr. Christoph Biardzki 1 Über das Leibniz-Rechenzentrum (LRZ) Seit 50 Jahren Rechenzentrum der Bayerischen Akademie der Wissenschaften IT-Dienstleister für Münchner Universitäten

Mehr

PROFI UND NUTANIX. Portfolioerweiterung im Software Defined Data Center

PROFI UND NUTANIX. Portfolioerweiterung im Software Defined Data Center PROFI UND NUTANIX Portfolioerweiterung im Software Defined Data Center IDC geht davon aus, dass Software-basierter Speicher letztendlich eine wichtige Rolle in jedem Data Center spielen wird entweder als

Mehr

Evil Tech presents: Windows Home Server

Evil Tech presents: Windows Home Server Evil Tech presents: Windows Home Server Eine Vorstellung der Technik eines interessanten Produktes. by rabbit@net Die zentrales Backup zentrale Datenablage Streaming von Medien weltweiter Zugriff einfache

Mehr

Clustering mit Network Appliance Filer

Clustering mit Network Appliance Filer Clustering mit Network Appliance Filer Ing. Peter-Paul Witta paul.witta@cubit.at paul.witta@cubit.at Clustering mit intel/linux mehrere kleine Rechner leisten gemeinsam Grosses günstige dual intel/amd

Mehr

RAID. Name: Artur Neumann

RAID. Name: Artur Neumann Name: Inhaltsverzeichnis 1 Was ist RAID 3 1.1 RAID-Level... 3 2 Wozu RAID 3 3 Wie werden RAID Gruppen verwaltet 3 3.1 Software RAID... 3 3.2 Hardware RAID... 4 4 Die Verschiedenen RAID-Level 4 4.1 RAID

Mehr