HPC for Life Sciences Diverse HPC Cluster-Typen

Größe: px
Ab Seite anzeigen:

Download "HPC for Life Sciences Diverse HPC Cluster-Typen"

Transkript

1 HPC for Life Sciences Diverse HPC Cluster-Typen Fachhochschule beider Basel, Abteilung Informatik, CH-4132 Muttenz Andreas Hofmann März, 2005 Zusammenfassung In diesem Dokument wird eine Übersicht über die verschiedenen HPC Cluster-Typen erstellt, sowie erläutert, worin sich diese Cluster-Typen unterscheiden. Es soll den Einstieg ins Cluster-Computing unter Verwendung handelsüblicher Rechnerarchitekturen ermöglichen. 1

2 INHALTSVERZEICHNIS 2 Inhaltsverzeichnis 1 Cluster-Typen Klassifikationen Nach Netzwerk-Architektur: NetType Nach System-Architektur: ArchType Nach Synchronisations-Architektur: SoftType Beowulf-Cluster MOSIX-Cluster Grenzen von Clustern Der Bau von Clustern Management und Steuerung Jobplanung Distribution eines Clusters Cluster-Kits NPACI Rocks OSCAR CD-ROM basierte Cluster Hardware Typen parallelisierter Berechnungen Spärlich parallele Berechnung Explizit parallele Berechnung Koordinations- und Parallelisierungs-Werkzeuge PVM MPI

3 1 CLUSTER-TYPEN 3 1 Cluster-Typen 1.1 Klassifikationen Eine gute Klassifikation habe ich in [2] gefunden. Es werden dort die Cluster nach den Gesichtspunkten Vernetzung, Architektur und Synchronisations- Software unterteilt. Mit dieser Unterteilung kann man die Entstehungsgeschichte von Cluster-Systemen erkennen und danach die für uns wichtigen beiden Typen der Commodity-Cluster, Beowulf-Cluster und MOSIX-Cluster, diesen Kategorien zuordnen Nach Netzwerk-Architektur: NetType Heute wird Gigabit Ethernet erschwinglich, so dass es sich fast grundsätzlich lohnt, GBit NICs und Geräte anstelle von z.b. 100 BaseT, für den Aufbau eines Clusters zu verwenden. Für die spärlich parallele Berechnung 1 reichten auch weniger schnelle Interconnects, da diese sowieso so wenig als möglich untereinander kommunizieren sollten (siehe 3.1). Baut man einen MOSIX-Cluster, so ist GBit Ethernet zu empfehlen, da dieser Typ Cluster mehr netzwerkgebunden ist. Folgende Unterscheidung betr. der Netzwerk-Architektur lässt sich machen: I Single external node / Frontend Maschine: Eine einzige zugängliche IP für den Frontend Rechner auf welchem man sich anmeldet und arbeitet. Die anderen Knoten sind zur Bedienung nicht zugänglich. II Multinode: Alle Knoten besitzen eine zugängliche IP Adresse und auf jedem Knoten kann man sich anmelden und arbeiten Nach System-Architektur: ArchType Die Architektur-Unterscheidung betrifft hauptsächlich die Art wie Daten gehalten und abgeglichen werden. Im Speziellen geht es um das Vorhanden- oder Nichtvorhandensein von lokalen Festplatten und darum, wie die Daten abgeglichen werden. Folgende Unterscheidung ist möglich: I Lokale Disks, synchronisiert: Alle Knoten besitzen eine eigene Festplatte. Der Inhalt der Festplatten wird abgeglichen. Dies kann z.b. über Nacht mittels rsync geschehen. II Lokale Disks, nicht synchronisiert: Alle Knoten besitzen eine eigene Festplatte. Der Inhalt der Disks wird nicht synchronisiert 3 III NFS root: Ein gemeinsames Filesystem wird via NFS gemountet. Diese Konfiguration spart Geld und betr. dem Datenabgleich viel Kopfschmerzen. Allerdings tun sich auch gewisse Probleme auf, denkt man an den zeitgleichen Zugriff auf Daten und das Locking dieser. 1 Ein eigener Ausdruck für die ersten Cluster-Typen die Aufgaben hauptsächlich via Batch Jobs auf verschiedene Rechner verteilten. 2 Meist sind diese Knoten voll ausgestattete Workstations mit Tastatur, Monitor und allem was dazu gehört. 3 Kommt hauptsächlich bei so genannten Number Crunchern zur Anwendung

4 1 CLUSTER-TYPEN Nach Synchronisations-Architektur: SoftType Bei dieser Kategorisierung wird nach der Art unterschieden, wie die zu einer Aufgabe gehörenden Teilaufgaben auf die vielen CPUs eines Clusters verteilt werden. Dies Betrifft den Vorgang des Verteilens an sich und auch die Art wie Teilaufgaben atomisiert werden können (auf welcher Ebene eine Unterteilung also gemacht werden kann; in welche Art Teile ein Problem zerlegt werden kann). Folgende Unterscheidung ist möglich: I Batch-System: Das Verteilen von simplen Batch Jobs ist Sache des Programmierers resp. des Job ausführenden. Normalerweise wird nur ein Job gleichzeitig auf einer Maschine ausgeführt. Die Jobs können z.b. via ssh auf den Knoten verteilt werden. Die Synchronisation der Ergebnisse ist entweder kaum notwendig oder sie wird händisch innerhalb des Batch Jobs erledigt (z.b. in Shell-Skripten, welche Daten an einen gemeinsamen Ort kopieren). Diese Art von SoftType eignet sich für spärlich parallele Berechnungen (siehe 3.1). II Preemptiver Scheduler/Migrator: Die Verteilung der Teilaufgaben wird auf Prozess-Ebene automatisch geplant und vorgenommen. Die Migration der Prozesse geschieht aufgrund des Status des Clusters. Diese Art von Clustern ist nicht primär für extra parallel programmierte Anwendungen geeignet. Beispiele für solche Cluster sind MOSIX- oder Condor-Cluster ( ist aktueller und weniger einschränkend). Programme müssen überhaupt nicht angepasst werden; es eignen sich deswegen aber nicht automatisch alle Programme für eine beschleunigte Ausführung auf einem solchen Cluster. III Feinstufig kontrollierte Aufteilung: Bei der feinstufigen Verteilung werden speziell parallel programmierte Anwendungen geschrieben. In dieser Programmierung findet die Aufgabenaufteilung und Synchronisation statt. Oft werden die einzelnen Jobs/Programme auf den Knoten via Batchsystem gestartet; diese synchronisieren sich danach zur Laufzeit aber selbständig untereinander (gemäss Programmierung). Zur Synchronisation werden Quelltext-Bibliotheken wie PVM, MPI etc. verwendet. Bestehende Anwendungen müssen angepasst werden, um solche Bibliotheken zu verwenden. 1.2 Beowulf-Cluster Ein Beowulf-Cluster ist, zusätzlich zur Bedingung mit lauter handelsüblicher Hardware und mit OpenSource Software realisiert zu werden werden, ausserdem dadurch charakterisiert, dass er einen zentralen Front-Knoten besitzt. Am zentralen Front-Node meldet man sich an und bedient den Cluster. Ein Beowulf- Cluster eignet sich zur Lösung von Problemen mittels spärlich parallelisierbaren und explizit parallelisierbaren Berechnungen (siehe 3.1 und 3.2). Es gibt allerdings keine spezielle Softwaregruppe, die auf einem Beowulf-Cluster grundsätzlich schneller ausgeführt wird. Ein Beowulf-Cluster ist somit vom

5 1 CLUSTER-TYPEN 5 ˆ NetType I ˆ SoftType I und III ˆ ArchType nicht bestimmt Wenn man einen (Beowulf-) Cluster bauen will, stellen sich folgende, zentrale Fragen: 1. Gibt es viele Programme oder Programmteile die voneinander unabhängig ausgeführt werden können? 2. Ist der Geschwindigkeitsgewinn den Aufwand des Umschreibens meiner bestehenden Software wert? (a) Sind meine Programme überhaupt parallelisierbar? (b) Sind meine Programme überhaupt CPU-gebunden? Denn Disk oder Arbeitsspeicher gebundene Anwendungen werden durch einen Cluster eher gebremst denn beschleunigt! 1.3 MOSIX-Cluster Ein MOSIX 4 -Cluster basiert auf einem modifizierten Linux Kernel, der die Ablaufkoordination und Verteilung der Teilaufgaben vollständig und automatisch übernimmt. Die Körnigkeit der Arbeitsverteilung ist der Prozess. Alle Knoten im Cluster müssen exakt die gleiche Kernelversion besitzen; dieser Umstand ist ein Nachteil eines MOSIX-Cluster. Ein MOSIX-Cluster ist auf Anwendungsebene in dem Sinne komplett transparent, dass man sich nicht um die Prozessverteilung kümmern muss; es sind keine Anpassungen in der Software notwendig. Je nach Beschaffenheit einer Software, eignet sich diese zur Ausführung auf einem Cluster besser oder schlechter. Der MOSIX-Cluster eignet sich gut für das Load-balancing von CPU-lastigen Prozessen. Knoten können spontan einem Cluster beitreten und diesen auch wieder verlassen. Es ist denkbar, Knoten zur Off-Zeit, meist in der Nacht also, einem Cluster beizufügen und diese während dem Tag dem Cluster wieder zu entnehmen. Der Benutzer hat über jeden Knoten des MOSIX-Clusters Zugang zu diesem und es gibt keinen ausgezeichneten Front-Knoten (siehe 1.1.2). Arbeitet man an einem beliebigen Knoten, so erscheint dieser Knoten als einziger, leistungsfähiger Superrechner. Ein MOSIX-Cluster ist somit vom ˆ NetType II ˆ SoftType II ˆ ArchType nicht bestimmt 4 Multi computer OS run on unix/linux

6 1 CLUSTER-TYPEN 6 Für unser Projekt käme ein MOSIX-Cluster (openmosix 5 ) mit ArchType II in Frage. Bei ArchType II stellt sich dann allerdings das grosse Problem der Synchronisation der Daten. Werden die zu einer Aufgabe gehörenden Prozesse auf die verschiedenen Knoten des Clusters migriert, so ist je nach Aufgabenstellung eine grosse I/O-Arbeit fällig, um die zur Ausführung des Prozesses benötigten Daten mit dem Prozess zu migrieren. Dieser Aufwand generiert viel Verkehr auf dem Netzwerk und beeinflusst die Performanz des Clusters negativ. Um diesem Problem zu begegnen, gibt es eine interessante Erweiterung für den MOSIX- Cluster. Es handelt sich dabei um den Direct File System Access (DFSA) der im File-System (MFS) untergebracht wurde. Der DFSA versucht, vereinfacht gesagt, nicht die Daten zum Prozess zu bringen, sondern der Prozess zu den Daten. Es wird möglichst versucht, die Prozesse auf jenen Knoten auszuführen, auf welchen sich die Daten befinden. Der DFSA ist in [6] genauer beschrieben. Die kleinste, auf verschiedene Prozessoren aufteilbare Einheit bei einem MOSIX-Cluster ist der UNIX Prozess! Im Folgenden wird hauptsächlich auf Eigenschaften von openmosix eingegangen, was nicht heisst, dass alles Beschriebene nicht auf MOSIX zutreffen würde. Die Technik von openmosix besteht hauptsächlich aus den beiden folgenden Teilen: Preemptive Prozess-Migration (PPM): PPM kann jeden Prozess, zu jeder Zeit auf jeden Knoten migrieren 6. Dabei geschieht eine Verschiebung natürlich nicht willkürlich, sondern sie findet aufgrund von Informationen statt, die von den Ressourcen-Teilungs Algorithmen geliefert werden. Jeder Prozess besitzt einen so genannten Unique-Home-Node (UHN). Der UHN ist jener Knoten, auf welchem ein Prozess gestartet wurde. Der UHN bleibt auch nach einer Migration eines Prozesses auf einen anderen Prozessor derselbe. Jeder migrierte Prozess scheint dieselbe Umgebung 7 zu besitzen wie auf dem UHN. Das wird dadurch erreicht, indem der Prozess in zwei Kontexte aufgeteilt wird; nämlich in den user-context, der auf dem entfernten Knoten ausgeführt wird, und in den system-context, der nur auf dem UHN ausgeführt werden kann. Der user-context wird auch einfach als remote, der system-context wird auch als deputy bezeichnet. Der remote enthält den auszuführenden Programmcode, den Stack, Daten, Memorymaps und die Register des Prozesses. Der deputy beinhaltet eine Beschreibung der Ressourcen die der Prozess benutzt und einen Kernel-stack, der zur Ausführung von System-Code im Auftrag des Prozesses benutzt wird. Der remote und der deputy kommunizieren über ein eigenes Protokoll untereinander. Systemaufrufe 8 dürfen in der Regel nicht auf dem remote durchgeführt werden. Ein Link-Layer fängt auf remote die Systemaufrufe vor Ausführung ab und übergibt diese dem deputy. Der remote muss mit der Weiterarbeit warten, bis das Ergebnis des Systemaufrufs von deputy zu ihm zurück kommt. Ein Prozess wird erst nach Überschreitung gewisser 5 openmosix ist eine Abspaltung des originalen MOSIX-Projektes die durch Moshe Bar vorgenommen wurde. Moshe Bar (Mitinitiator von MOSIX) war mit der Änderung des Lizensierungsmodells für künftige MOSIX Versionen nicht einverstanden und startete ab der letzten offen zugänglichen MOSIX Version das unter der GPL veröffentlichte openmosix-projekt. openmosix ist heute gar fortschrittlicher und hat eine viel aktivere Community als das ursprüngliche MOSIX-Projekt. 6 Migrieren im Sinne von verschieben 7 Hardware Eigenschaften wie RAM etc. 8 Zum Beispiel read()s oder write()s auf Daten

7 1 CLUSTER-TYPEN 7 Schwellwerte migriert. Diese Werte werden laufend durch die Ressourcen- Sharing Algorithmen berechnet. Eine Prozess-Migration kostet Aufwand, der sich aus einem fixen Anteil (Kreation eines neuen Prozesses auf remote) und einem linearen Anteil (Transfer an Daten) zusammensetzt. Der lineare Anteil steigt proportional zur Menge zu transferierender Speicherseiten an. Ressourcen Teilung: Für das Ressourcen-Sharing sind hauptsächlich zwei Algorithmen zuständig: ˆ der Load-balancing Algorithmus und ˆ der so genannte Memory-Ushering 9 -Algorithmus Der dynamische Load-balancing Algorithmus ist stets versucht, Kosten- Unterschiede in der Prozessausführung zwischen einigen, zufällig ausgewählten, Knoten möglichst gering zu halten. Bestehen zu grosse Unterschiede, so wird versucht Prozesse zu migrieren, um Unterschiede möglichst minim zu halten. Damit diese Kosten in einem heterogenen Rechnerumfeld (wie dies bei MOSIX-Clustern durchaus vorkommen kann) miteinander verglichen werden können, wird versucht, einen einzigen homogenen Kostenfaktor zu bestimmen. Dieser setzt sich u.a. aus den unterschiedlichen Speicher-Kosten und CPU-Kosten zusammen. Ganz nach marktwirtschaftlichen Ansätzen wird ein Job dann jeweils auf dem Prozessor ausgeführt, der am wenigsten Kosten verursacht. Der Memory-ushering Ansatz hat zum Ziel, die maximale Anzahl an Prozessen im clusterweit verfügbaren RAM zu platzieren, um so möglichst viel paging 10 zu verhindern. Treten auf einem Knoten also viele page faults auf, so wird MOSIX versuchen, den Prozess zu migrieren. Dabei wird Memoryushering mit einer grösseren Priorität als das Load-balancing beachtet; wenn also z.b. die CPU-Auslastung durchaus tief sein sollte, das RAM aber voll ist und page faults die Folge sind, so wird der Prozess trotzdem migriert. Mehr Details zu den erwähnten Techniken und vor allem auch deren Folgen kann unter [7] und [8] sehr gut nachgelesen werden. 9 Engl. hineinführend 10 Zugriff auf virtuellen Arbeitsspeicher

8 1 CLUSTER-TYPEN 8 Abbildung 1: Es wird versucht, die CPU-Last auf den Knoten möglichst ausgeglichen zu verteilen Abbildung 2: Bei Knoten Nr. 2 und 6 treten page faults auf; MOSIX migriert den Prozess auf jeden Fall 1.4 Grenzen von Clustern Es gibt Situationen, in welchen ein Cluster grundsätzlich keinen Geschwindigkeitsgewinn bringt. Auch wenn ein Cluster durch paralleles oder besser gesagt verteiltes Rechnen einen Geschwindigkeitgewinn bringen kann, gibt es für jedes Problem eine bestimmte Grenze, bei welcher das Hinzufügen eines weiteren Prozessors rein gar nichts bringt. Bei welcher Anzahl Prozessoren diese Grenze erreicht wird, hängt vom Problem selbst ab. Jede Berechnung die computergestützt durchgeführt wird, wird in einem

9 1 CLUSTER-TYPEN 9 Codeblock beschrieben. Nun lässt sich dieser Codeblock entweder in Teilprobleme aufteilen, die dann auf verschiedenen Prozessoren ausgeführt werden können oder es ist eben so, dass die Befehle in genau der Reihenfolge ausgeführt werden müssen, in welcher sie geschrieben wurden und sich deswegen das Problem nicht verteilt berechnen lässt. Es gibt einige Beispiele, bei welchen einfach zu verstehen ist, dass sie sich nicht aufteilen lassen. Ein typisches Beispiel sind die Ein-/Ausgabe-Operationen, die abhängig von der Verfügbarkeit der Daten und von deren Reihenfolge sind. Weitere Beispiele sind jene, in welchen Datenabhängigkeiten vorhanden sind; wenn wir den Wert von x brauchen um den Wert von y zu berechnen, so müssen wir zuerst x bestimmen. Es gibt innerhalb eines Programmes einen Anteil, der sich parallelisieren lässt und der somit auf mehreren Prozessoren schneller ausgeführt werden kann. Diese Codezeilen interagieren aber in der Regel mit Teilen eines Programmcodes, der sich eben nicht parallelisieren lässt und der somit nicht schneller ausgeführt wird, wenn mehrere Prozessoren vorhanden sind. Wenn ein Programm zum grössten Teil aus seriellen Anweisungen besteht, dann bringt paralleles Arbeiten mit Hilfe eines Clusters nichts. Alles was hier hilft, ist entweder einen schnelleren Prozessor anzuschaffen, oder die Überarbeitung des Algorithmus. Gene Amdahl hat in seinem Amdahl-Gesetz beschrieben, in welcher Weise der serielle Anteil eines Programmes den Geschwindigkeitsgewinn durch paralles Arbeiten mit mehr Prozessoren begrenzt. Ein Beispiel: Angenommen wir haben eine Berechnung, die 10 Stunden dauert und einen Anteil an parallelisierbaren Code von 90% besitzt. 10% des Codes könne also immer nur seriell und somit auf einem Prozessor ausgeführt werden. Diese 10% werden zur Ausführung immer 1 Stunde brauchen. Die 90% paralleler Programmcode können auf x-beliebig viele Prozessoren aufgeteilt werden und womöglich geht die Ausführungszeit mit grosser Prozessorezahl gegen 0. Die 10% Programmcode hingegen können immer nur auf einem Prozessor ausgeführt werden und somit wird unsere Berechung, egal wie viele Prozessoren wir auch hinzufügen, immer mindestens 1 Stunde dauern! Die Berechung dieses Speedup-Faktors berechnet sich gemäss Amdahl folgendermassen: 1 S + (1 S)/N (1) ˆ S: Anteil seriellen Codes in Prozent ˆ (1-S): Anteil paralleler Code in Prozent ˆ N: Anzahl Prozessoren Das Amdahl-Gesetz ist ein idealisiertes Gesetz. In der Praxis kommen immer noch Faktoren, wie zum Beispiel der Overhead der parallelen Programmierung selbst oder Latenzzeiten einer Venrnetzungstechnik hinzu, die bei Amdahl nicht berücksichtigt sind. Der Speedup-Faktor von Amdahl ist also eher ein zu optimistischer Faktor.

10 2 DER BAU VON CLUSTERN 10 2 Der Bau von Clustern Wie ein Cluster beschaffen sein muss, wird am besten durch die Anwendungen, die am Ende auf dem Cluster betrieben werden, bestimmt. Ist der konkrete Einsatz eines Clusters beim Bau nicht unbedingt bekannt, oder soll der Cluster generell für viele möglich Anwendungen konzipiert werden, so gibt es auch allgemein gültige Punkte zu beachten: ˆ Das Betriebsystem sollte am Ende gewählt werden. ˆ Für den Aufbau, die Verwaltung, Betreuung und Betrieb eines Clusters sind Automationswerkzeuge notwendig. ˆ Welche Programmiersprachen finden auf dem Cluster Anbindung an die Parallel-Bibliotheken wie MPI und PVM? Dies sind in der Regel FOR- TRAN, C und immer häufiger auch C++. Da bei Clustern eine Vielzahl autonomer Systeme aufgebaut, gewartet und bedient werden müssen, wird der Aufwand ziemlich rasch beträchtlich. Es ist daher wünschenswert, dass die folgenden Aufgaben automatisiert werden können. 2.1 Management und Steuerung Eine weiter Aufgabe der Automationswerkzeuge besteht im Management und der Steuerung des Clusters. So ist das x-fache Ausführen eines Befehls auf allen Knoten sehr umständlich und sollte daher automatisiert werden können. Folgende zwei Projekte sind die am weitesten verbreitetsten: ˆ Cluster Command and Control (C3) ˆ Ganglia (Web basiertes Monitoring) 2.2 Jobplanung Wessen Benutzers Jobs sollen wann ausgeführt werden? Und welche Ressourcen des Clusters dürfen von welchen Benutzern mit welcher Priorität in Anspruch genommen werden. Um solche Aufgaben zu verwalten helfen Scheduling-Pakete wie die folgenden bekannten Beispiele: ˆ Condor ˆ Portable Batch System (PBS, openpbs) ˆ Maui 2.3 Distribution eines Clusters Das Aufsetzen des Clusters als solches ist schon aufwendig. Alle Betriebsysteme und Anwendungen, Bibliotheken etc. müssen auf allen Knoten des Clusters installiert werden. Diese Arbeit kann bei einem Cluster ab einer gewissen Grösse sehr zeitaufwending werden, zudem fällt diese Arbeit immer wieder dann an, wenn Aktualisierungen gemacht werden müssen. Hierbei können so genannte Cluster-Kits Abhilfe schaffen (siehe Kapitel 2.3.1). 10 In unserem Fall ist das Betriebsystem von Anfang gegeben und die Wahl fällt sicherlich auf Linux.

11 2 DER BAU VON CLUSTERN Cluster-Kits Cluster-Kits enthalten oft alle Software-Pakete, die für einen Cluster benötigt werden. Das sind Pakete wie die Programmierbibliotheken MPI (meist in verschiedenen Implementationen) und PVM, sowie gewisse Management- und Steuerungssoftware (siehe Kapitel 2.1) als auch Jobplanungs-Softwarepakete (siehe Kapitel 2.2). Meist sind auch sinnvolle Voreinstellungen vorgenommen, so dass die aufwendige Konfiguration entfällt. Einige Kits enthalten auch gleich das Betriebssystem mittels einer enthaltenen Linux-Distribution, andere setzen erst oberhalb eines laufenden Linux auf. Die Verwendung von Cluster-Kits sollte man sich aus folgenden Gründen gut überlegen: ˆ Cluster-Kits nehmen einem viel Arbeit ab. Das hat allerdings meist zur Folge, dass man den eigenen Cluster nicht wirklich gut kennt! Man weiss nicht, welche Konfigurationen wo und wie gemacht wurden und man kann sogar im Unwissen sein, welche Software überhaupt installiert wurde. All das, weil einem diese Arbeiten weitgehend abgenommen werden. Je mehr Arbeit durch das Kit abgenommen wird, desto weniger gut kennt man den eigenen Cluster. ˆ Damit die Kit-Bauer alle von ihnen gewählten Software-Pakete ans Laufen bringen können, sind unter Umständen gewisse Kniffe und Anpassungen an den einzelnen Paketen notwendig. Das führt dazu, dass die Originaldokumentation zu den angepassten Software-Pakete manchmal nicht mehr volle Gültigkeit hat. In einem Problemfall kann diese Tatsache sehr mühsam sein und man verliert viel Zeit. Trotzdem wird es für viele so sein, dass der Vorteil einen Cluster sehr schnell ans Laufen zu bringen die obige Nachteile überwiegt. Die bekanntesten Cluster-Kits sind wohl: ˆ NPACI 11 Rocks (inkl. Red Hat Linux als OS) ˆ OSCAR ˆ Scyld Beowulf (komerzielles Produkt) Ein interessanter Rocks-Abkömmling ist der BioBrew-Cluster, welcher speziell für den Einsatz in der Bioinformatik konzipiert ist, indem er viele Applikationen aus diesem Bereich enthält. Ansonsten sind sicherlich Rocks und OSCAR sehr von Interesse NPACI Rocks Rocks enthält ISO-images von welchen man sich Boot-CDs erstellt. Mit dieser Boot-CD installiert man sich gleich ein Red Hat Linux inlusive der ganzen Cluster Software-Pakete. Die Installation mit den Boot-CDs wird auf dem Front- Knoten gemacht. Die Computing-Nodes werde später vom Front-Knoten aus mittels Red Hat s Anaconda und Kickstart installiert. Dabei kann bei jeder einzelnen Installation eines Computing Nodes spezifische Hardware-Konfigurationen berücksichtigt werden, da mit Anaconda/Kickstart kein Single System 11 National Partnership for Advanced Computational Infrastructure

12 2 DER BAU VON CLUSTERN 12 Image verteilt wird. Rocks eignet sich deswegen ziemlich gut für heterogene Cluster. Bei Rocks hat man ansonsten keine grosse Kontrolle bei der Installation und Anpassungen sind kaum möglich. Rocks scheint etwas einfacher zu installieren zu sein als OSCAR. Rocks skaliert gut über heterogene Hardware OSCAR OSCAR 12 ist von der Open Cluster Group und verfolgt einen etwas anderen Ansatz als Rocks. Zuerst installiert man auf dem Front-Knoten ein beliebiges Linux und erst danach wird OSCAR installiert. Dabei enthält diese OSCAR Installation gleich alle Cluster-Programme. Der Umfang installierter Cluster- Programme und Bibliotheken ist bei Rocks und OSCAR in etwa derselbe (C3, Ganglia, LAM/MPI, MPICH, PVM). Daneben sind in OSCAR aber noch Werkzeuge wie die System Installation Suite (SIS) etc. enthalten. Nun werden auf dem Front-Knoten Images erstellt. Die Images enthalten nun alles was man braucht, um die Computing-Nodes einzurichten. Man kann bei OSCAR allerdings eigene Kernel und weitere Software Pakete in die Images einbinden. Die Images werden über das Netz auf die Computing-Nodes verteilt; dabei hilft die oben erwähnte SIS. Die Möglichkeit einen eigenen Kernel ins Image zu übernehmen ist hoch interessant, da auf diese Weise der openmosix- Kernel verteilt werden könnte und so der openmosix/beowulf-cluster installiert werden kann. OSCAR ermöglicht, im Gegensatz zu Rocks, mehr Kontrolle darüber, was auf den Nodes installiert wird. Ausserdem soll OSCAR über die bessere Dokumentation verfügen. OSCAR skaliert gut über verschiedene Linux-Distributionen 2.4 CD-ROM basierte Cluster Mit den so genannten CD-ROM basierten Cluster lassen sich ad-hoc Cluster einrichten. Sie eignen sich bestens für Lernzwecke oder für eine Demonstration, oder für nicht permanent eingerichtete Cluster. Weniger geeignet sind diese Cluster für den permanenten Einsatz der Rechner als Cluster. Folgende Beispiele von solchen Cluster sind mir bekannt: ˆ ClusterKnoppix: Eine openmosix/knoppix Kombination; ˆ Bootabel Cluster CD (BCCD): 2.5 Hardware Das Ziel in unserem Projekt ist der Aufbau eines Commodity Clusters. Das bedeutet, dass auf ganz uebliche Hardware Komponenten gesetzt wird. Somit sind gewisse seltenen CPU-Architekturen schwer unter der Kategorie Commodity einzuordnen und es kommen wohl nur die aktuellen Intel PIV Prozessoren und deren AMD Pendants in Frage. Allgemein lässt sich aber sagen, dass möglichst homogene Hardware verwendet werden sollte. Das ist zwar keine grundsätzliche Voraussetzung für einen 12 Open Source Cluster Application Ressources;

13 3 TYPEN PARALLELISIERTER BERECHNUNGEN 13 Beowulf-Cluster, doch macht es das Leben für die Distribution des Clusters einfacher und auch im Betrieb kann auf gleich starke Knoten zurückgegriffen werden, was ebenfalls besser ist. Die Wahl der Systeme kann auch dadurch entscheidend beeinflusst werden, wenn diese im Extremfall auch als ganz normale Office-PCs eingesetzt werden können müssen. Folgende Grössen bestimmen die Leistung eines Systems und somit des ganzen Clusters: ˆ Clock-Rate ˆ Cache-Grösse ˆ Bus-Geschwindigkeit ˆ Speicherkapazität ˆ HD-Geschwindigkeit ˆ Geschwindigkeit der Netzwerkkarte Taktraten-Vergleiche sind problematisch und geben alleine nicht genügend die Leistungsfähigkeit eines Rechners wider. Der Cache hat ebenfalls einen entscheidenden Einfluss auf die Leistung, dann nämlich, wenn z.b. die Daten für möglichst viele Befehle im Cache untergebracht werden können. Bei Onboard-Komponenten (Grafikkarte, Netzwerkkarten etc.) muss abgeklärt werden, ob diese den Bedürfnissen entsprechen oder aber abgeschaltet werden können. 3 Typen parallelisierter Berechnungen 3.1 Spärlich parallele Berechnung Sie sind auch als linear skalierbare Berechnungen bekannt und sind durch geringe Kommunikation zwischen den Teilaufgaben charakterisiert. Somit finden zwischen Cluster-Knoten keine grosse Interkommunikation statt. Linear werden solche Berechnungen auch deswegen genannt, weil das Hinzufügen eines weiteren Knotens zu einer linearen Steigerung der Rechenkraft führen kann (es fallen nicht viele Kommunikations- und Verwaltungsaufgaben an). Genetische Algorithmen sind ein Beispiel für parallele Berechnungen dieser Art. Sie benötigen minimale Synchronisation zwischen den Populationen; jeder hinzugefügte Knoten funktioniert wie eine Insel auf welcher die Eigenschaften einer Population untersucht werden. Rendering einer Animation wäre ein anderes Beispiel spärlich paralleler Berechnung, da jeder Knoten einen eigenen Ausschnitt aus einem Bild oder gar ein ganzes eigenes Bild für sich berechnen kann. Dafür ist keine grosse Kommunikation zwischen den Teilaufgaben notwendig. 3.2 Explizit parallele Berechnung Diese Art von Berechnungen beschreiben Anwendungen, die explizit parallel programmierte Teile besitzen. Das bedeutet, dass während der Programmierung einer Anwendung, Teile als parallel berechenbar geschrieben werden. Diese

14 4 KOORDINATIONS- UND PARALLELISIERUNGS-WERKZEUGE 14 Art von Berechnung benötigt also eine Anpassung im Quelltext bestehender Programme oder eine spezielle Programmierung bei Neuerstellung einer solchen Anwendung. Trotzdem unterscheiden sich diese Anwendungen noch von voll parallelen Anwendungen insofern, dass sie zwei oder mehrere atomische Komponenten besitzen, die synchronisiert werden müssen. Genau diese Synchronisation wird mittels Quelltext-Bibliotheken wie MPI, PVM, oder gar mittels POSIX Threads und System V Shared Memory bewerkstelligt. 4 Koordinations- und Parallelisierungs-Werkzeuge 4.1 PVM PVM soll die ältere und deswegen momentan noch weiter verbreitete Bibliothek sein. MPI ist für viele aber nicht alle Architekturen verfügbar. 4.2 MPI MPI scheint für die Synchronisation zum de-facto Standard zu werden. MPI ist gegenüber PVM moderner und weniger einschränkend. Zudem ist MPI vollumfänglich frei verfügbar (GPL Modell) und für alle Architekturen verfügbar. Mehr Details zu MPI finden sich unter [9].

15 LITERATUR 15 Literatur [1] Dave Turner - Ames Laboratory: Introduction to Parallel Computing and Cluster Computers, computing/ [2] Mike Perry: Building Linux Beowulf Clusters, [3] Wikipedia - Gene Amdahl: Amdahl s Law - Wie weit lässt sich Lösungsgeschwindigkeit durch mehr Prozessoren erhöhen, wenn der parallelisierbare Anteil einer Aufgabe n beträgt?, s law [4] Wikipedia - Genetische Algorithmen: Algorithmen [5] Tony Hoare: Communicating Sequential Processes (CSP), June 21, 2004 [6] Lior Amar, Amnon Barak and Amnon Shiloh: The MOSIX Direct File System Access Method for Supporting Scalable Cluster File Systems, Cluster Computing 7, , 2004 [7] Amnon Barak, Oren La adan: The MOSIX multicomputer operating system for high performance cluster computing; Institue for Computer Science, The Hebrew University of Jerusalem; Jerusalem 91904, Israel [8] Moshe Bar, MAASK (Maya, Anu, Asmita, Snehal, Krushna): openmosix, Presented by Dr. Moshe Bar and MAASK [9] Roger Ebener: Kurzinfo zur parallelen Programmierung, 2005 [10] Joseph D. Sloan: High Performance Linux Clusters with OSCAR, Rocks, openmosix & MPI, O Reilly, 2005, ISBN:

Cluster Operating Systems

Cluster Operating Systems Lehrstuhl für Rechnerarchitektur, Professor Brüning Cluster Operating Systems Seminarvortrag im Wintersemester 2003/04 von Frank Ueltzhöffer 1. Einführung und Motivation 2. Charakterisierung 3. Herausforderungen

Mehr

High Performance Computing Cluster-Lösung mit MOSIX im Einsatz bei VA-TECH HYDRO

High Performance Computing Cluster-Lösung mit MOSIX im Einsatz bei VA-TECH HYDRO High Performance Computing Cluster-Lösung mit MOSIX im Einsatz bei VA-TECH HYDRO Anastasios Stomas SFI Technology Services AG 12. März 2003 anastasios.stomas@sfi.ch Seite 1 Hintergrund INHALT Cluster-

Mehr

MOSIX. Cluster Computing für LINUX und DFSA File I/O. MOSIX Skalierbares Cluster-Computing. März 2001

MOSIX. Cluster Computing für LINUX und DFSA File I/O. MOSIX Skalierbares Cluster-Computing. März 2001 MOSIX Cluster Computing für LINUX und DFSA File I/O Joachim Backes, Universität Kaiserslautern, RHRK Seite 1 MOSIX ist ein Software Tool und unterstützt Cluster Computing (CC) Adaptive Resource Sharing

Mehr

XEN Performance. Projektpraktikum Informatik. Arne Klein 2008-02-26. Arne Klein () XEN Performance 2008-02-26 1 / 25

XEN Performance. Projektpraktikum Informatik. Arne Klein 2008-02-26. Arne Klein () XEN Performance 2008-02-26 1 / 25 XEN Performance Projektpraktikum Informatik Arne Klein 2008-02-26 Arne Klein () XEN Performance 2008-02-26 1 / 25 1 Virtualisierung mit XEN 2 Performance von XEN Allgemeines Netzwerk-Performance IO-Performance

Mehr

VirtualBox und OSL Storage Cluster

VirtualBox und OSL Storage Cluster VirtualBox und OSL Storage Cluster A Cluster in a Box A Box in a Cluster Christian Schmidt Systemingenieur VirtualBox und OSL Storage Cluster VirtualBox x86 und AMD/Intel64 Virtualisierung Frei verfügbar

Mehr

RAC auf Sun Cluster 3.0

RAC auf Sun Cluster 3.0 RAC auf Sun Cluster 3.0 Schlüsselworte RAC, OPS, Sun Cluster, Performance, Availability Zusammenfassung Oracle hat mit dem Real Application Cluster (RAC) aus einer Hochverfügbarkeitslösung eine Höchstverfügbarkeitslösung

Mehr

Linux Cluster und Mosix

Linux Cluster und Mosix Bearbeitet von Oliver Klima, Sebastian Roth und Norman-Timo Rehl Im Rahmen der Vorlesung Innovative Architekturen An der Berufsakademie Mannheim (WS 2004). 1 Inhaltsangabe 1 Inhaltsangabe... 2 2 Was ist

Mehr

Red Hat Cluster Suite

Red Hat Cluster Suite Red Hat Cluster Suite Building high-available Applications Thomas Grazer Linuxtage 2008 Outline 1 Clusterarten 2 3 Architektur Konfiguration 4 Clusterarten Was ist eigentlich ein Cluster? Wozu braucht

Mehr

Anleitung zur Installation eines Clusters unter VMWare 4.0 (Built 4460)

Anleitung zur Installation eines Clusters unter VMWare 4.0 (Built 4460) Anleitung zur Installation eines Clusters unter VMWare 4.0 (Built 4460) Schritt 1: Erstellen der virtuellen Maschinen 1. Menü File, New, New Virtual Machine... wählen. 2. Auf Weiter > klicken. 3. Die Option

Mehr

VMware. Rainer Sennwitz.

VMware. Rainer Sennwitz. <Rainer.Sennwitz@andariel.informatik.uni-erlangen.de> VMware Rainer Sennwitz Lehrstuhl für Informatik IV Friedrich-Alexander-Universität Erlangen-Nürnberg 4. Juli 2007 Rainer Sennwitz VMware Inhalt Inhalt

Mehr

Einblick in die VMware Infrastruktur

Einblick in die VMware Infrastruktur Einblick in die VMware Infrastruktur Rainer Sennwitz Lehrstuhl für Informatik IV Friedrich-Alexander-Universität Erlangen-Nürnberg 4. Juli 2007 Rainer

Mehr

GeoShop Netzwerkhandbuch

GeoShop Netzwerkhandbuch Technoparkstrasse 1 8005 Zürich Tel.: 044 / 350 10 10 Fax.: 044 / 350 10 19 GeoShop Netzwerkhandbuch Zusammenfassung Diese Dokumentation beschreibt die Einbindung des GeoShop in bestehende Netzwerkumgebungen.

Mehr

Proxmox VE - mit OpenSource Virtualisierung leicht gemacht

Proxmox VE - mit OpenSource Virtualisierung leicht gemacht Proxmox VE - mit OpenSource Virtualisierung leicht gemacht Was ist Proxmox VE? Das VE steht für Virtualisierungs Environment, also eine Software um Rechner zu virtualisieren und diese auch zu verwalten

Mehr

Herzlich willkommen zur Präsentation:

Herzlich willkommen zur Präsentation: Seite 1 Herzlich willkommen zur Präsentation: Der Diskless Shared Root Cluster eine optimale Plattform für SAP Dipl. Ing. (FH) Reiner Rottmann rottmann@atix.de 19 April 2007 Seite 2 Wir helfen Ihnen, Ihre

Mehr

Aktuelle Themen der Informatik: Virtualisierung

Aktuelle Themen der Informatik: Virtualisierung Aktuelle Themen der Informatik: Virtualisierung Sebastian Siewior 15 Mai 2006 1 / 22 1 Überblick 2 Techniken 3 Paravirtualisierung 4 Ende 2 / 22 Wieso Virtualisieren Wieso mehrere Betriebsysteme auf einer

Mehr

Mindestanforderungen an Systemumgebung Für die Nutzung von excellenttango

Mindestanforderungen an Systemumgebung Für die Nutzung von excellenttango Die Hardware- und Softwareanforderungen sind als allgemeine Anforderungen zu betrachten. Zahlreiche Faktoren können sich auf diese Anforderungen auswirken und müssen daher beachtet werden: Die Anzahl und

Mehr

Grundlagen der Parallelisierung

Grundlagen der Parallelisierung Grundlagen der Parallelisierung Philipp Kegel, Sergei Gorlatch AG Parallele und Verteilte Systeme Institut für Informatik Westfälische Wilhelms-Universität Münster 3. Juli 2009 Inhaltsverzeichnis 1 Einführung

Mehr

Solaris Cluster. Dipl. Inform. Torsten Kasch 8. Januar 2008

Solaris Cluster. Dipl. Inform. Torsten Kasch <tk@cebitec.uni Bielefeld.DE> 8. Januar 2008 Dipl. Inform. Torsten Kasch 8. Januar 2008 Agenda Übersicht Cluster Hardware Cluster Software Konzepte: Data Services, Resources, Quorum Solaris Cluster am CeBiTec: HA Datenbank

Mehr

Windows Server 2012 R2

Windows Server 2012 R2 Windows Server 2012 R2 Eine Übersicht Raúl B. Heiduk (rh@pobox.com) www.digicomp.ch 1 Inhalt der Präsentation Die wichtigsten Neuerungen Active Directory PowerShell 4.0 Hyper-V Demos Fragen und Antworten

Mehr

Virtuelle Maschinen. von Markus Köbele

Virtuelle Maschinen. von Markus Köbele Virtuelle Maschinen von Markus Köbele Was sind virtuelle Maschinen? Rechner, dessen Hardwarekomponenten vollständig durch Software emuliert und virtualisiert werden Anweisungen der virtuellen Maschine

Mehr

init.at informationstechnologie GmbH Tannhäuserplatz 2/5.OG 1150 Wien Austria

init.at informationstechnologie GmbH Tannhäuserplatz 2/5.OG 1150 Wien Austria init.at informationstechnologie GmbH Tannhäuserplatz 2/5.OG 1150 Wien Austria Seite 2 von 10 1 Inhaltsverzeichnis 2 Warum CORVUS by init.at... 3 3 Ihre Vorteile durch CORVUS... 3 4 CORVUS Features... 4

Mehr

Auf der Homepage steht

Auf der Homepage steht Auf der Homepage steht VirtualBox is a powerful x86 and AMD64/Intel64 virtualization product for enterprise as well as home use. Not only is VirtualBox an extremely feature rich, high performance product

Mehr

Die wichtigsten Funktionen von Red Hat Storage Server 2.0 im Überblick:

Die wichtigsten Funktionen von Red Hat Storage Server 2.0 im Überblick: Red Hat Storage Server Die wichtigsten Funktionen von Red Hat Storage Server 2.0 im Überblick: Offene Software Lösung für Storage Ansprache über einen globalen Namensraum Betrachtet Storage als einen virtualisierten

Mehr

Clustering mit Shared Storage. Ing. Peter-Paul Witta paul.witta@cubit.at

Clustering mit Shared Storage. Ing. Peter-Paul Witta paul.witta@cubit.at Clustering mit Shared Storage Ing. Peter-Paul Witta paul.witta@cubit.at Clustering mehrere kleine Rechner leisten gemeinsam Grosses günstige dual intel/amd Server load sharing High Availability combined

Mehr

Perzentile mit Hadoop ermitteln

Perzentile mit Hadoop ermitteln Perzentile mit Hadoop ermitteln Ausgangspunkt Ziel dieses Projektes war, einen Hadoop Job zu entwickeln, der mit Hilfe gegebener Parameter Simulationen durchführt und aus den Ergebnissen die Perzentile

Mehr

Virtuelle Infrastrukturen mit Linux...

Virtuelle Infrastrukturen mit Linux... Virtuelle Infrastrukturen mit Linux...... und deren Integration in OSL SC Christian Schmidt Systemingenieur Virtualisierung "Aufteilung oder Zusammenfassung von Ressourcen" Unterschiedliche Bereiche für

Mehr

PARAGON SYSTEM UPGRADE UTILITIES

PARAGON SYSTEM UPGRADE UTILITIES PARAGON SYSTEM UPGRADE UTILITIES VIRTUALISIERUNG EINES SYSTEMS AUS ZUVOR ERSTELLTER SICHERUNG 1. Virtualisierung eines Systems aus zuvor erstellter Sicherung... 2 2. Sicherung in eine virtuelle Festplatte

Mehr

Aufbau einer Testumgebung mit VMware Server

Aufbau einer Testumgebung mit VMware Server Aufbau einer Testumgebung mit VMware Server 1. Download des kostenlosen VMware Servers / Registrierung... 2 2. Installation der Software... 2 2.1 VMware Server Windows client package... 3 3. Einrichten

Mehr

Erfahrungen mit parallelen Dateisystemen

Erfahrungen mit parallelen Dateisystemen Erfahrungen mit parallelen n frank.mietke@informatik.tu-chemnitz.de Fakultätsrechen- und Informationszentrum (FRIZ) Professur Rechnerarchitektur Technische Universität Chemnitz 25.09.2007 - Megware HPC

Mehr

IT-Infrastruktur, WS 2014/15, Hans-Georg Eßer

IT-Infrastruktur, WS 2014/15, Hans-Georg Eßer ITIS-D'' IT-Infrastruktur WS 2014/15 Hans-Georg Eßer Dipl.-Math., Dipl.-Inform. Foliensatz D'': Rechnerstrukturen, Teil 3 v1.0, 2014/11/27 Folie D''-1 Dieser Foliensatz Vorlesungsübersicht Seminar Wiss.

Mehr

Projekt für Systemprogrammierung WS 06/07

Projekt für Systemprogrammierung WS 06/07 Dienstag 30.01.2007 Projekt für Systemprogrammierung WS 06/07 Von: Hassan Bellamin E-Mail: h_bellamin@web.de Gliederung: 1. Geschichte und Definition 2. Was ist Virtualisierung? 3. Welche Virtualisierungssoftware

Mehr

PVFS (Parallel Virtual File System)

PVFS (Parallel Virtual File System) Management grosser Datenmengen PVFS (Parallel Virtual File System) Thorsten Schütt thorsten.schuett@zib.de Management grosser Datenmengen p.1/?? Inhalt Einführung in verteilte Dateisysteme Architektur

Mehr

Excel beschleunigen mit dem mit Windows HPC Server 2008 R2

Excel beschleunigen mit dem mit Windows HPC Server 2008 R2 Excel beschleunigen mit dem mit Windows HPC Server 2008 R2 Steffen Krause Technical Evangelist Microsoft Deutschland GmbH http://blogs.technet.com/steffenk Haftungsausschluss Microsoft kann für die Richtigkeit

Mehr

Uberlegungen Einsatzgebiete Virtualisierungslosungen Fazit Hardwarevirtualisierung. Virtualisierung. Christian Voshage. 11.

Uberlegungen Einsatzgebiete Virtualisierungslosungen Fazit Hardwarevirtualisierung. Virtualisierung. Christian Voshage. 11. slosungen 11. Mai 2009 Inhaltsverzeichnis Uberlegungen slosungen 1 Uberlegungen Grunduberlegungen Vorteile Hardware-Emulation Nachteile 2 Servervirtualisierung Clientvirtualisierung 3 slosungen 4 5 Uberlegungen

Mehr

UBELIX University of Bern Linux Cluster

UBELIX University of Bern Linux Cluster University of Bern Linux Cluster Informatikdienste Universität Bern ID BEKO Grid Forum 7. Mai 2007 Inhalt Einführung Ausbau 06/07 Hardware Software Benutzung Dokumentation Gut zu wissen Kontakt Apple/Mac:

Mehr

Oracle VM 3 Manager als virtuelle Maschine auf dem Oracle VM 3 Server

Oracle VM 3 Manager als virtuelle Maschine auf dem Oracle VM 3 Server Oracle VM 3 Manager als virtuelle Maschine auf dem Oracle VM 3 Server Martin Bracher Senior Consultant 26.12.2011 Oracle VM die Virtualisierungslösung von Oracle besteht aus zwei Komponenten. Einerseits

Mehr

Hochleistungsrechnen mit Windows Interaktive Benutzung und das Batchsystem Christian Terboven Rechen- und Kommunikationszentrum RWTH Aachen

Hochleistungsrechnen mit Windows Interaktive Benutzung und das Batchsystem Christian Terboven Rechen- und Kommunikationszentrum RWTH Aachen Hochleistungsrechnen mit Windows Interaktive Benutzung und das Batchsystem hristian Terboven Rechen- und Kommunikationszentrum RWTH Aachen 1 Hochleistungsrechnen mit Windows enter omputing and ommunication

Mehr

Xenologie oder wie man einen Plastikmainframe baut

Xenologie oder wie man einen Plastikmainframe baut Xenologie oder wie man einen Plastikmainframe baut Alexander Schreiber http://www.thangorodrim.de/ Chemnitzer Linux-Tage 2006 I think there is a world market for maybe five computers.

Mehr

SPARC LDom Performance optimieren

SPARC LDom Performance optimieren SPARC LDom Performance optimieren Marcel Hofstetter hofstetter@jomasoft.ch http://www.jomasoftmarcel.blogspot.ch Mitgründer, Geschäftsführer, Enterprise Consultant JomaSoft GmbH 1 Inhalt Wer ist JomaSoft?

Mehr

http://www.cis.upenn.edu/~bcpierce/unison/download/stable/unison- 2.9.1/

http://www.cis.upenn.edu/~bcpierce/unison/download/stable/unison- 2.9.1/ Einführung Was ist Unison? Unison ist ein Dateisynchronisationsprogramm für Windows und Unix. Es teilt sich viele Funktionen mit anderen Programmen, wie z.b. CVS und rsync. Folgend einige Vorteile des

Mehr

Linux-HA-Cluster Heartbeat mit DRBD

Linux-HA-Cluster Heartbeat mit DRBD Linux-HA-Cluster Heartbeat mit DRBD Thomas Röhl 01. Oktober 2004 Inhalt Was ist ein HA-Cluster? Vorbereiten des Projekts Hardware Software Allgemeiner Aufbau des Clusters Installation von DRBD Installation

Mehr

Freiberuflicher IT-Berater Schwerpunkte: Unix, Oracle, Netzwerk. www.jj-it.de. www.jj-it.de. Dipl.-Inform. Joachim Jäckel

Freiberuflicher IT-Berater Schwerpunkte: Unix, Oracle, Netzwerk. www.jj-it.de. www.jj-it.de. Dipl.-Inform. Joachim Jäckel Freiberuflicher Schwerpunkte: Unix, Oracle, Netzwerk 2005 1 Testaufbauten von Oracle 10g RAC auf preiswerter Hardware 2 3 Typisches Cluster System Clients Public Network Node A Node B Cluster Interconnect

Mehr

4 Planung von Anwendungsund

4 Planung von Anwendungsund Einführung 4 Planung von Anwendungsund Datenbereitstellung Prüfungsanforderungen von Microsoft: Planning Application and Data Provisioning o Provision applications o Provision data Lernziele: Anwendungen

Mehr

Version 2.0. Copyright 2013 DataCore Software Corp. All Rights Reserved.

Version 2.0. Copyright 2013 DataCore Software Corp. All Rights Reserved. Version 2.0 Copyright 2013 DataCore Software Corp. All Rights Reserved. VDI Virtual Desktop Infrastructure Die Desktop-Virtualisierung im Unternehmen ist die konsequente Weiterentwicklung der Server und

Mehr

Einleitung. Storage-Monitoring mit Nagios

Einleitung. Storage-Monitoring mit Nagios Einleitung Storage-Monitoring mit Nagios Kapitel 01: Einleitung Überblick... 01.01 NetApp - Network Appliance... 01.03 Data ONTAP & WAFL... 01.04 Interner Aufbau... 01.05 Überblick Storage-Monitoring mit

Mehr

VMware als virtuelle Plattform

VMware als virtuelle Plattform VMware als virtuelle Plattform Andreas Heinemann aheine@gkec.informatik.tu-darmstadt.de Telekooperation Fachbereich Informatik Technische Universität Darmstadt Übersicht Einführung VMware / Produkte /

Mehr

Whitepaper Lizenzierungsoptionen für Windows Server 2008

Whitepaper Lizenzierungsoptionen für Windows Server 2008 Whitepaper Lizenzierungsoptionen für Stand 09.01.2008 Whitepaper: Lizenzierungsoptionen für Inhaltsverzeichnis Produktübersicht... 3 Übersicht der Lizenzmodelle für... 3 Was ist neu in der Lizenzierung

Mehr

ZKI AK Supercomputing Herbsttagung 2012 20.-21.09.2012. Scientific Computing in Düsseldorf

ZKI AK Supercomputing Herbsttagung 2012 20.-21.09.2012. Scientific Computing in Düsseldorf ZKI AK Supercomputing Herbsttagung 2012 20.-21.09.2012 Scientific Computing in Düsseldorf Peter Schreiber schreiber@hhu.de 0211-81-13913 http://www.zim.hhu.de ZKI Arbeitskreis Supercomputing 20.-21.09.2012

Mehr

Betrieb eines heterogenen Clusters

Betrieb eines heterogenen Clusters Betrieb eines heterogenen Clusters Georg Hager Regionales Rechenzentrum Erlangen (RRZE) ZKI AK Supercomputing Karlsruhe, 22./23.09.2005 Transtec GBit/IB-Cluster am RRZE IA32-Cluster 04/2003 86+2 Knoten

Mehr

Cisco erweitert Gigabit-Ethernet-Portfolio

Cisco erweitert Gigabit-Ethernet-Portfolio Seite 1/6 Kleine und mittelständische Unternehmen Neue 1000BaseT-Produkte erleichtern die Migration zur Gigabit-Ethernet- Technologie WIEN. Cisco Systems stellt eine Lösung vor, die mittelständischen Unternehmen

Mehr

6.6.4 Cluster Interconnect im Private Network

6.6.4 Cluster Interconnect im Private Network Hardware-Architektur 221 6.6.4 Cluster Interconnect im Private Network Zwischen den Knoten des RAC werden viele, meist sehr kleine Pakete über den Cluster Interconnect ausgetauscht. Kurze Latenzzeiten

Mehr

Anleitung für zwei C++ - Openmp - Beispiele auf der NWZSuperdome

Anleitung für zwei C++ - Openmp - Beispiele auf der NWZSuperdome Anleitung für zwei C++ - Openmp - Beispiele auf der NWZSuperdome (Timo Heinrich, t_hein03@uni-muenster.de) Inhaltsverzeichnis: 0.Einleitung 1.Teil: Helloworldprogramm 1.1 Quellcode: Helloworld.cpp 1.2

Mehr

Ein kleiner Einblick in die Welt der Supercomputer. Christian Krohn 07.12.2010 1

Ein kleiner Einblick in die Welt der Supercomputer. Christian Krohn 07.12.2010 1 Ein kleiner Einblick in die Welt der Supercomputer Christian Krohn 07.12.2010 1 Vorschub: FLOPS Entwicklung der Supercomputer Funktionsweisen von Supercomputern Zukunftsvisionen 2 Ein Top10 Supercomputer

Mehr

Shibboleth Clustering und Loadbalancing

Shibboleth Clustering und Loadbalancing Shibboleth Clustering und Loadbalancing STEINBUCH CENTRE FOR COMPUTING - SCC KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Computercluster

Mehr

Paragon Online WinPE Builder Service

Paragon Online WinPE Builder Service PARAGON Software GmbH, Systemprogrammierung Heinrich-von-Stephan-Str. 5c 79100 Freiburg, Germany Tel. +49 (0)761 59018-201 Fax +49 (0)761 59018-130 Internet www.paragon-software.de E-Mail vertrieb@paragon-software.de

Mehr

Embedded Linux. Embedded Linux. Daniel Buchheim daniel.buchheim@informatik.tu-cottbus.de. Seminar "Eingebettete drahtlose Systeme"

Embedded Linux. Embedded Linux. Daniel Buchheim daniel.buchheim@informatik.tu-cottbus.de. Seminar Eingebettete drahtlose Systeme Daniel Buchheim daniel.buchheim@informatik.tu-cottbus.de Embedded Linux 30.01.2009 Daniel Buchheim Inhalt: Was ist Embedded Linux? Hardwareunterstützung in Eingebetteten Systemen Open Source Aspekte Aufbau

Mehr

Installationsanleitung Tivoli Storage Manager für Linux

Installationsanleitung Tivoli Storage Manager für Linux 11. März 2009, Version 1.0 Installationsanleitung für Linux Verwaltungsdirektion Informatikdienste Installationsanleitung für Linux Inhaltsverzeichnis...1 Installation... 1 Voraussetzungen...1 Ablauf der

Mehr

peer-to-peer Dateisystem Synchronisation

peer-to-peer Dateisystem Synchronisation Ziel Realisierungen Coda Ideen Fazit Literatur peer-to-peer Dateisystem Synchronisation Studiendepartment Informatik Hochschule für Angewandte Wissenschaften Hamburg 30. November 2007 Ziel Realisierungen

Mehr

Agenda. Einleitung Produkte vom VMware VMware Player VMware Server VMware ESX VMware Infrastrukture. Virtuelle Netzwerke

Agenda. Einleitung Produkte vom VMware VMware Player VMware Server VMware ESX VMware Infrastrukture. Virtuelle Netzwerke VMware Server Agenda Einleitung Produkte vom VMware VMware Player VMware Server VMware ESX VMware Infrastrukture Virtuelle Netzwerke 2 Einleitung Virtualisierung: Abstrakte Ebene Physikalische Hardware

Mehr

VPN mit Windows Server 2003

VPN mit Windows Server 2003 VPN mit Windows Server 2003 Virtuelle private Netzwerke einzurichten, kann eine sehr aufwendige Prozedur werden. Mit ein wenig Hintergrundwissen und dem Server- Konfigurationsassistenten von Windows Server

Mehr

LINUX 4 AIX Ein Überblick. 1 17.03.2014 AIX 2 LINUX Webcast

LINUX 4 AIX Ein Überblick. 1 17.03.2014 AIX 2 LINUX Webcast LINUX 4 AIX Ein Überblick 1 17.03.2014 AIX 2 LINUX Webcast Agenda 00 Voraussetzungen und Vorbereitung 01 Virtualisierung 02 HA High Availability und Cluster 03 System Management Deployment Monitoring 04

Mehr

2. Sie sind der Administrator Ihres Netzwerks, das den SBS 2011 Standard ausführt.

2. Sie sind der Administrator Ihres Netzwerks, das den SBS 2011 Standard ausführt. Arbeitsblätter Der Windows Small Business Server 2011 MCTS Trainer Vorbereitung zur MCTS Prüfung 70 169 Aufgaben Kapitel 1 1. Sie sind der Administrator Ihres Netzwerks, das den SBS 2011 Standard ausführt.

Mehr

Embedded Webserver. Einleitung. Jürgen Pauritsch und Stefan Thonhofer

Embedded Webserver. Einleitung. Jürgen Pauritsch und Stefan Thonhofer Jürgen Pauritsch und Stefan Thonhofer Embedded Webserver Einleitung Ziel unseres Projekts war es, einen Webserver auf einer einzigen Platine ( Embedded system, System on a chip ) aufzusetzen. Der Vorteil

Mehr

Speichermanagement auf Basis von Festplatten und optischer Jukebox

Speichermanagement auf Basis von Festplatten und optischer Jukebox Speichermanagement auf Basis von Festplatten und optischer Jukebox Horst Schellong DISC GmbH hschellong@disc-gmbh.com Company Profile Hersteller von optischen Libraries und Speichersystemen Gegründet 1994

Mehr

Clustering und Failover mit Linux

Clustering und Failover mit Linux Grazer Linux-Tage 2003 25. April Markus Oswald Worum geht es? Load-Balanced Cluster Failover Cluster Shared Storage Computational Cluster Beowulf Distributed Computing Worum es nicht

Mehr

Der PC im PC: Virtualisierung

Der PC im PC: Virtualisierung Der PC im PC: Virtualisierung Virtual Box installieren Virtual Box unter https://www.virtualbox.org/wiki/downloads downloaden und wie normales Programm installieren (Admin-Rechte erforderlich) Virtuelle

Mehr

Von heiter bis wolkig Hosting am RRZE Physikalisch Virtuell in der Cloud. 2.2.2010 Daniel Götz daniel.goetz@rrze.uni-erlangen.de

Von heiter bis wolkig Hosting am RRZE Physikalisch Virtuell in der Cloud. 2.2.2010 Daniel Götz daniel.goetz@rrze.uni-erlangen.de Von heiter bis wolkig Hosting am RRZE Physikalisch Virtuell in der Cloud 2.2.2010 Daniel Götz daniel.goetz@rrze.uni-erlangen.de Übersicht Entwicklungen im (Web-)Hosting Physikalisches Hosting Shared Hosting

Mehr

1HXHLQVWLHJ± /LQX[ RGHU0LFURVRIW (LQH(QWZHGHU2GHU(QWVFKHLGXQJ"

1HXHLQVWLHJ± /LQX[ RGHU0LFURVRIW (LQH(QWZHGHU2GHU(QWVFKHLGXQJ /XW]%URFNPDQQ Interoperabilität von Linux und Windows 1HXHLQVWLHJ± /LQX[ RGHU0LFURVRIW (LQH(QWZHGHU2GHU(QWVFKHLGXQJ" \DVF 8QWHUQHKPHQVJUXSSH 6RIWZDUH(QJLQHHULQJ yasc Informatik GmbH Gründung 1996 Sitz

Mehr

Grundlagen der Programmierung 2. Parallele Verarbeitung

Grundlagen der Programmierung 2. Parallele Verarbeitung Grundlagen der Programmierung 2 Parallele Verarbeitung Prof. Dr. Manfred Schmidt-Schauÿ Künstliche Intelligenz und Softwaretechnologie 27. Mai 2009 Parallele Algorithmen und Ressourcenbedarf Themen: Nebenläufigkeit,

Mehr

Systemmanagement mit RPM und YADT Eine Lösung für Rechenzentren

Systemmanagement mit RPM und YADT Eine Lösung für Rechenzentren www.immobilienscout24.de Systemmanagement mit RPM und YADT Eine Lösung für Rechenzentren Chemnitz 2012-03-18 Ralph Angenendt Application Manager License: http://creativecommons.org/licenses/by-nc-nd/3.0/

Mehr

Virtualisierung mit Virtualbox

Virtualisierung mit Virtualbox Virtualisierung mit Virtualbox Dies ist kein Howto im herkömmlichen Sinne. Genaue Anleitungen für Virtualbox gibt es im Intenet genug. Zu empfehlen ist auch das jeweils aktuelle Handbuch von Virtualbox

Mehr

Session Storage im Zend Server Cluster Manager

Session Storage im Zend Server Cluster Manager Session Storage im Zend Server Cluster Manager Jan Burkl System Engineer, Zend Technologies Agenda Einführung in Zend Server und ZSCM Überblick über PHP Sessions Zend Session Clustering Session Hochverfügbarkeit

Mehr

SSDs als Cache für HDDs

SSDs als Cache für HDDs SSDs als Cache für HDDs CacheCade vs. BCache Dirk Geschke Linux User Group Erding 23. Oktober 2013 Dirk Geschke (LUG-Erding) SSD-Cache 23. Oktober 2013 1 / 71 Gliederung 1 Einleitunng 2 HDD Hard-Disk-Drive

Mehr

tubit Live Von "Bring-Your-Own-Environment" zu "Get-Your-System-Environment" Thomas Hildmann tubit IT Dienstleistungszentrum DFN Betriebstagung 2014

tubit Live Von Bring-Your-Own-Environment zu Get-Your-System-Environment Thomas Hildmann tubit IT Dienstleistungszentrum DFN Betriebstagung 2014 tubit Live Von "Bring-Your-Own-Environment" zu "Get-Your-System-Environment" Thomas Hildmann tubit IT Dienstleistungszentrum DFN Betriebstagung 2014 Agenda Einleitung: Worüber reden wir? Was sind unsere

Mehr

TCP/IP-Protokollfamilie

TCP/IP-Protokollfamilie TCP/IP-Protokollfamilie Internet-Protokolle Mit den Internet-Protokollen kann man via LAN- oder WAN kommunizieren. Die bekanntesten Internet-Protokolle sind das Transmission Control Protokoll (TCP) und

Mehr

Linutronix - Wir verbinden Welten. Open Source Software in der Industrie. Firmenvorstellung

Linutronix - Wir verbinden Welten. Open Source Software in der Industrie. Firmenvorstellung Linutronix - Wir verbinden Welten Open Source Software in der Industrie Firmenvorstellung Firma Gegründet 1996 von Thomas Gleixner 2006 Umwandlung in GmbH Maintainer von: X86 Architektur RT-Preempt UIO

Mehr

Clustering mit Network Appliance Filer

Clustering mit Network Appliance Filer Clustering mit Network Appliance Filer Ing. Peter-Paul Witta paul.witta@cubit.at paul.witta@cubit.at Clustering mit intel/linux mehrere kleine Rechner leisten gemeinsam Grosses günstige dual intel/amd

Mehr

WINDOWS 95 FÜR VIRTUAL BOX

WINDOWS 95 FÜR VIRTUAL BOX WINDOWS 95 FÜR VIRTUAL BOX Um Windows 95 auf Virtual Box vollständig zum Laufen zu bringen, werden folgende Daten benötigt: Windows 95 Image Windows 95 Bootdiskette Gültiger Windows 95 Schlüssel Universeller

Mehr

Rechnernutzung in der Physik. Betriebssysteme

Rechnernutzung in der Physik. Betriebssysteme Rechnernutzung in der Physik Betriebssysteme 1 Betriebssysteme Anwendungsprogramme Betriebssystem Treiber BIOS Direkter Zugriff von Anwenderprogrammen auf Hardware nur in Ausnahmefällen sinnvoll / möglich:

Mehr

Linux Cluster in Theorie und Praxis

Linux Cluster in Theorie und Praxis Foliensatz Center for Information Services and High Performance Computing (ZIH) Linux Cluster in Theorie und Praxis Monitoring 30. November 2009 Verfügbarkeit der Folien Vorlesungswebseite: http://tu-dresden.de/die_tu_dresden/zentrale_einrichtungen/

Mehr

1 Hochverfügbarkeit. 1.1 Einführung. 1.2 Network Load Balancing (NLB) Quelle: Microsoft. Hochverfügbarkeit

1 Hochverfügbarkeit. 1.1 Einführung. 1.2 Network Load Balancing (NLB) Quelle: Microsoft. Hochverfügbarkeit 1 Hochverfügbarkeit Lernziele: Network Load Balancing (NLB) Failover-Servercluster Verwalten der Failover Cluster Rolle Arbeiten mit virtuellen Maschinen Prüfungsanforderungen von Microsoft: Configure

Mehr

( ZIH ) Zentrum für Informationsdienste und Hochleistungsrechnen. Kooperation mit Microsoft und Dell

( ZIH ) Zentrum für Informationsdienste und Hochleistungsrechnen. Kooperation mit Microsoft und Dell ( ZIH ) Zentrum für Informationsdienste und Hochleistungsrechnen Kooperation mit Microsoft und Dell Windows-HPC-Cluster von Dell Symbolische Übergabe auf der ISC 2008 Anlieferung im Juni 2008 Kooperation

Mehr

MVB3. Einrichten eines Servers für MVB3 ab Version 3.5. Admin-Dokumentation. Inhalt V3.05.001

MVB3. Einrichten eines Servers für MVB3 ab Version 3.5. Admin-Dokumentation. Inhalt V3.05.001 V3.05.001 MVB3 Admin-Dokumentation Einrichten eines Servers für MVB3 ab Version 3.5 Inhalt Organisatorische Voraussetzungen... 1 Technische Voraussetzungen... 1 Konfiguration des Servers... 1 1. Komponenten

Mehr

RTEMS- Echtzeitbetriebssystem

RTEMS- Echtzeitbetriebssystem RTEMS- Echtzeitbetriebssystem Name: Hussein Hammoud Matrikel- Nr.: 230768 Studiengang: Technische Informatik Fach: Projekt Eingebettete Kommunikation Technische Universität Berlin Sommersemester 2006 RTEMS-

Mehr

Dienstleistungen Abteilung Systemdienste

Dienstleistungen Abteilung Systemdienste Dienstleistungen Abteilung Systemdienste Betrieb zentraler Rechenanlagen Speicherdienste Systembetreuung im Auftrag (SLA) 2 HP Superdome Systeme Shared Memory Itanium2 (1.5 GHz) - 64 CPUs, 128 GB RAM -

Mehr

The Unbreakable Database System

The Unbreakable Database System The Unbreakable Database System Real Application Cluster Unterföhring, 04.2005 M. Kühn 1 Comparisson HA - HA Ziele, DataGuard, HA Oracle, RAC RAC Features - Cache Fusion, TAF, Load Balancing RAC on Solaris

Mehr

7 TCP/IP-Dienste konfigurieren

7 TCP/IP-Dienste konfigurieren 7 TCP/IP-Dienste konfigurieren In diesem Kapitel lernen Sie die Begriffe Ports,Sockets und Connections kennen (LPI 1: 109.1). den Zusammenhang der Ports von TCP/IP-Diensten mit der Datei /etc/services

Mehr

Virtual Machines. Peter Schmid 21.12.2007. Hochschule für Technik Zürich Master of Advanced Studies, Informatik

Virtual Machines. Peter Schmid 21.12.2007. Hochschule für Technik Zürich Master of Advanced Studies, Informatik Hochschule für Technik Zürich Master of Advanced Studies, Informatik 21.12.2007 Outline Einführung 1 Einführung Definition, Abgrenzung Geschichtlicher Rückblick 2 Virtualisierungstechnologien Terminologie

Mehr

Revolver Server Handbuch

Revolver Server Handbuch Revolver Server Handbuch 2011 Revolver Software GmbH 1 Schneller Start 1.1 Einführung 4 1.2 Installation 5 1.3 Server hinzufügen 9 1.4 Freischalt-Code eingeben 13 1.5 Server starten 16 1.6 Mit dem Client

Mehr

PROLAG WORLD 2.0 PRODUKTBESCHREIBUNG SERVERSYSTEM, CLUSTERSYSTEME FÜR PROLAG WORLD

PROLAG WORLD 2.0 PRODUKTBESCHREIBUNG SERVERSYSTEM, CLUSTERSYSTEME FÜR PROLAG WORLD PROLAG WORLD 2.0 PRODUKTBESCHREIBUNG SERVERSYSTEM, CLUSTERSYSTEME FÜR PROLAG WORLD Inhaltsverzeichnis 1. ZUSAMMENSTELLUNG VON SERVERN...3 1.1. ANFORDERUNGSPROFIL...3 1.2. 1.3. SERVER MODELLE...3 TECHNISCHE

Mehr

Hochschule Darmstadt - Fachbereich Informatik - Fachschaft des Fachbereiches

Hochschule Darmstadt - Fachbereich Informatik - Fachschaft des Fachbereiches Hochschule Darmstadt - Fachbereich Informatik - Fachschaft des Fachbereiches Verwendung der bereitgestellten Virtuellen Maschinen»Einrichten einer Virtuellen Maschine mittels VirtualBox sowie Zugriff auf

Mehr

1. Einleitung. Clustern mit Condor

1. Einleitung. Clustern mit Condor Inhalt: 1. Einleitung 2. Struktur eines Condor Cluster 3. Feature's von Condor 4. Jobs in Auftrag geben 5. Ausführung der Jobs 6. Sicherheit 7. Condor Universes 8. Erweiterung des Condorpool 2 1. Einleitung

Mehr

Wie benutzt der NetWorker Remote Procedure Calls (RPC)?

Wie benutzt der NetWorker Remote Procedure Calls (RPC)? NetWorker - Allgemein Tip 298, Seite 1/7 Wie benutzt der NetWorker Remote Procedure Calls (RPC)? Der NetWorker - wie jede andere Client/Server (Backup) Software - benutzt immer diese zwei grundlegenden

Mehr

Migrationsanleitung von 2.0 auf 2.1

Migrationsanleitung von 2.0 auf 2.1 Die wichtigste Neuerung von 2.0 auf 2.1 aus Sicht der Anwendungs- Migration ist die Verwendung von Maven. Mit Maven holt sich die Anwendung alle notwendigen Bibliotheken in den jeweils angegebenen Versionen

Mehr

IBM Software Demos Tivoli Provisioning Manager for OS Deployment

IBM Software Demos Tivoli Provisioning Manager for OS Deployment Für viele Unternehmen steht ein Wechsel zu Microsoft Windows Vista an. Doch auch für gut vorbereitete Unternehmen ist der Übergang zu einem neuen Betriebssystem stets ein Wagnis. ist eine benutzerfreundliche,

Mehr

Oracle VM eine Alternative zu VMware? Datenbanken sind unsere Welt www.dbmasters.at

Oracle VM eine Alternative zu VMware? Datenbanken sind unsere Welt www.dbmasters.at Oracle VM eine Alternative zu VMware? Themenübersicht Kurze Vorstellung von Oracle VM 3.3 Kurze Vorstellung von VMware 5.5 / Ausblick auf VMware 6 Korrekte Oracle Lizensierung von virtuellen Systemen Oracle

Mehr

BESCHAFFUNG UND LIZENZIERUNG MIT DEM VEREINFACHTEN ORACLE LIZENZMODELL

BESCHAFFUNG UND LIZENZIERUNG MIT DEM VEREINFACHTEN ORACLE LIZENZMODELL BESCHAFFUNG UND LIZENZIERUNG MIT DEM VEREINFACHTEN ORACLE LIZENZMODELL DIESER LEITFADEN IST FÜR FOLGENDE ORACLE SOFTWARE PROGRAMME GÜLTIG Oracle Database 11g Standard Edition One Die passende Datenbank-Lösung

Mehr

FTP Server unter Windows XP einrichten

FTP Server unter Windows XP einrichten Seite 1 von 6 FTP Server unter Windows XP einrichten Es gibt eine Unmenge an komerziellen und Open Source Software die auf dem File Transfer Protocol aufsetze Sicherlich ist das in Windows enthaltene Softwarepaket

Mehr