Motivation Cluster? H/W+Architektur Cluster Netzwerke OpenSource Cluster Demonstration Quellen. Cluster Netzwerke. Robert Hilbrich

Größe: px

Ab Seite anzeigen:

Download "Motivation Cluster? H/W+Architektur Cluster Netzwerke OpenSource Cluster Demonstration Quellen. Cluster Netzwerke. Robert Hilbrich"

Wilfried Beck
vor 6 Jahren
Abrufe

1 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Fakultät für Informatik Humboldt Universität Berlin 21. Juli 2006

2 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Living on the fast lane... Auf den ersten Plätzen im Juni 2006: 1 BlueGene/L - eserver Blue Gene Solution (IBM) 2 BGW - eserver Blue Gene Solution (IBM) 3 ASC Purple - eserver pseries p GHz (IBM)

3 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen BlueGene/L - eserver Blue Gene Solution Prozessoren, GB RAM, GFLOPS Hydrodynamik, Quantenchemie, Molekulardynamik, Klimamodellierung und Finanzmodellierung Ziel: Peta-FLOP, z.b. für Proteinanalysen

4 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen eserver Blue Gene Solution

5 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen eserver Blue Gene Solution

6 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Gliederung Was ist überhaupt ein Cluster? Cluster Hardware und Architektur Grundlagen der Clusternetzwerke OpenSource Cluster (OSCAR und BEOWULF) High-Availability zum Anfassen mit Heartbeat Nicht im Vortrag (aber im Paper) enthalten: Betriebssysteme für Cluster Cluster Middleware (MPI, PVM,...) CLAN Cluster des CMS Vom Cluster- zum Gridcomputing

7 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Gliederung Was ist überhaupt ein Cluster? Cluster Hardware und Architektur Grundlagen der Clusternetzwerke OpenSource Cluster (OSCAR und BEOWULF) High-Availability zum Anfassen mit Heartbeat Nicht im Vortrag (aber im Paper) enthalten: Betriebssysteme für Cluster Cluster Middleware (MPI, PVM,...) CLAN Cluster des CMS Vom Cluster- zum Gridcomputing

8 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Was ist überhaupt ein Cluster? Definitionsprobleme durch unterschiedlichste... physikalische Ausmaße Nutzungsprofile Definition Ein Cluster ist eine eng verbundene Sammlung von Computersystemen, die eine gemeinsame Infrastruktur besitzen und einen Parallelzugriff auf Resourcen für Dienste oder Anwendungen bereitstellen.

9 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Welche Typen von Clustern gibt es? Nach Nutzungsprofil werden drei Clusterkategorien unterschieden: 1 High Performance Cluster 2 High Throughput Cluster 3 High Availability Cluster

10 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Clustertypen und ihre Architektur High Performance Cluster eine oder wenige Parallelanwendungen extrem viele Ressourcen (im Vgl. zu UP/SMP) Beispiel: Visualisierungscluster PC 2 der Universität Paderborn Anbindung und Steuerung durch einen Simulator Parallelsimulation und -konfiguration multipler Universen Verwaltung und Darstellung mehrerer virtueller Szenen Visualisierungstechniken für Wechsel/Überlagerung der Szenen

Architektur High Performance Cluster Visualisierungscluster PC2 der Universität

11 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Clustertypen und ihre Architektur High Performance Cluster Visualisierungscluster PC2 der Universität Paderborn 408 Opteron Prozessoren InfiniBand, Gigabit Ethernet 6 spezialisierte Grafikknoten Visualisierungswand mit Rückprojektion Stereoskopische Darstellung Trackingsystem

12 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Clustertypen und ihre Architektur High Throughput Cluster Optimiert für Ausführung vieler Jobs Latenzzeiten sind sekundär Benötigte Daten sind unabhängig Client- / Servermodells, Pixelpushing Carpet Cluster, Computerfarms

13 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Clustertypen und ihre Architektur High Availability Cluster Ziel: Garantierter Zugriff auf Ressourcen Redundanz und Fail-Over Techniken Downtimes in Prozenten und Zahlen Uptime Downtimes p. Jahr Downtimes p. Woche 98% 7,3 Tage 3h 22min 99% 3,65 Tage 1h 41min 99,8% 17h 30min 20min 10s 99,9% 8h 45min 10min 5s 99,99% 52min 1min 99,9999% 31,4s 0,6s

14 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Clustertypen und ihre Architektur High Availability Cluster Kosten von Downtime (je Stunde) Industriezweig Anwendung Kosten Finanzen Aktienhandel $ Finanzen EC Karten Buchungen $ Medien Pay-per-View $ Transport Flugbuchungen $ Transport Paketabfertigung $

15 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Clustertypen und ihre Architektur Gemeinsame Hardwarearchitektur Trotz unterschiedlicher Nutzungsprofile sind zugrundeliegende Techniken nahezu identisch. Komponenten eines Clusters Computing-, Master- und Administrative nodes Management-, Control- und Datennetzwerke File servers, Storage

16 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Clustertypen und ihre Architektur Gemeinsame Hardwarearchitektur

17 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Netzwerke in Clustern Ziel: Parallelausführung von Anwendungen Kommunikation und Datenaustausch zwischen den Knoten notwendig Netzwerk = shared memory Anforderung: hohe Datenrate, geringe Latenzzeit Logische Netzwerke Managementnetzwerke Kontrollnetzwerke Datennetzwerke

18 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Physikalische Umsetzung mittels Gigabit Ethernet ist standardisiert vergleichsweise kostengünstig aber: Performance skaliert nicht gut ungünstige Topologie = low-cost Alternative

19 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen... mittels HighSpeed Interconnects (HSI) HSI = proprietäre Lösungen für Knotenverbindungen Marktführer ist Myricom (20% der Top500) Produkt: Myrinet mehrstufige Crossbar Switches mit je max. 16 Ports Bandbreite: 3,96GB/s Latenz: 5,7µs max. Paketgröße: 4Mbyte

20 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Myrinet Topologie Clos, 1952

21 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Myrinet Topologie Vorteile Redundante Wege dynamischer Lastenausgleich Topologie ist jedem Router bekannt source routing skaliert sehr gut, non-blocking Nachteile Host-Adapter: $ 16er Switch Line Card: 2400 $ 17er Geräterahmen: $ Kosten für 256 Hosts = $

22 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Beowulf keine konkrete Clusterimplementation, eher axiomatische Definition Eigenschaften eines Beowulf Clusters? Standard - Rechner von der Stange ein Netzwerk mit bestem Preis-Leistungs-Verhältnis Linux oder BSD als Betriebssystem nur OpenSource Cluster Software

23 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen OSCAR - OpenSource Cluster Application Resources Vollautomatisierter Clusteraufbau Sehr gut zum Lernen alle wichtigen OpenSource Cluster Applikationen HPC VMWare Images Nachteil: nur 1 Headnode

24 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Aus der Praxis des Sysadmins Ziel Verfügbarkeit eines Webservers steigern möglichst geringe Zusatzkosten Lösung GNU Heartbeat (

25 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Aus der Praxis des Sysadmins Ziel Verfügbarkeit eines Webservers steigern möglichst geringe Zusatzkosten Lösung GNU Heartbeat (

26 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Heartbeat - Topologie

27 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Heartbeat - Aktiv/Passiv Konfiguration Setup Server A ( ), Server B ( ) Ziel: HA von IP (= Umsetzung A bindet zusätzlich A und B tauschen Heartbeat Pakete aus Bemerkt B den Ausfall von A, übernimmt B die IP Problem Server B ist sehr passiv Verzögerungszeit

28 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Heartbeat - Aktiv/Passiv Konfiguration Setup Server A ( ), Server B ( ) Ziel: HA von IP (= Umsetzung A bindet zusätzlich A und B tauschen Heartbeat Pakete aus Bemerkt B den Ausfall von A, übernimmt B die IP Problem Server B ist sehr passiv Verzögerungszeit

29 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Heartbeat - Aktiv/Passiv Konfiguration Setup Server A ( ), Server B ( ) Ziel: HA von IP (= Umsetzung A bindet zusätzlich A und B tauschen Heartbeat Pakete aus Bemerkt B den Ausfall von A, übernimmt B die IP Problem Server B ist sehr passiv Verzögerungszeit

30 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Heartbeat Konfiguration /etc/ha.d/ha.cf logfacility daemon keepalive 1 deadtime 10 warntime 5 initdead 120 udpport 694 ping bcast eth0 auto_failback off node servera node serverb respawn hacluster /usr/lib/heartbeat/ipfail use_logd yes

31 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Heartbeat Konfiguration /etc/ha.d/haresources servera IP darf vor dem Start von Heartbeat weder von servera noch serverb gebunden sein

32 Motivation Cluster? H/W+Architektur OpenSource Cluster Demonstration Quellen Weiterführende Informationen Robert W. Lucke Building Clustered Linux Systems. Prentice Hall Professional Technical Reference, Evan Marcus Blueprints for High Availability John Wiley and Sons Inc, 2000.

Ähnliche Dokumente

<Insert Picture Here> RAC Architektur und Installation

<Insert Picture Here> RAC Architektur und Installation RAC Architektur und Installation Elmar Ströhmer Michael Künzner Oracle Server Technologies Competence Center Agenda Überblick und Architekturen von HA-Systemen Hardware Die Basis