Cluster-Computing. Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 1. Literatur

Transkript

1 Cluster-Computing Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon Literatur xxx High Performance Linux Clusters, Joseph D. Sloan, O Reilly Builing Linux Clusters, Davi HM Spector, O Reilly Parallele un verteilte Programmierung, Thomas Rauber, Guula Rünger, Springer Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon

2 Installierte Höchstleistungsrechner Klassifizierung aus Liste er TOP500-Systeme (/08) SMP Constellations Cluster MPP Die meisten er 500 leistungsfähigsten Systeme sin Cluster-Systeme. Quelle: top500.org Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 3 Installierte Netzwerke MyriNet IB GbE Quelle: top500.org Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 4

3 Ausnutzung von Parallelität Parallelität im Prozessor Wortbreite Fließbanverarbeitung bei er Instruktionsabarbeitung Superskalare Prozessoren mit ynamischem Inst.-Scheuling Very-Long-Instruktion-Wor mit statischem Inst.-Scheuling Parallelität im Rechenknoten Multi-Socket, Multi-Chip un Multi-Core Gemeinsamer, cache-kohärenter Speicher Parallelität im Cluster aus Rechenknoten Rechenknoten mit lokalen Speichern Explizites Nachrichtenaustauschen zwischen Knoten Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 5 Cluster-Architektur Network Mem NI Mem NI Mem NI besteht aus P P P P P P Knoten aus hanelsüblichen, vollwertigen PCs Durch Massenprouktion effizient in Preis/Leistung Stets aktuellste Technologie nutzbar Flexibel erweiterbar, erneuerbar, aufteilbar Meistens keinen Monitor, Tastatur, Maus Oftmals SMP-Knoten Linux auf jeem Knoten Explizites Hochleistungkommunikationsnetzwerk für MPI (keine Kohärenz!) Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 6 3

4 Grüne er Akzeptanz Killer Micros Veropplung er Leistung alle 8-4 Monate (Moore s Law) PCs weren immer kostengünstiger ( Ali-PC ) Stanars ermöglichen moulare Bauweise Killer Networks Immer bessere Kommunikationsnetzwerktechnik (GbE, IBA, ) Globale Netzwerke nutzbar (Gri-Computing) Killer Software Open-Source-Software-Projekte für Cluster-Systeme Offene Kommunikationsprotokolle (MPI) Portabilität er Anwenungen urch optimierte Compiler, Bibliotheken, Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 7 Einsatzbereiche Hochleistungsrechnen vs. Hochverfügbarkeit Kurze Antwortzeiten vs. Hoher Durchsatz Deizierter Cluster vs. Ansammlung an PCs Homogene Knoten vs. heterogene Knoten Hochleistungskommunikationsnetzwerk vs. Stanar Netzwerk Single-System-Image vs. einzeln aministrierte PCs Je nach Schwerpunkt, unterschieliche Systemarchitektur notwenig. Im weiteren Fokus ie auf er linken Seite genannten Punkte. Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 8 4

5 Beispiel Cluster-Systeme PC² - Arminius-Cluster FSC hpcline 00 x Dual Socket SingleCore Intel Xeon InfiniBan-Netzwerk.6 TFLOPS Peakrechenleistung 56 kwatt #05 of top500 6/05 Los Alamos (LANL) - Roarunner IBM BlaeCenter LS/QS 3.40 x Dual Socket DualCore AMD Opteron PowerXCell 8i Prozessoren InfiniBan-Netzwerk,3 PFLOPS Peakrechenleistung.5 MWatt Stromverbauch # of top500 /08 Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 9 Hochgeschwinigkeitskommunikationsnetzwerke Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 0 5

6 Themen Netzwerktopologie Anornung er Leitungen un Schalter Statisch vs. Dynamisch Vermittlungstechnik Auswahl es Kommunikationswegs Beschreibung von Kommunikationswegen Eigenstänige Schalter vs. Routen über Rechenknoten Netzwerkprotokolle TCP/IP MPI auf Hochgeschwinigkeitsnetzwerk Cluster-Kommunikationsnetzwerke Beispiele: MyriNet, Quarics, InfiniBan Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon Bewertung von Netzwerken Netzwerk ist ein Graph G =(V,E) V ist Menge er Knoten E ist Menge an gerichtete/ungerichtete Verbinungen zwischen Knoten Kriterien eines Graphen Durchmesser Gra Kantenkonnektivität Bisektionsbreite Kriterien für ein Kommunikationsnetzwerk Latenzzeit Banbreite Verzögerung/Übertragungszeit Durchsatz Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 6

7 Begriffe Gra eines Knotens Anzahl er Ajazentenkanten (ein- bzw. auslaufenen Kanten) Gra eines Netzwerks Maximaler Knotengra Distanz eines Knotenpaars Länge es kürzesten Pfaes zwischen beien Knoten Wie viele Knoten müssen minestens passiert weren Durchmesser eines Graphen Maximum er Distanzen aller Knotenpaare Kantenkonnektivität Minimale Anzahl an Kanten, ie aus em Graphen entfernt weren müssen, um en Graphen in zwei Teilgraphen zu zerlegen Bisektionsbreite Minimale Anzahl an Kanten, ie aus em Graphen entfernt weren müssen, um zwei Teilgraphen gleicher (±) Größe zu zerlegen Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 3 Ziele Kleiner konstanter Gra Kosten es Netzwerks proportional zu Anzahl Pins am Chip Einfachere Skalierbarkeit Kleiner Durchmesser Kurzer längster Weg Hohe Kantenkonnektivität Mehrere unabhängige Pfae zwischen zwei Knoten Alternative Wege zur Stauvermeiung un Ausfallsicherheit Hohe Bisektionsbreite Ieal Knotenanzahl / Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 4 7

8 Direkte/Statische Verbinungsnetzwerke Knoten besteht aus Schalter un Prozessor jeer Knoten hat irekte Verbinung zu seinen benachbarten Knoten. Knoten ist Teil es Verbinungsnetzwerks Knoten entscheiet über Nutzung einer Verbinung. Knoten Knoten P M P M Knoten 3 P M Knoten 4 P M Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 5 Inirekte/Dynamische Verbinungsnetzwerke Rechenknoten Netzwerk Aufteilung in Rechenknoten un Netzwerkkomponenten Rechenknoten haben Verbinung zum gemeinsamen Netzwerk Netzwerk schaltet bei Bearf Verbinungen Komponenten eines Schalters Bus Schaltmatrix Klassifizierung von Netzwerken Einstufiges Netzwerk Mehrstufiges Netzwerk Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 6 8

9 Bus Eigenschaften Blockieren, Share-Meium Kostengünstig Skalierbar nur für kleine Anzahl an Knoten Single-Bus M M M M C C C D D D Prozessoren / Speicher / Geräte Bus Multi-Bus M M M M C C C D D D Prozessoren / Speicher / Geräte Bus Bus Bus b Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 7 Bewertung: Bus Bus Gra = Durchmesser = Kantenkonnektivität = Bisektionsbreite = Beispiel: Ethernet Dynamisches Netzwerk CSMA/CD-Protokoll Kein Routing innerhalb eines Segments 500 bis 9000 Byte Paketgrößen Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 8 9

10 Bewertung: Clique Vollstäniger Graph (Clique) Gra = n- Durchmesser = Kantenkonnektivität = n- Bisektionsbreite = n/ n/ Eigenschaften: Statisches Netzwerk Jeer Knoten ist irekt mit jeem aneren verbunen Kein Routing notwenig Zu teuer für große Netzwerke Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 9 Bewertung: Ring Ring Gra = Durchmesser = n/ Kantenkonnektivität = Bisektionsbreite = Eigenschaften: Statisches Netzwerk Jeer Knoten i ist mit Knoten (i-) mo n un (i+) mo n verbunen Einfaches Routing Geringe Kosten für große Netzwerke Schecht Skalierung er Leistung Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 0 0

11 Gitterstrukturen 4 x 4 Gitter 4 x 4 Torus Pro konstanter Knotengra Erweiterbarkeit in kleinen Inkrementen gute Unterstützung von Algorithmen mit lokaler Kommunikationsstruktur (z.b. Moellierung physikalischer Prozesse) Kontra große Netzwerke mit relativ hohem Durchmesser ( n ) Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon Bewertung: Gitter -imensionales Gitter Gra = Durchmesser = n Kantenkonnektivität = Bisektionsbreite = ( n) Eigenschaften: Statisches Netzwerk Hohe Kosten für Netzwerke mit hoher Dimension Relativ gute Skalierung er Leistung Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon

12 Bewertung: Torus -imensionales Torus Gra = Durchmesser = n Kantenkonnektivität = Bisektionsbreite = ( n) Eigenschaften: Statisches Netzwerk Hohe Kosten für Netzwerke mit hoher Dimension Relativ gute Skalierung er Leistung Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 3 Hypercube Schalter <w> ist mit Schalter <w > verbunen, genau ann, wenn sich w nur in einem Bit von w unterscheiet. Variabler Knotengra Nur erweiterbar in Zweierpotenzen Beispiel: HQ(4) <000> <00> <0000> <000> <000> <00> <> <00> <0> <000> <00> Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 4

13 Bewertung: Hypercube Hyperwürfel (Hypercube) Dimension k, n = k Gra = k Durchmesser = k Kantenkonnektivität = k Bisektionsbreite = n/ Eigenschaften: Statisches Netzwerk k unabängige Pfae zwischen zwei Knoten HQ(k) besteht aus zwei HQ(k-) Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 5 Würfelartig verbunene Ringe (CCC) D-imensionaler Hypercube, bei er jeer Knoten urch einen Ring er Länge ersetzt wir. Jeer er Knoten eines Rings besitzt neben en beien Ringkanten eine Kante in Richtung einer er -Hypecube- Dimensionen. Pro konstanter Knotengra von 3 nur in iskreten Schritten erweiter logarithmischer Durchmesser + Cube Connecte Cycles er Dimension 3 - CCC(3) ( ) ( ) Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 6 3

14 Kreuzschienenverteiler P P P P M M M M 4 x 4 Schaltmatrix K K K K 4 x 4 Schalter Schalterzustäne: B B A A Durchschaltung n interne Schalter Blockierungsfrei Kreuzschaltung Fan-Out A Fan-Out B Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 7 Kreuzschienenverteiler Basisschalter: PE 0 NI PE NI PE NI PE 3 NI Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 8 4

15 Bewertung: Crossbar Kreuzschienenverteiler (Crossbar) Gra = * Durchmesser = * Kantenkonnektivität =? Bisektionsbreite = n/ Eigenschaften: Dynamisches Netzwerk, einstufig Sehr hohe Leistung Hohe Kosten *als ein Schalter betrachtet. Intern konstanten Gra un minesten O(log n) Durchmesser. Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 9 Mehrstufige Netzwerke Schaltmatrizen als Basiselemente Mehrere Ebenen als Schalter bilen Netzwerk Eigenschaften Skalierbare Netzwerke Blockiersituationen im Netzwerk möglich Kleine Schaltmatrizen häufig verwenet (x, 4x4, 8x8) Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 30 5

16 Topologie: Baum log n k n k-närer Baum mit i Schaltern ((k+)-wege) k i= logarithmischer Durchmesser (*log k n ) Wurzel ist ein Engpass (Bisektionsweite ) Beispiel: Binärbaum Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 3 Topologie: Fetter Baum (Fat-Tree) n Knoten, log k n Level Schalter mit Gra k: je k Verbinung in Level i- un in Level i+ Jeer Level mit n/k Schaltern Beispiel: k= Level Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 3 6

17 Bewertung: Fat-Tree Fat-Tree/Clos Baum mit n Knoten un n/ log k nschaltern Gra = k Durchmesser = log k n- Kantenkonnektivität = k Bisektionsbreite = n/ Eigenschaften: Dynamisches Netzwerk, mehrstufig Auch einstufige Variante mit log k ndurchläufen möglich Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 33 Topologie: Omega-Netzwerk Schalter <w,l> ist mit Schalter <w lcs,l+> un <w lcsbf,l+> verbunen, wobei w lcs urch left cyclic shift aus w entsteht un w lcsbf aus w lcs mit zusätzlichem bit flip es letzten Bits entsteht eineutiger Pfa von jeem Eingang zu jeem Ausgang <000,0> <000,> <000,> <000,3> <00,0> <00,3> <00,> <00,> <00,> <0,> <,> <,> <,3> <,0> Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 34 7

18 Bewertung: Omega-Netzwerk Omega-Netzwerk n Knoten, (n/) log n Crossbars Gra = (Crossbars mit Gra 4) Durchmesser = log n Kantenkonnektivität = Bisektionsbreite = n/ Eigenschaften: Dynamisches Netzwerk, mehrstufig Auch einstufige Variante mit log n Durchläufen möglich Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 35 Topologie: Clos kleine Gruppen aus Knoten lokal vernetzbar mit kurzen Verbinungen gut im Raum platzierbar, wenige kreuzene Verbinungen Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 36 8

19 Butterfly 0 0 (ientisch mit Spalte 0) Butterfly er Dimension 3 - Bn(3) Pro konstanter Knotengra (= 4) Erweiterbarkeit nur in bestimmten Größen ( ) logarithmischer Durchmesser Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 37 Zusammenfassung er Eigenschaften Clique Ring Gitter G(a x a...x a ) Torus T(a x a...x a ) Hypecube HQ() Omega() CCC() Butterfly Bn() Anzahl Knoten k= Anzahl Kanten n ( n ) ( a k ) a i k i maximaler Knotengra n n n a k k= a k a k k= k= 3 ( n n a k k= ) = k a k 4 + Durchmesser Bisektionsweite n ( n ) 4 k min = a mink= k a k Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 38 9

20 Messbare Parameter von Netzwerken () Minimale Latenzzeit Verzögerung einer Kommunikation Zeit zwischen Absenen un Ankunft es Packet-Heaers Einheit: Zeit, meistens in µs Vorgehen bei Messung: Ping-Pong Benchmark mit Austausch leerer Nachricht 0-Byte Vorheriges Warm-Up zugelassen Für exakte Zeitmessung mehrere Iterationen urchführen Latenzzeit = Ping-Pong-Zeit / Iter / Wenn mehr als ein Prozessorpaar gleichzeitig Ping-Pong urchführen, ann steigt in Netzen mit kleiner Bisektionsbreite ie gemessene Latenz Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 39 Messbare Parameter von Netzwerken () Maximale Banbreite Bestenfalls übertragbare Anzahl an Daten Einheit: Byte pro Sekune Problem: Overhea nur bei Verwenung großer Datenpakete vernachlässigbar (O(MByte)) Oftmals urch Protokoll beingt nur kleine Datenpakete fester Größe möglich Vorgehen bei Messung: Senen von großen Datenpaketen ohne essen Zurücksenen Ping-Ping Benchmark mit Senen einer Eingangsbestätigung Bei mehreren Kommunikationspaaren gleichzeitig ist ie Banbreite abhängig von er Bisektionsbreite Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 40 0

21 Messbare Parameter von Netzwerken (3) Übertragungszeit Übertragungszeit V ist abhängig von Größe er Nachricht Einheit: Zeit, meistens in µs Problem: Übertragungszeit nicht unbeingt proportional zu er Größe es Datenpakets Treppenfunktion, falls Pufferung un Fragmentierung er Nachrichten urchgeführt wir Vorgehen bei Messung: Ping-Ping Benchmark mit Senen einer Eingangsbestätigung Verschieene Größen an Datenpaketen messen Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 4 Messbare Parameter von Netzwerken (4) Durchsatz Banbreite bei bestimmter Größe eines Datenpakets Einheit: Byte pro Sekune Vorgehen bei Messung: siehe Übertragungszeit Üblicherweise Diagramm (Durchsatz/Paketgröße) erstellen Half-Power-Point : Bei welcher Paketgröße wir ie Hälfte er Banbreite erreicht? Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 4

22 Vermittlungstechnik Bestimmung eines Kommunikationspfaes zwischen zwei Knoten, falls keine Punkt-zu-Punkt-Verbinung Leitungsvermittlung (circuit switching) versus Paketvermittlung (paket switching) Begriffe Routing = Wegebestimmung Switching = Art un Weise es Datentransfers innerhalb eines Vermittlungsknotens Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 43 Leitungsvermittlung Zuerst weren Aressierungsaten gesenet Im Zuge er Aressekoierung bauen ie Vermittlungsknoten einen Weg vom Sener zum Empfäner auf Wenn er Weg steht, ann folgen ie Nutzaten Währen er nachfolgenen Nutzatenübertragung ist kein weiterer Vermittlungs- oer Wegfinungsaufwan notwenig Expliziter Verbinungsabbau ist notwenig Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 44

23 Paketvermittlung Nutzaten weren in Pakete eingeteilt. Jees Paket wir mit Aressinformationen versehen (Paketkopf) un separat verschickt Verfahren berücksichtigt, ass Pakete verloren gehen oer in veränerter Reihenfolge ankommen können Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 45 Paketvermittlung: Store&Forwar Paket wir vollstänig im Vermittlungsknoten aufgenommen (store), ann analysiert, ann über en ausgewählten Ausgang weitergeleitet (forwar) Paket ist zu einer Zeit auf höchstens zwei Knoten un eine Verbinungsleitung verteilt Blockierungsgefahr ist gering Vermittlungsknoten benötigen ausreichene Pufferkapazität Mittlere Übertragungszeit ist proportional zu Paketgröße un Durchmesser es Netzwerks Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 46 3

24 Paketvermittlung: Wormhole Sobal Paketkopf angekommen ist, wir entschieen, über welchen Ausgang as ganze Paket weitergegeben wir Ist Ausgang belegt, wir Paketrest nicht angenommen Aresse (evtl. verkürzt/aktualisiert) verlässt ggf. en Switch noch ehe er Paketrest empfangen woren ist Paket ist ggf. über viele Knoten un Leitungen verteilt In jeem Vermittlungsknoten fallen nur ie kleinen Zeiten für Aressekoierung an Übertragungszeit ist amit unbeeuten vom Durchmesser es Netzwerks abhängig Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 47 Blockierung beim Worm-Hole Routing Blaue Pfeile: Pakete ie im Netz unterwegs sin Roter Pfeil: Paket kann nicht weiter vermittelt weren, weil Ausgang belegt ist Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 48 4

25 Paketvermittlung: Virtual Cut-Through Im Unterschie zum Wormhole-Routing wir hierbei im Blockierungsfall er Paketrest empfangen un zwischengespeichert. Das führt tenenziell azu, ass Blockierungen lokalen Charakter haben un sich wieer auflösen, statt zu Verklemmungen zu führen Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 49 Paketvermittlung: Vergleich Worm-Hole Virtual-Cut-Through Vorlesung: Architektur Paralleler Rechnersysteme WS08/09 J.Simon 50 5