Ruprecht-Karls-Universität Heidelberg

Transkript

1 Ruprecht-Karls-Universität Heidelberg PS: Themen der technischen Informatik Sommersemester 2013 Referentin: Hanna Khoury Betreuer: Prof. Dr. Ulrich Brüning, Dr. Frank Lemke Datum:

2 1) Einige Begriffe vorab 2) Performance-Vergleich 3) Aufbau des SiCortex Cluster Interconnects 4) Funktionsweise 5) Fazit 6) Quellen The SiCortex Cluster Interconnect 2

3 Viele vernetzte Prozessoren, gemeinsamer Hauptspeicher Parallele / verteilte Operationen möglich Meist Hochleistungsprozessoren für privaten Gebrauch Open-Source-Software Beispiel: 256 2,2 GHz AMD Opteron Prozessoren Vernetzt über Myrinet Netzwerk und Clos-Topologie 72 Core-Prozessor Portable Batch System (PBS) The SiCortex Cluster Interconnect 3

4 Firma für Supercomputer, gegründet 2003 in Maynard, Massachusets Geschlossen 2009, teilweise verkauft an Cray Inc. Rechnerfamilie aus 12 bis 972 Einzelrechnern (nodes) Verbindung über Kautz-Graph Modelle: SC072, SC648, SC1458 und SC5832 The SiCortex Cluster Interconnect 4 [8]

5 The SiCortex Cluster Interconnect 5 [1]

6 12 Knoten 6-fach symmetrischer Multiprozessor 500 MHz 64-bit MIPS Kernprozessoren PathScale- und GNU-Compiler (C, C++, Fortran) 48 GB Speicher Grad-3-Kautz-Graph Bandbreite zwischen Knoten bei 6 GB/s [18] The SiCortex Cluster Interconnect 6

7 geringerer Stromverbrauch Leistung pro Kernprozessor bei 87% [19] The SiCortex Cluster Interconnect 7

8 Löst partielle Differentialgleichungen Problemgröße: 64x64x64 Elemente pro Prozessor [19] The SiCortex Cluster Interconnect 8

9 Bessere Skalierbarkeit bei SiCortex [19] The SiCortex Cluster Interconnect 9

10 Operationen auf parallelen, heterogenen und dynamischunstrukturierten Netzen 4x8x4 Netz [19] The SiCortex Cluster Interconnect 10

11 Sechs 64-bit Prozessoren + L1-/L2-Caches Ein Memory-Controller pro Speichermodul Interconnect-Komponenten PCI-Express-Interface (Peripheral-Connect- Interface) [2] The SiCortex Cluster Interconnect 11

12 DMA Engine (Direct Memory Access) Übersetzung von Anfragen in packet streams Fabric Switch Verbindungen vom und zum DMA-Engine Fabric Links direkte Verbindung zu anderen Knoten [10] The SiCortex Cluster Interconnect 12

13 Implementiert das Software-Interface des Interconnects Kommunikation mit L2-Cache Kommunikation mit Switch über je drei Transmit- und Receive-Ports [11] The SiCortex Cluster Interconnect 13

14 Cut-through-routing Geringe Latenz Verhindert Deadlock ECC (Error Correcting Code) [3] The SiCortex Cluster Interconnect 14

15 Multiple Spur aus 2GB/s SerDes PHYs CRC-Fehlererkennung (Cyclic Redundancy Check) Data recovery 84,2% Nutzdaten [2] The SiCortex Cluster Interconnect 15

16 14 DMA-Contexts/Knoten: Register + Datenstrukturen Datenstrukturen: Command queue (CQ) Event queue (EQ) Heap Route descriptor table (RDT) Buffer descriptor table (BDT) MPI (Message Passing Interface) DMA-Driven Collectives Barrier The SiCortex Cluster Interconnect 16

17 Befehle werden in CQ geschrieben I/O-Register Grundbefehle: send-event write-heap send-command do-command put-buffer [21] The SiCortex Cluster Interconnect 17

18 Gerichteter Graph mit Grad M und Dimension N+1 (M+1)M N Knoten; (M+1)M N+1 Kanten Zeichenkette s 0... s N mit Länge N+1 aus Alphabet A mit M+1 Zeichen The SiCortex Cluster Interconnect 18 [6]

19 Grad M: jeder Knoten wird m-mal getroffen Benachbarte Buchstaben sind nicht gleich M+1: Anzahl der Buchstaben im Alphabet N+1: Länge des Wortes Beispiel für M+1 = 3 und N+1 = 3 Jeder Knoten wird zweimal getroffen A = {A; B; C} S = {ABA; ABC; ACA; ACB; BAB; BAC; BCA; BCB; CAB; CAC; CBA; CBC} 12 mögliche Wörter [6] The SiCortex Cluster Interconnect 19

20 A B... C... B C A C A B ACB M = Anzahl der Möglichkeiten M+1 = Anzahl der Buchstaben Anzahl der Knoten = (M+1)xM N = (M+1)x(MxMx...xM) N-mal = (M+1)M N Knoten Anzahl der Kanten = M Kanten pro Knoten = (M+1)x(MxMx...xM) N+1-mal = (M+1)M N+1 Kanten The SiCortex Cluster Interconnect 20

21 Kleinstmöglicher Durchmesser bei festem Grad Eulerkreis Hamiltonkreis Graph mit Grad k k disjunkte Pfade von x nach y [12] [13] The SiCortex Cluster Interconnect 21

22 Hohe Fehlertoleranz Open-Source-Software Zeiteinsparung: Optimiertes Routing Wenig Involvierung der Prozessoren Geringe Latenzzeiten Wenig Hauptspeicherzugriff Geringer Stromverbrauch The SiCortex Cluster Interconnect 22

23 [1] Ma, Teng: SiCortex Walkthrough. Dezember 2008 [2] Stewart, C. Lawrence & Gingold, David: A New Generation of Cluster Interconnect. Dezember 2006 [3] Stewart, C. Lawrence & Gingold, David et.al.: SiCortex Technical Summary. Dezember 2006 [4] [5] [6] The SiCortex Cluster Interconnect 23

24 [7] [8] [9] [10] [11] es/ecn/articles/ec91ic510aweb.jpg The SiCortex Cluster Interconnect 24

25 [12] VomNikolaus.png [13] [14] [15] [16] [17] The SiCortex Cluster Interconnect 25

26 [18] 1/ sc072.jpg [19] Brian J. Martin, Andrew J. Leiker, James H. Laros III and Doug W. Doerfler: Performance Analysis of the SiCortex SC [20] _scaling [21] G2.jpg Letzte Zugriffe jeweils am: The SiCortex Cluster Interconnect 26

27 Vielen Dank für Eure Aufmerksamkeit!

28 Virtual Memory Integration Buffer Descriptors (BD) OS Protection und Security Neue Routen durch Kernprozessor Kernprozessor schreibt physikalische Adresse in BD Hardware vergleicht packets, bevor sie akzeptiert werden The SiCortex Cluster Interconnect 28

29 On-Node Communication DMA-Driven Collectives Broadcast Barrier [22] The SiCortex Cluster Interconnect 29

30 Boot- und diagnostische Software Treiber: fabric driver, SCethernet driver, MSP-driver (module service processor) Compiler Bibliotheken Performance-Analyse-Werkzeuge The SiCortex Cluster Interconnect 30