Enterprise Computing

Transkript

1 Enterprise Computing Prof. Dr.-Ing. Wilhelm G. Spruth WS 2011/12 Teil 5 Parallel Rechner Implementierungen

2 Mehrfachrechner (Multiprocessor) Parallelrecher (Parallel Processor) Mehrfachrechner: Auf mehreren CPUs laufen mehrere Prozesse (Threads) gleichzeitig. Parallelrechner: Auf mehreren CPUs läuft ein einziger Prozess. Die Unterschiede zwischen Mehrfachrechnern und Parallelrechnern sind fließend. Meistens können Rechner mit mehreren CPUs sowohl als Mehrfachrechner als auch als Parallelrechner eingesetzt werden. zseries und S/390 Rechner sind für den Einsatz als Mehrfachrechner optimiert. IBM AIX, HP Superdome, SUN Sunfire25k bzw M9000, sowie Blade Server werden häufig auch als Parallelrechner eingesetzt.

3 Symmetrischer Multi- CPU CPU CPU prozessor (SMP) tightly coupled Hauptspeicher Haupt- Haupt- Hauptspeicher speicher speicher Cluster loosely coupled CPU CPU CPU Taxonomie von Mehrfach/Parallelrechnern

4 8 Eingänge 8 Ausgänge 8 x 8 Crossbar Switch 8 parallele Verbindungen

5 CPU CPU CPU CPU System Bus Single SMP Hauptspeich Knoten Knoten Knoten Knoten Hochgeschwindigkeitsnetzwerk Knoten (LPAR) Jeder Knoten ist ein SMP. Er besteht aus mehreren CPUs, die auf einen gemeinsamen Hauptspeicher mit einer einzigen Instanz des Betriebssystems zugreifen. Die Knoten sind über ein Hochgeschwindigkeitsnetzwerk miteinander verbunden, das in der Regel als Crossbar Switch implementiert wird. Unter z/os sind Knoten häufig als LPARs (Logische Partitionen) implementiert. Cluster, bestehend aus mehreren SMPs (Knoten)

6 Haupt- Haupt- Hauptspeicher speicher speicher Knoten Knoten Knoten Knoten CPU CPU CPU Globalspeicher Global- Speicher Ein Cluster, bei dem die Knoten aus einzelnen CPUs oder aus SMPs bestehen, kann durch einen globalen Speicher erweitert werden. Diese Konfiguration wird als closely coupled bezeichnet. Der Mainframe Sysplex ist eine derartige Konfiguration. Frage: Warum kann mann nicht einen SMP mit 64 oder mehr Prozessoren bauen? Antwort: Ein z196 EC Rechner kann tatsächlich einen SMP mit bis zu 80 CPUs betreiben. Aber...

7 Relative Performance Number of CPUs Skalierung eines Symmetrischen Multiprozessors 1. Hardware Konflikte. Wenn zwei CPUs gleichzeitig auf den Hauptspeicher zugreifen, muss eine CPU warten. 2. Software Konflikte (meistens Betriebssystem/Kernel). Wenn zwei CPUs gleichzeitig auf Komponenten des Kernels (z.b. Scheduler/Dispatcher) zugreifen, muss eine CPU warten. Unglücklicherweise sind Transaktions- und Datenbankanwendungen besonders kritisch. Gleichzeitig sind dies die wichtigsten Aufgaben in einer betrieblichen IT-Infrastruktur.

8 Kommerzielle Großrechner Message Passing Parallel Rechner

9 Sun E System Board

10 4 CPU chips CPU CPU CPU CPU 2/4 Core Sun 25 K I/O Hauptspeicher Switch Zentraler Switch 16 oder 18 System Boards, jedes mit 4 CPU Chips Anschluss an einen zentralen Switch sowie I/O Controller auf jedem System Board. I/O Cages Anschluss von I/O Geräten, besonders Plattenspeichern, Non-Uniform Memory Architecture (NUMA System Boards I/O Board

11 Steckplätze auf einem Crossbar Board für 16 oder 18 System Boards. 16 x 16 Daten Crossbar Chip, 16 x 16 Response Crossbar Chip, 16 x 16 Adressen Crossbar Chip. I/O Karten in den I/O Cages sind über diese Switche mit den System Boards verbunden. Das Crossbar Board enthält eine Reihe von (elektronischen) Schaltern. System Bards in mehrere Gruppen aufteilen und die Gruppen voneinander isolieren. Harte Partitionnierung

12 Die Firma Sun hat ihre Produkte kontinuierlich weiterentwickelt ohne dass sich am Konzept viel verändert hat. Die neuesten Modelle werden als M9000 bezeichnet, und gemeinsam von Sun und von Fujitsu/Siemens vertrieben.

13 Sun SPARC Enterprise M9000 server Backplane Interconnect mit 368 GByte/second, Verbindet alle System Boards miteinander

14 Hewlett- Packard Superdome Cell Board 4 Itanium 2 CPUs 64 Gbyte E/A Bus 1,5 GHz Hauptspeicher Anschlüsse

15 CPU CPU CPU CPU I/O Hauptspeicher Switch 4 Switches 16 Gbyte/s Switch 256 CPU s, 16 Knoten (Cell Boards), je 16 CPU/Knoten I/O Anschluß auf jedem Cell Board Cell Boards 4 fach SMP HP Superdome Cluster

16

17 Internal Batteries Hybrid Cooling Power Supplies 3x I/O cages CEC Cage Fibre Quick Connect Feature Front View STI Cable Support Elements

18 SMP CPUs System Board lokaler Bus/Switch Hauptspeicher Zugriff auf den Hauptspeicher eines anderen Systemboards I/O Adapter globaler Bus/Switch NUMA Rechner mit zwei Ebenen von Switches Non-Uniform Memory Architektur Auf jedem System- oder Cellboard ist der lokale Hauptspeicher an die CPUs über einen lokalen Bus angeschlossen. Zusätzlich sind alle System- oder Cellboards über einen zentralen Switch (hier als System Bus dargestellt) miteinander verbunden. Es ist möglich, dass eine CPU über den globalen Bus/Switch auf den Hauptspeicher eines fremden SMP zugreift.

19 FFFF FFFF C Adressen. raum des vierten SMP Adressen. raum des dritten SMP Adressen. raum des zweiten SMP Adressen. raum des ersten SMP NUMA Adressenraum Dargestellt ist als Beispiel der Adressenraum eines NUMA Rechners mit 4 System Boards. Jedes System Board verfügt über einen Hauptspeicher von 4 GByte. Der erste der 4 System Boards benutzt die Adressen Hex bis 3FFF FFFF. Der zeite der 4 System Boards benutzt die Adressen Hex bis 7FFF FFFF. Der dritte der 4 System Boards benutzt die Adressen Hex bis BFFF FFFF. Der vierte der 4 System Boards benutzt die Adressen Hex C bis FFFF FFFF.

20 NUMA-Rechner Der Zugriff auf den Speicher und das I/O-Subsystem erfolgen nicht gleichförmig. Diese Architekturen werden als Non Uniform Memory Access (NUMA) Architektur bezeichnet. Da jeder Prozessor auf die Speicher fremder System Boards zugreift, muss ein Verfahren für den Zugriff auf nicht-lokale Speicher existieren. Dies ist durch die Dir-Einheit (Directory) dargestellt. Diese enthälten Informationen über alle auf den externen System Boards befindlichen Speichersegmente und deren Inhalte. Beim CC-NUMA (Cache Coherent NUMA) erfolgt bei einer Speicherveränderung eine Invalidierung aller Einträge in den Directories der nicht-lokalen System Boards.

21 z10 configuration of the L2 NUMA cache A maximum z10 system can have a total of 77 processing units (PU) in 4 books. Of these, 64 may be configured as CPUs. 3 of the 4 books may have 20 PUs each, the 4 th book has 17 PUs. The four L2 caches of the four books are interconnected by point-to-point links and form a single common and shared CC-NUMA L2 cache that is used by the 77 PUs in all four books.

22 Relative Performance Number of CPUs Skalierung eines Symmetrischen Multiprozessors Ein Rechner mit CPUs muss in mehrere SMPs partitioniert werden. Harte Partitionen Virtuelle Partitionen

23 64 bis 256 CPUs NUMA Hauptspeicher Aufteilung eines Großrechners in mehrere SMPs z/os unterstützt symmetrische Multiprozessoren (SMP) mit bis zu CPUs. Bei Unix, Linux und Windows Betriebs-systemen liegt die Grenze für Transaktions- und Datenbankanwendungen eher bei CPUs. Moderne Großrechner (Systeme) verfügen über wesentlich mehr CPUs. Sie werden deshalb in mehrere SMPs (mit unterschiedlicher Anzahl von CPUs) aufgeteilt, die über einen zentralen Switch miteinander kommunizieren. Der Systemadministrator kann den gesamten Hauptspeicher in unterschiedlichen Größen auf die einzelnen SMPs aufteilen.

24 Harte Partitionierung Die Aufteilung der einzelnen CPUs erfolgt durch elektronische Schalter. Der Systemadministrator kann die Aufteilung während des laufenden Betriebes ändern.

25 SMP # 1 SMP # 2 SMP # 3 3 System Boards 2 System Boards 3 System Boards 12 CPU Chips 8 CPU Chips 12 CPU Chips Switch Aufteilung eines Sun 25K oder HP Superdome Servers mit 8 System Boards in mehrere parallel laufende SMPs Harte Partitionierung, 8 System Boards mit je 4 CPU Chips (single core) pro System Board. Die 8 System Boards werden in 3 Partitionen und 3 SMPS mit 3, 2 und 3 System Boards aufgeteilt. Jeder SMP hat ein eigenes Betriebssystem. Die Aufteilung erfolgt mit Hilfe elektronischer Schalter. Der System Administrator kann während des laufenden Betriebes die Zuordnung der System Boards zu den einzelnen SMPs ändern

26 CPUs Dargestellt sind 8 System Boards SB0.. SB7. Sie werden in 3 SMPs partitioniert: SMP1 besteht aus: SMP2 besteht aus: SMP3 besteht aus: SB0, SB1, SB6 SP2, SB4 SP3, SB5, SB7 Angenommen, SMP2 ist überlastet, während SMP3 überschüssige Kapazität hat. Der Administrator beschließt, SMP3 das System Board SB5 wegzunehmen und SMP2 zuzuordnen. Auf der dargestellten Konsole klick der Administrator auf das SB5 Ikon und zieht es rüber auf den SB2 Icon. Sun Fire Administrator Konsole Die Granularität der Zuordnung auf die einelnen SMPs (Partitionen) war ursprünglich in Einheiten vonein ganzen System Boards, ist aber bei neueren Systemen verfeinert worden.

27 Virtuelle Partitionierung Andere Bezeichnung: Logische Partitionierung Die Virtuelle Partitionierung mit Software ist in der Regel flexibler als die Hardware- Partitionierung. Allerdings ist durch den Einsatz von Software der Overhead größer, der für die Steuerung der Umgebung benötigt wird. Beispiele: z/vm, VMware, Xen, Virtual Box,... Die Virtuelle Partitionierung mit Hilfe von Software wird häufig auch als Logische Partitionierung oder als Virtualisierung bezeichnet. Vorteil: Flexibilität Nachteil: Performance Verlust

28 Coupling Facility SMP SMP SMP SMP SMP SMP 32 max. 800 MByte/s Sysplex FICON / Fibrechannel Timer Protokoll (ESCON) FICON / Switch FICON andere I/O Switch 800 MByte/s Glasfaser Pro System (SMP) : 80 CPU s + 14 Support Prozessoren 4 x 256 Kanäle (z196 Rechner) CU CU CU CU Enterprise Storage Server Parallel Sysplex

29

30 Kommerzielle Großrechner Message Passing Parallel Rechner

31 Leere Einschübe für zwei 2,5"-SCSI- Festplatten Prozessor Chip mit Kühlkörper Erweiterungsplatz für einen zweiten Prozessor IBM Blade for Intel-, PowerPC- und Cell

32 IBM BladeCenter

33 Strato-Rechenzentrum mit Servern verbraucht sechs Megawatt ,

34 HP ProLiant BladeSystem Unterstützt bis zu 16 voll ausgestattete Blade-Server. Bis zu 4 redundante I/O-Fabrics. Integrierte Verwaltung für einfache und unkomplizierte Einrichtung. Optionales zweites Modul für uneingeschränkte Redundanz.

35 Google Nov Daily Visitors to google.com 620 Millionen Daily Page views 7,2 Milliarden Data daily processed by Google 20 PByte Mitarbeiter, davon in R&D

36 Message Passing Homogeneous CPUs, can leverage existingcpu designs and development tolls. Hardware focusses on communication (2-D Mesh, N-Cube). SW focusses on partittioning of data and algorithms of a single process.

37 BlueGene System at Argonne National Laboratory

38 Blue Gene/Q 18 core chip, uses 16 cores for computing, and one core for running an operating system (interrupts, asynchronous I/O, MPI pacing and RAS functionality). Four threads/core. Transactional memory technology, prevents data from being corrupted by multiple threads when simultaneously reading or writing a particular item. More transparent way to the application than traditional locking

39 BlueGene/Q mit 17 Kernen Die wohl wichtigste Neuerscheinung im HPC-Prozessorbereich dürfte IBMs neuer BlueGene/Q-Prozessor sein, der in rund zwei Jahren den vom US-Verteidigungsministerium bei IBM in Auftrag gegebenen 20-PFlops-Rechner Sequoia antreiben soll. BlueGene/Q ist ein 17-Kern-Prozessor, hergestellt im 45-nm-Prozess. 16 Kerne sind zum Rechnen gedacht, der 17. soll Kontroll- oder I/O-Aufgaben übernehmen. Intern ist BlueGene/Q sogar ein 18-Kerner mit einem Reservekern nützlich, um die Ausbeute bei der Herstellung zu erhöhen. Gegenüber seinen BlueGene-Vorgängern wurde die Q-Version zudem auf 64 Bit aufgerüstet und die SIMD-Einheit verbreitert, so dass sie nun vier doppeltgenaue Fused-Multiply-Add-Befehle mit 8 Flops pro Takt ausführen kann. Bei 1,6 GHz Takt kommt der Prozessor somit auf 205 GFlops. Zusätzlich arbeitet der Prozessor mit Vierfach-SMT, bietet also dem Betriebsystemen (RHEL6 auf den I/O-Knoten, spezielles Compute-OS auf den Rechenknoten) 32 "logische" Kerne oder Threads an Dank 64 Bit können die Module 8 oder 16 GByte DDR3-Speicher betreiben. Fünf Links (2 GByte/s pro Richtung) gehen von jedem Modul zu den Nachbarn, womit sich verschiedene 5D-Topologien aufbauen lassen. 32 Module mit 512 Rechenkernen sind in einer Schublade zu einem Knoten zusammengefasst, inklusive Crossbar Switch, Links zu den Nachbarknoten und Anschlüssen für die Wasserkühlung. Spezielle Schubladen sind für I/O vorgesehen mit jeweils einem BlueGene/Q-Modul als I/O-Knoten und wahlweise InfiniBand QDR oder 10Gb-Ethernet via PCIe 2.0. Die Schubladen kann man von beiden Seiten in die Racks einschieben, 16 Stück auf jeder Seite, sodass ein Rack auf Rechenkerne und mithin 209 TFlops kommt. Ein halbes Rack hat jetzt schon mal seine Leistungsfähigkeit beim Linpack-Benchmark unter Beweis gestellt. Ein Testsystem des "Thomas J. Watson Research Center" kam mit 8192 Kernen auf 65,3 TFlops. Mit dem Verbrauch von nur 38,8 kw markierte es einen neuen Rekordwert in der Energieeffizienz von knapp 1700 MFlops/Watt. Für Sequoia am Lawrence Livermore National Laboratory sind 96 vollbestückte Racks vorgesehen, die dann Ende 2012 über 20 PFlops an theoretischer Spitzenleistung erzielen sollen. Eine etwas kleinere Version mit etwa halb so vielen Racks und für wissenschaftliche Aufgaben gedacht, soll am Argonne National Laboratory aufgestellt werden. (as)