The world we live in and Supercomputing in general Achim Streit aktuelle Prozessoren Desktop Intel Pentium 4 mit 3.2 GHz AMD Athlon XP 3200+ mit 2.2 GHz IBM PowerPC G5 mit 2.0 GHz (64-bit) Server & Workstation Intel Xeon mit 3.06 GHz AMD Opteron 246 mit 2.0 GHz Intel Itanium2 mit 1.5 GHz (64-bit) SUN UltraSPARC III mit 1.2 GHz (64-bit) HP PA-RISC 8700 mit 0.875 GHz (64-bit) HP Alpha 21264 mit 1.25 GHz (64-bit) IBM Power P4+ mit 1.7 GHz (64-bit) A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 2
Moore s Law number of transistors per square inch on integrated circuits doubles every 18 month No Exponential is Forever but We Can Delay Forever, Gordon E. Moore, 10. Februar 2003 A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 3 Performance Linpack Benchmark Anzahl Gleitkommaoperationen pro Sekunde (flop/s) Lösen eines dichten, linearen Gleichungssystems gemessene Werte: (theo.) Xeon 2.4 GHz 1.54 Gflop/s (4.8) Opteron 1.4 GHz 2.17 Gflop/s (2.8) Itanium2 1.0 GHz 3.14 Gflop/s (4.0) P4 2.53 GHz 2.35 Gflop/s (5.06) Athlon 1800+ 1.70 Gflop/s (3.6) ist schon viel, aber nicht genug... A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 4
Parallelverarbeitung gleichzeitige Verarbeitung eines Programms durch mehrere Prozessoren gleiches Problem schneller lösbar komplexeres Problem in gleicher Zeit lösbar wir vernachlässigen: wie implementiert man ein Programm parallel? Programmteile sind voneinander unabhängig chinesisch (embarassingly) parallel client/server, master/worker abhängig echt parallel und kommunizierend A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 5 Supercomputer vereinen dutzende Prozessoren in einem System mehr Prozessoren mehr Speicher traditionelle Parallelrechner [sog. MPP (massively parallel processors)] Spezial-Hardware Hitachi SR 8000, IBM SP, Cray T3E, SGI Origin 3000, IBM p690 Regatta Cluster [sog. NOW (network of workstations)] COTS (commodity-of-the-shelf) Prozessor, Mainboard, Speicher aus dem Server-Bereich kostengünstig A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 6
top500.org Platz 1: NEC Earth Simulator 5120 CPUs, 10 TB memory, 690 TB disk, 1.5 PB tape 35.8 Tflop/s (theoretisch: 40.9, Effizienz = 87.5%) Platz 2: HP ASCI Q Alpha Server SC ES45 8192 CPUs 13.8 Tflop/s (20.5, 67.3%) Platz 3: Linux Networx MCR Cluster 2304 Intel Xeon 2.4 GHz 7.63 Tflop/s (11.1, 68.7%) schnellster deutscher Rechner (Platz 24) IBM p690, 768 CPUs 2.05 Tflop/s (3.99, 51.3%) im PC² hpcline Cluster, 192 Intel P3 850 MHz 76,1 Gflop/s pling Cluster, 64 Intel Itanium2 1.3 GHz ~230 Gflop/s A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 7 Earth Simulator A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 8
Earth Simulator A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 9 Earth Simulator ASCI Q at LANL A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 10
Cluster im PC2 hpcline Cluster A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 11 Cluster im PC2 hpcline Cluster A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 12
Cluster im PC2 hpcline Cluster A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 13 Cluster im PC2 pling Cluster A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 14
Cluster im PC2 pling Cluster A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 15 Randerscheinungen Klimaanlage, Energieversorgung Beispiele: hpcline 21 kw, pling 23 kw jedoch bei 3-facher Rechenleistung von pling! Earth Simulator: Erdbeben, Blitzeinschlag Wartung MTBF (mean time between failure) Beispiel: gute Lüfter haben 70.000 Stunden MTBF bei 7000 Lüftern fällt alle 10 Stunden ein Lüfter aus! gleiches gilt für Festplatten, Netzteile,... Wie findet man überhaupt einen defekten Knoten? A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 16
Wartbarkeit blink, blink A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 17 Wartbarkeit A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 18
HPC vs. HTC HPC (= High Performance Computing) Hoch-/Höchstleistungsrechnen delivers a tremendous amount of compute power over a short period of time HTC (= High Throughput Computing) Durchsatzrechnen delivers large amounts of computational power over a long period of time für Probleme, die über Wochen oder Monate Rechenzeit benötigen nicht Operationen pro Sekunde, sondern pro Monat oder Jahr A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 19 Anwendungen HPC zeitkritisch, eng gekoppelt, teuer Wettervorhersage diverse Simulationen: Erdbeben, Atombomben, Crashtests, Strömungen Schachspielen interaktive Steuerung einer 3D-Visualisierung HTC zeitunkritisch, lose gekoppelt, billig Multimedia: Zeichentrickfilme, Konvertieren von Videos paralleles Compilieren Parameterstudien, Testläufe Knacken von Codes/Passwörtern Sprint Marathon A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 20
typisches HTC Szenario Firma dutzende PCs stehen in Büros und bleiben regelmäßig mehr als 50% der Zeit ungenutzt (Nachtstunden, Wochenende) Universität/Institut PCs in Studentenpools werden nur unregelmäßig und schubartig genutzt riesige Ressourcenverschwendung! Ziel: effizientere Ausnutzung lokale (interaktive) Nutzer dürfen nicht gestört werden für HTC Nutzer muss es einfach und ein direkter Nutzen erkennbar sein A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 21 hm... HPC und HTC Systeme können bereits eine große Menge an Rechenleistung aufbringen ist jedoch nicht immer ausreichend Beispiele: SETI@home http://setiathome.ssl.berkeley.edu Genome@home http://genomeathome.stanford.edu Problem: Zugriff auf HPC und HTC Rechner stark ausgelastet, lange Wartezeiten, eingeschränkt, special purpose oder sogar classified A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 22
Metacomputing Idee von L. Smarr und C. E. Catlett, 1992: "The computing resources transparently available to the user via the network have been called a metacomputer. The metacomputer is a network of heterogeneous, computational resources linked by software in such a way that they can be used as easily as a personal computer. A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 23 Metacomputing beschreibt die gleichzeitige und koordinierte Nutzung geographisch verteilter Rechenressourcen Ziel: mehr CPU-Leistung, mehr Arbeitsspeicher gleiches Problem genauer lösen größeres Problem überhaupt lösen Status: viele Projekte und Demonstrationen auf Konferenzen aber: es gibt viel mehr Arten von Ressourcen als nur CPUs, die zur Lösung vieler Probleme benötigt werden A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 24
Gridcomputing / Computational Grid Buch von I. Foster und C. Kesselman, 1999 The Grid: Blueprint for a New Computing Infrastructure A computational grid is a hardware and software infrastructure that provides dependable, consistent, pervasive, and inexpensive access to high-end computational capabilities. Grid computing is concerned with coordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations. A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 25 Ressourcen im Grid Netzwerke (WAN) Datenspeicher einzelne Festplatten, RAID-Systemen, tape robots spezielle I/O Geräte Astronomie (Teleskope) Atomphysik (Detektoren) Visualisierung Softwarelizenzen menschliche Spezialisten A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 26
Ressourcen im Grid A. Streit Projektgruppe: Do-it-yourself upb.de Supercomputer 27