Simulation auf Höchstleistungsrechnern

Transkript

1 : : : : : : : : : : : : : : : : : : : : : : Simulation auf Höchstleistungsrechnern Bastian Koller (IHR/HLRS), Axel Tenschert (HLRS) History

2 : : : : : : : : : : : : : : : : : : : : : : What is a supercomputer? History

3 : : : : : : : : : : : : : : : : : : : : : : Definition What is a supercomputer? A supercomputer is a computer that costs more than xx million $US A supercomputer is ranked top in TOP500 A supercomputer is ranked top in IDC TOP500 A supercomputer is defined simply as the most powerful class of computers at any point in time. (Cray Inc.) General: A supercomputer is any computer that is among the fastest systems in the world History

4 : : : : : : : : : : : : : : : : : : : : : : LINPACK LINPACK as numerical library to solve linear algebra Written in Fortran Superseded by LAPACK LINPACK benchmarks as measure of floating point computing power of a system Negative: It seems that some architectures deliver better results than others with the LINPACK benchmark MDGRAPE-3 ~1 PFLOP but not in the list (as LINPACK cannot run on this machine) How meaningful are such benchmarks? History

5 : : : : : : : : : : : : : : : : : : : : : : Some Example LINPACK-Benchmarks Name Titan - Cray XK7 Sequoia - BlueGene/Q Location History Oak Ridge National Laboratory, TN, USA Livermore National Laboratory, USA TOP 500 Position LINPACK Rmax in TFlop/s 1. ca ca K computer RIKEN (AICS), Kobe, Japan 3. ca Mira - BlueGene/Q JUQUEEN - BlueGene/Q SuperMUC - idataplex DX360M4 Stampede - PowerEdge C8220 Argonne Leadership Computing Facility, Argonne, USA Forschungszentrum Juelich (FZJ), D Leibniz Rechenzentrum, Muenchen, D Texas Advanced Computing Center/Univ. of Texas, Austin, USA November ca ca ca ca

6 : : : : : : : : : : : : : : : : : : : : : : HLRS Univ. Stuttgart, Example LINPACK-Benchmarks HERMIT - Cray XE6, High Performance Computing Center Stuttgart (HLRS), Stuttgart, D, TFlop/s November 2012, Platz 27, Juni 2012, Platz 24 November 2011, Platz 12: , HLRS runs fastest civil supercomputer in Europe - In the Top500 list of the fastest supercomputers published today the new HLRS computing system at HLRS is listed as the 12th fastest supercomputer in the world History

7 : : : : : : : : : : : : : : : : : : : : : : History of Supercomputing Bastian Koller (IHR/HLRS) History

8 : : : : : : : : : : : : : : : : : : : : : : A SHORT HISTORY SEE: History

9 : : : : : : : : : : : : : : : : : : : : : : Primordial Soup of Computing 1939 Atanasoff-Berry Computer created at Iowa State (not programmable) 1941 Konrad Zuse Z3 first programmable computer 1943 Collossus - British vacuum tube computer 1944 Harvard Mark I 1946 ENIAC 1948 Manchester Mark I (first stored-program digital computer) History

10 : : : : : : : : : : : : : : : : : : : : : : History 1954 IBM 650 First mass produced computer History

11 : : : : : : : : : : : : : : : : : : : : : : History 1964 Lawrence Livermore Laboratory 1964 CDC MHz, 64K*60 bit (0.47 MB) 1969 CDC MHz, 512 K*60 bit (3.75 MB) History

12 : : : : : : : : : : : : : : : : : : : : : : History 1972 / Cray Vector Computing Los Alamos National Laboratory 1976 Cray MFLOPS, 8 MB, 80 MHz 1982 Cray X-MP 500 MFLOPS, 118 MHz 1985 Cray MFLOPS, 2048 MB, 244 MHz 1988 Cray Y-MP x*333 MFLOPS, 167 MHz History

13 : : : : : : : : : : : : : : : : : : : : : : History / Seymour Cray Born 1925 in Chippewa Falls, Wisconsin Died 1996 in Colorado Professional Experience: Engineering Research Associates, Control Data Corp., (CDC 6600, CDC 7600) Cray Research Inc., (Cray-1, Cray-2, Cray-XMP, ) Cray Computer Corp., (Cray-3) SRC Computers Inc., 1996 "He is the Thomas Edison of the supercomputing industry," --Larry L. Smarr When told that Steve Jobs bought a CRAY to help design the next Apple, Seymour Cray said, "Funny, I am using an Apple to simulate the CRAY-3." History

14 : : : : : : : : : : : : : : : : : : : : : : History / Parallel Computing 1985 Thinking Machines Corporation demonstrates first C-1 Connection Machine to DARPA (up to 64K Proc.) 1988 Intel delivers first ipsc/2 hypercubes 1991 Thinking Machines Corporation announces CM Kendall Square announces the KSR MasPar delivers its MP2 (16K Procs.) 1993 Cray delivers first MPP Cray T3D 1993 IBM delivers first SP1 History

15 : : : : : : : : : : : : : : : : : : : : : : History / Intel Paragon 1991 Delta Touchstone as a prototype for the Intel Paragon delivered to Caltech Based on i /7 Installation of a system with 4510 procs. at SNL Upgrade to 9632 over time finished by 1999 Fastest System in the world from June 1997 to November 2000 History

16 : : : : : : : : : : : : : : : : : : : : : : History 2002 / Earth Simulator 2002 NEC delivers the Earth Simulator System Based on the standard SX-6 system the Earth Simulator is outstanding in the number of CPUs and in the level of sustained performance When introduced the ES is 5 times faster than the second fastest system and is faster than the next 10 fastest systems put together The New York Times and CNN call it Computnik History

17 : : : : : : : : : : : : : : : : : : : : : : June 18, 2002 November 18, 2004 Japanese 'Computenik' Earth Simulator shatters US supercomputer hegemony. Hans Meuer: "The ES (Earth Simulator) is a significant step into the future of high end supercomputers: it is approximately 5 times faster than the current #1, ASCI White, if we take the best linpack performance as a yardstick. I do expect the ES to be faster than the sum of the first other 19 machines in the TOP20 of the forthcoming 19th TOP500 list. Thus the ES is a real challenge for the US ASCI program. The US labs are now falling significantly behind." (Primeur) Top 500 Timeline: History

18 : : : : : : : : : : : : : : : : : : : : : : History 2005 / IBM BlueGene 2005 IBM delivers the currently fastest supercomputer to LLNL The system is based on processors The peak performance is 367 TFLOP/s History

19 : : : : : : : : : : : : : : : : : : : : : : History 2008 / IBM Roadrunner AMD Opteron IBM Cell processors Peak Speed 1.7 PFLOP/s Sustained speed 1 PFLOP/s LANL Picture: History

20 : : : : : : : : : : : : : : : : : : : : : : HLRS Flagship System (Cray XE6 Hermit ) AMD 2.3GHz 16 Cores Cores 1 PF/s Peak Performance TF/S Sustained Performance 126 TB Main Memory 2.7 PB Disk Space History

21 : : : : : : : : : : : : : : : : : : : : : : Graph 500 Lists best platforms specially designed for 3D physics simulations. The Graph 500 steering committee establishes a set of large-scale benchmarks for these applications. 1 2 Rank Machine DOE/NNSA/LLNL Sequoia - Lawrence Livermore National Laboratory (65536 nodes, cores) DOE/SC/Argonne National Laboratory Mira - Argonne National Laboratory (32768 nodes, cores) 3 JUQUEEN - Forschungszentrum Juelich (FZJ) (16384 nodes, cores) 4 K computer - RIKEN Advanced Institute for Computational Science (AICS) (65536 nodes, cores) History

22 : : : : : : : : : : : : : : : : : : : : : : Green 500 (November 2012) Provides rankings of the most energy-efficient supercomputers in the world. The most eco-efficient supercomputers aggregate many low-power processors and use energy-efficient accelerators. Green500 Rank MFLOPS/W Site Computer 1 2, National Institute for Computational Sciences/University of Tennessee Beacon - Appro GreenBlade GB824M, Xeon E C 2.600GHz, Infiniband FDR, Intel Xeon Phi 5110P Total Power (kw) , King Abdulaziz City for Science and Technology SANAM - Adtech ESC4000/FDR G2, Xeon E C 2.000GHz, Infiniband FDR, AMD FirePro S , DOE/SC/Oak Ridge National Laboratory Titan - Cray XK7, Opteron C 2.200GHz, Cray Gemini interconnect, NVIDIA K20x 8, History

23 : : : : : : : : : : : : : : : : : : : : : : Cheap supercomputing PS3 Cluster Copyright: Cluster of 8 PS3 supporting research on gravitational waves gravity grid Figured out to be best fitting for this problem space Supported by the openness of the PS3 (this has changed) Linux as OS Cell processor delivers needed power History

24 : : : : : : : : : : : : : : : : : : : : : : PS3 Cluster 1 Cell Processor ~ 25 Nodes on BlueGene/L Cost benefits: 1 Run on Supercomputer ~ 5000 $ 8 PS3 ~ 2700 $ History

25 : : : : : : : : : : : : : : : : : : : : : : Example: Condor - US Airforce - PS3 - Cluster US Airforce constructed a supercomputer on base of the PS3 High performance whilst investments are relatively low 1760 PS3 Linux based Currently approx 500 TeraFLOPs Used in combination with normal graphic cards Processing of radar, video pictures History

26 : : : : : : : : : : : : : : : : : : : : : : SPEED & WHATELSE History

27 : : : : : : : : : : : : : : : : : : : : : : TOP500 List List of fastest computers worldwide Based on the Linpack-Benchmark Maintained by: Hans Meuer, University of Mannheim, Germany Erich Strohmaier, San Diego Supercomputing Center, CA Jack Dongarra, University of Tennessee, Horst D. Simon, National Energy Research Scientific Computing Center, CA History

28 : : : : : : : : : : : : : : : : : : : : : : History

29 : : : : : : : : : : : : : : : : : : : : : : History

30 : : : : : : : : : : : : : : : : : : : : : : TOP 500 Efficiency History

31 : : : : : : : : : : : : : : : : : : : : : : TOP 500 Energy-Efficiency History

32 : : : : : : : : : : : : : : : : : : : : : : TOP500 Performance Development History

33 : : : : : : : : : : : : : : : : : : : : : : TOP500 List Performance Projection History

34 : : : : : : : : : : : : : : : : : : : : : : TOP500 Countries History

35 : : : : : : : : : : : : : : : : : : : : : : TOP500 Companies History

36 : : : : : : : : : : : : : : : : : : : : : : TOP500 Processor Families History

37 : : : : : : : : : : : : : : : : : : : : : : TOP500 List Operating Sys. History

38 : : : : : : : : : : : : : : : : : : : : : : PARALLELISM History

39 1.2.1 Hardware / Prozessor : : : : : : : : : : : : : : : : : : : : : : Moore s law Data: Intel Corporation History

40 1.2.1 Hardware / Prozessor : : : : : : : : : : : : : : : : : : : : : : Moore s law Data: Intel Corporation History

41 1.2.1 Hardware / Prozessor : : : : : : : : : : : : : : : : : : : : : : Moore s law Data: Intel Corporation History

42 1.2.1 Hardware / Prozessor : : : : : : : : : : : : : : : : : : : : : : Featuregröße History Data: Intel Corporation

43 : : : : : : : : : : : : : : : : : : : : : : Power Consumption Data: Intel Corporation History

44 : : : : : : : : : : : : : : : : : : : : : : TOP500 Parallelism History

45 : : : : : : : : : : : : : : : : : : : : : : Numbers Bastian Koller (IHR/HLRS), Axel Tenschert (HLRS)

46 : : : : : : : : : : : : : : : : : : : : : : Representation of numbers in a computer How can numbers be represented? binary: computer only know 0 and 1 (or Yes and No, or. switch closed and switch open ) -> binary system smallest unit is either 0 or 1 ( 1 Bit ). Memory is split in packages of 8 bits each 1 Byte Coding needed Numbers 47

47 : : : : : : : : : : : : : : : : : : : : : : Recap: Numbers Type of Numbers - examples Integer 0, 3, 2987, -876, 10, Decimals 0, , , , Floating Points 0.9*10-7, *101, *103, *1012 Numbers

48 : : : : : : : : : : : : : : : : : : : : : : Numbers Comparison to the decimal system: Use of 0.9 Numbers > 9 are represented as words combined of 0-9, each digit has a dedicated value: 1 = = = 10 2 n-th digit is 10 n Binary System: the same with 0 and 1 (with basis 2) 1, 2, 4, 8, 16, 32, 64, 128, etc Numbers 49

49 : : : : : : : : : : : : : : : : : : : : : : Numbers Influence of the memory: Smallest unit: 8 bits ( one byte ): x xi 2 i Numbers 7 i = 0 = 1 = = 22 = = 192 = 255 is the biggest representable number with 8 bit 50

50 : : : : : : : : : : : : : : : : : : : : : : Bytes 1 Byte = 8 Bits Allows coding of 256 different states (0 255) Numbers

51 : : : : : : : : : : : : : : : : : : : : : : Practice: Addition Decimal System carry over 3281 Do the same in the binary system Numbers 52

52 : : : : : : : : : : : : : : : : : : : : : : Practice Addition - Solution carry over = = = = = = 98 Numbers 53

53 : : : : : : : : : : : : : : : : : : : : : : Multiplication of binary numbers Works the same way as traditionally done in school: Example : 0100 * Numbers 54

54 : : : : : : : : : : : : : : : : : : : : : : Multiplication Question: 0100 * 1110 = Which numbers are multiplied? What is the result? Numbers 55

55 : : : : : : : : : : : : : : : : : : : : : : Multiplication 0100 * 1110 = 4 * = 56 Numbers 56

56 : : : : : : : : : : : : : : : : : : : : : : Division Numbers 57

57 : : : : : : : : : : : : : : : : : : : : : : Division Similar to the traditional way : 111 (63:7 =?) Result: : 0111 Leading Zero Numbers 58

58 : : : : : : : : : : : : : : : : : : : : : : Exercises Action Required Also legen wir mal los. Wdh. Binärzahlen Rechnen mit Binärzahlen Und die Subtraktion? Numbers

59 : : : : : : : : : : : : : : : : : : : : : : Representation of Negative Numbers Interpretation of the leading bit Possibility: 7 bit for the number, 1 bit for the sign 1 x x x x x x x For negative numbers Leads to =(-)0 =(+)0 Addition could be problematic with this representation Two s complement : Leading bit iss (2 n ) = -(2 7 ) = -128 = = -64 = = -1 allows for representation of -128,, -1, 0, 1,,

60 : : : : : : : : : : : : : : : : : : : : : : Negative Zahlen: Zweierkomplement Erzeugung des Zweierkomplements einer gegebenen Zahl: alle Bits kippen, 1 dazuzählen, ggf. das vorne übergefallene Bit vergessen = = 5 Bits kippen: Und 1 dazuzählen: = = -5 Man hat auch nur noch eine 0: = 0 Bits kippen: Und 1 dazuzählen: = 0 61

61 : : : : : : : : : : : : : : : : : : : : : : Rechnen mit dem Zweierkomplement Weiterer Vorteil dieser Darstellung: Man benötigt nur einen Algorithmus für Addition und Subtraktion gemeinsam = =

62 : : : : : : : : : : : : : : : : : : : : : : Ganze Zahlen III Entsprechend kann man mit 16 Bit Zahlen von -2 15,, -1, 0, 1, darstellen. 32 Bits genügen für -2 31,, -1, 0, 1, Mit 64 Bits kann man Zahlen von -2 63,, -1, 0, 1, das kann man jetzt beliebig weiterführen... und braucht beliebig viel Speicher: bräuchte 166 Bits. Was ist ? Fragen Sie ihren Taschenrechner, was 2 63 ist. 63

63 : : : : : : : : : : : : : : : : : : : : : : Große und Reelle Zahlen Darstellung durch Exponent e und Mantisse m zur Basis 10 ( m*10 e ) Beispiel: 3,14172 * 10³ Reelle Zahlen werden also durch zwei Ganze Zahlen dargestellt (m,e) Beispiel: m = , e = 3 Generell wird das Komma nach der ersten Zahl der Mantisse gesetzt (Beispiel: 3,14172) Probleme bei Binärzahlen? (Negative Zahlen) Java Übung 64

64 : : : : : : : : : : : : : : : : : : : : : : Große und Reelle Zahlen Mehrere Möglichkeiten der Darstellung von Reellen Zahlen: Klassisch: Anstelle von negativen Zahlen Vorzeichenbit (Bei angenommener 1 vor dem Komma) (Standard bei Assemblercode, IEEE 754) Explizite Angabe der Position des Kommas durch zusätzliche Zahl Implizite Annahme des Kommas nach dem ersten Bit (Problematisch mit negativen Zahlen) was man noch gerne alles machen will (und nicht unbedingt sinnvoll ist) Java Übung

65 : : : : : : : : : : : : : : : : : : : : : : Der IEEE 754 Standard Vorzeichenbit s 8 Exponenten-Bits (Bias-Wert 127 ist davon abzuziehen 23 Mantissen-Bits stellen die 23 Nachkommastellen einer 24-Stelligen Binärzahl dar Die erste Stelle vor dem Dualpunkt ist immer eine 1 und wird nicht gespeichert Beispiel: 7 = = 1.11 * Java Übung 66

66 : : : : : : : : : : : : : : : : : : : : : : Zusammenfassung: Elementare Datentypen Ganzzahlige Datentypen: vorzeichenbehaftete, ganze Zahlen byte 8-Bit Zahlen von -128 bis +127 short 16-Bit Zahlen von bis int 32-Bit Zahlen von ca bis ca long 64-Bit Zahlen von ca bis ca Gleitkommazahlen nach IEEE-754 Standard float Zahlen mit 32 Bit Genauigkeit double Zahlen mit 64 Bit Genauigkeit Zeichentyp char 16-Bit Unicode Zeichen Bool scher Typ boolean 1 Bit Wahrheitswert (true oder false) Java Übung 67

67 : : : : : : : : : : : : : : : : : : : : : : Types and Sizes Type Size boolean 1 Byte char 2 Bytes byte 1 Byte short 2 Bytes int 4 Bytes long 8 Bytes float 4 Bytes double 8 Bytes History

68 : : : : : : : : : : : : : : : : : : : : : : Floats/Doubles Representation of Integers in bits is simple As soon as it is not an Integer, it gets complicated In both cases, the first bit can be used to define the algebraic sign (+1 = 0 or -1 = 1), e.g.: float and double consist additionally of: Mantissa (float: bit 2-9; double: bit 2-13) Exponent (other bits) History

69 : : : : : : : : : : : : : : : : : : : : : : Floats algebraic sign * 2 ^ exponent * mantissa Float (4 byte): S E E E E E E E E M M M M M M M M M M M M M M M M M M M M M M M History

70 : : : : : : : : : : : : : : : : : : : : : : Inexactness Calculations with doubles may lead to non-exact results double dresult = 0.; for (int i = 0; i < 1000; ++i) { dresult += 0.3; } Expected Result: 300 Result: History

71 : : : : : : : : : : : : : : : : : : : : : : Double multiplications double dresult = 1.; for (int i = 0; i < 20; ++i) { dresult *= ; } for (int i = 0; i < 20; ++i) { dresult /= 0.2; dresult /= ; } History

72 : : : : : : : : : : : : : : : : : : : : : : Michael Haupt History

73 : : : : : : : : : : : : : : : : : : : : : : Floating Point Operations Floating Point Number = number representing real numbers Numbers are approximations Floating Point Numbers are required by computers: Used for calculations Handling overflow of values History