Leistungsanalyse von Rechnersystemen

Transkript

1 Center for Information Services and High Performance Computing (ZIH) Leistungsanalyse von Rechnersystemen 15. Oktober 2008 Zellescher Weg 12 Willers-Bau A113 Tel Matthias S. Mueller (matthias.mueller@tu-dresden.de) Holger Brunst (holger.brunst@tu-dresden.de) Organization Lecture: Every Wednesday in INF E02 from 13:00 to 14:30 Exercise: Every Thursday from 11:10 to12:40 INF E09 for presentations INF E40 for labs First Exercise: October 22th, guided tour through all new machine rooms at ZIH All slides will be in English Ten minute summary of last lecture at the beginning of each lecture. Also given in English 1

2 Class Material on the Web Slides will be put on the web prior or shortly after each class Currently the slides from last year are online. Be aware of upgrades ZIH web pages Lecture Script Not yet available :-( We would like to provide one First draft is ready internally, hopefully available before Christmas 2

3 Class Outline 14 lectures with 12 corresponding exercises Class structure Introduction and motivation Performance requirements and common evaluation mistakes Performance metrics and evaluation techniques Workload types, selection, and characterization Commonly used benchmarks Benchmarks specialized on I/O Monitoring techniques Capacity planning for future systems Performance data presentation Comparing system using sample data Regression models Experimental design Performance simulation and prediction Introduction to queuing theory Literature Raj Jain: The Art of Computer Systems Performance Analysis John Wiley & Sons, Inc., 1991 (ISBN: ) Rainer Klar, Peter Dauphin, Fran Hartleb, Richard Hofmann, Bernd Mohr, Andreas Quick, Markus Siegle Messung und Modellierung paralleler und verteilter Rechensysteme B.G. Teubner Verlag, Stuttgart, 1995 (ISBN: ) Dongarra, Gentzsch, Eds.: Computer Benchmarks, Advances in Parallel Computing 8, North Holland, 1993 (ISBN: x) 3

4 Motivation Zellescher Weg 12 Willers-Bau A113 Tel Matthias S. Mueller (matthias.mueller@tu-dresden.de) Holger Brunst (holger.brunst@tu-dresden.de) Innovations that changed our daily life steam engine, motor railway, car, airplanes fertilizer telephone computer energy transportation food communication data processing 4

5 Speed of data processing Human 10-2 FLOPS Workstation, PC 10 8 FLOPS Supercomputer FLOPS Ratio: factor

6 6

7 7

8 HPC A key technology? USA defines strategic mission of HPC Software, methods and human beings Main motivation from military applications Integration of know-how in the country Attraction of experts from all over the world Japan: Creator of the Earth-Simulator Petaflop special purpose machine for MD simulations Petaflop project is in preparation EU started an European initiative Accelerated Strategic Computing Initiative (ASCI) Strategic Initiative in the U.S.A. ASCI Red (Sandia): Intel-System with 1TFLOP ASCI Blue (LANL;LLNL): IBM und SGI, 3 TFLOP each ASCI White (LLNL): ASCI Q (LANL): IBM Power 3 (10 TFLOPS) COMPAQ-Rechner (20 TFLOPS) Accelerated Strategic Computing Initiative -> Advanced Simulation and Computing (ASC) Red Storm (Sandia) ASC Purple (LLNL): ASC BlueGene (LLNL): RoadRunner (LANL) Cray XT3, Opteron (40 TFLOPS) IBM Power 4 (100 TFLOPS) IBM PowerPC (180/360 TFLOPS) IBM QS22 (1026 TFLOPS) 8

9 What kind of know-how is required for HPC? Algorithms and methods Performance Programming (Paradigms and details of implementations) Operation of supercomputers (network, infrastructure, service, support) Challenges Languages Fortran95, C/C++, Java Parallelization: MPI, OpenMP Network Ethernet, Infiniband, Myrinet Scheduling Distributed components, job scheduling, process scheduling System architecture Processors, memory hierarchy What is the best programming model for clustered SMPs with a deep memory hierarchy? 9

10 Software a key technology Software is a key factor for progress in our country Is Germany a location for software development? WWW is everywhere (E-Commerce, Amazon, Google, EBay, ) Contribution of HPC: Optimizing servers Optimizing access to data bases Optimizing applications Technologies for Parallel Computing Does HPC and Performance matter in real life? We just entered the Multi-Core Era: IBM Power4, SUN T-1 (Niagara), Intel Core2 Quad, AMD Opteron Quad Core Embedded processors in telephones,. More cores in the future: An Intel prediction: technology might support 2010: cores 200 GF 1 TF 2013: cores 500 GF 4 TF 2016: cores 2 TF 20 TF 10

11 Center of Information Services and HPC A short introduction Zellescher Weg 12 Willers-Bau A113 Tel Matthias S. Mueller (matthias.mueller@tu-dresden.de) Holger Brunst (holger.brunst@tu-dresden.de) HPC in Germany 11

12 Center for Information Services and HPC (ZIH) Central Scientific Unit at TU Dresden Merged institution: TUD Computing Center (URZ) and Center for High Performance Computing (ZHR) and Computer Center of Computer Science Faculty (FRZ) Competence Center for Parallel Computing and Software Tools Strong commitment to support real users Development of algorithms and methods: Cooperation with users from all departments Organigramm of ZIH (October 2008) 12

13 Responsibilities of ZIH Providing infrastructure and qualified service for TU Dresden and Saxony Research topics Architecture and performance analysis of High Performance Computers Programming methods and techniques for HPC systems Software tools to support programming and optimization Modeling algorithms of biological processes Mathematical models, algorithms, and efficient implementations Role of mediator between vendors, developers, and users Pick up and preparation of new concepts, methods, and techniques Teaching and Education Concept of Installation HPC-Server Main memory : 6 TB PC-Farm 8 GB/s 4 GB/s 4 GB/s HPC-SAN Capacity: 68 TB PC-SAN Capacity: 68 TB HPC-Component SGI Altix of MonteCito Cores 6.5 TByte main memory 1,8 GB/s PetaByte Tape Silo Capacity: 1 PB PC-Farm System from Linux Networx AMD opteron CPUs (dual core, 2.6 GHz) 728 boards with 2592 cores Infiniband networks between the nodes 13

14 HPC-System: SGI Altix x 42U Racks 1024 x Sockets with Itanium2 Montecito DualCore CPUs (1.6 GHz/9MB L3 Cache) 13 TFlop/s peak performance 11.9 TFlop/s linpack 6.5 TB shared memory Linux Networx PC-Farm (Deimos) 26 water cooled racks (Knürr) 1296 AMD Opteron x85 Dual-Core CPUs (2,6 GHz) 728 compute nodes with 2 (384), 4 (232) or 8 (112) cores 2 Master- und 11 Lustre-Server 2 GB memory per core 68 TB SAN disc (RAID 6) Local scratch discs (70, 150, 290 GB) 2 4x-Infiniband Fabrics (MPI + I/O) OS: SuSE SLES 10 Batch system: LSF Compiler: Pathscale, PGI, Intel, Gnu ISV-Codes: Ansys100, CFX, Fluent, Gaussian, LS-DYNA, Matlab, MSC 14

15 Storage Technology DDN discs SGI InfiniteStorage 6700 (DDN S2A9500) 4 GBit/s FC technology HPC-SAN: 68 TB capacity 8 GB/s performance PC-SAN: 68 TB capacity 4 GB/s performance Petabyte Tape Archive SUN STK SL Slots 30 LTO-3 tape drives 2500 LTO-3 tapes 1.8 GB/s performance 1 PB capacity (2500*400 GB) 15

16 Realization of the concept HPC-Komponente Hauptspeicher 6,5 TB PC-Farm 8 GB/s 4 GB/s 4 GB/s HPC-SAN Festplattenkapazität: 68 TB PC-SAN Festplattenkapazität: 68 TB 1,8 GB/s PetaByte- Bandarchiv Kapazität: 1 PB Computer Rooms Extension to the Building 16

17 HRSK-Building Status in March 2006 Configuration of overall system: SAN Overview 17

18 Beschreibung der Lösung von SGI HPC-SAN 4 x FC Switch Brocade (32 ports) 12 FC max. 6 GB/s CXFS/DMF Server 2 FC Disk Array TP FC max. 12 GB/s 32 FC max. 16 GB/s 12 x NFS Server Gesamtkapazität: 68 TB durchgängig 4 Gb/s FC 4 x DDN S2A 9500 je 17 TB 584 Festplatten 146 GB Controller 4 x FC Controller 4 x FC D D D D D D D D P 17 TiB 17 TiB 17 TiB S2A9500 S2A9500 S2A9500 CXFS/DMF auf Altix 350 (24 Itanium) TP 9300 (MDS Storage Subsystem) 14 x 73 GB für Metadaten D D D D D D D D P 17 TiB = - 16 Tiers je ( 8 + P ) x 146 GB - 2 Hot Spare Zugang von PC-Farm: NFS-Server auf 12 x Altix 350 mit je 2 CPUs oder Opteron (für RDMA-Zugriff) D D D D D D D D P S S2A9500 Beschreibung der Lösung von SGI HPC-Komponente 1024 dual-core Itanium-2 (Montecito) CPUs 1,6 GHz, 18 MB L3 (pro core 9 MB) 12,8 GFlops Peak 1 8 GB RAM (DDR2) S = 6.5 TB verbunden über SGI NumaLink 4 Bandbreite: 3,2 GB/s pro Knoten und Richtung Fat-Tree-Topologie Grafik-Pipes + Grafik-Compositor RASC Blade mit zwei FPGAs (RASClib) 18

19 Beschreibung der Lösung von SGI PC-Farm x cluster manager I/O - Netzwerk 2.5 ISR nodes (1x, 2x, 4x) 256 x IB X4 320 GB/s x MDS PC-SAN 2.5 I/O-Nodes 15 4 x ODS 12 x NFS PC-SAN zu HPC-SAN ISR 9288 ISR x ODS PC-SAN 256 nodes (1x) 460 x IB X4 575 GB/s 204 nodes (2x, 4x, 8x) 2.5 2x cluster manager mehr als 700 Boards Prozessoren: AMD Opteron Verbindungsnetzwerk: IB X4 Compute-Knoten verbunden über drei Switche (288 ports) Anbindung an HPC-SAN über 12 NFS-Server (CXFS-Clients) 12 x IB Switches Mellanox (24 ports) IB Switch 192 Ports 23 x IB Switches Mellanox (24 ports) Beschreibung der Lösung von SGI PC-SAN IB Switch 192 ports Lustre FS 2 x MDS IB X4 max. 5GB/s 5 2 x DDN S2A 9500 Kapazität: 50,9 TB 440 Festplatten 146 GB 4 FC 4 x OST TP FC max. 4 GB/s 4 x OST 8 FC Controller 4 x FC Controller 4 x FC D D D D D D D D P S2A9500 D D D D D D D D P Einschübe je ( 8 + P ) x 146 GB = 1 TiB D D D D D D D D P S S2A

20 Tape Silo - Details TP FC CXFS/DMF Server 10 FC max. 5GB/s 12 FC max. 6 GB/s CXFS/DMF-Server on Altix 350 (24 CPUs, 48 GB) Data Migration Facility (Licence for 1 bzw. 2 PB) 2 x FC-Switches (24 ports) StorageTek SL 8500 (SUN) ACSLS-Lizenz for 2500 Slots 30 FC 2 Gb/s max. 7.5 GB/s Tape Library STK SL8500 Ultrium LTO3 30 Kapazität / Medium [GB] 400 Medien 2500 Tape Library Roboterhände 8 SL8500 Total 1 PB Performance of supercomputers at ZIH SGI Altix: 11,9 TFlops SGI Altix: 12,07 TFlops ,1 500 VP200-EX: 472 MFlops SGI Origin 2000: 16 5 GFlops Cray T3E: 28 GFlops SGI Origin 3800: 85,4GFlops PC-Farm: 6,2 TFlops PC-Farm: 10,88 TFlops Rang 1 Rang 10 Rang

21 Research at ZIH Selected Projects and Activities Zellescher Weg 12 Willers-Bau A113 Tel Matthias S. Mueller (matthias.mueller@tu-dresden.de) Holger Brunst (holger.brunst@tu-dresden.de) Forschungsbereiche am ZIH Software-Werkzeuge zur Unterstützung von Programmierung und Optimierung Programmiermethoden und Techniken für Hochleistungsrechner Grid-Computing Mathematische Methoden, Algorithmen und effiziente Implementierungen Architektur und Leistungsanalyse von Hochleistungsrechnern Algorithmen und Methoden zur Modellierung biologischer Prozesse 21

22 Software-Werkzeuge Vampir Visualisierung und Analyse von parallelen Anwendungen Marmot Erkennung von fehlerhafter Nutzung der Kommunikationsbibliothek MPI in parallelen Anwendungen Screenshots: Marmot for Windows Programmiermethoden und Techniken für Hochleistungsrechner Parallel Programming for Multi-core Architectures ParMA Ziele: Qualitative Verbesserung sowie Beschleunigung der Entwicklung komplexer Simulationen und wissenschaftlich-technischer Anwendungen auf hoch parallelen Systemen Laufzeit: 04/ /2010 Finanzierung: BMBF Partner: 17 Partner aus Deutschland, Frankreich, Großbritannien, Spanien Screenshots: Vampir 22

23 Some Performance Analysis Activities Zellescher Weg 12 Willers-Bau A113 Tel Matthias S. Mueller (matthias.mueller@tu-dresden.de) Holger Brunst (holger.brunst@tu-dresden.de) Vampir: Technical Components Trace 1 Trace 2 Trace 3 Trace N Tools Worker 1 Worker 2 Worker m Server Master 1. Trace generator 2. Classical Vampir viewer and analyzer 3. Vampir client viewer 4. Parallel server engine 5. Conversion and analysis tools 23

24 Vampir: Timeline Vampir: Scalability sppm ASCI Benchmark 3D Gas Dynamic Data to be analyzed 16 Processes 200 MByte Volume 18,00 16,00 14,00 12,00 10,00 8,00 6,00 4,00 2,00 0, Number of Worker Com. Matrix Timeline Summary Profile Process Profile Stack Tree LoadTime Number of Workers Load Time 47,33 22,48 10,80 5,43 3,01 3,16 Timeline 0,10 0,09 0,06 0,08 0,09 0,09 Summary Profile 1,59 0,87 0,47 0,30 0,28 0,25 Process Profile 1,32 0,70 0,38 0,26 0,17 0,17 Com. Matrix 0,06 0,07 0,08 0,09 0,09 0,09 Stack Tree 2,57 1,39 0,70 0,44 0,25 0,25 24

25 Vampir: A Large Test Case IRS ASCI Benchmark Implicit Radiation Solver Data to be analyzed: 64 Processes in 8 Streams Approx Events 40 GByte Data Volume Analysis Platform: Jump.fz-juelich.de 41 IBM p690 nodes 32 processors per node 128 GByte per node Visualization Platform: Remote Laptop 10,00 8,00 6,00 4,00 2,00 0,00 0,02 0,02 Processing Times in S 4,65 3,62 9,1 4,67 0,16 0,09 5,59 3,84 Timeline Summary Prof. Process Prof.Com. MatrixStack Tree 16 Worker32 Work BenchIT: Key Components 1 BenchIT measurement core Measurement kernels Exact timer Running kernels with variable problem sizes Generating result files 25

26 BenchIT: Key Components 2 BenchIT measurement core Command line interface BenchIT: Key Components 3 BenchIT measurement core Command line interface GUI 26

27 BenchIT: Key Components 4 BenchIT measurement core Command line interface GUI Website ParBench: Rechenleistung und Speichertransfer aller seq. KVs bdm_rates_series-none_x-flops_pt_y1_mem_transfer_pt_y2-none.png 27

28 Multiprogramming Test_7_0 bdm_rates_series-stride_x-stride_y1_flops_pt_y2-none.png Multiprogramming Test_7_2 bdm_rates_series-stride_x-stride_y1_flops_pt_y2-none.png 28

29 Multiprogramming Test_7_13 bdm_rates_series-stride_x-stride_y1_flops_pt_y2-none.png Pt2Pt latency between all possible pairs "64-2/result-all2all-latency.log" u 4:5:

30 Pt2Pt bandwidth between all possible pairs "64/result-all2all-bandwidth.log" u 3:4: Das ZIH als Arbeitgeber Zellescher Weg 12 Willers-Bau A113 Tel Matthias S. Mueller (matthias.mueller@tu-dresden.de) Holger Brunst (holger.brunst@tu-dresden.de) 30

31 Infrastruktur Hochleistungsrechner: Arbeitsplätze: Internationale Zusammenarbeit Tracing VI HPS ParMA Open MPI 31

32 Zukunftsaussichten In der Many-Core Ära wird paralleles Rechnen immer wichtiger Kontakte zu internationalen Partnern Industriekontakte: IBM, SUN, Cray, SGI, NEC; Intel, AMD, Mögliche Auslandsaufenthalte oder Industrieinternships Beispiele für Auslandsaufenthalte LLNL, CA, U.S.A. BSC, Barcelona, Spain Eugene, OR, U.S.A. Beispiele für Internships: Cray IBM Diplomarbeiten am ZIH Zellescher Weg 12 Willers-Bau A113 Tel Matthias S. Mueller (matthias.mueller@tu-dresden.de) Holger Brunst (holger.brunst@tu-dresden.de) 32

33 Energieeffizientes Paralleles Rechnen Thema: Energieeffizienz und parallele Anwendungen Fragestellung: Messung des Energieverbrauchs paralleler Anwendungen Entwicklung von Standard Benchmarks für Energieverbrauch (SPEC) Analyse der prinzipiellen Eigenschaften Entwurf von Metriken für Energieeffizienz Entwicklung von Strategien zur Energieeinsparung Betreuer: Dr. Matthias Müller watts SPECpower_ssj Power and Processor % SPECpower_ssj2008 Woodcrest 3.0, 4x 1GB, Power 1x HDD, and Pwr Processor Mgmt On% Dual-Core Intel Xeon 3.0, 4x1GB, 1x HDD, Pwr Mgmt On w atts PM On CPU % PM On seconds CPU % Matthias Mueller, Matthias Holger Brunst: S. Müller Leistungsanalyse Globale und lokale Datenquellen für Programmspuren Thema: "Analyse und Anwendung globaler und lokaler Datenquellen (Counter) für Programmspuren" Fragestellung: Ziel der Arbeit soll sein, lokale und globale Daten, die einen Bezug zu einer aufgezeichneten Programmspur haben, anzupassen und in diese Programmspur einzubetten. Kombination verschiedener Counter/Konstanten zu einem Counter und Arithmetik (log,...) Normalisierung Fehlerabschätzung Betreuer: Michael Kluge (michael.kluge@tu-dresden.de) Andreas Knüpfer (andreas.knuepfer@tu-dresden.de) Matthias Mueller, Michael Holger Kluge/Andreas Brunst: Leistungsanalyse Knüpfer 33

34 Entwicklung von Bildauswertungsalgorithmen "Entwicklung von Bildauswertungsalgorithmen basierend auf ImageJ und deren Anwendung auf biologische Mikroskopiedaten" (Dr. L. Brusch) Fragestellung: Mikroskopiedaten von der Embryonalentwicklung in Wirbeltieren sollen numerisch bezüglich Zellteilungen und Zellbewegungen ausgewertet werden, wofür neue Algorithmen zu entwickeln sind. Als Grundlage der Algorithmenentwicklung dient die Bibliothek ImageJ und eine enge Abstimmung mit Dresdner Biologen. Betreuer: Dr. Lutz Brusch Matthias Mueller, Holger Lutz Brusch Brunst: Leistungsanalyse Clearspeed Hardwarebeschleuniger Thema: Einsatz von Clearspeed Hardwarebeschleunigern im HPC Fragestellung: Untersuchung der Clearspeed Architektur Nutzung von Mikrobenchmarks um die Leistungsfaehigkeit zu bestimmen Portierung einer Nutzeranwendung auf Clearspeed in einem Cluster Leistungsvergleich mit Kosten-Nutzen-Abschaetzung Betreuer: Dipl.-Ing. Guido Juckeland Matthias Mueller, Guido Holger Juckeland Brunst: Leistungsanalyse 34

35 Verbesserung von Performance-Analyse-Möglichkeiten Thema: Verbesserung der Performance-Analyse für Multicore-Architekturen und Systeme mit Speedstep-Fähigkeiten Fragestellung: Untersuchung der Möglichkeiten unter Linux, den ausführenden CPU- Kern für einen Prozess zu bestimmen Integration der Information in Programmspuren Suche einer portablen und nichtintrusiven Lösung, Taktfrequenzänderungen von CPU-Kernen aufzuzeichnen Darauf basierend, Normierung von Zeitintervallen in Programmspuren Betreuer: Holger Mickler Jens Doleschal Matthias Mueller, Holger Holger Mickler/Jens Brunst: Doleschal Leistungsanalyse Performance Analyse und Softwareentwicklung Thema: Performance Analyse als Integraler Bestandteil der Softwarentwicklung Fragestellung: Integration von Performance Analyse (VAMPIR) in IDE (Eclipse) Geeignete Abstraktion und Darstellung von Performance Summaries Integration von paralleler Performance Analyse in den Softwareentwicklungsprozess Betreuer: Matthias Mueller, Andreas Knüpfer 35

36 Thank you! Hope to see you next time Zellescher Weg 12 Willers-Bau A113 Tel Matthias S. Mueller (matthias.mueller@tu-dresden.de) Holger Brunst (holger.brunst@tu-dresden.de) 36