Die beste Infrastruktur ist nur so schnell, wie der Code der darauf läuft. Fallbeispiel Wettervorhersage

Transkript

1 Die beste Infrastruktur ist nur so schnell, wie der Code der darauf läuft Fallbeispiel Wettervorhersage VPE Swiss Workshop, HSR 24. Januar 2013 David Müller, Tobias Gysi Vision trifft Realität. Supercomputing Systems AG Phone Technopark 1 Fax Zürich

2 Motivation 2 Zürich by Supercomputing Systems AG

3 Wer ist SCS? 3 Zürich by Supercomputing Systems AG

4 Entwicklungsdienstleister im Technopark Zürich 80 Mitarbeiter Elektroingenieure Informatikingenieure Physiker, Mathematiker, etc. 100% Fokus auf Kundenprojekte 4 Zürich by Supercomputing Systems AG

5 5 Zürich by Supercomputing Systems AG Industrial Controls & Sensors

6 Automotive 6 Zürich by Supercomputing Systems AG

7 7 Zürich by Supercomputing Systems AG Supercomputing

8 Computerarchitektur-Trend 8 Zürich by Supercomputing Systems AG

9 Performanz #500 Performance (Rmax) [Tflop/s] Performance per core [Gflop/s] Core Count Zürich by Supercomputing Systems AG

10 Das COSMO Wettermodell 10 Zürich by Supercomputing Systems AG

11 Das COSMO Wettermodell Partielle Differentialgleichungen auf einem regulären Gitter (Geschwindigkeiten, Druck, Temperatur, Feuchtigkeit, etc.) Lösung mit Finite-Differenzen-Methode Stencils 2.2 km horizontale Maschenweite 60 vertikale Schichten 11 Zürich by Supercomputing Systems AG

12 Auflösung des Wettermodelles Eine gute örtliche Auflösung ist der Schlüssel zu einer genauen Vorhersage, insbesondere im Alpenraum Eine Halbierung der horizontalen Maschenweite erhöht den Rechenaufwand ca. um Faktor km 8.8 km 2.2 km 12 Zürich by Supercomputing Systems AG

13 Motivation für ein Refactoring von COSMO Steigerung der Performanz auf der aktuellen Infrastruktur (x86) Portierbarkeit auf neue Prozessorarchitekturen wie GPU Gleichzeitige Optimierung für die Ausführung auf verschiedenen Architekturen (Performance Portability) One single source-code Lesbarkeit und Erweiterbarkeit des Codes für die Anwender (Meteorlogen und Klimatologen) Langfristige Wartbarkeit des Codes (Informatiker) 13 Zürich by Supercomputing Systems AG

14 COSMO Code Struktur % runtime % lines of code Directives Rewrite 14 Zürich by Supercomputing Systems AG

15 Rewrite des Dynamischen Kernes von COSMO Stencil Bibliothek 15 Zürich by Supercomputing Systems AG

16 Stencils Ein Stencil (= Schablone) ist eine Berechnung mit fixem Zugriffsmuster, welche auf alle Gitterpunkte eines Gitters angewendet wird Typischerweise wenig Berechnungen und viel Speicherzugriffe Ausführungsgeschwindigkeit wird durch die Speicherbandbreite limitiert Viele Stencil Codes erreichen weniger als 10% der Peak Performance 2D-Laplacian lap(i,j,k) = 4.0 * data(i,j,k) + data(i+1,j,k) + data(i-1,j,k) + data(i,j+1,k) + data(i,j-1,k); 16 Zürich by Supercomputing Systems AG

17 Stencil Code: Herausforderung Stencil Codes bestehen aus 2 Hauptkomponenten Loop-Logik definiert Stencil Anwendungsbereich und Reihenfolge (grün) Update-Funktion definiert die Update Formel (blau) do k = kstart, kend do j = jstart, jend do i = istart, iend lap(i, j, k) = -4.0_ir * data(i, j, k) + & data(i+1, j, k) + data(i-1, j, k) + & data(i, j+1, k) + data(i, j-1, k) end do end do end do Loop-Logik Update-Funktion Synthetisches Beispiel mit sehr geringer Komplexität + Direktiven für Parallelisierung, Vektorisierung + Performance Optimierungen wie Cache Blocking + Flexibilität der Loop-Order / des Memory-Layouts 17 Zürich by Supercomputing Systems AG

18 Stencil Library: Beispiel Laplace enum { data, lap }; template<typename TEnv> struct Laplacian { }; STENCIL_STAGE(TEnv) STAGE_PARAMETER(FullDomain, data) STAGE_PARAMETER(FullDomain, lap) static void Do(Context ctx, FullDomain) { } ctx[lap::center()] = -4.0 * ctx[data::center()] + ctx[data::at(iplus1)] + ctx[data::at(iminus1)] + ctx[data::at(jplus1)] + ctx[data::at(jminus1)]; Functor implementiert Update-Funktion 18 Zürich by Supercomputing Systems AG IJKRealField lapfield, datafield; Stencil stencil; StencilCompiler::Build( ); stencil, "Example", calculationdomainsize, StencilConfiguration<Real, BlockSize<32,4> >(), pack_parameters( ), Param<lap, cinout>(lapfield), Param<data, cin>(datafield) concatenate_sweeps( ) define_sweep<ckincrement>( ) define_stages( ) StencilStage< >() Laplacian, IJRange<cComplete,0,0,0,0>, KRange<FullDomain,0,0> for(int step = 0; step < numofsteps; ++step) { } stencil.apply(); Domain Specific Embedded Language (DSEL) definiert Loop-Logik

19 Domain Specific Embedded Language (DSEL) Übersetzung am Laplace Beispiel DSEL wird von Compiler und Stencil Bibliothek interpretiert und in Plattformabhängigen Code übersetzt (hier für die x86 Architektur) Loop beschrieben in DSEL: #pragma omp parallel for for(int block=0; block < numofblocks; ++block) { context.movetoblock(block); concatenate_sweeps( define_sweep<ckincrement>( define_stages( StencilStage< Laplacian, IJRange<cComplete,0,0,0,0>, KRange<FullDomain,0,0> >() ) ) ) for(int i=iblockstart; i < iblockend; ++i) { for(int j=jblockstart; j < jblockend; ++j) { context.moveto(i, j, kstart); for(int k=kstart; k < kend; ++k) { Laplacian::Do(context, FullDomain); context.advance<0,0,1>(); } } } } 19 Zürich by Supercomputing Systems AG

20 Ergebnisse der Bibliotheksentwicklung Die Stencil Bibliothek separiert Loop-Logik und Update-Funktion Die Loop-Logik wird mittels einer domänenspezifischen Sprache definiert Die Stencil Bibliothek unterstützt CPUs und GPUs Für beide Architekturen wird effizienter Code generiert CPU GPU Speicherlayout KIJ IJK Parallelisierung OpenMP CUDA Die komplette Dynamik von COSMO wurde erfolgreich implementiert 20 Zürich by Supercomputing Systems AG

21 Beschleunigung der Dynamik Application Performance - Interlagos 16 Core vs. Tesla X2090 Überarbeiteter Code, GPU 4.73 Überarbeiteter Code, CPU 1.65 Ursprünglicher Code, CPU Zürich by Supercomputing Systems AG

22 Schlussfolgerungen 22 Zürich by Supercomputing Systems AG

23 Schlussfolgerungen Performance kritischer Code muss für jede Prozessorarchitektur optimiert werden Optimale Prozessorarchitektur ändert sich während des Software Life-Cycle COSMO ist ca. 30 Jahre alt und hat bereits Vektorrechner, PPC, x86 und GPU erlebt Anwendercode sollte Plattformunabhängig sein Für Linear Algebra Codes ist dies Tatsache dank BLAS Domain Specific Embedded Languages (DSELs) ermöglichen Bibliotheksunterstützung für komplexere algorithmische Motive 23 Zürich by Supercomputing Systems AG

24 Schlussfolgerungen Die Stencil Bibliothek erreicht Plattformunabhängigkeit Nur eine einzige Code-Basis für die Anwender Keine Performance-Optimierungen / Direktiven im Anwendercode Unterstützung für weitere Architekturen erfordert ausschliesslich Anpassungen an der Library Die Stencil Bibliothek verbessert die Ausführungsgeschwindigkeit Beschleunigung um Faktor 1.65 auf der identischen Hardware gezeigt 24 Zürich by Supercomputing Systems AG

25 Herzlichen Dank für die Unterstützung 25 Zürich by Supercomputing Systems AG

26 Supercomputing Systems AG Vision meets reality. Supercomputing Systems AG Phone Technopark 1 Fax Zürich