Konzepte der parallelen Programmierung

Transkript

1 Fakultät Informatik, Institut für Technische Informatik, Professur Rechnerarchitektur Konzepte der parallelen Programmierung Parallele Programmiermodelle Nöthnitzer Straße 46 Raum 1029 Tel (bernd.trenkler@tu-dresden.de)

2 Definition: Paralleles Programmiermodell Programmiermodell für Parallelrechner /Geig 92a/ Gesamtheit der Grundprinzipien einer Klasse von Schnittstellen, über die der Entwickler von Anwendungs-Software in seinen Programmen die Parallelität ausnutzt Programmiermodell /RaRü 2010/ Ein (paralleles) Programmiermodell definiert die Sicht des Programmierers auf die (parallele) Maschine. Es definiert, wie der Programmierer die Maschine ansprechen kann. Die Sicht wird definiert durch:! das Verhalten der Hardware! das verwendete Betriebssystem! den Compiler! die verwendete Laufzeitbibliothek

3 Kennzeichnung Paralleler Programmiermodelle Kennzeichnung entsteht aus der Beantwortung folgender Fragestellungen: - Welche Ebenen der Parallelität werden ausgenutzt? - Liegt implizite oder explizite Parallelität vor? - In welcher Form muss der Programmierer die Parallelität spezifizieren? - Wie erfolgt die Abarbeitung der parallelen Einheiten? - Wie erfolgt der Informationsaustausch zwischen den parallelen Teilen? - Welche Synchronisationsmöglichkeiten gibt es?

4 Kennzeichnung Paralleler Programmiermodelle Ebenen der Parallelität Programmebene (oder Jobebene)! Prozessebene (oder Taskebene)! Blockebene! Anweisungsebene (oder Befehlsebene)!!! Suboperationsebene

5 Kennzeichnung Paralleler Programmiermodelle Implizite und explizite Parallelität Implizite Parallelität - Am einfachsten für den Programmierer - Programmierer formuliert nur sequentiellen Algorithmus und kümmert sich nicht um Organisation der parallelen Abarbeitung - Sehr hohe Compileranforderungen Explizite Parallelität - Parallelität muss im Programm explizit durch den Programmierer formuliert werden z.b.: à Prozesse, die beim Start des Programms erzeugt werden und miteinander kommunizieren können à Unabhängige Tasks, die dynamisch in einem Taskpool verwaltet werden à Parallelisierung von Schleifen - Geringere Compileranforderungen

6 Kennzeichnung Paralleler Programmiermodelle Spezifizierung der Parallelität Prozesse, die beim Start des Programms erzeugt werde (MPI, CAF) - mpirun np 16 progam.exe, à Prozesse kommunizieren über Nachrichtenaustausch - program.exe --g95 images=4 à images kommunizieren in einem partiell globalen Adressraum über gemeinsame Variable Parallele Threads, innerhalb der paralelen Regionen - program.exe à Programmstart nur mit Masterthread - omp_set_num_thraeds(4) im Programm à vier Threads innerhalb der parallelen Regionen à Threads kommunizieren in einem globalen Adressraum über gemeinsame Variable

7 Kennzeichnung Paralleler Programmiermodelle Unabhängige Task, die in einem Taskpool verwaltet werden - Innerhalb von OpenMP erst ab Standard 3.0 möglich - Vorher innerhalb von OpenMP nur: - Schleifenparallelisierung (Iterationen ohne Datenabhängigkeiten) #pragma omp parallel for {... } - Parallele Sektionen #pragma omp parallel { #pragma omp sections { {... } #pragma omp section {... } #pragma omp section {... } } }

8 Kennzeichnung Paralleler Programmiermodelle Art der Abarbeitung der parallelen Einheiten SIMD - Single Instuction Stream Multiple Data Stream - synchron SPMD - Single Program Multiple Data - asynchron

9 Kennzeichnung Paralleler Programmiermodelle Informationsaustausch zwischen den parallelen Teilen Kommunikation über Nachrichtenaustausch! MPI MPI_Send(), MPI_Recv() MPI_Bcast(), MPI_Reduce() Kommunikation über gemeinsame Variable! Globaler Adressraum (OpenMP) shared (x) private (a) z.b.: Thread 1: a=x! Partiell Globaler Adressraum (Coarray Fortran, Unified Parallel C) real :: x(20)[*] z.b.: Image 1: a = x(12)[2]

10 Kennzeichnung Paralleler Programmiermodelle Möglichkeiten der Synchronisation Ereignissynchronisation! Barrieren MPI_Barrier (MPI_Comm comm) Implizite Synchronisierung bei synchronen MPI- Kommunikationsfunktionen (MPI_Ssend(), MPI_Recv()) #pragma omp barrier Implizite Barrieren bei einigen OpenMP-Funktionen! Events z.b.: #pragma omp parallel à natürliche Barriere, wo parallele Region in den Master-Thread übergeht MPI_Wait(), MPI_Test() bei nichtblockierenden MPI-Kommunikationsfunktionen (MPI_Isend(), MPI_Irecv())

11 Kennzeichnung Paralleler Programmiermodelle Zugriffssynchronisation! Kritische Bereiche #pragma omp critical! Locks Sperrmechanismus, der in OpenMP über Laufzeitfunktionen verwaltet wird void omp_init_lock () void omp_set_lock () void omp_unset_lock () void omp_destroy_lock ()

12 Klassifizierung Paralleler Programmiermodelle Wesentliches Klassifizierungsmerkmal ist:! Die Organisation des Adressraumes aus Sicht des Programmierers: globaler Adressraum bzw. partiell globaler Adressraum lokaler Adressraum! Darüber hinaus tritt Datenparallelität als eigenständiges Programmiermodell in Erscheinung. Es ergeben sich folgende Programmiermodelle:! Programmiermodell Speicherkopplung In Verbindung mit SPMD Globaler Adressraum - OpenMP Partiell globaler Adressraum (PGAS) - CAF - UPC

13 Klassifizierung Paralleler Programmiermodelle! Programmiermodell Nachrichtenkopplung In Verbindung mit SPMD MPI! Programmiermodell Datenparallelität Datenparallelität Dieselben Operationen werden auf unterschiedliche Elemente einer Datenstruktur (z.b. Feld) angewandt Operationen müssen unabhängig voneinander sein Elemente der Datenstruktur werden gleichmäßig auf die Prozessoren verteilt

14 Klassifizierung Paralleler Programmiermodelle Datenparallele Programmiersprachen Sequentielle Programmiersprachen werden zu datenparallelen Programmiersprachen erweitert, um Datenparallelität auszunutzen datenparallele Programmiersprachen verwenden wie sequentielle Programmiersprachen nur einen Kontrollfluss, - der aber auch datenparallele Operationen ausführen kann datenparallele Operationen meist nur für Felder FORTAN 90/95 Umsetzung von for-schleifen in datenparallele Anweisungen for i: = 1 to n do end c(i) = a(i-1) + b(i) datenparallele Anweisung in FORTRAN 90/95 c(1:n) = a(0:n-1) + b(1:n) (Problematik alter Wert neuer Wert beachten)

15 Klassifizierung Paralleler Programmiermodelle Realisierung der Datenparallelität im SIMD-Modell FORTRAN 90/95 Feldoperationen auf - Vektorrechnern und - Feldrechnern NEC SX-6 bis 2011 am ZIH FORTRAN90/SX Compiler z.b.: f90 C hopt sx6 file.f90 - C hopt Aggressive Optimierung beinhaltet z.b. bei der Matrix- Multiplikation das Austauschen des Codes durch Code aus der FORTRAN compiler lib - sx6 Optimierung des Codes für die NEC SX-6

16 Klassifizierung Paralleler Programmiermodelle Realisierung der Datenparallelität im MIMD-Modell Geschieht üblicherweise durch das SPMD-Konzept - OpenMP und MPI nutzen SPMD-Konzept Beispiel: Skalarprodukt zweier Vektoren (für i=1,2,3,...,n)! gemeinsamer Adressraum... sum=0.0; #pragma omp parallel shared(sum) { #pragma omp for reduction(+: sum) for (i=1;i<=n;i++) { sum = sum + x[i] * y[i]; } }...

17 Klassifizierung Paralleler Programmiermodelle! verteilter Adressraum... /* Problemgröße n an alle Prozessoren */ /* id Abfrage */ /* Anzahl der Prozessoren (p) ermitteln */ /* Datenverteilung an die Prozessoren */ area_loc = n / p; lower_bound_loc = id * area_loc; upper_bound_loc = [(id + 1) * area_loc] 1; sum_loc = 0.0; for (i= lower_bound_loc; i<= upper_bound_loc; i++) sum_loc = sum_loc + x[i] * y[i]; /* Bildung der globalen Summe */...

18 Publizierte Modelle a) Ungerer! Speicherkopplung! Nachrichtenkopplung! Datenparallelität b) Culler! Shared address! Message passing! Data parallel

19 Publizierte Modelle c) Giloi unterteilt in folgende 4 Programmiermodelle:! Vektorisierung! SPMD-Datenparallel! Nachrichtenorientiert! Gemeinsamer Speicher