Parallele Programmiermodelle

Transkript

1 Parallele Programmiermodelle ProSeminar: Parallele Programmierung Semester: WS 2012/2013 Dozentin: Margarita Esponda

2 Einleitung - Kurzer Rückblick Flynn'sche Klassifikationsschemata Unterteilung nach Speicherorganissation

3 Einleitung - Themen Heute - Modelle paralleler Rechnersysteme - Parallelisierung von Programmen - Ebenen der Parallelität - Explizite und implizite Darstellung der Parallelität - Strukturierung paralleler Programme Bildquellen falls nicht anders angegeben: T. Rauber, G. Rünger, Parallele Programmierung, examen.press, DOI / _3, c Springer-Verlag Berlin Heidelberg 2012,

4 Modelle paralleler Rechnersysteme Grundlage zur Programmierung sequentielle Rechnersysteme: Von-Neumann-Architektur (SISD) Bildquelle: [Zugriff: ; 17:46], Quelle dort: ref. [OSIDP] Fig. 1.1 on p. 9; image courtesy [OSIDP] webpage

5 Kriterien zur Unterscheidung paralleler Rechnersysteme Parallele Rechnersysteme vielfältiger: Kriterien zur Unterscheidung: - Maschinenmodelle - Architekturmodelle - Berechnungsmodelle - Programmiermodelle

6 Parallele Programmiermodelle Programmiermodell spezifizieren: - Parallelität in den Berechnungen - Ob/wie/in welcher Form Parallelität durch Programmierer zu spezifizieren ist - Abarbeitung der parallelen Einheit - Informationsaustausch zw. parallelen Teilen - Synchronisationsmöglichkeiten

7 Parallelisierung von Programmen Vom sequentiellen zum parallelen Programm (Parallelisierung): 1 Berechnungen zerlegen (Tasks) 2 Zuweisen an Prozesse o. Threads (Scheduling) 3 Abbilden auf phys. Prozessoren (Mapping)

8 Parallelität auf Instruktionsebene Parallelitätspotential in/im Berechnungen/Programm: - Instruktionsebene (Instruction-Level-Paralism ILP) dynamisch (Hardware) statisch (Compiler) Nutzung zum Bsp. bei Schleifeniterationen loop unrolling Vektoranweisungen

9 Konzept Vektoranweisungen FORTRAN90 Quelle: Patterson, Hennessy: Computer Architecture, Aufl. 5 S.272 Schlüssel: Erkennen/Behandeln von Abhängigkeiten

10 Datenabhängigkeiten Instruktionen nur simultan ausführbar wenn keine Datenabhängigkeit: Flussabhängigkeit (Patterson: data dependences) Anti-Abhängigkeit (Patterson: Name Dependences - Anti dependence) Ausgabe-Abhängigkeit (Patterson: Name Dependences - Output dependence)

11 Datenabhängigkeit Bsp. Quelle: Patterson, Hennessy: Computer Architecture, Aufl. 5 S.251

12 Datenabhängigkeitsgraph Veranschaulichung:

13 Datenabhängigkeiten beheben Bsp. 1 Quelle: Patterson, Hennessy: Computer Architecture, Aufl. 5 Appendix H (H-11)

14 Datenabhängigkeiten beheben Bsp. 2 Quelle: Patterson, Hennessy: Computer Architecture, Aufl. 5 Appendix H (H-12)

15 Parallele Schleifen in Fortran 1/2 - dopar-schleife:

16 Parallele Schleifen in Fortran 2/2 - doall-schleife Schleife: entspricht:

17 Implizite Darstellung der Parallelität Alle Anpassungen eines Programms zur parallelen Ausführung, welche vom Entwickler nicht explizit Dargestellt werden müssen - Der Entwickler schreibt sequenziellen Code Umgesetzt in - Parallelisierenden Compilern - Funktionalen Programmiersprachen

18 Parallelisierende Compiler Idee: Sequentieller Code wird vom Compiler so umgeschrieben und auf Prozessoren verteilt, dass: - Abhängigkeiten eingehalten werden - Eine gute Lastverteilung entsteht - Möglichst wenig Austausch zwischen den Prozessoren stattfindet Probleme: - Sehr komplexe Aufgabe Bieten oft noch keine guten Ergebnisse

19 Parallelisierung Funktionaler Programmiersprachen Determinismus macht paralleles Auswerten der Argumente möglich Probleme: - Argumente haben teils kein ausreichendes Potential - Große Rekursionstiefen können zur zu feinen Aufteilung führen nicht gut auf Prozessoren aufzuteilen

20 Funktionale Programmiersprache Rekursionsanker: foo x 0 = x Beispiel: foo x y = foo (x+1) (y-1) + foo (x+1) (y-1) foo 3 2 = foo foo 2 3 foo 4 1 = Add Add 5 0 foo 4 1 = Add Add 5 0 Foo 3 2 =

21 Explizite Darstellung der Parallelität Unterkategorien: - Explizite Parallelität mit impliziter Zerlegung - Explizite Zerlegung - Explizite Zuordnung an Prozessoren - Explizite Kommunikation und Synchronisation

22 Explizite Parallelität mit impliziter Zerlegung Ermöglichen eine parallele Ausführung ohne eine Aufteilung in Tasks Beispiel: parallele Schleifen Vorteile: - Wenig Aufwand für den Programmierer - Einfacherer Compiler möglich Nachteil: - Sehr Beschränkter Gewinn an Parallelisierbarkeit Einsatz in vielen Fortran-Erweiterungen

23 Explizite Zerlegung Zerlegung in Task möglich, jedoch keine Zuweisung an Prozessoren Dadurch höherer Aufwand beim Programmieren, jedoch auch bessere Parallelität Beispiel BSP- Programmiermodell (4.5.2)

24 Explizite Zuordnung an Prozessoren Sowohl explizite Zerlegung in Task, als auch explizite Zuordnung dieser Task. Keine explizite Kommunikation zwischen Prozessoren notwendig Beispiel: Linda (Koordinationssprache) - Kommunikation über einen Daten-Pool (tuplespace) Zugriff über Schlüssel mit in/read/out - Kommunikation wird durch Compiler geregelt - Führt nicht immer zu einer effizienten Implementierung

25 Explizite Kommunikation und Synchronisation Alle Details zur parallelen Ausführung des Programms müssen vom Programmierer explizit angegeben werden. Vorteil: - Sehr Effiziente Umsetzung möglich - Standardcompiler reichen aus Nachteil: - Großer Aufwand und Komplexität beim Programmierer Vertreter sind Thread-Programmiermodelle (Kap. 6) und Message-Passing-Programmiermodelle (Kap. 7)

26 Strukturierung paralleler Programme Muster und Prinzipien um Prozesse/Threads zu koordinieren: - Erzeugung von Prozessen oder Threads - SPMD und SIMD - Master-Slave oder Master-Worker - Pipelining - Client-Server-Modell

27 Erzeugung von Prozessen/Threads Statisch Dynamisch Start P1 P2 P3 P4 P1 P2 P4 P3 Ende

28 Erzeugung von Prozessen/Threads Fork-Join-Konstrukt Erzeugung eines Kindprozesses, als Kopie des Elternprozesses Unterschiedlicher Code möglich durch Prozessid Spawn-Exit-Operation im Message-Passing fast gleich (verteilten Adressraum)

29 Erzeugung von Prozessen/Threads Parbegin-Parend- Konstrukt Aufteilung in mehrere Prozesse innerhalb des Blocks Parbegin Begin Begin Parend; DoProzess1 End; DoProzess2 End; Nach dem Block sind alle Prozesse abgeschlossen

30 SPMD und SIMD Parallele Ausführung von einer Instruktion oder einem Programm auf verschieden Daten - Bei SIMD wird jede Instruktion wird synchron auf den Daten ausgeführt - Wird auch als Ansatz zur Datenparallelität bezeichnet - Bei SPMD wird jedes Programm asynchron ausgeführt - Prozesse können an verschieden Stellen im Ablauf sein Synchronisierungen müssen explizit geschrieben werden

31 Master-Slave oder Master-Worker Erzeugung der Slaves/Worker kann dynamisch oder statisch erfolgen Master Start W1 W2... Wn Ende

32 Pipelining Beispiel eines Shellskripts (Übungsaufgabe Alp5) # use:./spelling.sh text.txt <Anzahl von Check Prozessen> mkfifo a b java ue3/worte $1 >a & for i in {1..$2} Datei Worte a do java ue3/check <a >b & Check done Check... java ue3/analyze <b b rm a b Analyse Ausgabe

33 Client-Server-Modell Bereitstellung eines Dienstes für ein oder mehrere Klienten Sowohl Parallelisierung der Verarbeitung der Anfragen, als auch Parallelisierung mehrerer Server möglich - Ähnlichkeit mit dem MPMD-Modell - Eine gute Lastverteilung ist wichtig Client Client - Kommunikation über verschiedenste Protokolle und Kanäle Server

34 Danke