Parallel Computing. Einsatzmöglichkeiten und Grenzen. Prof. Dr. Nikolaus Wulff

Transkript

1 Parallel Computing Einsatzmöglichkeiten und Grenzen Prof. Dr. Nikolaus Wulff

2 Vorüberlegungen Wann ist paralleles Rechnen sinnvoll? Wenn die Performance/Geschwindigkeit steigt. Wenn sich größere Probleme lösen lassen. Zwei wesentlichen Methoden dies zu erreichen sind: Mehrere (Multi-Core) CPUs mit shared Memory. Verteiltes Rechnen auf mehreren Maschinen. Prof. Dr. Nikolaus Wulff Informatik III 2

3 Theoretische Grenzen Um wieviel lässt sich ein Programm durch paralleles Rechnen beschleunigen? Die Programmausführung zerfällt in drei Phasen T total =T septup +T compute +T finalize Durch Parallelisierung wird die reine Rechenzeit proportional zur Anzahl n an CPUs verringert: T total (n)=t septup + T compute n +T finalize Es gibt offensichtlich einen seriellen Anteil σ, der sich nicht beschleunigen lässt. Prof. Dr. Nikolaus Wulff Informatik III 3

4 Amdahl's Gesetz Umformen der parallelen und seriellen Anteile liefert: σ= T setup+t finalize T total T compute =(1 σ)t total 1 σ T total (n)=t total (1)[ ] σ+ n Der theoretische Geschwindigkeitszuwachs ist: S (n)= T total(1) T total (n) = 1 σ+ 1 σ n Prof. Dr. Nikolaus Wulff Informatik III 4

5 Effizienz Interessant ist die Frage nach der Effizienz jeder weiteren CPU. Wie viel trägt sie zum Speedup bei? E(n)= S (n) n = 1 σ n+(1 σ) σ=25% σ=25% Prof. Dr. Nikolaus Wulff Informatik III 5

6 Parallelisierung Anstatt S(n) und E(n) als Funktion der Anzahl n an CPUs zu zeichnen, wird hier der Speedup und Nutzen als Funktion S(σ) und E(σ) des seriellen Anteils für Duo-, Quad- und Oktacore Rechner gezeigt. σ σ Prof. Dr. Nikolaus Wulff Informatik III 6

7 Voraussetzungen Das Problem muss eine Lösung durch einen parallelen Algorithmus zulassen. Der zu erwartende Nutzen muss den Aufwand zur Entwicklung des parallelen Algorithmus überwiegen. Meistens lohnt sich dies nur bei großen Problemen. Die Hardware und die Programmiersprache müssen Parallelverarbeitung (PV) ermöglichen. Alle heutigen Multicore CPUs sind für PV geeignet. Sprachen wie FORTRAN, C++, C# oder Java werden für PV erweitert, bzw. entsprechende Bibliotheken ausgeliefert. Prof. Dr. Nikolaus Wulff Informatik III 7

8 Divide et Imperia Viele sequentielle Algorithmen sind nach der teile und herrsche Strategie entwickelt. Häufig sind diese rekursiv implementiert. Meist wird eine effektivere, iterative Lösung durch Auflösen der Endrekursion gesucht. Solche Algorithmen lassen sich jedoch auch effektiv parallelisieren und sind dann für Multicore CPUs oder verteilte Anwendungen geeignet. Einige Beispiele: Diskrete FastFourierTransformation (dfft). Quicksort, Mergesort etc. Cholesky Zerlegung, Matrixmultiplikation, etc. Prof. Dr. Nikolaus Wulff Informatik III 8

9 Teile und Herrsche Strategie Problem split Subproblem Subproblem split split Subproblem Subproblem Subproblem Subproblem solve solve solve solve Subsolution Subsolution Subsolution Subsolution merge merge Subsolution merge Solution Subsolution Prof. Dr. Nikolaus Wulff Informatik III 9

10 Paralleles Teile und Herrsche Teile und Herrsche zerfällt in drei Bestandteile. Split: Aufteilung des Problems. Solve: Lösen der Teilprobleme. Merge: Zusammenführung der Teillösungen. Dies entspricht genau der Struktur der Eingangsüberlegung: Program={Setup, Compute, Finalize}. Split und Merge sind sequentielle Anteile, Solve ist parallelisierbar. Prof. Dr. Nikolaus Wulff Informatik III 10

11 Beispiel: Komplexe Multiplikation Das Produkt zweier komplexer Zahlen z=u v d.h. z 1 + j z 2 =(u 1 + j u 2 ) (v 1 + j v 2 ) lässt sich parallel berechnen mit R(z)=u 1 v 1 u 2 v 2 I(z)=u 1 v 2 +u 2 v 1 u,v C Werden die vier Multiplikationen parallel ausgeführt, so ergibt dies einen Speedup von ~3 4. Prof. Dr. Nikolaus Wulff Informatik III 11

12 Beispiel: Mergesort Mergesort als rekursives Sortierverfahren: void sort(int[] a, int start, int end) { if(start < end) { int mid = (start+end+1)/2; sort(a,start,mid-1); sort(a,mid,end); merge(a,start,mid,end); } } Die beiden sequentiellen sort Aufrufe können parallelisiert werden, das finale merge erfolgt dann nach Beendigung der beiden sort Aufrufe. Prof. Dr. Nikolaus Wulff Informatik III 12

13 Beispiel: Matrizenmultiplikation Parallelisierte Version des Produkts zweier Matrizen C=A B d.h. c = ij k=1 Unterteilung der Matrizen in 4 kleinere Submatrizen: Dies sind acht unabhängige, parallelisierbare Produkte plus vier nachfolgende Additionen. Prof. Dr. Nikolaus Wulff Informatik III 13 n a ik b kj ( C 1 C 2 C 3 C 4) = ( A 1 A 2 A 3 A 4) ( B 1 B 2 B 3 B 4) ( C 1 C 2 C 3 C 4) = ( A 1 B 1 +A 2 B 3, A 1 B 2 +A 2 B 4 A 3 B 1 +A 4 B 3, A 3 B 2 +A 4 B 4)

14 Testmessung Der Testlauf mit einem Quad-Core Prozessor zeigt deutlich den Geschwindigkeitszuwachs der Parallelimplementierung bei größeren Matrizen. Zeit/mSec log(zeit/msec) ,00 4,00 2,00 Laufzeit 0 N seriell parallel Matrixgröße N Laufzeit 0, Matrixgröße N Speedup Speedup N Matrixgröße N Prof. Dr. Nikolaus Wulff Informatik III 14

15 Zusammenfassung Durch Parallelisierung lassen sich Programme beschleunigen. Voraussetzung ist: Die Hardware unterstützt dies. Die Programmiersprache unterstützt parallele Konzepte. Es kann ein guter paralleler Algorithmus gefunden werden. Parallelisierung durch Verteilung auf verschiedene physikalische Knoten bietet meist nur Vorteile bei geringem Datentransfer/Synchronisierungsaufwand und dient mehr der Lastverteilung... Prof. Dr. Nikolaus Wulff Informatik III 15