Klausur Paralleles Rechnen (Richtwert 60 min) 10. Dez. 2015

Transkript

1 Klausur Paralleles Rechnen (Richtwert 60 min) 10. Dez Aufgabe 1: (30 Punkte) 1. Erläutern Sie kurz das PRAM-Modell? Was wird sehr idealistisch, was wird realistischer im Vergleich mit echten Parallelrechnern abgebildet? 2. Welchem Parallelrechnertyp nach der Taxonomie von Flynn entspricht das PRAM-Modell? 3. Skizzieren Sie wie man aus einem PRAM-Programm zur Lösung eines Problems P ein LogP- Programm zur Lösung von P erhalten kann. Lösung: [Zu 1.] (13 Punkte, pro Item ein Punkt mit zwei Ausnahmen) PRAM steht für Parallel Random Access Machine N Rechner sind über eine zentrale Steuereinheit miteinander verknüpft Die Steuereinheit synchronisiert die Programme auf den unterschiedlichen Rechnern: Jeder Prozess führt das gleiche Programm aus In jedem Takt führt jeder Prozess denselben Befehl durch oder ist idle Jeder Rechner besitzt eine eindeutige ID, die in einem PRAM-Programm zur Verfügung steht und anhand dessen auch eine Programmverzeigung möglich Jeder Rechner hat Zugriff auf einen lokalen Speicher und auf einen gemeinsamen (globalen) Speicher Die Kommunikation der verschiedenen Rechner findet über den globalen Speicher statt Der globale Speicher besitzt genügend (unendlich) viele Zellen (für jeweils einen Datenwert) Ein PRAM-Programm besteht aus einzelnen parallelen Rechenschritten; jeder parallele Rechenschritt besteht aus (2 P) o einer Lesephase, in der ein Datum aus dem globalen Speicher eingelesen werden kann, o einem Rechenschritt, in dem eine endliche Anzahl von Operationen mit den Daten im lokalen Speicher ausgeführt wird und o einem Schreibschritt, in dem ein Ergebniswert wieder zurück in den globalen Speicher geschrieben werden kann. Es gibt vier verschiedene Varianten einer PRAM, nämlich EREW, CREW, ERCW, CRCW, wobei ER/CR für Exclusiv/Concurrent-Read, EW/CW für Exclusive/Concurrent Write, die danach unterschieden werden, ob ein exklusiver oder ein konkurrierender Lese- oder Schreibzugriff erlaubt ist. Bei einem konkurrierenden Schreibzugriff auf dieselbe Zelle des globalen Speichers wird eine zusätzliche Strategie oder Vereinbarung erforderlich. (2 P)

2 Ein PRAM ist ein idealisiertes Modell eines Parallelrechners, es wird nicht allen unterschiedlichen Klassen und Typen von Parallelrechnern gleichermassen gerecht. (1 P) Es beschreibt am ehesten einen SIMD-Rechner mit globalem Speicher und zentraler Steuereinheit, die den Ablauf des Programmes auf den unterschiedlichen Prozessoren synchronisiert. (4 P) Für Rechner vom Typ MIMD Programme stellt es eine erhebliche Vereinfachung dar. Im Folgenden werden PRAM und MIMD miteinander verglichen und die gravierenden Unterschiede aufgelistet: Die Kommunikation findet über einen globalen Speicher statt und damit ohne Kommunikationsnetzwerk. Faktisch kostet damit die Kommunikation keine extra Zeit (allerdings besteht die Einschränkung, dass pro parallelem Rechenschritt lediglich höchstens ein Datum eingelesen werden kann). (2 P) Ein Berechnungsproblem muss in beiden Modellen für die verschiedenen Rechner in Teilprobleme zerlegt und gelöst werden muss. (2 P) Eine weitere Übereinstimmung besteht darin, dass jeder Prozess das gleiche Programm führt das gleiche Programm aus, lediglich durch die Prozessor-ID kann eine Programmverzweigung realisiert werden. (2 P) [Zu 2.] (4 Punkte, falls diese oben noch nicht gegeben wurden) Nach der Taxanomie von Flynn ist ein PRAM am ehesten ein Rechner vom SIMD (Single Instruction Multiple Datastream) (synchrone Abarbeitung derselben Instruktion im gleichen Rechen-Takt) [Zu 3.] (6 Punkte) Wie lässt sich aus einem PRAM-Programm ein LogP-Programm machen? Wir machen die Annahme, dass die gleiche Anzahl von Prozessoren zur Verfügung stehen und keine neue Zuordnung von Operationen an die Prozessoren. Wenn man keine weiteren Einschränkungen machen muss, beispielsweise dass ein möglichst effizientes Programm erstellt wird, so sind lediglich die Zugriffe auf den globalen Speicher durch Kommunikationsprimitive zu ersetzen. (2 P) Zunächst formulieren wir das PRAM-Programm so um, dass der Zugriff auf eine globale (nicht-lokale) Variablen A nur noch in der Form A := // Sendepunkt x := A // Empfangspunkt erfolgt, wobei x eine lokale Prozessvariable ist. (2 P) Für jedes Paar solcher Anweisungen bei denen ein Prozess P i einen Wert in die Variable A zurückschreibt und ein Prozess P j danach den Wert A einliest und damit die lokale Variable x durch A aktualisiert (bevor ein weiterer Prozess P k die globale Variable A neu belegt) ist im entsprechenden LogP-Programm eine Nachricht von Prozess P i an Prozess P j zu versenden, d.h. der Prozess P i ruft eine Sendeprimitive auf und der Prozess P j die dazu passende Empfangsroutine. (2 P)

3 Aufgabe 2: (max. 20 Punkte) Gegeben ist das folgende PRAM-Programm. Aus den n Eingabewerten A[0],, A[n 1] wird durch eine parallele Berechnung eine Ausgabe berechnet. Algorithmus: DoSomeWork (für Prozessor i) begin: end ; IN: A[0], A[1],, A[n 1] /* n Eingabewerte (n ist eine Zweierpotenz) */ OUT:A[0] /* enthält den Resultatwert */ for j = log (n) to 1 do endfor If (i < 2 j 1 ) then endif A[i] = f(a[i + 2 j ], A[i j ]) 1. Welche Laufzeit, Arbeit und Effizienz hat das Verfahren, wenn a. Die Werte A[0], A[1],, A[n 1] ganzzahlig sind und die Funktion f das Maximum berechnet, b. die Berechnung von f(a[i + 2 j ], A[i j ]) den Aufwand O(log(n)) besitzt, c. Die Werte A[0], A[1],, A[n 1] Matrizen sind und die Funktion f das Matrizenprodukt sequentiell berechnet. 2. Unter welchen Voraussetzungen ist der Algorithmus in Aufgabe 1. optimal? Lösung: [Zu 2.1] (je 2 Punkte) Aufgabe 2.1.a Aufgabe 2.1.b Aufgabe 2.1.c Laufzeit log (n) (log(n)) 2 m 2 log (n) Arbeit n log (n) n (log(n)) 2 n m 3 log (n) Effizienz 1/log (n) 1/(log(n)) 2 1/(m 3 log (n)) Arbeit eines optimalen Verfahrens n n log (n) n m 3 Es gilt hierbei, dass n die Anzahl der Prozessoren und in Aufgabe 1.c die Variablen A[0], A[1],, A[n 1] für m m-matrizen stehen. [Zu 2] (8 Punkte) Der Algorithmus kann niemals optimal sein, denn die for-schleife wird log(n) Mal ausgeführt. Bei jeder weiteren Iteration wird die Anzahl der aktiven Prozessoren gegenüber der vorangegangenen Iteration halbiert, d.h. am Ende gibt es nur noch einen aktiven Prozessor. Die anderen Prozessoren sind idle. Da die idle Prozessoren mit gezählt werden, ist die Arbeit des PRAM-Programms jeweils um den Faktor log (n) grösser ist als der des sequentiellen Algorithmus.

4 Aufgabe 3: (max. 25 Punkte) Es seien n ganze Zahlen a 1, a 2,, a n gegeben und es sei eine assoziative Operation auf den ganzen Zahlen. Es sind die Produkte a 1 a 2, a 1 a 2 a 3,, a 1 a 2 a n zu berechnen. 1. Wie heisst dieses Problem in der Literatur? Wie schnell lässt sich dieses Problem lösen? 2. Wie lösen Sie dieses Problem mittels einer MPI-Bibbliothek? Skizzieren Sie kurz eine mögliche MPI-Realisierung unter der Annahme, dass jeder Prozess bereits mit seinen Initialdaten versorgt ist. (nur die wichtigsten Anweisungen angeben) 3. Im Folgenden seien die Listen L 1, L 2, L n zu berechen, wobei L i (für alle i, 1 i n ) die sortierte Liste aller Elemente a 1, a 2,, a i sei. a. Nehmen Sie zu folgender Behauptung Stellung: Die Berechnung der Listen lässt sich ähnlich wie die Berechnung des oberen Produktes für eine geeignet gewählte Operation berechnen? b. Kennen Sie ein Verfahren zur Berechnung der Listen L i. Erläutern Sie dieses kurz. Welche Laufzeit hat es? Lösung [Zu 3.1] Die Präfix-Summation. Es lässt sich für n Eingabewerte und bei genügender Prozessorzahl, beispielsweise für n viele Prozessoren in log (n) Zeit lösen. (3 P) [Zu 3.2] Die Präfix-Summation kann mittels eines einzigen Aufrufes der Primitive MPI_SCAN berechnet werden. (5 P) [Zu 3.3.1] Nein, das stimmt nicht. (2 P) Auf den ersten Blick sieht das durchaus ähnlich wie die Präfixsummation ganzer Zahlen aus. Das stimmte allerdings nur dann, wenn man die Operation mit dem Ergebnis einer sortierten Liste als atomare Operation auffassen und das Ergebnis (eine sortierte Liste) wie einen einzelnen Ergebniswert behandeln kann könnte. (2 P) Tatsächlich geht das im PRAM-Modell nicht. Einerseits ist das Mergen zweier sortierter Teilfolgen zu einer sortierten Gesamtfolge keine atomare Operation (sie benötigt für beliebige Eingaben mehr als eine feste Anzahl paralleler Rechenschritte wie im Fall der Addition), andererseits ist das Ergebnis kein Einzelwert, sondern eine Liste. (2 P) Ein Einzelrechner benötigt für das Zusammenfügen zweier sortierter Teilfolgen zu einer sortierten Folge der Länge k nämlich den Aufwand O(k), und wenn beliebig viele Rechner eingesetzt werden dürfen, wird mindestens log (k) viele Schritte benötigt. (2 P) Betrachten wir Bitonisches Sortieren als mögliches Verfahren zur Lösung der Aufgabe: Beim Bitonischen Sortieren verdoppelt sich die Ergebnisfolge mit jedem Iterationsschritt, so dass nach log (n) vielen Schritten die gesamte Folge der Länge n sortiert ist. Für das Abspeichern einer Ergebnisfolge der Länge k sind schon k viele parallele Rechenschritte erforderlich (im Fall eines einzelnen Prozesses). Beim Bitonischen Sortieren geht das Sortieren und Abspeichern zwar Hand in Hand, dafür sind dann aber k viele Rechner ständig involviert. (4 P)

5 In MPI könnte man mittel MPI_OP_CREATE eine assoziative Operation für die Anwendung in der MPI_SCAN-Anweisung benutzen. Das Zusammenfügen zweier sortierter Teillisten zu einer sortierten Gesamtliste ist zwar assoziativ, allerdings ist diese Betrachtungsweise unfair. Einerseits wächst auch hier der Aufwand linear mit der Länge der Eingabefolgen, und andererseits werden die Ergebnisfolgen immer länger, womit auch die Nachrichtenpakete, die zwischen den Prozessen ausgetauscht werden müssen, immer länger werden. Bei wirklichen langen Eingabefolgen ist auch dieser Aufwand nicht mehr vernachlässigbar. (5 P) [Zu 3.3.2] Ein effizientes Verfahren, um obiges Problem zu lösen, kann es nicht geben. (2 P) Betrachten wir das Bitonische Sortieren als möglichen Kandidaten. Hier werden beginnend mit Listen der Länge 1, in jedem weiteren Iterationsschritt zwei gleich lange sortierte Folgen zu einer neuen doppelt so langen sortierten Folge verknüpft. (1 P) In der obigen Aufgabe ist jedoch nicht nur eine sortierte Gesamtliste aller n Zahlen zu erstellen, wie es das ursprüngliche Bitonische Sortierverfahren durchführt, sondern auch für alle k, 1 k n, die ersten k Glieder der Eingabefolge zu sortieren. Grundsätzlich können auch ungleichlange Teilfolgen zu einer sortierten Gesamtliste zusammengefügt werden, allerdings sind im Fall des bitonischen Sortierens zur Erstellung der Teilfolgen der Länge k alle k Prozessoren aktiv. Daher müssten die sortierten Teilfolgen nacheinander erzeugt werden und die parallele Laufzeit zur Bestimmung aller sortierten Teilfolge beträgt dann n(log(n)) 2, was zeigt dass das Bitonische Sortieren nicht geeignet wäre, um das obere Problem effizient zu lösen. (4 P)

6 Aufgabe 4: (25 Punkte) Gegeben ist ein Polynom p(x) = a n x n + a n 1 x n a 1 x 1 + a 0 über den Koeffizienten a 0, a 1,, a n. Zu berechnen ist der Wert p(x 0 ), also der Wert des Polynoms an der Stelle x 0. Hinweis: Die Auswertung eines Polynoms lässt sich wie folgt zerlegen (Die Operation / ist eine Division ohne Rest): wobei p(x 0 ) = x 0 (n+1)/2 p 1 (x 0 ) + p 2 (x 0 ) p 1 (x 0 ) = a n x 0 (n 1)/2 + + a (n+1)/2, p 2 (x 0 ) = a (n 1)/2 x 0 (n 1)/2 + + a 0 1. Geben Sie einen Berechnungsbaum zur parallelen Auswertung eines Polynoms vom Grad 7 an, und zwar des Polynoms p(x 0 ) = a 7 x a 6 x a 1 x a Geben Sie ein PRAM-Programm an, wobei sie der Einfachheit halber annehmen sollen, dass der Grad n des Polynoms p(x) eine Zweierpotenz minus eins ist, also n = 2 k 1 für eine ganze Zahl k. Verwenden Sie das Programm-Skelett von Aufgabe 2. Lösung: [Zu 4.1] (12 Punkte) [Zu 4.2] (13 Punkte) Algorithmus: Polynomauswertung (für Prozessor i) begin: end ; IN: A[0], A[1],, A[n] /* (n + 1) Koeffizienten des Polynoms, dabei (n + 1) ist eine Zweierpotenz) */ X[0] /* enthält die Stelle an der das Polynom ausgewertet wird */ X[1],,X[log (n + 1)] /* sind vorerst unbesetzt */ OUT:A[0] /* enthält den Resultatwert */ for j = 1 to log (n + 1) do endfor if (i == 0) then /* X[1],,X[log (n + 1)] speichern die Potenzen von x 0 */ endif; X[j] = X[j 1] X[j 1]; If (i < 2 log (n+1) j ) then endif A[i] = X[j 1] A[i + 2 log(n+1) j ] + A[i log(n+1) j ])