verschiedenen Recheneinheiten, die miteinander kommunizieren können

Transkript

1 Vorlesung 9 BALANCIERUNG DYNAMISCHER UNABHÄNGIGER LASTEN 293 Lastbalancierung Motivation Ein paralleles System besteht aus verschiedenen Recheneinheiten, die miteinander kommunizieren können Warum parallel rechnen? Daten passen nicht in den Speicher eines Rechners Rechnung zu aufwändig für einen Prozessor CPU image from [ Wann lohnt sich der Einsatz von Parallelität zur Reduktion der Rechenzeit? Anders gefragt: Wieviel Beschleunigung erhält man durch den Einsatz von p Prozessoren (gegenüber einem)? 294

2 Beschleunigung Def.: (Beschleunigung, Speedup) Sei T 1 (P(n)) die Laufzeit, mit der man ein Problem P der Größe n auf einem Prozessor lösen kann. Sei T p (P(n)) die Laufzeit, mit der man ein Problem P der Größe n auf p Prozessoren lösen kann. Beschleunigung (engl.: Speedup) S p (P(n)) = T 1 (P(n)) / T p (P(n)) So ähnlich... [ test_special/bilder/beschleunigung_380.jpg] Beispiel: T 1 (P(n)) = 30 Minuten, T 16 (P(n)) = 3 Minuten => S 16 (P(n)) = 10 Triviale obere Schranke: S p (P(n)) <= p Frage: Warum? 295 Amdahls Gesetz Obere Schranke p trivial, geht es schärfer? Intuition: Bei hohem sequentiellen Anteil helfen auch viele Prozessoren nicht Gene M. Amdahl Sei P der (perfekt) parallelisierbare Anteil eines Programms Amdahls Gesetz: S <= 1 / ((1-P) + P/p) [ image_gallery?uuid=adcd37fe-ac71-41e3-bf14-5ba60779c71d&groupid= &t= ] Beispiel: 80% parallelisierbar, 1024 Prozessoren => Maximale Beschleunigung: 1 / ((1-0,8) + 0,8/1024) 4,98 Also: Der sequentielle Anteil limitiert sehr stark! 296

3 Weitere Aspekte der Effizienz Def.: Effizienz E(P(n)) = S p (P(n)) / p Perfekte Effizienz: 1 oder 100% Fertigstellung bestimmt durch langsamsten Prozessor Beispielszenario: 2 Prozessoren, beide gleich schnell Aufteilung der Arbeitslast: 2/3 zu 1/3 Sequentielle Rechnung braucht 100 Minuten Problem hat perfekt parallelisierbaren Algorithmus Fragen: Wie lange braucht das parallele System zur Fertigstellung? Wie hoch ist die Beschleunigung, wie hoch die Effizienz? 297 Lastbalancierung Bei gleichmäßiger Verteilung der Arbeitslast: Fertigstellung nach 50 Minuten Speedup ist 2, Effizienz 100% Fazit: Gute Parallelisierung und Lastbalancierung wichtig für hohe Beschleunigung und Effizienz Betrachten daher nun einen Algorithmus zur Lastbalancierung 298

4 Szenario Synchrones System (gleicher Takt) Verteilter Speicher Prozessoren kommunizieren über Links mit Nachbarn Lasten beliebig aufteilbar (reelle Zahlen) Rechnertopologie darstellbar als Graph: Knoten: Prozessoren (processing elements) Kanten: Kommunikationsverbindungen (links) Problemstellung und Lösungsverfahren Gesucht: Verteilter Algorithmus, der die Last balanciert möglichst gut dabei vorgeht und nur lokale Kommunikation erfordert Algorithmus Diffusionsverfahren Knoten kommunizieren lokal und rundenweise Migrationskosten beweisbar gering Erfordert prinzipiell teilbare Lasten Ähnlich: Dimension Exchange Nur eine Nachbarkommunikation pro Knoten und Runde Darstellbar und analysierbar mit linearer Algebra 300

5 Prof. Dr. Henning Meyerhenke Fakultät für Informatik Diffusion im Graphen Diffusion: Bestreben eines Stoffes, sich im Raum auszubreiten Diffusionsoperator beschreibt Prozess, in dem ein Stoff zwischen einem Knoten und seinen Nachbarn ausgetauscht wird Verwandt mit Irrfahrten (Random Walks) Starte auf einem beliebigen Knoten v Gehe zu einem Nachbarn von v, der zufällig gleichverteilt gewählt wird Iteriere das Verfahren, bis Abbruchbedingung (variiert) erfüllt 301 Notwendige Strukturen x(k): Allgemein Vektor x in Iteration k, startet bei 0 xv: Allgemein Wert des Vektors x am Knoten v w: Lastvektor, Länge n y: Flussvektor, beschreibt Fluss der Lasten, Länge m w : Vektor der balancierten Lasten, Länge n B: Knoten-Kanten-Inzidenzmatrix L = D-A = BBT: Laplace-Matrix M = I - α L: Diffusionsmatrix 302

6 Wiederholung Definition 4: Laplace-Matrix L von G =(V, E): 8 < Knotengrad von v : v = w l v,w = 1 : v 6= wund{v, w} 2 E : 0 : sonst Satz 5: L hat n unterschiedliche Eigenvektoren z 1,...,z n 2 R n,dieinr n eine Basis bilden. Es gilt z i? z j für alle 1 apple i 6= j apple n. Die Eigenwerte 1,..., n 2 R n liegen alle zwischen 0 und 2d max. 0 ist ein einfacher Eigenwert von L genau dann, wenn L zusammenhängend ist. Definition 6: Die ungewichtete Knoten-Kanten-Inzidenzmatrix B 2 { 1, 0, +1} V E von G =(V, E) enthält für alle Kanten e =(u, v) in der zu e korrespondierenden Spalte die Einträge 1 und +1 in den Zeilen u und v. AlleanderenEinträge der Spalte sind 0. Lemma 7: Es gilt: L = BB T. 303 Beispiel n B T m B n L m 304

7 Exkurs 1: Diffusion per LGS Das vorgestellte Diffusionsverfahren arbeitet lokal Motivation: Kommen wir bei zentraler Berechnung schneller an die Lösung? Gesucht: Flussvektor y, so dass gilt: y balanciert, d. h. w (0) By = w (w balancierte Last) y 2 minimal unter allen balancierenden Flüssen Herleitung: Siehe Tafel 306 Exkurs 2: Elektrische Netzwerke Jede Kante e hat einen Widerstand 1/w e Stromzufluss und -abfluss bezogen aufs System bestimmt durch rechte Seite Jeder Knoten i hat ein Potential z i Stromfluss zwischen Knoten i und j: (z i z j )w ij Potential berechenbar durch LGS mit Laplace-Matrix 307

8 Beispiel Diffusionsverfahren erster Ordnung Lastbalancierungsproblem: Zum Zeitpunkt 0 verfügt ein Knoten v i über eine Last w i. Zu berechnen ist ein Fluss y über die Kanten des Graphen, so dass nach Verschiebung der Lasten gemäß des Flusses jeder Knoten die balancierte Last P n i=1 w i/n erhält. 1 Sei = max{1 2, 1 n }, wobei der sog. Di usionsparameter ist 2 0,. dmax Diffusionsverfahren: 1. for all i, j set w (0) i = w i and y (0) 2. for k := 1 to O log(1/") do { 3. for all nodes v i in parallel do { 4. w (k) (k 1) i = w i P v j 2N(v i ) 5. for all v j 2 N(v i ) set y (k) i,j 6. } 7. } 1 i,j =0; 1) (k 1) (w(k i w j ); 1) (k 1) (k 1) = y(k i,j + (w i w j ); 309 Henning Meyerhenke Karlsruher Institut für Technologie SS

9 Beispiellösung 3x3-Torus, siehe Tafel! 310 Eigenschaften der Diffusion P ni=1 w i Definition 8: Sei w der balancierte Lastvektor mit w i = n (1,...,1) T und (k) = w. Die Lastsituation in einem Graphen G =(V, E) heißt "-balanciert gdw. w (k) k (k) k 2 k (0) k 2 apple ". Satz 9: Das Diffusionsverfahren berechnet eine Last w (k) 2 R n mit der Eigenschaft Nach O log(1/") 1 w (k) w 2 2 apple 2k w (0) w 2 2. Schritten ist die Lastsituation "-balanciert. Lemma 10: Seien G ein Graph, w (0) die initiale Lastsituation in G und z i die Eigenvektoren der Laplacematrix von G. Seien 1,..., n 2 R mit w (0) = P n i=1 iz i. Dann gelten: (i) w = 1 z 1 und (ii) (0) = nx i=2 iz i 311

10 Konvergenz und minimaler Fluss Definition 11: Ein Fluss-Vektor y heißt l 2 -minimal, wenn y 2 = min{ x 2 x balanciert die Last in G mit initialem Lastvektor w}. Satz 12: Das Diffusionsverfahren berechnet einen l 2 -minimalen Fluss y 2 R m, wobei m die Anzahl der Kanten in G darstellt. Bemerkung 13: Das Diffusionsverfahren kann durch Berücksichtigung der vorletzten Iteration auf einfache Weise so abgewandelt werden, dass die Lastsituation bereits nach O log(1/") p 1 Schritten "-balanciert ist. Darüber hinaus gibt es weitere Verfahren mit noch deutlich besserem Konvergenzverhalten. Dazu benötigt man die Eigenwerte der Laplace-Matrix des Graphen. 312 Zusammenfassung Grundbegriffe: Beschleunigung, Effizienz, Amdahls Gesetz Lastbalancierung sehr wichtig für parallele Effizienz Diffusionsverfahren erster Ordnung: Lokaler Lastaustausch Schranke für Anzahl der Iterationen Berechneter Fluss minimal in der l 2 -Norm Nicht im Detail: Genauere Kenntnisse über die Eigenwerte des Graphen erlauben schnellere Konvergenz 314