Automatisches Parallelisieren

Transkript

1 Automatisches Parallelisieren Vorlesung im Wintersemester 2010/11 Eberhard Zehendner FSU Jena Thema: Ablaufplanung mit unbeschränkten Ressourcen Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 1 / 30

2 Zeitliche Ordnung sequenzieller Programme Sequenzielles Programm Ein sequenziell ablaufendes Programm induziert auf den von ihm erzeugten Aufträgen eine lineare zeitliche Ordnung Definition (lineare zeitliche Ordnung <) Für Aufträge s i 6= s j gilt genau eine der folgenden Eigenschaften: Ausführung von s i endet, bevor Ausführung von s j beginnt (s i < s j ) Ausführung von s j endet, bevor Ausführung von s i beginnt (s j < s i ) Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 2 / 30

3 Präzedenzrelation für sequenziell erzeugte Aufträge Abschwächung der linearen Ordnung Erzwungene lineare Ordnung wird unter Beachtung aller Datenabhängigkeiten zur Präzedenzrelation abgeschwächt Beibehaltung der bisherigen Reihenfolge für alle abhängigen Auftragspaare ausreichend Definition (Präzedenzrelation ) s i s j, s i < s j ^ s i? s j Folgerung (semantische Äquivalenz trotz Abschwächung) In jeder sequenziellen Ordnung der Aufträge, die alle Präzedenzen s i s j enthält, erfolgen die Zugriffe auf gemeinsame Speicherobjekte in derselben Reihenfolge wie in der ursprünglichen linearen Ordnung Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 3 / 30

4 Transitive Vervollständigung der Präzedenzrelation Induzierte Präzedenzen u v und v w bedeutet, dass u vollständig vor v auszuführen ist, v vollständig vor w Impliziert, dass auch u vollständig vor w auszuführen ist Deshalb kann Präzedenz u w ergänzt werden (muss aber nicht) Transitive Vervollständigung der Präzedenzrelation durch Bildung der transitiven Hülle Definition (transitive Hülle + ) + = 1[ k=1 k mit 1 = und k = f(u; w) : 9v; (u; v) 2; (v; w) 2 k 1 g Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 4 / 30

5 Ausschälen der Präzedenzrelation Weglassen von Präzedenzen fu v; v w; u wg hinsichtlich Serialisierung redundant u w evtl. weglassen, da Wirkung aus u v und v w folgt Graduelles Ausschälen liefert Relation T mit T T + Kleinstmögliches T existiert (Kern der Präzedenzrelation) Definition (Kern der Präzedenzrelation ) kern() = n 1[ k=2 k Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 5 / 30

6 Fiktive Präzedenzen Willkürliche Einschränkung der Präzedenzrelation Präzedenzrelation um optionale Präzedenzen ergänzbar Ergänzung ist widerspruchsfrei, wenn sich keine zirkulären Präzedenzen durch transitive Vervollständigung ableiten lassen Definition (widerspruchsfreie Ergänzung der Präzedenzrelation) Ergänzung von durch Relation R ist widerspruchsfrei genau dann, wenn es keinen Auftrag u mit (u; u) 2 ( [ R) + gibt Folgerung Statt Relation kann jede Relation T mit kern() T ( [ R) + verwendet werden Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 6 / 30

7 Präzedenzgraphen Graphische Repräsentation von Präzedenzen System von Aufträgen mit einer zwischen ihnen bestehenden Präzedenzrelation abstrakt dargestellt durch Präzedenzgraph Definition (Präzedenzgraph) Präzedenzgraph ist gerichteter azyklischer Graph G = (V ; E), wobei Knoten v 2 V für einen bestimmten Auftrag steht Kante e = (u; v) 2 E V V Präzedenz u v ausdrückt Einschränkung V bis auf Weiteres als endlich vorausgesetzt Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 7 / 30

8 Gewichteter Präzedenzgraph Latenzen Ergänzung eines Präzedenzgraphen durch Funktion : V! N liefert gewichteten Präzedenzgraphen G = (V ; E; ) (v) beschreibt Ausführungsdauer (Latenz) des Auftrags v Latenz (v) wird als fest und bekannt vorausgesetzt Modell simplifiziert reale Welt, in der (v) durchaus variieren kann Bemerkung Festlegung der Ausführungsdauer auf nicht negative ganzzahlige Werte keine Einschränkung Ausführungsdauer grundsätzlich nicht negative rationale Zahl Kann wegen Endlichkeit von V zu nicht negativer ganzer Zahl skaliert werden Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 8 / 30

9 Präzedenzgraphen zu Beispiel 1 ungewichtet einheitliche Latenz differierende Latenzen Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 9 / 30

10 Ablaufplanung Zeitliche Ordnung Ablaufplan (Schedule) regelt Anordnung der Aufträge in der Zeit Ablaufplan gibt zu jedem Auftrag den Beginn der Ausführung an Definition (Ablaufplan) Funktion : V! N heißt Ablaufplan eines Präzedenzgraphen G = (V ; E; ) Definition (Abhängigkeitsbedingungen) (u) + (u) (v) für alle (u; v) 2 E Bemerkung Gegen- und Ausgabeabhängigkeiten können auf dem Niveau strikter Präzedenzen nicht von Flussabhängigkeiten unterschieden werden Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 10 / 30

11 Notwendigkeit der Abhängigkeitsbedingungen Satz (zulässiger Ablaufplan) Ablaufplan hat (u) + (u) (v) für alle (u; v) 2 E zu erfüllen Beweis. Präzedenz u v entspricht Kante (u; v) des Präzedenzgraphen Ausführung des Auftrags u beginnt zur Zeit (u) u besitzt eine Ausführungsdauer von (u) Ausführung von u endet damit zur Zeit (u) + (u) Ausführung von v darf somit nicht vor (u) + (u) beginnen Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 11 / 30

12 Abhängigkeitsbedingungen auch hinreichend? Satz (Vollständigkeit der Abhängigkeitsbedingungen) Abhängigkeitsbedingungen hinreichend für sequenzielle Semantik und für asynchrone Semantik mit unbeschränkten Ressourcen Beweis. Für u v beginnt v nicht vor (u) + (u) In sequenzieller Semantik keine weiteren Einschränkungen In asynchroner Semantik weitere Bedingungen nur durch Ressourcenbeschränkungen Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 12 / 30

13 Abhängigkeitsbedingungen und Datenparallelität Weitere Bedingungen nötig Abhängigkeitsbedingungen nicht hinreichend für datenparallele Semantik Datenparalleles Modell erzwingt weitere Einschränkungen durch Synchronisation der Gruppen von Aufträgen Beispiel (Datenparallelität ohne Ressourcenbeschränkungen) V = fa; B; C; Dg E = f(a; D); (B; C); (C; D)g (A) = 2; (B) = (C) = (D) = 1 (A) = (B) = 0; (C) = 1; (D) = 2 in asynchroner Semantik zulässiger Ablaufplan In datenparalleler Semantik würden laut diesem Ablaufplan A und B in derselben Gruppe liegen; C könnte erst nach Beendigung dieser Gruppe ausgeführt werden, ein Widerspruch zu (C) = 1 Konsequenz: datenparallel werden mindestens 4 Zeiteinheiten benötigt, asynchron nur 3 Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 13 / 30

14 Transitive Vervollständigung und Ablaufpläne Transitive Vervollständigung optional Transitive Vervollständigung einer Präzedenzrelation unschädlich Ablaufplan für den zu gehörenden gewichteten Präzedenzgraphen auch Ablaufplan für den zu + gehörenden gewichteten Präzedenzgraphen (und umgekehrt) Bemerkung Aufwand für Bestimmung bzw. Überprüfung eines Ablaufplans zu + in der Regel höher als für Ablaufplan zu Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 14 / 30

15 Transitive Vervollständigung unschädlich Satz (Ablaufpläne und transitive Hülle) Die Mengen der Ablaufpläne auf bzw. + stimmen überein Beweis. Zu u + w Pfad (u; v 1 ; : : : ; v k ; w) von u nach w in G = (V ; E) Für jeden Ablaufplan zu gilt: (w) (v k ) + (v k ) (v k 1 ) + (v k 1 ) + (v k ) : : : (u) + (u) + Da (v i ) nicht negativ, folglich auch (w) (u) + (u) Ablaufplan gilt also auch für + Umkehrung erfüllt, da mit u w auch u + w gilt kx i=1 (v i ) Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 15 / 30

16 Ablaufplanung und zyklenfreie Graphen Topologisches Sortieren Präzedenzgraph laut Definition stets zyklenfrei Knoten topologisch in Liste (v 1 ; v 2 ; : : : ; v k ) sortierbar, Start mit Knoten ohne Vorgänger Für alle v i v j gilt dann i < j Satz (Existenz von Ablaufplänen) Jeder gewichtete Präzedenzgraph erlaubt mindestens einen Ablaufplan Beweis. Sequenzieller Ablaufplan über topologischer Sortierung: (v 1 ) = 0 (v i ) = (v i 1 ) + (v i 1 ) Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 16 / 30

17 Aufträge, Berechnungsressourcen und Parallelität Konkurrenz um Ressourcen Auftrag benötigt zur Durchführung Berechnungsressourcen (Prozessor, Funktionseinheit, Register, etc.) Aufträge konkurrieren untereinander um passende Ressourcen Parallele Ausführung der Aufträge über Datenabhängigkeiten hinaus dadurch weiter eingeschränkt Definition (unbeschränkte Ressourcen) Wir sprechen von unbeschränkten Ressourcen, wenn so viele davon vorhanden sind, dass keine Einschränkung der Parallelität resultiert Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 17 / 30

18 Allokation und Bindung Bindung Ressource für bestimmte Zeit an Auftrag gebunden: Funktionseinheit während eigentlicher Ausführungsphase Register vom Schreiben bis zum letztmaligen Lesen des Werts Allokation Nicht permanent verfügbare Ressource vor Bindung zuteilen: Verteiltes System oder Prozessornetzwerk kooperativ nutzen Register evtl. für Kontext umfassender Blöcke zurückhalten (globale Variablen) Funktionseinheiten dagegen normalerweise fest zugeteilt Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 18 / 30

19 Gesamtausführungsdauer eines Ablaufplans Definition (Gesamtausführungsdauer) () = maxf(v) + (v)g minf(v)g v2v v2v ist Gesamtausführungsdauer des Ablaufplans für Präzedenzgraph G = (V ; E; ) Interpretation Gesamtausführung dauert vom Beginn des ersten Auftrags bis zum Ende des letzten Auftrags Ohne Einschränkung künftig vorausgesetzt: erster Auftrag beginnt zum Zeitpunkt t = 0 Definition vereinfacht sich zu () = maxf(v) + (v)g v2v Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 19 / 30

20 Untere Schranken für die Gesamtausführungsdauer Gesamtausführungsdauer beschränkt Auch für unbeschränkte Ressourcen () nicht beliebig klein Trivial: () max v2v (v) Bessere Abschätzung durch Betrachtung von Präzedenzpfaden Definition (Latenz eines Pfads) ( ) = (v 1 ; v 2 ; : : : ; v k ) = kx i=1 (v i ) für Pfad = (v 1 ; v 2 ; : : : ; v k ) Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 20 / 30

21 Beschränkung durch kritische Pfade Satz (Scheduling-Schranke) () ( ) für alle Pfade in G Beweis. = (v 1 ; v 2 ; : : : ; v k ) Pfad in G X k 1 (v k ) (v k 1 ) + (v k 1 ) : : : (v 1 ) + (v i ) () = max v2v f(v) + (v)g (v k ) + (v k ) () (v 1 ) + kx i=1 (v i ) kx i=1 (v i ) = ( ) i=1 Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 21 / 30

22 Optimierung der Gesamtausführungsdauer Ziele der Ablaufplanung mit unbeschränkten Ressourcen Ablaufplan minimaler Gesamtausführungsdauer Ablaufplan vorgegebener Gesamtausführungsdauer Definition (minimale Gesamtausführungsdauer) opt (1) = min () (dabei zulässig, passend zur gewählten Semantik) Definition (optimaler Ablaufplan) Ablaufplan optimal, wenn () = opt (1) Bemerkung opt (1) ist abhängig vom Semantikmodell Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 22 / 30

23 Ist die Scheduling-Schranke scharf? Scheduling-Schranke in asynchroner Semantik scharf Jeder zulässige Ablaufplan in asynchroner Programmsemantik mit unbeschränkten Ressourcen ohne weitere Einschränkungen realisierbar Schranke zum Beispiel durch ASAP-Schedule erreichbar Scheduling-Schranke und datenparallele Semantik Synchronisieren der Gruppen unterbricht Lauf längs Pfad Gegenbeispiel, wie vorne gezeigt Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 23 / 30

24 Einige graphentheoretische Definitionen Definition Zu Präzedenzgraphen G = (V ; E) definieren wir: Menge der direkten Vorgänger von v: PRED(v) = fu : (u; v) 2 Eg Menge der direkten Nachfolger von u: SUCC(u) = fv : (u; v) 2 Eg v ist ein Eintrittsknoten, falls PRED(v) = ; u ist ein Austrittsknoten, falls SUCC(u) = ; Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 24 / 30

25 Vorlaufzeit und Restlaufzeit Definition (Vorlaufzeit) Vorlaufzeit vl(v) eines Knotens v: längste Ausführungsdauer ( ) eines Pfads von einem Eintrittsknoten zu einem direkten Vorgänger von v Rekursionsformeln für Vorlaufzeit vl(v) = 0 für jeden Eintrittsknoten v vl(v) = maxfvl(u) + (u) : u 2 PRED(v)g sonst Definition (Restlaufzeit) Restlaufzeit rl(v) eines Knotens v: längste Ausführungsdauer ( ) eines Pfads von v zu einem Austrittsknoten Rekursionsformeln für Restlaufzeit rl(u) = (u) für jeden Austrittsknoten u rl(u) = (u) + maxfrl(v) : v 2 SUCC(u)g sonst Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 25 / 30

26 Die ASAP-Strategie ASAP (as soon as possible) Vorlaufzeit eines Knotens ist frühester Zeitpunkt, zu dem Ausführung des zugehörigen Auftrags beginnen kann Vorlaufzeit induziert daher optimalen Ablaufplan free (v) = vl(v) (free schedule, ASAP schedule) Satz (Optimalität des ASAP-Schedules) free (v) = vl(v) ist ein optimaler Ablaufplan für asynchrone Semantik Beweis. Für alle (u; v) 2 E folgt u 2 PRED(v) und daraus free (v) = vl(v) = maxfvl(w) + (w) : w 2 PRED(v)g vl(u) + (u) = free (u) + (u) Also free zulässiger Ablaufplan Ausführung eines Auftrags beginnt unmittelbar nach Ende der Ausführung aller direkten Vorgängeraufträge Ablaufplan folgt Pfaden im Präzedenzgraphen free erreicht Scheduling-Schranke, damit optimal Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 26 / 30

27 Konsequenzen der ASAP-Strategie Folgerung (optimale asynchrone Gesamtausführungsdauer) opt (1) = ( free ) = maxfvl(v) + (v)g v2v Folgerung (Scheduling-Schranke scharf) opt (1) in asynchroner Semantik ist längste Ausführungsdauer ( ) eines Pfads durch den Präzedenzgraphen Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 27 / 30

28 Die ALAP-Strategie ALAP (as late as possible) Restlaufzeit eines Knotens ist vom Beginn der Ausführung des zugehörigen Auftrags bis zum Ende der gesamten Berechnung mindestens noch zu durchlaufende Zeit Aus opt (1) und Restlaufzeit wird weiterer optimaler Ablaufplan late (v) = opt (1) rl(v) für asynchrone Semantik abgeleitet Ausführung eines Auftrags wird so spät wie für optimalen Ablaufplan gerade noch möglich begonnen Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 28 / 30

29 Weitere optimale Ablaufpläne Notwendige Bedingung für optimale Ablaufpläne Neben free und late evtl. weitere optimale Ablaufpläne Für diese gilt free (v) (v) late (v) 8v 2 V Beispiel (Bedingung notwendig, aber nicht hinreichend) Auftrag ASAP ALAP kein Ablaufplan A B C D Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 29 / 30

30 Berechnungskomplexität der Ablaufplanung Definition (Scheduling-Problem) SCHEDULE(1) ist das Problem, zu einem gewichteten Präzedenzgraphen einen optimalen Ablaufplan zu bestimmen und opt (1) zu berechnen Satz (Zeitkomplexität von SCHEDULE(1)) Die Zeitkomplexität von SCHEDULE(1) beträgt O(jV j + jej) für asynchrone Semantik Beweis. opt (1) in O(jV j) aus Vorlaufzeit berechenbar Vorlaufzeit (und damit free ) in O(jV j + jej) bestimmbar Restlaufzeit und late in O(jV j + jej) bestimmbar Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Ablaufplanung 30 / 30