Automatisches Parallelisieren

Transkript

1 Automatisches Parallelisieren Vorlesung im Wintersemester 2010/11 Eberhard Zehendner FSU Jena Thema: Datenabhängigkeitsanalyse Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Datenabhängigkeitsanalyse 1 / 16

2 Konkrete Berechnungsaufgaben: Abstraktion tut Not Der Begriff des Auftrags Hinter dem abstrakten Begriff des Auftrags lassen sich viele verschiedene konkrete Berechnungsaufgaben verstecken. Ein Auftrag könnte im Kontext der Vorlesung beispielsweise sein einzelne Anweisung eines Hochsprachenprogramms einzelner Befehl in einem Maschinenprogramm einzelner Maschinenbefehl in einem Befehlsstrom... im weiteren Sinne aber auch einzelne Rechenoperation Teiloperation einer Rechenoperation Teilaufgabe innerhalb der Ausführung eines Maschinenbefehls Ausführung eines beliebig komplexen Prozesses (job, task, process, thread) Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Datenabhängigkeitsanalyse 2 / 16

3 Durch ein Programm erzeugte Aufträge Beispiel 1 (Lösung eines linearen Gleichungssystems Ax = b) A 2 R (n;n) nicht singuläre untere Dreiecksmatrix. Vektoren b; x 2 R n. DO i = 1, n s i ;i : x(i) = b(i) / a(i, i) DO j = i + 1, n s i ;j : b(j) = b(j) - a(j, i) * x(i) Herkunft und Bedeutung der Aufträge Aufträge s i ; entstehen in der i-ten Iteration der äußeren Schleife s i ;i leistet die Berechnung von x(i) s i ;j mit j > i bewirkt durch Rücksubstitution von x(i) eine Reduktion des Gleichungssystems Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Datenabhängigkeitsanalyse 3 / 16

4 Statische Programmanalyse Prinzipien der statischen Analyse betrachtet nur Programmtext (keine Daten) abstrahiert von konkreter Bedeutung der Operationen Konsequenzen für die Durchführung der Analyse erhebliche Vereinfachung evtl. Genauigkeitsverlust Definition (konservative Analyse) bestehende Abhängigkeiten müssen berücksichtigt werden fiktive Abhängigkeiten dürfen hinzugenommen werden Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Datenabhängigkeitsanalyse 4 / 16

5 Annahmen für statische Analyse: Pfade Pfade im Kontrollflussgraphen Alle Pfade in einem Kontrollflussgraphen werden als mögliche Programmabläufe angesehen. Beispiel (fiktive Pfade) IF(B) S1 IF(NOT B) S2 Dabei werde einfache Variable B nicht von Block S1 verändert. Kontrollflussgraph enthält zwei fiktive Pfade. Faktisch keine Abhängigkeiten zwischen Blöcken S1 und S2. Analyse kann aber solche Abhängigkeiten vorspiegeln. Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Datenabhängigkeitsanalyse 5 / 16

6 Annahmen für statische Analyse: Operationen Abstraktion von Aufträgen Kenntnis über konkreten Auftrag s beschränkt sich auf Angabe des von s benutzten Speichers. Definition (Speicherobjekte) In(s) = Menge der von s gelesenen Speicherobjekte Out(s) = Menge der von s beschriebenen Speicherobjekte Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Datenabhängigkeitsanalyse 6 / 16

7 Annahmen für statische Analyse: Speicherobjekte Speicherobjekt ist zum Beispiel... eine einzelne Speicherzelle ein zusammenhängender Speicherblock der gesamte Speicher ein Register ein Kommunikationskanal, der Daten von einem Auftrag zum anderen transportiert Hinweis Lokaler Speicher, auf dem während der gesamten Programmausführung lediglich ein Auftrag arbeitet, kann dabei außer Betracht bleiben. Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Datenabhängigkeitsanalyse 7 / 16

8 Die Bernstein-Bedingungen Definition (unabhängige Aufträge) Aufträge s i, s j heißen unabhängig (s i k s j ), wenn alle Bernstein-Bedingungen gelten: Out(s i ) \ In(s j ) = ; In(s i ) \ Out(s j ) = ; Out(s i ) \ Out(s j ) = ; Folgerung (Unabhängigkeit ist symmetrische Relation) s i k s j, s j k s i Interpretation Sind zwei Aufträge unabhängig, kann keiner der beiden das Ergebnis der Berechnung des jeweils anderen beeinflussen wie auch immer der zeitliche Ablauf ihrer Ausführung sein mag. Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Datenabhängigkeitsanalyse 8 / 16

9 Aufträge im Konflikt Definition (Konflikt) Die Konfliktrelation ist das Komplement der Unabhängigkeitsrelation: s i und s j stehen in Konflikt (s i? s j ) genau dann, wenn : (s i k s j ) Folgerung (Konflikt ist symmetrische Relation) s i? s j, s j? s i Interpretation Ein Konflikt s i? s j bewirkt eine Datenabhängigkeit, wenn eine feste zeitliche Reihenfolge zwischen s i und s j besteht. Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Datenabhängigkeitsanalyse 9 / 16

10 Klassifizierung von Datenabhängigkeiten Definition (Datenabhängigkeit) s j ist von s i abhängig (s i! s j ) genau dann, wenn s i und s j in Konflikt stehen (s i? s j ) und s i vor s j ausgeführt werden soll (s i < s j ) Klassen von Datenabhängigkeiten Die drei Teilprädikate der Bernstein-Bedingungen verweisen auf die unterschiedlichen Ursachen einer Datenabhängigkeit: Flussabhängigkeit: Out(s i ) \ In(s j ) 6= ; Gegenabhängigkeit: In(s i ) \ Out(s j ) 6= ; Ausgabeabhängigkeit: Out(s i ) \ Out(s j ) 6= ; Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Datenabhängigkeitsanalyse 10 / 16

11 Flussabhängigkeit: Out(s 1 ) \ In(s 2 ) 6= ; Beispiel s 0 : x=1 s 1 : x=2 s 2 : y=x Charakteristika Zu lesender Wert (hier 2) muss zuvor erzeugt werden (Kausalität). Dies ist die einzige Form von Datenabhängigkeit in Programmen mit Einmal-Zuweisungseigenschaft. Jede Variable steht dort für genau einen Wert. Beispiel (Fortsetzung: Fehlerhafte Vertauschung) s 0 : x=1 s 2 : y=x s 1 : x=2 Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Datenabhängigkeitsanalyse 11 / 16

12 Gegenabhängigkeit: In(s 1 ) \ Out(s 2 ) 6= ; Beispiel s 0 : x=1 s 1 : y=x s 2 : x=2 Charakteristika Zu lesender Wert (hier 1) darf nicht überschrieben werden. Durch Umbenennung von Programmvariablen auflösbar: Beispiel (Fortsetzung) s 0 : x=1 s 1 : y=x s 2 : z=2 Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Datenabhängigkeitsanalyse 12 / 16

13 Ausgabeabhängigkeit: Out(s 1 ) \ Out(s 2 ) 6= ; Beispiel s 1 : x=1 s 2 : x=2 Charakteristika Produzierter Wert (hier 2) darf nicht überschrieben werden. Durch Umbenennung von Programmvariablen auflösbar: Beispiel (Fortsetzung) s 1 : x=1 s 2 : z=2 Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Datenabhängigkeitsanalyse 13 / 16

14 Approximationsfehler durch Bernstein-Bedingungen Die Bernstein-Bedingungen sind konservativ Aufträge s i k s j sind in beliebiger Reihenfolge (auch parallel oder überlappt) ausführbar. Die Bernstein-Bedingungen sind evtl. zu pessimistisch Bernstein-Bedingungen abstrahieren von konkreten Operationen Out( ), In( ) basieren auf jeweiliger Speicherabstraktion Auftragspaare in Konflikt (s i? s j ) evtl. trotzdem in beliebiger sequenzieller Reihenfolge ausführbar (sog. Interleavingparallelität) Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Datenabhängigkeitsanalyse 14 / 16

15 Bernstein-Bedingungen zu pessimistisch Beispiel (Interleavingparallelität nicht erkannt) Für s 1 : x=x+1 und s 2 : x=x-1 gilt s 1 ; s 2 s 2 ; s 1, wenn eine zirkuläre Arithmetik (wie z. B. in der Programmiersprache C) vorausgesetzt wird. Die statische Analyse reduziert die Bedeutung von s 1 und s 2 auf In(s 1 ) = Out(s 1 ) = In(s 2 ) = Out(s 2 ) = x, woraus s 1? s 2 folgt. Aus Sicht der statischen Analyse ist es dann nicht mehr möglich, eine beliebige Reihenfolge der Aufträge zu wählen, da auch die Aufträge s 1 : x=x+1 und s 2 : x=2*x zu In(s 1 ) = Out(s 1 ) = In(s 2 ) = Out(s 2 ) = x führen, aber nicht s 1 ; s 2 s 2 ; s 1 gilt. Hinweis Aus der Interleavingparallelität zweier Aufträge folgt noch nicht, dass diese parallel ausgeführt werden können. Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Datenabhängigkeitsanalyse 15 / 16

16 Speicherabstraktion beeinflusst Analysegenauigkeit Beispiel (Voraussetzung: Alias-freie Variablennamen) s 1 : A(I)=X s 2 : A(I+1)=Y s 3 : Z=B(J) Ausmaß fiktiver Konflikte folgt Granularität des Speichermodells einzelne Speicherzelle: keine Konflikte Speicherblöcke A und B: Konflikt zwischen s 1 und s 2 Gesamtspeicher: Konflikte zwischen allen drei Anweisungen Eberhard Zehendner (FSU Jena) Automatisches Parallelisieren Datenabhängigkeitsanalyse 16 / 16