Automatische SIMD Parallelisierung 23. Mai 2005

Transkript

1 Automatische SIMD Parallelisierung von eingebetteten Anwendungen basierend auf Mustererkennung Seminararbeit von nach [1] Universität Karlsruhe (TH), Fakultät für Informatik, IPD Goos, Einleitung Da Menschen eher sequentiell denken ist es für einen Programmierer mühsam parallel arbeitende SIMD Anweisungen voll auszuschöpfen. Im Idealfall sollte ein guter Compiler automatisch sequentielle Anweisungen in parallele übersetzen. Aus diesem Grund wurde ein Versuch gestartet der aufzeigen soll, wie hoch die Chancen eingeschätzt werden, durch eine automatische Parallelisierung SIMD-Anweisungen zu verwenden. Um sequentielle Anweisungen automatisch ersetzen zu können, soll ein Transformations- Tool (CTT) die Anzahl aller parallelisierbaren Schleifen ermitteln, diese Zahl wird verglichen mit der Anzahl der Schleifen die nach manueller Überprüfung tatsächlich für eine SIMD- Parallelisierung geeignet sind. 2 Code Transformation mit CTT Das Code-Transformation-Tool CTT wird mit Hilfe einer von ANSI C abgeleiteten Sprache programmiert und überarbeitet den Programmcode in drei Schritten: 1. Überprüfung auf Musterübereinstimmung: CTT durchsucht den Programmcode nach Code-Fragmenten mit bestimmten (für die Parallelisierung notwendigen) Strukturen. 2. Überprüfung der Rahmenbedingungen: Das gefundene Code-Fragment wird zum Beispiel auf Datenabhängigkeiten oder bestimmte Eigenschaften der Schleifenvariablen hin untersucht. 3. Ergebnis und Transformation: Gefundene Code-Fragmente, welche den Rahmenbedingungen im zweiten Punkt entsprechen, werden durch neuen Code ersetzt, welcher die gleiche Semantik besitzt wie der ursprüngliche Code. Die Sprache, welche für CTT verwendet wird, richtet sich an diesen drei Schritten aus. Sie beinhaltet in ihrer Struktur die drei Abschnitte PATTERN, CONDITIONS und RESULT. Die Sprache wurde von ANSI C abgeleitet, aus diesem Grund könnnen alle C-Sprach-Konstrukte zur Beschreibung einer Transformation benutzt werden. Die Transformationssprache wurde desweiteren um einige Elemente erweitert (z.b: STMT für eine beliebige Anweisung oder EXPR für einen beliebigen Ausdruck) da die Programmierung sonst zu eingeschränkt wäre. Seite 1

2 2.1 Beispiel für die Eingabe eine SIMD Transformation Bei diesem Experiment wurden Schleifen verarbeitet, welche Vektorpunkte multiplizieren (vectordot product loop). Diese Schleifen werden bei vielen signalverarbeitenden Anwendungen verwendet. 1. PATTERN{} Musterübereinstimmung Man geht von FOR-Schleifen aus, welche in einer Vorverarbeitung normalisiert wurden und wohldefinierte Grenzen besitzen. Im Rumpf erwartet man zwei Anweisungsfolgen sowie eine Anweisung die als Marker-Element dient (welche immer vor der Multiplikation steht) und die Multiplikation von zwei 16Bit vorzeichenbehafteten Integerwerten. Das Markerelement wird benötigt um sich später auf den zu ersetzenden Ausdruck beziehen zu können. 2. RESULT{} Der Ergebnisblock Der Ergebnisblock beginnt mit der Erstellung und Definition einiger temporären Variablen. Die erste, dritte und vierte Schleife im Beispiel ersetzt die Anweisungslisten vor und nach dem parallelisierbaren Ausdruck. 3. CONDITIONS{} Der Bedingungsblock Überprüft werden die obere Grenze des Schleifenindexes (welche konstant sein muss) und Abhängigkeiten in unterschiedlichen Teilen des Schleifenrumpfs (STMTLIST(2) darf nicht von STMTLIST(1) abhängen). Seite 2

3 Die Transformation ist eine Kombination aus Schleifenfusion und der Konvertierung einer Schleife mit einfachen Anweisungen zu einer Schleife mit SIMD-Anweisungen. Zur Vereinfachung wurde das Problem von nicht ausgerichtetem Speicher und leeren Anweisungen ignoriert und nur mit Variablen des Typs Integer gerechnet. Das Verfahren sollte mehrfach wiederholt angewendet werden, da parallelisierter Code immer noch Anweisungen enthalten kann, welche durch SIMD Anweisungen ersetzt werden können. 3 Rahmenbedingungen des Versuchs Es wurden zwei verschiedene Arten der Parallelisierung verwendet. Eine mit und eine ohne Reduktion im Schleifenrumpf. Jeweils eine Transformation für Additionen, Subtraktionen, Multiplikationen und Divisionen insgesamt acht Transformationsanweisungen. Folgende Vorverarbeitungen wurden notwendig um eine erfolgreiche Parallelisierung zu ermöglichen: Reduzierung von Ausdrucksbäumen in Schleifenrümpfen (lange Ausdrücke wurden mit Hilfe von temporären Variablen aufgelöst). Normalisieren der Schleifen (der Index wurde auf eine einheitliche Form gebracht). Ausweiten von Skalaren zu Arrays. Dieser Schritt ist Voraussetzung für die Schleifenfusion. Von diesen Schritten wurde nur der zweite ausgeführt, weil das verwendete Front-End SUIF die anderen nicht unterstützte. Da die anderen Schritte jedoch für den Versuch notwendig sind, wurden sehr verallgemeinerte Transformationsanweisungen verwendet. Zum Beispiel wurde der Multiplikationsausdruck aus dem Beispiel a = a + B[i] * C[i] umgeändert in a = a + EXPR(1) * EXPR(2). 4 Ergebnis und Diskussion Für das Experiment wurden zwei verschiedene Benchmarks eingesetzt: der DSP Benchmark und der MPEG2 Encoder Benchmark. Die Benchmarks bestanden aus 9 bzw. 15 Dateien und hatten insgesamt 57 bzw. 171 FOR-Schleifen. Seite 3

4 Erläuterungen FOR loops: Anzahl der FOR-Schleifen Outerloops: Eine Schleife wurde als äußere Schleife eingestuft wenn sie lediglich eine weitere Schleife und sonst keine weiteren Anweisungen im Rumpf besitzt. SIMD: Diese FOR-Schleifen wurden nach manueller Untersuchung als geeignet für SIMD- Parallelisierung eingestuft. NON-SIMD: (nicht für SIMD-Parallelisierung geeignet eingestuft) Fn (function): besitzt einen Funktions- oder Prozeduraufruf im Rumpf In (init): Initialisierung von Variablen (werden auf konstante Werte gesetzt) Cm (compare): IF- oder SWITCH- Anweisungen Dp (dependency): Abhängigkeiten innerhalb des Schleifenrumpfs sind vorhanden. Die restlichen Spalten zeigen welche Anweisungen von CTT gefunden wurden und welche als parallelisierbar eingestuft wurden. Das kleine r steht für Transformation mit Reduktion. Die letzte Spalte gibt Aufschluss darüber, wieviele tatsächlich geeigneten SIMD-Parallelisierbaren Befehle von CTT tatsächlich automatisch gefunden wurden. Dieses Ergebnis wurde manuell überprüft. 4.1 Diskussion Die Grafik zeigt die Ergebnisse des Experiments noch einmal auf: Alle Schleifen, SIMDgeeignete, vom CTT gefundene sowie vom CTT gefundene SIMD-geeignete Schleifen. Lediglich 19% der FOR-Schleifen waren nach manueller Untersuchung als für SIMD-Anweisungen geeignet eingstuft worden. Davon wurden wiederum lediglich 85% durch CTT erfasst. Die restlichen 15% wurden durch CTT falsch eingestuft. Es kann passieren, dass einige Schleifen mehrfach erfasst werden, CTT also zum Beispiel 9 Schleifen erfasst, obwohl nur 7 parallelisierbare Schleifen enthalten sind. Unglücklicherweise wird in diesem Fall nicht explizit ausgeschlossen, dass die 9 gefundenen Schleifen auch tatsächlich alle 7 SIMD-geeigneten Schleifen beinhalten. Seite 4

5 4.1.1 Speedup Die Erfassung der Schleifen durch CTT erscheint sinnvoll (ungefähr 85% der SIMD-geeigneten Schleifen wurden erkannt). Da allerdings nach manueller Überprüfung lediglich 19% überhaupt als SIMD-geeignet erscheinen, stellt sich die Frage ob die Parallelisierung durch SIMD- Befehle überhaupt sinnvoll ist. Die Antwort darauf hängt unmittelbar vom jeweiligen Benchmark ab. Der endgültige Speedup hängt stark davon ab wie häufig eine parallelisierte Schleife im jeweiligen Benchmark angewendet wird. Der Speedup könnte nach folgender Formel berechnet werden: s = L total L total i P L i + i P L i s i wobei L total die Gesamtausführungszeit des Benchmarks ist, P die Anzahl parallelisierter Schleifen, L i die sequentielle Latenzzeit der Schleife i und s i der jeweilige Speedup der Schleife i Weitere Ergebnisse Da in den Benchmarks viele Variablen erst in den Schleifen initialisiert wurden würde es sich lohnen diese ebenfalls in die Transformationsanweisungen aufzunehmen. Am meisten wurde SIMD-geeignete Additionen parallelisiert (59%). Transformationen mit Schleifenreduktion fanden eher seltener statt. 5 Schlussfolgerungen Der Versuch zeigte, dass 85% der parallelisierbaren Ausdrücke gefunden werden können, obwohl diese Anzahl groß ist kann keine generelle Verbesserung des Speedups vorausgesagt werden, da dieser vom Ausführungszeitprofil des jeweiligen Benchmarks direkt abhängt. Es wurde klar gezeigt, dass nicht alle Schleifen automatisch parallelisiert werden können, die Steigerung der Erfassung eines automatischen SIMD-Parallelisierers jedoch sicher vorteilhaft ist. 6 Quellen 1 Manniesing, Karkowskie und Corporaal, Automatic SIMD Parallelization of Embedded Applications Based on Pattern Recognition, in Bode et al: Euro-Par 2000, Seiten 349 bis 356, Springer-Verlag Berlin Heidelberg, Boekhold, Karkowski, Corporaal und Cilio, A Programmable ANSI C Transformation Engine, Delft University of Technology, Delft, Niederlande 3 Krall und Lelait, Compilation Techniques for Multimedia Processors, Ashish MEENA, Januar Wikipedia 5 VIS Instruction Set User s Manual, Sun Microsystems, USA, November 2003 Seite 5