Automatische OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern

Transkript

1 Automatische OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern Bachelorarbeit Moritz Lüdecke 8. Juli 2014 INSTITUT FÜR TECHNISCHE INFORMATIK - LEHRSTUHL FÜR RECHNERARCHITEKTUR UND PARALLELVERARBEITUNG KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft

2 Motivation RAM GPU FPGA RAM PCI CPU CPU RAM Programmierer muss angeben,... auf welche Hardwarekomponenten der Code ausgeführt werden soll.... welche Daten auf der jeweiligen Hardwarekomponente verarbeitet werden soll. Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

3 Motivation Großes Ziel Alle Recheneinheiten ausnutzen Vermeiden Wenn genug Tasks vorhanden sind: Task parallel ausführen Ansonsten aufteilen Doppelte Berechnungen Unnötige Kopiervorgänge Ziel der Bachelorarbeit Abhängigkeit der Eingabedaten auflösen Daraus ein Speicherzugriffsmuster bilden Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

4 Motivation Großes Ziel Alle Recheneinheiten ausnutzen Vermeiden Wenn genug Tasks vorhanden sind: Task parallel ausführen Ansonsten aufteilen Doppelte Berechnungen Unnötige Kopiervorgänge Ziel der Bachelorarbeit Abhängigkeit der Eingabedaten auflösen Daraus ein Speicherzugriffsmuster bilden Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

5 Motivation Großes Ziel Alle Recheneinheiten ausnutzen Vermeiden Wenn genug Tasks vorhanden sind: Task parallel ausführen Ansonsten aufteilen Doppelte Berechnungen Unnötige Kopiervorgänge Ziel der Bachelorarbeit Abhängigkeit der Eingabedaten auflösen Daraus ein Speicherzugriffsmuster bilden Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

6 Beispiel: Matrixmultiplikation # C = A B # mit C[ Z e i l e ] [ Spalte ] for i = 0 to A. l ength 1: for j = 0 to B [ 0 ]. length 1: C[ i ] [ j ] = 0 for k = 0 to A [ 0 ]. length 1: C[ i ] [ j ] += A [ i ] [ k ] B [ k ] [ j ] * = Speicher A, Speicher B, Speicher A & B Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

7 OpenCL Host Kernel Open Computing Language Einheitliches Architekturkonzept Aufteilung in Host- und Kernelcode Code wird auf der CPU ausgeführt Verwaltet einzelne OpenCL-Geräte (Devices) Initialisiert Ausführung (Anzahl der Work-Items und Work-Groups) Kann auf verschiedenen Architekturen ausgeführt werden Wird auf OpenCL-Geräten einmal ausgeführt Wird für jedes Work-Item ausgeführt OpenCL C (basiert auf ISO C99) Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

8 OpenCL Host Kernel Open Computing Language Einheitliches Architekturkonzept Aufteilung in Host- und Kernelcode Code wird auf der CPU ausgeführt Verwaltet einzelne OpenCL-Geräte (Devices) Initialisiert Ausführung (Anzahl der Work-Items und Work-Groups) Kann auf verschiedenen Architekturen ausgeführt werden Wird auf OpenCL-Geräten einmal ausgeführt Wird für jedes Work-Item ausgeführt OpenCL C (basiert auf ISO C99) Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

9 OpenCL: Beispielcode Quadratfunktion im OpenCL-Kernelcode } k e r n e l void square ( g l o b a l f l o a t input, g l o b a l f l o a t output, const unsigned i n t count ) { i n t i = get global id ( 0 ) ; i f ( i < count ) { output [ i ] = i n p u t [ i ] i n p u t [ i ] ; } Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

10 OpenCL: Work-Item-Funktionen uint get work dim () size t get global size (uint dimindx ) size t get global id (uint dimindx ) size t get local size (uint dimindx ) size t get enqueued local size (uint dimindx ) size t get local id (uint dimindx ) size t get num groups (uint dimindx ) size t get group id (uint dimindx ) size t get global offset (uint dimindx ) size t get global linear id () size t get local linear id () Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

11 OpenCL: Work-Item-Funktionen Alle Work-Item-Funktionen bauen auf fünf Faktoren auf Vier werden im Hostcode festgelegt Feste Werte im Hostcode cl uint work dim const size t *global work offset const size t *global work size const size t *local work size Iterierbarer Wert Aktuelle global work id Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

12 LLVM / Clang LLVM Clang Compiler-Infrastruktur Fast alle OpenCL-Implementationen bauen auf LLVM auf Bytecode : LLVM IR (Intermediate Representation) LLVM-Frontend C, C++, Objective-C und Objective-C++ Clang AST APIs: LibClang Clang Plugins LibTooling Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

13 LLVM / Clang LLVM Clang Compiler-Infrastruktur Fast alle OpenCL-Implementationen bauen auf LLVM auf Bytecode : LLVM IR (Intermediate Representation) LLVM-Frontend C, C++, Objective-C und Objective-C++ Clang AST APIs: LibClang Clang Plugins LibTooling Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

14 Compiliervorgang in LLVM Optimierung C / C++ Clang x86 Backend x86 Binary OpenCL C OpenCL Frontend LLVM IR PowerPC Backend PowerPC Binary CUDA CUDA Frontend ARM Backend ARM Binary Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

15 Bestimmung des Zugriffsmusters Kernelcode Laufzeitsystem Codeanalyse Zugriffsmuster Zielsetzung Eingabe: Kernelcode Ausgabe: Speicherzugriffsmuster Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

16 Bestimmung des Zugriffsmusters Möglichkeiten 1 Instrumentierung 2 LLVM Passes 3 Statische Codeanalyse mit Clang Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

17 Bestimmung des Zugriffsmusters Möglichkeiten 1 Instrumentierung 2 LLVM Passes 3 Statische Codeanalyse mit Clang Bestimmung des Speicherzugriffsmusters durch Statische Codeanalyse mit Clang: Kernelcode Clang LLVM Clang AST Zugriffsmuster Codeanalyse Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

18 Bestimmung des Zugriffsmusters Zur Erinnerung: Quadratfunktion im OpenCL-Kernelcode } k e r n e l void square ( g l o b a l f l o a t input, g l o b a l f l o a t output, const unsigned i n t count ) { i n t i = get global id ( 0 ) ; i f ( i < count ) { output [ i ] = i n p u t [ i ] i n p u t [ i ] ; } Rahmenbedingungen der Quadratfunktion Zwei Work-Groups mit je acht Work-Item Annahme: count > 15 Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

19 Bestimmung des Zugriffsmusters Rahmenbedingungen der Quadratfunktion Zwei Work-Groups mit je acht Work-Item Annahme: count > 15 input-array Work-Item-Ergebnis Work-Group-Ergebnis output-array Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

20 Problematik unbekannter Größen i n t i = get global id ( 0 ) + 1; i f ( i < count ) { output [ i ] = i n p u t [ i ] i n p u t [ i ] ; } Problem Generell: Rückgabewert der Work-Item-Funktion für jedes Work-Item unterschiedlich Jedes Work-Item liefert ein anderes Zugriffsmuster zurück Während der Codeanalyse ist der Rückgabewert einer Work-Item-Funktionen unbekannt Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

21 Problematik unbekannter Größen i n t i = get global id ( 0 ) + 1; i f ( i < count ) { output [ i ] = i n p u t [ i ] i n p u t [ i ] ; } Lösung Berechnungen müssen festgehalten werden, um sie später durchführen zu können Rückgabewerte von Work-Item-Funktionen und Variablenwert müssen Referenziert werden Zugriffsmuster kann nur mit Kenntnis der Rahmenbedingungen im Hostcode berechnet werden Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

22 Erzeugung des Codebaums i n t i = get global id ( 0 ) + 1; i = 2 i ; i n t j = i 1; Referenzliste: i get global id(0) + 1 i 2 * i j i - 1 Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

23 Erzeugung des Codebaums (++a + b c ) a / 2 Funktionalen Darstellung: (+( pre ++(a ), (b, c ) ), / ( a, 2) ) - + / pre++ * a 2 a b c Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

24 Evaluation Rahmenbedingungen: Parameter Wert global work size 32 local work size 8 global work offset 0 work dim 1 clenqueuetask false Gleiche Rahmenbedingung für alle OpenCL-Kernels Kleine Werte zur Wahrung der Übersichtlichkeit Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

25 Evaluation Systemkomponenten zur Bestimmung der Laufzeit: Prozessor AMD FX Core Taktfrequenz 3,3 GHz Arbeitsspeichergröße 8 GB DDR3 Betriebssystem Arch Linux x86 64 Linuxkernel ARCH Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

26 Vectoraddition } k e r n e l void vectoradd ( g l o b a l const f l o a t a, g l o b a l const f l o a t b, g l o b a l f l o a t c ) { i n t i = get global id ( 0 ) ; c [ i ] = a [ i ] + b [ i ] ; Parameter Typ Zugriffsmuster a Array R: b Array R: c Array W: Laufzeit der Codeanalyse inkl. Zugriffsmustergenerierung: 20 ms Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

27 Rodinia: backprop Kernelfunktion: bpnn adjust weights ocl Parameter Typ Zugriffsmuster delta Array R: hid Variable R ly Array R: 01 in None w Array R: W: Korrektur R:? ?... W:? ?... oldw Array R: W: Korrektur R:? ?... W:? ?... Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

28 Rodinia: Übersicht Benchmark Schleifen If Struct Bedingte Funktions- Laufzeit -Bedingung -Aufrufe Operator aufrufe [ms] backprop X X bfs X X X cfd X X X - X 55 gaussian - X heartwall X X hotspot X X - X - 31 lavamd X X X lud X X myocyte - X - - X 66 nn - X X nw X X - - X 302 pathfinder X X - X - 34 srad X X streamcluster X X X Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

29 Weitere Arbeiten Schleifen If-Bedingungen Structs Bedingte Operatoren (a < b)? a : b Verschachtelte Arrayaufrufe array[array[array[0]]] Mehrdimentionale Arrayaufrufe array[x][y] Funktionsaufrufe Verschachtelte Funktionsaufrufe function1(function2(function3(0))) De- und Inkrementierung eines Arrayelements und des Indexwertes ++array[++i] Kernelfunktionsparameter berücksichtigen Sub-Groups-Funktionen Weitere Datenformate: Booleans, Gleitkommazahlen... Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25

30 Zusammenfassung Statische Codeanalyse Mithilfe LLVM und Clang AST Variabenlwerte werden intern durch einen Codebaum festgehalten, damit diese zu einem späteren Zeitpunkt berechnet werden können. Speicherzugriffsmuster wird in zwei Schritten ermittelt: 1 Ermittlung Speicherzugriffsmuster eines Work-Items durch Codeanalyse 2 Generierung Speicherzugriffsmuster eines ganzen OpenCL-Devices Erster Schritt muss dabei nur einmal durchgeführt werden Das Zugriffsmuster gibt an, welche Kernelfunktionsparameter und deren Arrayelemente während der Laufzeit beschrieben und gelesen werden. Es kann nicht immer das richtige Zugriffsmuster bestimmt werden Moritz Lüdecke OpenCL-Code-Analyse zur Bestimmung von Speicherzugriffsmustern 8. Juli /25