Parallele Systeme. 1 Einführung Durchführung der erweiterten Übung OpenMP... 3

Transkript

1 Lehrstuhl für Informatik 12 Cauerstraße Erlangen TECHNISCHE FAKULTÄT 1. Erweiterte Übung zur Vorlesung Parallele Systeme Inhaltsverzeichnis 1 Einführung Durchführung der erweiterten Übung OpenMP Versuche Hello World Bildverarbeitung Histogramm Sortieren Referenzen 9 1

2 1 Einführung Mit der Abkehr von immer schnelleren und komplexeren skalaren Prozessoren hin zu einfacheren Mehrkernprozessoren ändert sich auch die Programmierung von solchen Systemen. Während die Hardware bereits seit Jahren mehrere Kerne auf einem Chip anbieten, hat sich die Programmierung solcher Systeme nur langsam angepasst. So wurden auf der einen Seite bestehende Compiler und Sprachen erweitert (z. B. OpenMP [1]), oder entsprechende Bibliotheken entwickelt (z. B. Threading Building Blocks [2]). Diese Erweiterungen erlauben es relativ einfach, bestehende Programme mit wenig Aufwand zu parallelisieren. Da die zugrundeliegenden Sprachen wie z. B. C/C++ jedoch nicht für parallele Programmierung entworfen wurden, können bei der Ausführung von Programmen sogenannte Race-Conditions 1 oder Deadlocks auftreten. So kann eine Race-Condition auftreten, wenn mehrere Threads eine gemeinsame Variable benutzen: Angenommen, ein Thread soll die Operation x = x + 3 ausführen und ein anderer Thread die Operation x = x + 5. Jede dieser Operationen wird in drei Teilschritten ausgeführt: Zuerst wird x aus dem Speicher gelesen, dann wird der Wert von x erhöht um dann das Ergebnis im letzten Schritt zurück in den Speicher zu schreiben. Je nachdem, in welcher Reihenfolge die einzelnen Teilschritte der beiden Threads ausgeführt werden, kann die Variable x nach beiden Operationen um verschiedene Werte erhöht worden sein, nämlich um 3, 5 oder 8. In dieser erweiterten Übung soll OpenMP eingeführt und verwendet werden, um Programme auf Standardprozessoren zu parallelisieren. OpenMP ist ein Standard, der eine Programmierschnittstelle spezifiziert um Parallelismus für Shared Memory-Architekturen in C, C++ oder Fortran zu beschreiben. Dieser Standard wird von allen bekannten Compilern implementiert, wie z. B. von Microsofts Compiler für Visual C++ (MSVC), der GNU Compiler Collection (gcc) oder Intels C++ compiler (icc). OpenMP stellt Preprocessor-Direktiven, sogenannte Pragmas, zur Verfügung, um Parallelität zu beschreiben. Durch Pragmas wird beschrieben, welche Teile des Quellcodes parallel ausgeführt und welche Daten wie zwischen den einzelnen Prozessoren verteilt werden sollen. Dabei verwendet OpenMP ein Fork-Join Modell. Ein Master-Thread führt die Anwendung aus. Zur Abarbeitung von parallelen Regionen werden zusätzliche Threads erzeugt, die sich anschließend wieder beenden wie in Abbildung 1 dargestellt ist. Abbildung 1: Fork-Join Modell bei OpenMP. 1 Wettlaufsituation, in der das Ergebnis einer Operation vom zeitlichen Verhalten der Einzeloperationen abhängt und nicht allein durch den Algorithmus beeinflusst wird. 2

3 1.1 Durchführung der erweiterten Übung Die in dieser erweiterten Übung benutzten Tools und Bibliotheken laufen unter Linux auf den Workstations des Lehrstuhls. Daher setzen wir voraus, dass Sie zumindest mit den elementaren Grundlagen dieses Betriebssystems vertraut sind. Bitte bereiten Sie sich auf die erweiterte Übung vor, indem Sie das Skript durchlesen, die Grundlagen verstehen, Kapitel 1 und 2 soweit wie möglich zu Hause vorbereiten und sich Gedanken zur Durchführung der Aufgaben der beiden Kapitel machen, da sonst die Zeit erfahrungsgemäss schnell knapp wird. Wir haben versucht, den Schwierigkeitsgrad der Übung so festzulegen, dass einerseits die weniger Erfahrenen nicht vor unlösbaren Problemen stehen, andererseits sich aber auch niemand langweilen muss. Falls Sie eine Aufgabe nicht selbständig lösen können, ist dies nicht schlimm, wir werden es Ihnen erklären. 1.2 OpenMP Hier soll kurz die Funktionsweise von OpenMP erklärt werden. Wie bereits erwähnt, basiert OpenMP auf Pragmas welche vom Compiler erkannt werden und von diesem genutzt werden, um den Code zu parallelisieren. Damit der Compiler OpenMP Pragmas erkennt, muss für den gcc beim Übersetzen und Linken die Option -fopenmp gesetzt werden. Ist diese Option gesetzt, werden Pragmas, die mit #pragma omp beginnen, vom Präprozessor interpretiert. Im Folgenden sind die wichtigsten Pragmas und Funktionen von OpenMP um die Parallelisierung zu beeinflussen und zu steuern kurz erklärt. Diese Übersicht soll lediglich einen Überblick geben. Der vollständige Funktionsumfang kann in der OpenMP Spezifikation [4] nachgelesen werden. Thread-Erzeugung: Mit der #pragma omp parallel-direktive wird der Compiler angewiesen, dass das darauffolgende Konstrukt von mehreren Threads ausgeführt werden soll. Dies kann eine einzelne Anweisung sein oder ein kompletter Block, der dann jedoch durch Klammerung markiert wird. 1 int main(int argc, char *argv []) { 2 #pragma omp parallel 3 printf(" Hello, world.\ n"); 4 return 0; 5 } Lastverteilung: Um die Arbeit innerhalb eines omp parallel-blocks auf die einzelnen Threads zu verteilen, bietet OpenMP verschiedene Direktiven um die Lastverteilung zu steuern. Diese sind im wesentlichen: for: Die nächste Schleife soll auf die Threads aufgeteilt werden. section: Verschiedene unabhängige Bereiche des Quellcodes werden parallel abgearbeitet. single: Bereich innerhalb eines omp parallel-blocks, welcher nur von einem Thread ausgeführt werden soll. master: Wie bei single, nur ist hier der ausführende Thread der Master-Thread. task: Mit OpenMP 3.0 wurde das Task-Konzept eingeführt für Probleme, die sich mit obigen Konzepten nicht parallelisieren lassen, z. B. wenn Funktionsaufrufe als separater Task ausgeführt werden soll. 3

4 Beispielsweise kann eine Schleife wie folgt parallelisiert werden: # pragma omp parallel 3 { 4 # pragma omp for 5 for (i=0; i<n; i++) { 6 a[i] = i*i; 7 } 8 } 9... Die Zuteilung der Iterationen an einzelne Threads kann durch weitere Optionen beeinflusst werden. Details dazu finden Sie in der OpenMP-Spezifikation. Sichtbarkeit und Gültigkeit von Variablen: Da OpenMP ein Programmiermodell für Shared Memoy- Architekturen ist, sind die meisten Variablen für alle Threads sichtbar. Da dies zu Race-Conditions führen kann, gibt es sogenannte data clauses, die angeben, ob und wie Variablen sichtbar und gültig sind. Die wichtigsten data clauses sind hierbei: shared: Die Daten sind für alle Threads sichtbar und können von diesen geändert werden. private: Jeder Thread hat eine Kopie der Daten, die nicht initialisiert werden. firstprivate: Wie bei private, nur werden die Daten mit dem letzten Wert vor dem parallelen Abschnitt initialisiert. default: Hier kann die Sichtbarkeit angegeben werden, die für alle Daten hergenommen werden soll für die nicht explizit eine andere Sichtbarkeit angegeben wird. Hier kann auch none verwendet werden. Dann muss bei jedem Datum explizit eine Sichtbarkeit angegeben werden. Dies hilft beim Auffinden von Fehlern, wenn beispielsweise Variablen in der Auflistung vergessen werden. reduction: Um z. B. die Summe, Produkt, Maximum oder Minimum von Werten zu berechnen, bietet OpenMP sogenannte Reduktionen an, die dies übernehmen. Um beispielsweise die Summe in einer Schleife zu berechnen, würde man folgenden data clauses verwenden: # pragma omp parallel default( none) private(i, tmp) shared(a, sum) 3 { 4 # pragma omp for reduction (+: sum) 5 for (i=0; i<n; i++) { 6 tmp = i*i; 7 sum = sum + tmp*a[i]; 8 } 9 } Neben diesen gibt es noch weitere data clauses wie z. B. copyin, copyout, lastprivate oder threadprivate. 4

5 Laufzeitumgebung: OpenMP erlaubt auch zur Laufzeit die Anzahl der Threads abzufragen und anzupassen. Dazu muss die OpenMP-Bibliothek omp.h verwendet werden. OpenMP stellt unter anderem folgende Befehle zur Vefügung: omp set num threads(int): Setzt die Anzahl der Threads, die aktuell verwendet werden sollen. omp get num threads(): Liefert die Anzahl der Threads, die aktuell verwendet werden. omp get thread num(): Liefert die ID des aktuellen Threads. omp get max threads(): Liefert die Anzahl der Threads, die maximal verwendet werden können. omp get num procs(): Liefert die Anzahl der Prozessoren, die aktuell verwendet werden. Zudem kann die Anzahl der Threads, die verwendet werden sollen, auch über die Umgebungsvariable OMP NUM THREADS gesetzt werden. Eine kompakte Zusammenfassung der einzelnen Direktiven, Klauseln und Laufzeitfunktionen finden Sie als Summary Card unter 5

6 2 Versuche Jetzt sind Sie dran! Benutzen Sie Ihr im Tutorial des letzten Kapitels erworbenes Wissen, um die folgenden Aufgaben mit OpenMP zu parallelisieren. 2.1 Hello World Im ersten Teil soll ein einfaches Hello-World Programm in OpenMP erstellt werden. Dazu finden Sie im Verzeichnis uebung01/versuch/01 hello world folgende Dateien: hello.c Enthält die main-funktion, in welcher oben genannte Funktionalität implementiert werden soll. Makefile Makefile für die Aufgabe. Hier müssen Sie noch das Flag zum Übersetzen und Linken mit OpenMP aktivieren. Aufgabe 2.1 Ergänzen Sie das Programm, so dass auf jedem verfügbaren Core einen Thread startet und dort die eigene Thread-Id ausgibt. Der Master-Thread soll zudem zusätzlich die Gesamtzahl aller Threads ausgeben. 2.2 Bildverarbeitung Hier soll nun ein berechnungsintensiver Bilateralfilter [5] zur Glättung von Bildern mit OpenMP parallelisiert werden. Der verwendete Filter glättet ein Bild, wobei in Bereichen, in denen Kanten vorhanden sind, weniger geglättet wird. Somit bleiben Kanten im Bild erhalten. Abbildung 2 zeigt das Ergebnis, wenn der Filter auf ein Blatt angewendet wird. Beim Bilateralfilter gibt es zwei Variablen, die Einfluß auf den Filter haben. Zum einen gibt σ d die Größe des Filterfensters an, zum anderen stellt σ r einen Schwellwert dar, wie groß die Werte einzelner Pixel sein muss, um als Kante zu zählen. Diese Variablen können auch im Quellcode verändert werden. (a) Eingabe-Bild. (b) Ausgabe-Bild. Abbildung 2: Bilateralfilter auf ein Bild angewendet mit σ d = 2 und σ r = 5. Das Verzeichnis uebung01/versuch/02 image filtering hält dazu folgende Dateien bereit: 6

7 img filter.c Enthält die main-funktion, sowie die filter-funktion, welche parallelisiert werden sollte. img filter.h Header Datei zu img filter.c. Makefile Makefile um das Programm zu bauen. pgm image.c Enthält Funktionen, um Graustufenbilder zu laden und zu speichern. pgm image.h Header Datei zu pgm image.c. Aufgabe 2.2 Parallelisieren Sie die filter-funktion, indem Sie die Schleifen, welche über das Bild laufen, mit entsprechenden Pragmas parallel verarbeiten. Aufgabe 2.3 Ermitteln Sie nun den Speedup S, den Sie für 1 4 Prozessoren erhalten, wenn die filter-funktion parallel verarbeitet wird und tragen Sie diesen in Tabelle 1 ein. Was nehmen Sie als Referenzzeit zur Berechnung des Speedups her? Tabelle 1: Ausführungszeiten für die filter-funktion. Anzahl Cores 1(naïve) Zeit (s) Speedup S Aufgabe 2.4 In der Vorlesung haben Sie die Formel zu Berechnung des Speedups nach Amdahl kennengelernt: S = 1 α + 1 α n (1) Was sagen die Terme im Nenner der Formel aus? Oft wird noch ein zusätzlicher Term o(n) verwendet, welcher den Overhead der Parallelisierung beschreibt: S = 1 α + o(n) + 1 α n (2) Welche(n) Term(e) sind in den Zeiten enthalten die Sie in der vorherigen Aufgabe gemessen haben? Berechnen Sie den Speedup nach Amdahl für die gesamte Anwendung und tragen Sie diesen in Tabelle 2 ein. Was ist der maximale Speedup, den Sie laut Amdahl für die Anwendung bekommen können? Tabelle 2: Speedup für das gesamte Programm nach Amdahl. Anzahl Cores Speedup 7

8 2.3 Histogramm In diesem Versuch soll nun ein Histogramm über einen Datensatz erstellt werden. Histogramme werden vor allem in der Bildverarbeitung verwendet. So zeigt ein Histogramm die Häufigkeitsverteilung von der einzelnen Intensitäten in Bildern an. Diese können dazu verwendet werden, um die Helligkeit von Bilder anzupassen. Abbildung 3 zeigt das Histogram eines Graustufenbildes. Bei RGB- Farbbildern gibt es für jeden Farbkanal ein separates Histogramm. Häufigkeit 2,500 2,000 1,500 1, (a) Eingabe-Bild Intensität (b) Histogramm des Eingabe-Bildes. Abbildung 3: Histogramm eines Graustufenbildes: (a) zeigt das Graustufenbild und (b) zeigt das dazugehörende Histogramm. Das Histogramm zeigt die Häufigkeitsverteilung der Intensitäten eines Bildes. Dazu befinden sich im Verzeichnis uebung01/versuch/02 histogram folgende Dateien: hist.c Enthält die main-funktion, sowie die omp hist-funktion, in welcher ein Histogram mit OpenMP parallel generiert werden soll. Makefile Makefile um das Programm zu bauen. Aufgabe 2.5 Parallelisieren Sie die omp hist-funktion, indem Sie die Schleife, welche über den Datensatz läuft, mit entsprechenden Pragmas parallel verarbeiten. Welche Probleme können dabei auftreten und wie kann man diese umgehen? Welchen Speedup erhalten Sie für diese Parallelisierung? Aufgabe 2.6 Wie könnte man die Generierung des Histograms noch parallelisieren, um die obigen Probleme zu vermeiden und einen höheren Speedup zu erreichen? 2.4 Sortieren In diesem Versuch soll das neue Task-Modell von OpenMP 3.0 verwendet werden um eine Quicksort Implementierung [3] zu parallelisieren. Dazu arbeitet der Quicksort Algorithmus nach dem Divide and Conquer Prinzip. Dazu wird ein ein Pivotelement aus der Liste gewählt und die Werte in zwei Teillisten aufgeteilt. Nun werden die Werte in den beiden Listen so sortiert, dass alle Elemente in der 8

9 linken Teilliste kleinere Werte als das Pivotelement enthalten und die Werte in der rechten Teilliste größere Werte. Das Pivotelement steht nun an der richtigen Stelle der Liste. Dieses Prinzip wird nun solange auf die linke und rechte Teilliste angewendet, bis jede Teilliste nur noch ein Element enthält und somit sortiert ist. Das Verzeichnis uebung01/versuch/04 qsort hält folgende Dateien bereit: qsort.c Enthält die main-funktion, sowie die omp qsort-funktion, in welcher Quicksort mit OpenMP parallelisiert werden soll. Makefile Makefile um das Programm zu bauen. Aufgabe 2.7 Parallelisieren Sie die omp qsort-funktion, indem Sie das Task-Modell von OpenMP verwenden. Welchen Speedup erhalten Sie für diese Parallelisierung? Aufgabe 2.8 Wodurch entsteht bei Ihrer Implementierung Overhead, der sich negativ auf den Speedup auswirken kann? Durch welche einfache Änderung der Parallelisierungsstrategie können Sie diesen Overhead verringern? 3 Referenzen Literatur [1] OpenMP. [2] Threading Building Blocks. [3] Jon L. Bentley and M. Douglas McIlroy. Engineering a Sort Function. Software - Practice and Experience, 23(11): , [4] OpenMP Architecture Review Board. OpenMP Application Program Interface. openmp.org/, May [5] C. Tomasi and R. Manduchi. Bilateral Filtering for Gray and Color Images. Proceedings of the Sixth International Conference on Computer Vision, pages ,