> High-Level Programmierung heterogener paralleler Systeme

Transkript

1 > High-Level Programmierung heterogener paralleler Systeme Projektseminar im SoSe 2012 Prof. Sergei Gorlatch, Michel Steuwer, Tim Humernbrum AG Parallele und Verteilte Systeme, Westfälische Wilhelms-Universität Münster

2 Heterogene parallele Systeme 2 Zwei zentrale Begriffe: Paralleles System: Viele Berechnungseinheiten lösen durch koordinierte Zusammenarbeit ein Problem schneller Beispiel: Systeme mit multi-core CPUs, oder GPUs Heterogenes System: Ein System bestehend aus einer Reihe verschiedener Berechnungseinheiten, welche unterschiedliche Eigenschaften haben Beispiel: Ein System mit sowohl einer multi-core CPU, als auch einer GPU Für dieses Projektseminar zentral: Systeme mit multi-core CPUs und mehreren (z. T. unterschiedlichen) GPUs.

3 Open Computing Language (OpenCL) OpenCL The open standard for parallel programming of heterogeneous systems [Khornos Group] Ausführungsumgebung und Low-level-API zur Programmierung von CPUs, GPUs und anderen Prozessoren (z. B. Cell B. E.) Unterscheidung von Host (CPU) und Device (GPU, aber auch multi-core CPU!) Anwendung OpenCL Kernel: auf einem Device auszuführendes Programm Ablauf 1 Host lädt Daten auf Device 2 Host startet Kernel auf Device 3 Device führt Kernel 4 Host lädt Ergebnisse vom Device Besonderheit: Kernel werden zur Laufzeit für das jeweilige Device kompiliert 3

4 High-Level Programmierung SkelCL 4 SkelCL ist eine high-level Bibliothek zum Programmieren von single- und multi-device Systemen Baut auf OpenCL auf Hardware unabhängig und portable Zwei high-level Features: Speicher: implizites Speichermanagement mit Hilfe eines abstrakten Vektor Datentyps Berechnungen: bequem ausgedrückt mit parallenen Mustern Ziele: Vereinfachtes paralleles Programmieren durch high-level Abstraktionen Kein expliziter Daten Transfer mehr nötig Speziell die Programmierung von mehren Devices vereinfachen

5 SkelCL Beispiel Skalarprodukt 5 Berechne das Skalarprodukt der Vektoren a und b: size 1 i=0 a i b i float dot_product(const std::vector<float>& a, const std::vector<float>& b) { SkelCL::init(); // initialize SkelCL // declare computation: SkelCL::Zip<float> mult ( "float func(float x, float y){ return x*y; }"); SkelCL::Reduce<float> sum_up( "float func(float x, float y){ return x+y; }"); // create data vectors: SkelCL::Vector<float> A(a.begin(), a.end()), B(b.begin(), b.end()); // perform calculation: SkelCL::Vector<float> C = sum_up( mult(a, B) ); return C.front(); // access result } SkelCL: 6 lines of code OpenCL: 68 lines of code (NVIDIA programming example)

6 Mehrere Devices 6 Die Programmierung von mehreren Device ist besonders komplex Haupt Herausforderungen: Daten Verteilung zwischen Devices Daten Austausch zwischen Devices SkelCL bietet hierfür drei verschiedene Verteilungen (distributions): single block copy Host GPUs Host GPUs Host GPUs Ein Wechsel der distribution zur Laufzeit löst einen Daten Austausch aus. Beispiel: vector.setdistribution(distribution::block); Alle nötigen Daten Transfers werden automatisch durchgeführt!

7 Projektaufgabe 7 Projektaufgabe: Die SkelCL Bibliothek erweitern und ihre Implementierung verbessern Entwurf und Implementierung eines Interfaces zur Durchführung von einfachen Vektoroperationen, wie Vektoraddition oder -multiplikation: SkelCL::Vector<float> E = (A + B * (-C)) + D; Optimierung und Anpassung der vorhandenen Implementierung auf spezielle OpenCL Devices, wie z.b. GPUs von NVIDIA oder CPUs von Intel

8 Projektaufgabe 8 Implementierung von dynamischen Zusammenfassen von parallelen Mustern, um den Overhead bei der Ausführung zu reduzieren Bisher ein temporärer Vektor benötigt: SkelCL::Vector<float> C = sum_up( mult(a, B) ); Sollte intern zusammengefasst werden zu: SkelCL::Vector<float> C = mult_and_sum_up( A, B); ohne einen temporären Vektor zu benötigen. Offene Frage: Wie sieht mult_and_sum_up aus?...

9 Anforderungen und Lernziele 9 Anforderungen: Studiengang: Informatik Grundlegende Kenntnisse der Programmiersprache C++ Kenntnisse der GPU-Programmierung sind von Vorteil, aber nicht zwingend erforderlich Lernziele: Einarbeiten in den Bereich des GPU-Computing / OpenCL Praktische Arbeit mit aktueller Hardware und Programmiertechniken Teamarbeit Anwendung eines Softwareentwicklungsprozesses(!) Wissenschaftliche Vorgehensweise (Modellierung und Evaluation)

10 Projektablauf 10 Start: Vorlesungsbeginn SoSe 2012 ( ) Theoretische und praxisorientierte Phasen Theorie: Aneignen von erweiterten Grundlagen im Bereich C++ und GPU-Computing / OpenCL Praxis: Verbesserung der Implementierung von SkelCL Wöchentliche Treffen (Dienstags 10 Uhr): Zwischenstandsberichte, Demonstrationen, Diskussion (falls nötig) Zusammenarbeit und Entwicklung in wechselnden Teams Infrastruktur von uns bereit gestellt: Projektraum, SVN, Trac, Mailingliste Hardware wird von uns installiert und bereitgestellt: Mehrere GPU Systeme + Mulitcore Cluster System der Uni

11 Terminplanung : Vorbesprechung : Referate: Grundlagen : Zwischenpräsentation : Fertigstellung Implementierung, Abschlussvortrag : Fertigstellung der Ausarbeitung Die Terminplanung ist vorläufig und ändert sich ggf. während des Projektseminars!

12 Betreuung und Bewertung 12 Betreuung: Intensive Betreuung (Wissenschaftlicher Mitarbeiter + Studentische Hilfskraft) Weiterführung des Projektseminars als Bachelorarbeit/Masterarbeit/Diplomarbeit möglich Wissenschaftliche Veröffentlichungen als Ziel Bewertungskriterien: Vorträge (mindestens zwei pro Teilnehmer) Schriftliche Ausarbeitung am Ende (individuelle Beiträge) Engagement und Mitarbeit im Projekt Quellcode (inkl. Dokumentation) Jede/r Teilnehmer/in ist für eigene Teilbereiche verantwortlich!

13 Anmeldung 13 Eintragen in Anmeldeliste, oder mit folgenden Angaben an Name, Matrikelnummer Studiengang, Fachsemester Vorkenntnisse Vorlesungen der AG PVS (MGPP, PS, VS, BS, MNJ) (Projekt-) Seminare der AG PVS An-/Abmeldung bis einschließlich möglich Anmeldung verpflichtet zur Teilnahme Aufnahme in Warteliste weiterhin möglich Benachrichtigung per am

14 14 Weitere Informationen unter