Paralleles Rechnen: Multicores, Playstation 3, Rekonfigurierbare Hardware

Transkript

1 Paralleles Rechnen: Multicores, Playstation 3, Rekonfigurierbare Hardware Oliver Sinnen

2 Von wo? Neuseeland Auckland Wirtschaftszentrum Größte Stadt 1,5 Millionen Menschen im Großraum Auckland

3 Von wo? Senior Lecturer Department of Electrical and Computer Engineering (ECE) Mehr als 30 akademische Mitarbeiter Sehr international University of Auckland Größte Universität in Neuseeland Weit mehr als Studenten Unter besten 100 Unis in der Welt

4 Paralleles Rechnen Motivation Paralleles Rechnen: Mehre Rechenelemente kollaborieren bei der Ausführung von einer Aufgabe oder einem Problem Motivation: Höhere Leistung als Einprozessorsystem

5 Benutzung von Parallelrechnern OK, was ist das Problem? Lass uns einfach mehrere Prozessoren für die eine Aufgabe benutzen! Leider nicht trivial Teilung der Aufgabe/des Programms in Teilaufgaben Verteilung auf Rechenelemente Wie viele? Welche Größe? Wie? Ausführung In welcher Reihenfolge? Wie können sie kommunizieren?

6 Übersicht Aktuelle Rechnertrends Hintergrund zum Parallelrechnen ECE, University of Auckland Aufgabenablaufplanung (task scheduling) Rekonfigurierbares Rechnen OpenMP und tasks Visualisierungswerkzeuge Objektorientierte Parallelisierung

7 Aktuelle Rechnertrends

8 Aktuelle Rechnertrends Parallelrechner bis jetzt Bis jetzt (Sehr) große Rechner Mittelgroße Systeme mit Gemeinsamem Speicher IBM Blue Gene/L mit mehr als Prozessoren Dutzende Prozessoren, Gemeinsamer Speicher PC Cluster Unabhängige PCs verbunden in einem Netzwerk low cost Blue Gene/L world's fastest computer

9 Aktuelle Rechnertrends Paralleles Rechnen warum jetzt? Paralleles Rechnen gibt es seit Jahrzehnten Prozessortechnologie erreicht ein physikalisches Limit Taktfrequenz hat sich nicht wesentlich verbessert in den letzten Jahren! Multicores überall Mehrere Prozessoren auf einem Chip Aktuelle Prozessoren haben 2-4 cores Intel Core Duo, AMD Opteron/Phenom, IBM Power6, Sony Cell, Sun Niagra T1/T2 x86 8-cores (!) nächstes Jahr Bald noch mehr die of AMD 'Barcelona' 1st real x86 quad core, launched

10 Aktuelle Rechnertrends Spielkonsolen Spielkonsolen sind parallel XBOX360: 3-core PowerPC Playstation 3 Prozessor: Cell Broadband Engine 3.2 GHz PowerPC Architektur Plus 8 Synergistic Processing Elements (SPE) Hauptspeicher: 256 MB Unter Linux Ubuntu

11 Aktuelle Rechnertrends Cell Die Foto

12 Aktuelle Rechnertrends Cell Blockdiagramm PPE: power processor element (PowerPC instruction set) SPE: synergistic processor element DMA: direct memory access LS: local store memory SXU: execution unit

13 Aktuelle Rechnertrends Playstation 3 ECE 8 Playstation 3 Verbunden durch Ethernet In 2007 benutzt für den Graduiertenkurs SoftEng710 Beispiel, benutzt für final year project (~Diplomarbeit): Implementing the FDTD Method on the IBM Cell Microprocessor to Model Indoor Wireless Propagation, supervisor Dr Neve

14 Aktuelle Rechnertrends Spezialisierte Hardware Spezialisierte Hardware benutzen zur Beschleunigung Coprozessoren ClearSpeed PCIexpress board mit zwei Spezialprozessoren (CSX600) beschleunigt wissenschaftliche Anwendungen Beschleunigungstechnologien/Coprozessoren werden unterstützt von Prozessorherstellern Nicht neu, z.b. Grafikkarten Aber, GPUs (Graphics Processing Units) werden jetzt benutzt für andere Rechenaufgaben z.b. NVIDIA Compute Unified Device Architecture (CUDA) z.b. AMD Torrenza Initiative Größte Flexibilität: rekonfigurierbare Hardware Rekonfigurierbare Beschleunigungstechnologien auf FPGA Basis

15 Aktuelle Rechnertrends Rekonfigurierbare ECE 2 XD1000 Entwicklungssysteme Normale PCs mit zwei Prozessorsteckplätzen Bald XD2000i Einer für den Prozessor Einer für das FGPA (!) CPU: AMD Opteron 2.2 GHz FPGA: Altera Startix II RAM: 4GB (CPU), 4GB (FPGA) OS: Linux Fedora

16 Aktuelle Rechnertrends Meine Forschung Neue Hardware => neue Formen von Parallelismus Forschungsfokus Fundamentale Probleme des Parallelrechnens Aufgabenablaufplanung (task scheduling) Visualisierungswerkzeuge für den Parallelisierungsprozess Neue Formen von Nebenläufigkeit nutzen Desktop Parallelisierung Rekonfigurierbares Rechnen

17 Hintergrund

18 Hintergrund Herausforderungen der Parallelen Programmierung Sequentielle Programmierung

19 Hintergrund Herausforderungen der Parallelen Programmierung

20 Hintergrund Parallelisierungs Beispiel Programm/Aufgabe d = a2+a+1

21 Hintergrund Parallelisierungs Beispiel Programm/Aufgabe d = a2+a+1 Dekomposition Teilaufgaben A: B: C: D: a b c d = = = = 1 a+1 a*a b+c

22 Hintergrund Parallelisierungs Beispiel Programm/Aufgabe 2 d = a +a+1 Dekomposition Teilaufgaben A: B: C: D: a b c d = = = = 1 a+1 a*a b+c Abhängigkeits analyse

23 Hintergrund Parallelisierungs Beispiel Teilaufgaben A: B: C: D: a b c d = = = = 1 a+1 a*a b+c

24 Hintergrund Parallelisierungs Beispiel Teilaufgaben A: B: C: D: a b c d = = = = 1 a+1 a*a b+c Ablaufplanung auf 2 Prozessoren (P1, P2)

25 Hintergrund Parallelisierungs Beispiel pragma omp parallel tasks { #pragma omp task A 2 { for (i=0; i<=n+1; i++) {... } } #pragma omp task B 2 dependson(a) { for (i=0; i<=n+1; i++) {... } Programmierung

26 Forschung

27 Abhängigkeitsanalyse

28 Abhängigkeitsvisualisierung Hintergrund: Datenabhängigkeitstypen Verschiedene Typen der Abhängigkeit Flussabhängigkeit lesen dann schreiben Antiabhängigkeit schreiben dann lesen z.b. Zeile 2 liest a, geschrieben in Zeile 1 z.b. Zeile 4 überschreibt v nachdem Zeile 3 es liest Ausgabeabhängigkeit schreiben dann schreiben z.b. Zeile 2 und 4 beschreiben v

29 Abhängigkeitsvisualisierung Hintergrund: Abhängigkeit in Schleifen for(i = 2; a: A[i] = b: B[i] = c: C[i] = d: D[i] = } i <=N; C[i-2] A[i] + A[i] + 3*B[i] i++) { + 7 C[i-1] 99 Gleiches Prinzip Neu: mögliche Abhängigkeiten zwischen Iterationen Interiterationsabhängigkeiten Normalerweise: Datenfelder transportieren Abhängigkeiten Parallelisierung von Schleifen ist wichtig => häufig hohe Rechenlast

30 Abhängigkeitsvisualisierung Eclipse Plugin für Java

31 Abhängigkeitsvisualisierung Eclipse Plugin für Java Augenblickliche Abhängigkeitsanalyse Java parser Genaue Abhängigkeitstests Abhängigkeitsvisualisierung der Schleife um den Cursor Alle Datenabhängigkeitstypen, verschiedene Farben Interaktion mit Graph und Code Zukunft: Unterstützung für Abhängigkeitselimination/ transformation

32 Aufgabenablaufplanung - Kommunikationswettstreit

33 Aufgabenablaufplanung Beispiel Beispiel: 2 Prozessoren + NP-hartes Problem!

34 Aufgabenablaufplanung Klassisches Systemmodell Systemmodell z.b. 8 Prozessoren Eigenschaften: Dediziertes System Dedizierte Prozessoren Kostenfreie lokale Kommunikation Teilsystem für Kommunikation Nebenläufige Kommunikation Vollständig verbunden

35 Aufgabenablaufplanung Kommunikationswettstreit Wettstreit Beispiel Klassisches Modell Endpunkt Wettstreit Um Schnittstelle Die meisten Netzwerke sind nicht vollständig verbunden Netzwerk Wettstreit Um Kommunikationskanal

36 Aufgabenablaufplanung Wettstreitsensitive Ablaufplanung Zielsystem repräsentiert als Netzwerkgraph Integration der Kantenablaufplanung in Aufgabenablaufplanung without contention with contention

37 Aufgabenablaufplanung Task scheduling Buch O. Sinnen Task Scheduling for Parallel Systems John Wiley, 2007 Einführung in Paralleles Rechnen Graphenmodelle Grundlagen Aufgabenablaufplanung Algorithmen Fortgeschrittene Aufgabenablaufplanung Heterogene Systeme Realistische Parallelrechnermodelle

38 Aufgabenablaufplanung Wettstreit und Aufgabenduplikation Aufgabenduplikation die gleiche Aufgabe auf mehr als einem Prozessor ausführen Besonders nützlich gegen Kommunikationswettstreit Konzept und Algorithmen entwickelt 0 10 time P1 P2 A 10 B C 0 20 D Without duplication P1 P2 A A B B C D With duplication

39 Aufgabenablaufplanung - Optimaler Algorithmus

40 Aufgabenablaufplanung Benutzung von A* Best first Zustandsraum Suchalgorithmus Beispiel Kürzeste Route von Lyon nach Paris finden Karte modelliert als Graph Knoten: Städte Kanten: Verbindungen zwischen den Städten; Gewicht: gefahrene km Geschätzte Gesamtentfernung f: Schon gefahrene Entfernung + Luftlinie nach Paris

41 Aufgabenablaufplanung A* für Aufgabenablaufplanung Zustand => partieller Ablaufplan Kostenfunktion f(s) => Unterschätzung der Ablauflänge/Ausführungszeit Zustand wird erweitert indem ein weiterer Knoten aufgenommen wird Zustandsbaum

42 Aufgabenablaufplanung A* für Aufgabenablaufplanung Erheblich verbesserte Kostenfunktion f(s) vorgeschlagen Neu Beschneidungstechniken für Zustandsbaum Umfangreiche experimentelle Resultate mit überraschenden Ergebnissen Prozessornormalisierung normalise

43 Rekonfigurierbares Rechnen

44 Rekonfigurierbares Rechnen Rekonfigurierbare Rechenwerke können zu extrem hoher Leistung führen Nebenläufigkeit kann viel höher sein Problem Programmierung oder Konfigurierung wesentlich schwieriger als Parallele Programmierung (!) Idee (Hoffnung?) Benutzung von Hochsprachen und automatischen Werkzeugen

45 Rekonfigurierbares Rechnen Java zu Hardware Kompilation Hochsprache zu Hardware d.h. FPGAs Kompilation zu VHDL dann Synthese von VHDL, d.h. Konfiguration von FPGA Intention Beschleunigung von Java Programmen In Kombination mit normalem Prozessor

46 Rekonfigurierbares Rechnen Java zu Hardware Kompilation Projekt verbindet Parallelrechnen, Eingebettete Systeme und Software Engineering Testplattform XD1000 Systeme Bieten tiefe Integration von CPU und FPGA Leider schwieriger zu benutzen als erhofft XD2000i hoffentlich einfacher

47 Parallele Programmierung Tasks in OpenMP

48 Parallele Programmierung OpenMP Direktiven benutzen OpenMP Offener Standard für Programmierung von Rechnern mit gemeinsamen Speicher Compiler Direktiven für FORTRAN, C/C++, Java Thread basiert Beispiele (in C) #pragma omp parallel for for (i=0; i<=n+1; i++) {... } #pragma omp parallel sections { #pragma omp section {... } #pragma omp section {... }... }

49 Parallele Programmierung Tasks/Task Direktiven Einführung neuer Direktiven: tasks/task Wie sections mit feinerer Granularität Abhängigkeiten und Rechenlast können angegeben werden #pragma omp parallel tasks { #pragma omp task A 1 {... } #pragma omp task B 2 dependson(a) {... }... } Tasks/task werden umgewandelt in sections/section mit Hilfe von Aufgabenablaufplanung

50 Parallele Programmierung JompX Source-To-Source Compiler Java/OpenMP+task Direktiven => Java/OpenMP //omp parallel tasks { // omp task A 2 { Block_Code _A } // omp task B 4 dependson (A) { Block_Code _B } // omp task C 2 dependson (A) { Block_Code _C } // omp task D 3 dependson (A) { Block_Code _D } // omp task E 6 dependson (B) { Block_Code _E } // omp task F 7 dependson (C,D) { Block_Code _F } // omp task G 5 dependson (B,E,F) { Block_Code _G } } Code with tasks directives P1 2 P2 0 A A D B B 3 C C D Task Scheduling Parsing 6 10 E Code Generation F 7 E F 15 5 G G Tasks Graph representation Schedule of the tasks graph boolean taskadone = false; boolean taskddone = false; boolean taskcdone = false; boolean taskbdone = false; boolean taskfdone = false; //omp parallel sections { //omp section { Block_Code_A taskadone = true; Block _Code_D taskddone = true; Block _Code_C taskcdone = true; while (!taskbdone ){} Block _Code_E while (!taskbdone ){} while (!taskfdone ){} Block _Code_G } //omp section { while (!taskadone ){} Block_Code_B taskbdone = true; while (!taskcdone ){} while (!taskddone ){} Block _Code_F taskfdone = true; } } Codes with sections directives

51 Parallele Programmierung Aufgabengraph Visualisierung in Eclipse IDE Links Java Code mit tasks Rechts: Aufgabengraph

52 Objektorientierte Parallelisierung

53 Objektorientierte Parallelisierung Parallel Iterator Desktop Programme müssen parallelisiert werden Sonst keine Beschleunigung durch moderne Prozessoren! Meisten Programme sind Objektorientiert (OO) Löwenanteil der Rechenlast in Schleifen Iteratoren in OO Schleifen => Parallele Version von Iteratoren

54 Objektorientierte Parallelisierung Parallel Iterator Iterator it = collection.iterator(); while ( it.hasnext() ) { Image image = it.next(); resize( image ); }... hasnext() next()

55 Objektorientierte Parallelisierung Parallel Iterator Iterator it = collection.iterator(); while ( it.hasnext() ) { Image image = it.next(); resize( image ); }... hasnext() Hohes Potential für Parallelisierung, aber wie? next()

56 Objektorientierte Parallelisierung Parallel Iterator Problem hasnext() hasnext()

57 Objektorientierte Parallelisierung Parallel Iterator Problem hasnext() next() hasnext()

58 Objektorientierte Parallelisierung Parallel Iterator Problem hasnext() next() hasnext() next()

59 Objektorientierte Parallelisierung Parallel Iterator Collection collection =...; Iterator it = collection.iterator(); ParIterator it = ParIterator.create(collection); // each thread does this while (it.hasnext()) { Image image = it.next(); resize( image ); }

60 Schlusswort Parallel and Reconfigurable Computing Lab Forschung Fundamentale Probleme des Parallelrechnens Aufgabenablaufplanung Visualisierungswerkzeuge für Parallelisierungsprozess Neue Formen von Nebenläufigkeit nutzen Rekonfigurierbares Rechnen Desktop Parallelisierung Objektorientierte Parallelisierung