Programming Models for Cell BE

Transkript

1 Hauptseminar MAP08 Programming Models for Cell BE Hannes Stadler, Sebastian Graf Betreuung: Matthias Hartl, Hritam Dutta, Frank Hannig Hardware-Software-Co-Design Universität Erlangen-Nürnberg Hannes Stadler, Sebastian Graf 1

2 Gliederung Motivation für Parallelisierung Verschiedene Programmiermodelle RapidMind Development Platform Allgemeines Aufbau Schichtenarchitektur - Anwendung Value Array Program - RapidMind Interface/Platform Einsatzbeispiele Performanceergebnisse Zusammenfassung Hannes Stadler, Sebastian Graf 2

3 Motivation Warum/ Wofür Programming Models? Parallelisierung von Single-Core-Algorithmen Portierbarer, sicherer, effizienter Code Ausnutzen von Hardware Automatisierung der Anpassung an andere Prozessoren/Architekturen Hannes Stadler, Sebastian Graf 3

4 Programmiermodelle Taskparallele Modelle Explicit Threading Message-Passing Interface (MPI) Open Multi-Processing (OpenMP) Threading Building Blocks (TBB) Parallelität auf Instruktionsebene Pipelining Datenparallele Modelle Single Instruction Multiple Data (SIMD) Single Program Multiple Data (SPMD) Hannes Stadler, Sebastian Graf 4

5 Taskparallele Modelle Explicit Threading Manuell durch den Programmierer ( pthread ) Aufwändig und schwer zu debuggen MPI Prozesse kommunizieren über Nachrichten Aufwändig und erzeugt Overhead OpenMP Compiler-Erweiterung zur parallelen Ausführung von Schleifen auf Shared-Memory-Architekturen automatisches Multi-Threading TBB C++ Framework-Library von Intel Zerlegt die Anwendung in mehrere kleinere, unabhängige Teile, welche unabhängig voneinander ausgeführt werden Hannes Stadler, Sebastian Graf 5

6 Parallelität auf Instruktionsebene Pipelining Fließbandverarbeitung Verarbeitung von Eingabedaten durch eine Folge von komplexen Befehlen (ausgeführt auf verschiedenen Ressourcen) Vorteile - Ausnutzen der gegebenen Hardware - Im Optimalfall keine Leerlaufzeiten der Ressourcen - Hoher Datendurchsatz durch schrittweise Bearbeitung Nachteile - Sehr spezifische Hardwareanforderungen - Schwächen in der Portierbarkeit Hannes Stadler, Sebastian Graf 6

7 Datenparallele Modelle Single-Instruction Multiple-Data (SIMD) Grundlage der Vector-Rechner Aufteilung zu verarbeitender Daten auf verschiedene Berechnungseinheiten Abhängig von Zahl der Prozessoren Effizient Hannes Stadler, Sebastian Graf 7

8 Datenparallele Modelle Single-Program Multiple-Data (SPMD) Verallgemeinerung von SIMD Aufteilung nicht in Befehle, sondern in Programme Wird u.a. von CUDA und RapidMind verwendet Hannes Stadler, Sebastian Graf 8

9 RapidMind Development Platform Allgemeines Aufbau Schichtenarchitektur Verwendung der API - Datentypen Value Array Program - Beispielcode RapidMind Platform Einsatzbereiche Performance + Benchmarks Hannes Stadler, Sebastian Graf 9

10 Allgemeines RapidMind setzt auf eine Bibliotheks-Lösung Erweiterung von C++ Portierbarkeit auf diverse Architekturen und Betriebssysteme (mittels gcc bzw. Visual-C, Linux / Windows / MAC OS) - i386 - PPC Üblicher Design-Flow kann beibehalten werden Keine neuen Programmierumgebungen nötig Kaum Umstellung der Entwickler nötig SPMD Programmiermodell Single-Threaded Kontrollfluss auf der Haupt-CPU - Keine Dead-Locks möglich - Keine Synchronisationsprobleme Automatische Optimierung des Codes zur Laufzeit auf der Zielhardware - Fortran- ähnlicher Interpreter - Stark optimierend Hannes Stadler, Sebastian Graf 10

11 Aufbau - Schichtenarchitektur API Datentypen Platform Code Optimizer Load Balancer Data Manager Diagnostics Processor Support Modules NVIDIA GeForce ATI Cell AMD CPU Intel CPU Hannes Stadler, Sebastian Graf 11

12 RapidMind - API Spracherweiterung für C++, einfach durch Einbinden der Bibliothek verwendbar Bestehender Programmcode kann problemlos weiterverwendet werden Kann bei Bedarf, an berechnungsintensiven Programmteilen, nachträglich auf RapidMind-Dialekt umgeschrieben werden Die API umfasst im Großen und Ganzen 3 besondere Elemente Value Array Program Hannes Stadler, Sebastian Graf 12

13 Value Container für Daten fester Länge Value<N,T> : N Objekte vom Typ T Bsp.: Value<5, int> aint; (entspricht int aint[5];) Value3f afloat; ( entsprich float afloat[3]; ) Alle arithmetischen Operatoren sind überladen und nutzbar, arbeiten Komponentenweise Ebenso die meisten C-Library Funktionen Aber auch besondere Methoden: Swizzle mit Operator-( ) : Bsp.: afloat( 2, 1, 0) kehrt Anordnung der Elemente um Writemask mit Operator-( ) : Zugriff auf Untermenge des Containers Beispiele: newfloat(3,2,1,0) = oldfloat(0,1,1,3); float fvalue= newfloat(1); Hannes Stadler, Sebastian Graf 13

14 Array Multidimensionaler Container für (RapidMind) Value Max. drei Dimensionen Array<D,V> : Dimension D, (Rapidmind) Value-Typ V Bsp.: Array< 2, Value3f> amatrix( 512, 512); amatrix ist 2-dimensionales Array der Größe 512x512, in dem jedes Element ein 3-Tuple mit Floatwerten ist entspricht also float amatrix[512][512][3]; Hannes Stadler, Sebastian Graf 14

15 Program Das Schlüsselwort Program dient dazu, RapidMind- Funktionen (in normalen C-Funktionen) zu kennzeichnen Werden in der Regel parallel auf der Beschleunigerhardware ausgeführt Eigentliche Funktionen/Programm steht zwischen begin und end Statements Funktionsaufruf: By-value Semantik Angabe von IN / OUT oder INOUT um Sichtbarkeit und Lebensdauer der Parameter zu kennzeichnen einfacheres Memory Management Verhinderung von unnötigen Nebeneffekten Hannes Stadler, Sebastian Graf 15

16 Beispielcode C++ float f=1.0; float a[512][512][3]; float b[512][512][3]; void init_func_proc ( ) { for (int x = 0; x<512; x++) for (int y = 0; y<512; y++) { for (int k = 0; k<3; k++) { a[y][x][k] = a[y][x][k] + b[y][x][k]*f; } } } } Hannes Stadler, Sebastian Graf 16

17 Beispielcode RapidMind #include <rapidmind/platform.hpp> Value1f t = 1.0; Array<2,Value3f> a(512,512); Array<2,Value3f> b(512,512); void init_func_prog () { rapidmind::init(); Program func_prog = BEGIN { In<Value3f> u, v; Out<Value3f> w; w = u + v * t; } END; a = func_prog( a, b); } Hannes Stadler, Sebastian Graf 17

18 RapidMind Platform Code Optimizer Optimierung des Codes durch Transformierung und Anpassung der Berechnungen Entfernt Overhead Load Balancer Kümmert sich um die Verteilung der Aufgaben um möglichst alle Cores voll auszunutzen Data Manager Verwaltet und Optimiert die Datenzugriffe Diagnostics Protokollierung der Systemleistung Statistiken für die Optimierung zur Laufzeit Hannes Stadler, Sebastian Graf 18

19 RapidMind - Einsatzbereiche Häufige Verwendung dieser Lösung in der Medizintechnik Kernspin-Tomographie - Enorme Bilddaten müssen verarbeitet und ausgewertet werden - Großer Nutzen durch Hardwarebeschleuniger -> bessere Auswertungsalgorithmen verwendbar, höhere Wiederholungsrate - Es kann stets die Beste zur Verfügung stehende Plattform verwendet werden, ohne dass Programme komplett neu implementiert werden müssen - Leichte Erweiterung des Codes Optimierung diverser bestehender Anwendungen Durch gezielte Anpassung des Codes an RapidMind- Techniken Hannes Stadler, Sebastian Graf 19

20 Performance - Benchmarks Bisher leider fast nur Ergebnisse von synthetischen Benchmarks veröffentlich Diese weisen selbstverständlich für die RapidMind-Plattform einen enormen Speed-Up vor auch schon auf X86 Hannes Stadler, Sebastian Graf 20

21 Performance - Benchmarks Aber natürlich ist sie auch auf GPU s und Cell unschlagbar Black Scholes-Financial quaternion Julia renderer Hannes Stadler, Sebastian Graf 21

22 Performance reale Werte Veröffentlichung einer Forschungsarbeit über Qualitätsverbesserung von Ultraschall-Aufnahmen Laufzeiten der verschiedenen Implementierungen MATLAB: 4 Minuten C++-Portierung: 10 Sekunden RapidMind (GPU): 1 Sekunde Allerdings ein sehr spezielles Beispiel, das die Fähigkeiten der GPU voll ausnutzt. Daher wäre wohl auch kein anderes Ergebnis als ein klarer Sieg einer GPU über eine CPU-Lösung zu erwarten gewesen Hannes Stadler, Sebastian Graf 22

23 Zusammenfassung Programmierung von paralleler Hardware mittels SPMD RapidMind Plattform sehr portabel Diverse Architekturen Betriebssysteme Erweiterung von C++ Automatische Optimierung an die Beschleunigerhardware Eigentlicher Kontrollfluss findet auf der CPU statt, RapidMind-Code wird auf den Beschleunigern ausgeführt Single-Threaded Programmablauf Deadlock-Freiheit Die besten Ergebnisse erzielt man natürlich bei unabhängigen Matrix-Operationen, da sich diese sehr einfach und effizient parallel abarbeiten lassen Hannes Stadler, Sebastian Graf 23

24 Fazit Benchmarkergebnisse spiegeln meist nicht die Realität wieder, daher kann man nicht direkt auf die Leistungsfähigkeit schließen Teilweise (laut Veröffentlichungen ) soll der RapidMind- Code sogar schneller als handoptimierter Code sein Zusätzliche Kosten bei der Entwicklung für Großprojekte sicherlich nützlich/hilfreich, aber für kleinere Anwendungen manuelle Optimierung rentabeler im nächsten Vortrag hört ihr von Philipp und Hauke, was man beim manuellen Programmieren von paralleler Hardware (besonders Cell) besonders beachten sollte Hannes Stadler, Sebastian Graf 24

25 Fragen? While( Fragen.size()!= 0){ Fragen.getNextElement().answer(); } Danke für eure Aufmerksamkeit Hannes Stadler, Sebastian Graf 25