Task Parallel Library. Ralf Abramowitsch Vector Informatik GmbH

Transkript

1 Task Parallel Library Ralf Abramowitsch Vector Informatik GmbH

2 Moore s Gesetz: Alle 2 Jahre verdoppelt sich die Leistung von CPUs Quelle:

3 Herb Sutter s The Free Lunch Is Over blications/concurrency -ddj.htm

4 Programmierung für Multi-Core CPU s Multi-Processing Multi-Threading Programme müssen für Multi-Core angepasst werden

5 Modell über die Beschleunigung von Programmen durch parallele Ausführung Geschwindigkeitszuwachs durch den sequentiellen Anteil des Problems beschränkt, da sich dessen Ausführungszeit durch Parallelisierung nicht verringern lässt

6 Erklärung Speedup: S Sequentieller Anteil: (1-P) Paralleler Anteil: (P / N) Aufwand für Synchronisierung: o(n) Konsequenz P muss groß genug sein, damit die Aufwände für Parallelisierung nicht deren Nutzen auffressen

7 Tasks nutzen den.net Thread Pool Minimaler Aufwand zum Verwenden von Threads Load Balancing Rückgabe von Threads an Thread Pool Thread Pool Threads limitiert ThreadPool.GetMaxThreads Maximale Anzahl Threads in Pool ThreadPool.GetAvailableThreads Noch verfügbare Threads im Pool

8 Pro Prozess ein Thread Pool Neue Anforderungen über Warteschlange: QueueUserWorkItem Muss eine Anforderung länger als eine halbe Sekunde warten, wird neuer Pool-Thread erzeugt Maximal jedoch GetMaxThreads Wird Pool-Thread 30 Sekunden nicht benötigt, wird Thread aus dem Pool entfernt

9 Thread Pools in.net Klassenbibliothek: Asynchrone Aufrufe Socket-Verbindungen I/O-Completion Ports Timer

10 Einschränkungen Thread-Priorität kann nicht geändert werden Aufgaben dürfen nicht lange laufen bzw. andere Threads blockieren Thread Pool Threads können nicht identifiziert werden (z.b. Join)

11 Es gibt zwei Möglichkeiten: System.Linq.ParallelEnumerable-Klasse AsParallel-Erweiterungsmethode Ziel: Parallele Datenabfragen mit LINQ

12 string[] cities = { "Stuttgart", "Ludwigsburg", "Berlin", "Köln", "Hamburg", "München", "Leipzig", "Frankfurt" }; var q = from x in cities.asparallel() where x.length < 7 orderby x select x;

13 System.Threading.Tasks.Parallel Aufteilung von Schleifen in Threads aus dem Thread Pool Voraussetzung Schleifendurchläufe sind unabhängig voneinander Problem z.b.: a[i] = a[i 1] * 2

14 Thread-Synchronisierung an Schleifenende Thread-Local Variablen Die Laufvariable darf nicht als lokale Variable deklariert werden

15 Parallelisierung von foreach Reihenfolge nicht deterministisch string[] cities = { "Stuttgart", "Ludwigsburg", "Berlin", "Köln", "Hamburg", "München", "Leipzig", "Frankfurt" }; Parallel.ForEach(cities, item => { Console.WriteLine("Die Stadt {0} hat {1} Zeichen.", item, item.length); });

16 Codebeispiel: Parallelisieren einer Schleife Codebeispiel: Performance-Messung Codebeispiel: Parallelisierung einer unausgewogenen Schleife

17 Unausgewogene Schleifen for(int i = 0; i < 1000; i++) { if(i < 500) { DoLongCalculation(); } else { DoShortCalculation(); } }

18 Schleifen-Partitionierung kleine Arbeitseinheiten Sobald ein Thread mit einer Arbeitseinheit fertig ist, bekommt er die nächste, bis die Arbeit komplett erledigt ist

19 Codebeispiel: Partitioner

20 Achtung bei schreibendem Zugriff auf Klassenvariablen oder statischen Variablen Keine Fehlermeldungen (vom Compiler, Runtime) Ergebnisse sind falsch ( Data Race ) REGEL: Es darf nur ein Thread gleichzeitig schreibend zugreifen Ggf. synchronisieren, d.h., schreibende Zugriffe werden nacheinander abgewickelt Achtung: Performance!

21 Schleifendurchläufe sind nicht unabhängig voneinander D.h., in Schleifendurchlauf #i wird auf Daten zugegriffen, die im Schleifendurchlauf #j berechnet werden, wobei gilt: i!= j Z.B.: a[i] = a[i-1] + 1 Abhilfe: Den Algorithmus ändern Werte, die in der Schleife benötigt werden, möglichst aus dem Index berechnen

22 Zusammenfassen von Ergebnissen Locking double sum = 0.0; for(int i = 0; i < 1000; i++) { double y = Math.Sqrt(i); lock() { sum += y; } }

23 Zwischenwerte werden über den sog. ThreadLocalState weitergegeben Ablauf: Vor der Schleifenabarbeitung: LocalState initialisieren Schleifenteil abarbeiten: Im Thread rechnen, LocalState benutzen Nach der Abarbeitung der Teilschleife: Aggregation (Zusammenfassung) der Ergebnisse (Achtung: Locking!!!)

24 Das Ziel ist, möglichst WENIG Locking-Operationen durchzuführen Möglichkeit #1: In jedem Schleifendurchlauf beim Zugriff (Addition) auf dsum findet ein Lock statt Möglichkeit #2: Zwischensumme einer Arbeitseinheit ermitteln, Zwischensumme mit Locking zu dsum addieren

25 int sum = 0; // Parallel.For(from, to, init, body, finally); Parallel.For(0, 1000, () => 0, (i, pls, tls) => { return tls += i; }, (partsum) => { Interlocked.Add(ref sum, partsum); });

26 Codebeispiel: Aggregation

27 Wenn mehrere Threads für die Schleife parallel laufen, dann müssen alle Threads beendet werden Klasse ParallelLoopResult benutzen Berechnung beendet? Klasse ParallelLoopState enthält Break- Methode und eine Stop-Methode Alle Threads werden beendet

28 Codebeispiel: Schleife abbrechen

29 Tipps & Tricks Parallel.For und Parallel.ForEach: (Anzahl der Durchläufe * Dauer) muss groß genug sein Nicht vergessen: Amdahl s Gesetz! Möglichst wenig Synchronisierung verwenden

30 Die Anzahl der zu verwendenden Threads wird mit der ParallelOptions Klasse definiert MaxDegreeOfParallelism = -1 Alle Kerne und Prozessoren werden ausgenutzt In bestimmten Fällen kann es auch sinnvoll sein, die Anzahl der benutzten Threads auf > Kerne * Prozessoren zu setzen

31 Codebeispiel: Festlegen der Thread auf 2

32 Unabhängiger Code kann parallel ausgeführt werden Häufigstes Problem: Gleichzeitiger Zugriff auf die gleichen Daten (schreibend) Ohne Nachdenken geht da gar nichts! Wichtige Methode: Parallel.Invoke Auch hier: Unterschiedliche Schreibweisen möglich

33 Codebeispiel: Berechnung parallelisieren

34 Die Task-Klasse wird benötigt, um erweiterte Parallelisierungprobleme zu lösen Vergleichbar mit der ThreadPool-Klasse: ThreadPool.QueueUserWorkItem(delegate { }); ist ähnlich wie: Task.Factory.StartNew(delegate { });

35 Die TPL benutzt nun den.net ThreadPool als Standard-Scheduler Der ThreadPool hat mehrere Vorteile: Work-stealing queues werden intern in der TPL benutzt Hill-climbing-Methoden, wurden eingeführt, um die optimale Thread-Anzahl zu ermitteln Synchronisierungsmechanismen (wie SpinWait und SpinLock) werden intern verwendet

36

37 Wichtige Features: Synchronisierung von parallelen Ausführungseinheiten Task.Wait(), WaitAll(), WaitAny() Abbrechen von Ausführungseinheiten Cancelation Framework

38 Codebeispiel: Tasks

39 Übergabe von Parametern im Funktionsaufruf möglich Achtung: Seiteneffekte, wenn man es falsch macht Lösung 1: Übergabe der Parameter mit Parametern der Lambda-Funktion Lösung 2: Deklaration lokaler Variablen in der Schleife

40 Codebeispiel: Parameter und Tasks

41 Tasks können kontrolliert werden Created WaitingForActivation WaitingToRun RanToCompletion Canceled Faulted WaitingForChildrenToComplete

42 Tasks sind gut in sehr unausgewogenen Schleifen for(int i = 0; i < n; i++) { for(int j = 0; j < i; j++) { for(int k = 0; k < i; k++) { for(int l = 0; l < k; l++) { // Do Work } } } }

43 Lösung 1: Schleife (außen) mit Parallel.For parallelisieren Achtung: Die Schleifendurchläufe werden zum Schluss immer länger Der Scheduler kann die Teilschleifen nur schlecht aufteilen, so dass alle Prozessoren gleichmäßig ausgelastet sind Lösung: Schleifen rückwärts laufen lassen und Tasks benutzen (Task mit dem beiden inneren Schleifen)

44 Codebeispiel: Nested Loops Codebeispiel: Nested Loops Tasks

45 Die Klasse ermöglicht die asynchrone Berechnung von Daten Wenn später dann die berechneten Daten weiter benutzt werden sollen, wird geprüft, ob die Berechnung bereits abgeschlossen ist Sonst wird gewartet. = Synchronisierung Kann man Task<TResult>-Variablen in Anwendungen mit einer Benutzerschnittstelle benutzen?

46 Codebeispiel: Futures

47 Sequentielle Anwendung zu einer Zeit eine Exception Parallele Anwendung Mehrere Exceptions zu einem Zeitpunkt Reihenfolge nicht deterministisch

48 Alle aufgetretenen Exceptions werden in einem Objekt der Klasse System.Threading.AggregateException eingesammelt Wenn alle Threads angehalten sind, dann wird die AggregateException neu geworfen und kann bearbeitet werden Die einzelnen Exceptions können über das Property InnerExceptions abgefragt werden (eine Collection der aufgetretenen Exceptions)

49 Welche Klassen werfen AggregateException- Objekte? Die Parallel-Klasse Die Task-Klasse Die Task<TResult>-Klasse Parallel LINQ (Abfragen)

50 Codebeispiel: Concurrent Exceptions

51 Die Synchronisierung soll den Zugriff auf begrenzte Ressourcen des Rechners steuern, wenn mehrere Threads gleichzeitig darauf zugreifen wollen Variablen (RAM) Codeteile LPT-, COM- und USB-Schnittstellen

52 Eine Synchronisierung beinhaltet immer die Gefahr eines Deadlocks Thread A wartet auf die Resource Thread B hat die Resource in Benutzung Thread B wartet auf Thread A

53 Allgemeine Regeln: Nicht zu viel synchronisieren Langsam Nicht zu wenig synchronisieren Falsch Die richtige Sychronisierungsmethode wählen Keine eigenen Synchronisierungselemente programmieren Schwierig

54 Standard-Synchronisierungsmechanismen: Monitor, lock (C#) Interlocked-Klasse Mutex WaitHandle

55 Barrier CountDownEvent LazyInit<T> ManualResetEventSlim SemaphoreSlim SpinLock SpinWait WriteOnce<T> Collections (Stack, Queue, Dictionary)

56 Die goldene Regel gilt natürlich auch hier! WPF oder WinForms laufen im STA Sie dürfen nur aus dem Thread auf Controls zugreifen, im dem Sie die Controls erzeugt haben Ab Framework 2.0: Exception im Debug-Modus

57 WindowsForms: Benutzung von InvokeRequired zum Test, ob der richtige Thread Benutzung von BeginInvoke zum Umschalten in den richtigen Thread Windows Presentation Foundation: Benutzung von Dispatcher.VerifyAccess oder Dispatcher.CheckAccess zum Test, ob der richtige Thread Benutzung von Dispatcher.Invoke zum Umschalten in den richtigen Thread

58 Codebeispiel: TPL WinForms

59 Erweiterungen zusätzlich zu ContinueWith: ContinueWhenAll ContinueWhenAny Leistungsfähiges Konzept für die Fortführung der Arbeit, wenn bestimmte Teilaufgaben erledigt sind

60 Die alte Klasse TaskManager wurde ersetzt durch die TaskScheduler-Klasse Neue WorkStealing-Queues im ThreadPool TaskScheduler ist eine abstrakte Basisklasse Man kann davon ableiten und eigene TaskScheduler s programmieren Interessant für spezielle Szenarien Z.B.: spezielle Prioritätsverwaltung

61 Codebeispiel: Task Scheduler

62 Ein weiteres spezielles Szenario für die Benutzung eines TaskScheduler s: Zugriff auf das User Interface Die alte Regel gilt immer noch Ablauf: Asynchrone Berechnung im Task Fortführung mit ContinueWith (z.b. Ergebnisausgabe) aber im korrekten Thread-Kontext ( im UI-Thread) Früher: Benutzung von Invoke

63 Einfaches Abschießen (Kill) von Threads ist keine gute Lösung Offene Dateien??? Locks??? Schreibende Zugriffe??? Genutzte Resourcen??????

64 Das Beenden von Threads muss kooperativ erfolgen Der Thread kann nur an bestimmten Stellen beendet werden Der Thread kann selbst entscheiden, wann er beendet wird Abhängige Threads werden ebenfalls beendet Gutes Beispiel: BackgroundWorker-Control (ab.net Framework 2.0)

65 Anlegen eines CancellationTokenSource-Objektes Das CancellationToken-Objekt wird an alle Threads übergeben, die über das eine Source-Objekt beendet werden können In den Threads wird das Token-Objekt über das Property IsCancellationRequested abgefragt Alle Threads des Source-Objekts werden über die Cancel- Methode des Source-Objektes beendet

66 Ggf. wird dann aufgeräumt Nach dem Aufräumen wird aus dem Thread eine OperationCanceledException geworfen Diese kann im aufrufenden (Main-) Thread eingefangen und verarbeitet werden

67 Codebeispiel: Tasks abbrechen

68 ist in parallelen Programmen gar nicht so einfach Parallelprogrammierung hat meistens einen Grund: Performance-Steigerung Messgrößen sind also: Richtigkeit des Ergebnisses Ausführungszeit

69 Häufiges Problem: Die Anwendung skaliert nicht mehr mit Erhöhung der Prozessoranzahl Zeit

70 Performance-Tests mit Visual Studio

71 Es gibt zwei neue Debugging-Fenster in Visual Studio 2010 Fenster: Parallel Tasks Fenster: Parallel Stacks Für native und für managed Code Die Fenster können geöffnet werden, wenn ein Breakpoint angelaufen wurde Debug > Windows > Parallel Tasks Debug > Windows > Parallel Stacks

72 Parallel Tasks-Fenster: Unterstützung des Task-basierten Programmierens Auflistung aller Tasks Waiting, Running, Scheduled, Ausgaben können konfiguriert und gruppiert werden

73 Parallel Stacks-Fenster: In modernen Anwendungen laufen oft mehrere Threads gleichzeitig Das Fenster zeigt die hierarchische Aufrufreihenfolge von Threads an siehe Call-Stack (ohne Threading-Info s) Ausgaben können in unterschiedlicher Weise dargestellt werden TopDown, BottomUp, Zooming, Panning,

74 Suche nach Deadlocks ist mit dem VS- Debugger möglich Benutzung des Parallel-Tasks-Fensters

75 Beispiel: Deadlock

76 OpenMP Für C, C++ MPI (Message Passing Interface) (C, C++, FORTRAN,.NET) Parallel Pattern Library (PPL) Eine Erweiterung für C++ in VS 2010

77 Cilk (Intel) C/C++ TBB (Intel Threading Building Blocks) C++ Parallelverarbeitung in der Grafikkarte CUDA (NVIDIA) OpenCL (KRONOS group) AMP (Microsoft)