Parallelprogrammierung

Transkript

1 Lesender: Prof. Dr.-Ing. habil Ilka Philippow Fakultät für Informatik und Automatisierung FG Softwaresysteme/Prozessinformatik Tel Sekr , Frau Meusel, Zuse Bau Zi3044 login: pw: Studiengänge: Informatik, Ingenieurinformatik, 1

2 Lernziel der Vorlesungsreihe die Problemabstraktionen Paralleler Prozesse kennen und verstehen die Synchronisationskonzepte für parallele Prozesse verstehen und anwenden können 2

3 Warum und wie wird parallelisiert? Vorteil: parallele Rechenprozesse können die Laufzeit reduzieren 1. Schritt: Finden von parallel lauffähigen Programmteilen 2. Schritt - Top down Zerlegung des Problems - Parallelisierung von Algorithmen Synchronisation der parallelen Abarbeitung Gegenstand der 3

4 1. Einführung Klärung von Grundfragen a) Parallele Prozesse müssen grundsätzlich nebenläufig sein Merkmale der Nebenläufigkeit b) Wo und wie findet Parallelverarbeitung statt und wann muss synchronisiert Gegenstand der Vorlesung eingrenzen c) Anforderungen an die Parallelverarbeitung aus Sicht von eingebetteten Systemen 4

5 1.1. Parallelisierung von Algorithmen Sequentielle Algorithmen: Z := X; Call Up1; Call UP2; Y:=2; Erzeugen bei gleichen Eingabedaten immer die gleichen Ausgabedaten Merkmal: fest vorgegebener, deterministischer Ablauf aller Programmteile 5

6 Beispiel, Bild 1.1 Berechnung der Schleifendurchläufe: (n-1) + (n-2) = n(n-1)/2 Vergleiche sind nötig Für sehr große n gilt ungefähr n 2 /2-Vergleiche: n Eingabewerte n 2 /2 sequentiell Kann man durch Parallelisierung die Effizienz verbessern? 6

7 Parallelisierungspotenzial? in Schleifen kann prinzipiell nach Parallelisierungsmöglichkeiten gesucht werden dabei kann die gesamte Anweisungsfolge einer Schleife jeweils einem Prozessor zugeordnet werden Idee: Sortieren in zwei Stufen z.b. für n=10: und und Mischen der Ergebnisse 0, 1, 2,...9 7

8 n/2 sortieren: Beispiel, Bild 1.2 n * 2 = n 8 Vergleiche: mal zwei, +n für mischen : n Eingabewerte n 2 /2 sequentiell 2 n 2*( 8 n 2 /4 + n quasiparallel 2 2 n ) = 4 + n 2 /8 + n parallel Nötig: Synchronisationsaspekte spezifizieren n 8

9 1.2. Nebenläufige Prozesse ein Algorithmus kann nebenläufige Teile enthalten - es gibt Verfahren zum Auffinden der Nebenläufigkeit (nicht Gegenstand der Vorlesung, siehe Literatur) ein Programmsystem kann nebenläufige Teile enthalten - z.b. Prozeduren, Programme die Zuteilung von Prozessoren und globalen Betriebsmitteln erfolgt durch das Betriebssystem 9

10 Definitionen Ein Programm bzw. Programmsystem ist nebenläufig, wenn es Teile enthält, die in beliebiger Reihenfolge (nichtdeterministisch) ablaufen können. Der Ablauf kann parallel oder quasiparallel erfolgen. Quasiparallelbetrieb: Einprozessorsysteme, oder es gibt weniger Prozessoren als Prozesse Parallelbetrieb: es gibt mindestens soviel Prozessoren wie Prozesse nebenläufige Prozesse werden real parallel abgearbeitet 10

11 Merkmale der Nebenläufigkeit nebenläufige Prozesse sind nichtdetermininiert beliebige Startreihenfolge (Zuordnung von Prozessoren) nebenläufige Prozesse sind endlos zufällige Startzeitpunkte für Test: repeat... forever nebenläufige Prozesse können kooperieren (lösen eine gemeinsame Aufgabe) oder konkurrieren (um gemeinsame Betriebsmittel) 11

12 Typische Kooperationen Client-Server-Kooperation: Client 1 Client 2 Server 1/Client Server 2 Autonome Vergabe eines Auftrages Distributor/Team-Kooperation: Team: Beteiligung an der Auswahl von Aufgaben Sammlung und Verteilung von Aufträgen 12

13 Kooperation und Konkurrenz Kooperation und Konkurrenz schließen einander nicht aus Gefordertes Verhalten: das Ergebnis eines Prozesses muss unabhängig von Ausführungsgeschwindigkeiten sein Vermeiden von Effekten, die nur bei Nebenläufigkeit, nicht jedoch bei streng sequentiellen Abarbeitung auftreten Koordination ist notwendig Koordinations-Mechanismus: Synchronisation durch Prozess-Kommunikation 13

14 1.3. Parallelität Der Begriff Parallelität beschreibt verschiedene Aspekte: 1. Parallelrechner: die Maschinenstruktur führt zu asynchroner bzw. synchroner Abarbeitung von Rechenprozessen 2. Parallelverarbeitung: die Abstraktionsebene bestimmt die Granularität von Rechenprozessen 14

15 Parallelrechner (nach Flynn) Einprozessorrechner SISD: Single Instruction Single Data MISD: Multiple Instruction Single Data Pipelinerechner Vektor-, Arrayrechner SIMD: Single Instruction Multiple Data MIMD: Multiple Instruction Multiple Data Mehrprozessorrechner Unterschiede in der Synchronisation der parallelen Prozesse im Zugriff auf einen gemeinsamen Speicher 15

16 Synchronisation Asynchrone Parallelität: Prozessoren können autonom ein Programm (Prozess) ausführen mehrere Kontrollflüsse Datenaustausch muss synchronisiert werden (SISD-Rechner (Quasiparallel-Betrieb), MIMD-Rechner) Synchrone Parallelität: ein übergeordneter Prozessor führt ein Programm aus und steuert alle anderen Prozesse ein Kontrollfluss Prozesse sind synchronisiert (SIMD-Rechner, MISD-Rechner) 16

17 Synchrone Parallelität MISD: Abarbeitung von Anweisungen in einer Pipeline Steuerrechner Daten Einheit 1 Speicher Daten Einheit 2 Speicher Einheit n Speicher Daten werden durch die Prozessoren auf unterschiedliche Weise verarbeitet Datenaustausch erfolgt über Übergabepuffer Algorithmus- Parallelisierung 17

18 Synchrone Parallelität SIMD: alle Prozessoren führen gleichzeitig die gleiche Funktionalität auf den lokalen Daten aus Steuerrechner Daten und Befehle Einheit 1 Daten Speicher Netzwerk Einheit 2 Speicher Einheit n Speicher Parallelverarbeitung verschiedener Daten 18

19 Asynchrone Parallelität MIMD: Prozessoren führen autonom Programme aus mehrere Kontrollflüsse Einheit 1 Speicher Netzwerk Einheit 2 Speicher Einheit n Speicher lose gekoppelt, ohne gemeinsamen Speicher: Synchronisation erfolgt über Nachrichten 19

20 Asynchrone Parallelität MIMD, SISD (im Quasiparallelbetrieb): autonome Prozesse mehrere Kontrollflüsse Einheit 1 Einheit 2 Einheit n Netzwerk Speicher Speicher Speicher eng gekoppelt, mit einem gemeinsamen Speicher die Synchronisation erfolgt über globale Variable 20

21 Parallelverarbeitung Ebene: Merkmal: Programm Prozess - autonom - SISD quasiparallel - MIMD parallel Prozess - SISD quasiparallel - MIMD verteilt-parallel Ausdruck Instruktion - komponentenweise - SIMD, MISD - Datenparallelität Bit Thread innerhalb Instruktion - Datenparallelität - in jedem Computer grobkörnig Synchron Asynchron Verarbeitung: Teilprogramm Prozedur feinkörnig 21

22 Programm- und Prozessebene SISD: Programm 1 Programm n 1. n Prozess- Zeitscheibe MIMD: Programmlauf verzahnt im Quasiparallelbetrieb Programm Prozess 1 Prozess 2 Prozess Erhöhung der Rechenleistung Kommunikationsaufwand beachten realer Parallelbetrieb 22

23 Fokus der Vorlesung Asynchrone autonome Programme: teilen sich Betriebsmittel, werden zentral vom Betriebssystem synchronisiert kommunizieren in der Regel nicht miteinander Asynchrone kooperierende Prozesse, Threads: Kooperation erfordert Kommunikation Synchronisation ist Aufgabe des Anwendungsentwicklers Konzepte zur Synchronisationsprogrammierung 23

24 1.4. Anforderungen die Anforderungen an asynchrone parallele Prozesse ergeben sich aus den Anwendungen Anwendungsbereich: Kommerzielle Systeme (z.b. Banken) Technische Systeme - Eingebettete Systeme, z.b. Fahr- und Flugzeuge - Hybride Systeme, z.b. Kernkraftwerke, Leittechnik besonders Harte Qualitätsanforderungen betreffs - Effizienz, Zuverlässigkeit und Erweiterbarkeit des Programmsystems 24

25 Effizienz und Flexibilität Besonders bei eingebetteten Systemen: Effizienz bezüglich Speicherbedarf und Zeit kein unnötiger Overhead zugelassen (JAVA weniger geeignet, in der Praxis C, C++ und spezielle Prozessprogrammiersprachen) Flexibilität zur Einbindung von Steuergeräten unterschiedlichster Hersteller Schnittstellenvorgabe und einheitliche Synchronisationskonzepte einhalten 25

26 Zuverlässigkeit Besonders bei eingebetteten Systemen: katastrophale Folgen (z.b. Luftfahrt) können eintreten - bei Ausfall eines oder mehrerer Prozesse z.b. durch Verklemmung Betriebssysteme müssen Prozesse beobachten können, d.h. explizit deklarierte Prozesse - durch inkonsistente (z.b. überschriebene) Daten eigene Adressräume für Prozesse und sichere Synchronisation notwendig 26

27 Inhalt der Vorlesung Synchronisationskonzepte für parallele Prozesse Überblick zu Konzepten der Prozesserzeugung Abstraktion der Synchronisationsprobleme Synchronisation von Prozessen mit gemeinsamen Speicher Schlossvariable, Semaphoren, Monitore Synchronisation von Prozessen ohne gemeinsamen Speicher Nachrichtenaustausch, Rendezvous 27

28 Fragen 1. Wodurch unterscheidet sich asynchrone und synchrone Parallelität? 2. Was bedeutet Nebenläufigkeit in einem Algorithmus? Welcher Vorteil ergibt sich aus der Identifikation nebenläufiger Teile? 3. Warum müssen nebenläufig Prozesse identifizierbar sein? 4. Erklären Sie im Kontext nebenläufiger Prozesse die Begriffe Kooperation, Konkurrenz, Synchronisation, Kommunikation? 5. Was muss der Entwickler bei Nebenläufigkeit beachten? 28

29 Fragen 6. Was muss programmtechnisch möglich sein, um Nebenläufigkeit zu unterstützen? 7. Welche Anforderungen ergeben sich aus den strengen Qualitätsmerkmalen Zuverlässigkeit und Effizienz an parallele Programmsysteme? 29

30 Literatur Herrtwich, Ralf G, Hommel, Günter: Nebenläufige Programme. Springer-Verlag 1994 Dietrich Boles: Parallele Programmierung spielend gelernt mit dem Java-Hamster-Modell. Teubner Verlag