Parallelverarbeitung. Parallelverarbeitung. 2. Grundlagen. 2. Grundlagen. 2.1 Parallelität

Transkript

1 2. Grundlagen Parallelverarbeitung SS 2005 Inhalt Parallelität Ebenen der Parallelität Parallelrechnerarchitekturen Parallele Programmiermodelle Roland Wismüller, Univ. Siegen Tel.: 0271/ , Büro: H-B 8404 c 2005, Roland Wismüller 02-1 Literatur: Ungerer c 2005, Roland Wismüller Parallelität Parallelverarbeitung SS Grundlagen Was ist ein paralelles Programm? Ein paralleles Programm kann als halbgeordnete Menge von Befehlen (Aktivitäten) dargestellt werden die Ordnung ist durch die Abhängigkeiten der Befehle untereinander gegeben Unabhängige Befehle können parallel ausgeführt werden Befehl parallele Befehlsfolge Abhängigkeit (sequentielle Reihenfolge) Abhängigkeit (Synchronisation) c 2005, Roland Wismüller 02-2 c 2005, Roland Wismüller 02-4

2 2.1 Parallelität Ebenen der Parallelität Nebenläufigkeit vs. Pipelining Nebenläufigkeit: Befehle werden gleichzeitig in mehreren Verarbeitungseinheiten ausgeführt Pipelining: Ausführung der Befehle ist in sequentielle Phasen zerlegt. Unterschiedliche Phasen verschiedener Befehlsinstanzen werden gleichzeitig ausgeführt. Anmerkung: Befehl meint hier allgemein eine Berechnungsaktivität, abhängig von der betrachteten Ebene z.b. Maschinenbefehl, Ausführung eines Unterprogramms c 2005, Roland Wismüller 02-5 Auf welchen Ebenen der Programmierung kann Parallelität genutzt werden? Es gibt keine einheitliche Klassifikation Z.B. Ebenen bei Waldschmidt (Parallelrechner: Architekturen - Systeme - Werkzeuge, Teubner, 1995): Benutzerprogramme kooperierende Prozesse Datenstrukturen Anweisungen und Schleifen Maschinenbefehle Sie sind heterogen, nach verschiedenen Merkmalen aufgeteilt und überlappen sich zum Teil c 2005, Roland Wismüller Parallelität Ebenen der Parallelität... Nebenläufigkeit vs. Pipelining... Sicht des Anwendungs-Entwicklers (Designphase): natürlicher Parallelismus Sequentielle Ausführung A B C D z.b. Berechnung der Kräfte für alle Sterne einer Galaxie oft zu feinkörnig Nebenläufige Ausführung A B C D Datenparallelität (Gebietsaufteilung) z.b. sequentielle Bearbeitung aller Sterne eines Raumgebiets Pipelining (2 Stufen) A1 B1 C1 D1 A2 B2 C2 D2 Taskparallelität (Aufgabenaufteilung) z.b. Vorverarbeitung, Berechnung, Nachbearbeitung, Visualisierung c 2005, Roland Wismüller 02-6 c 2005, Roland Wismüller 02-8

3 2.1 Ebenen der Parallelität Ebenen der Parallelität... Sicht des Programmierers: Explizite Parallelität Datenaustausch (Kommunikation / Synchronisation) muß selbst programmiert werden Implizite Parallelität durch Compiler direktivengesteuert oder automatisch Schleifenebene / Anweisungsebene Compiler erzeugt Code für Kommunikation innerhalb einer (nach außen hin sequentiellen) CPU Superskalarität, Pipelining,... Sicht des Systems (Rechner/Betriebssystem):... Anweisungsebene (Befehlsebene) elementare Anweisungen (in der Sprache nicht weiter zerlegbare Datenoperationen) Scheduling automatisch durch Compiler und/oder zur Laufzeit durch Hardware z.b. bei VLIW (EPIC), superskalaren en Suboperationsebene elementare Anweisungen werden durch den Compiler oder in der Maschine in Suboperationen aufgebrochen, die parallel ausgeführt werden z.b. bei Vektor- oder Feldoperationen c 2005, Roland Wismüller 02-9 c 2005, Roland Wismüller Ebenen der Parallelität Ebenen der Parallelität... Sicht des Systems (Rechner/Betriebssystem): Programmebene (Jobebene) unabhängige Programme Prozessebene (Taskebene) kooperierende Prozesse meist mit explizitem Nachrichtenaustausch Blockebene leichtgewichtige Prozesse (Threads) Kommunikation über gemeinsamen oft durch Compiler erzeugt Parallelisierung von Schleifen c 2005, Roland Wismüller Granularität Gegeben durch Verhältnis von Berechnung zu Kommunikation und Synchronisation entspricht intuitiv der Länge der parallelen Befehlsfolgen in der Halbordnung bestimmt Anforderung an Parallelrechner v.a. Kommunikations-System beinflußt die erreichbare Beschleunigung (Speedup) Grobkörnig: Programm- und Prozeßebene Mittelkörnig: Blockebene Feinkörnig: Anweisungsebene c 2005, Roland Wismüller 02-12

4 2.2 Parallelrechnerarchitekturen MIMD Rechner Klassifikation von Rechnerarchitekturen nach Flynn Unterscheidungskriterien: wieviele Befehlsströme bearbeitet ein Rechner zu einem gegebenen Zeitpunkt (einen, mehrere)? wieviele Datenströme bearbeitet ein Rechner zu einem gegebenen Zeitpunkt (einen, mehrere)? Daraus ergeben sich vier mögliche Klassen: SISD: Single Instruction stream, Single Data stream SIMD: Single Instruction stream, Multiple Data streams MISD: Multiple Instruction streams, Single Data stream MIMD: Multiple Instruction streams, Multiple Data streams c 2005, Roland Wismüller Nachrichtengekoppelte Multiprozessoren: Multiprozessorsysteme mit verteiltem CPU Cache NORMA: Knoten Netzwerk adapter CPU Cache Verbindungsnetzwerk NO Remote Memory Access Gut skalierbar (bis mehrere 1000 Knoten) Knoten Netzwerk adapter Kommunikation und Synchronisation über Nachrichtenaustausch c 2005, Roland Wismüller Parallelrechnerarchitekturen MIMD Rechner... Klassifikation von Rechnerarchitekturen nach Flynn... Bedeutung der Klassen: SISD: alle Einprozessorrechner SIMD: Vektor- und Feldrechner MISD: leer, da nicht sinnvoll MIMD: alle Arten von Multiprozessorsystemen Nur sehr grobe Unterscheidung der Architekturen! c 2005, Roland Wismüller gekoppelte Multiprozessoren: Multiprozessorsysteme mit gemeinsamem CPU CPU CPU Cache Cache Cache Verbindungsnetzwerk modul modul Globaler Adreßraum UMA: Uniform Memory Access Kommunikation und Synchronisation über gemeinsamen nur wenige en möglich (ca. 8 32) zentraler gemeinsamer c 2005, Roland Wismüller 02-16

5 2.2.1 MIMD Rechner MIMD Rechner... gekoppelte Multiprozessoren: Multiprozessorsysteme mit verteiltem gemeinsamem Knoten CPU Cache CPU Cache Verbindungsnetzwerk Verteilter, von allen CPUs aus zugreifbar NUMA: Non Uniform Memory Access Kombiniert gemeinsamen mit Skalierbarkeit c 2005, Roland Wismüller Knoten Klassifikation nach Art der anordnung... UMA: Uniform Memory Access-Modell alle en greifen in gleicher Weise auf den gemeinsamen zu insbesondere ist die Zugriffszeit für alle en gleich jeder kann zusätzlich lokale Caches besitzen typisches Vertreter der Klasse: Symmetrische Multiprozessoren (SMP) alle en können in gleicher Weise auf alle Betriebsmittel zugreifen eine Betriebssystem-Instanz für den gesamten Rechner alle en können gleichberechtigt Betriebssystemdienste ausführen c 2005, Roland Wismüller MIMD Rechner MIMD Rechner... Klassifikation nach Art der anordnung NORMA: No Remote Memory Access-Modell kein Zugriff auf module nicht- Knoten möglich Kommunikation nur über Nachrichten möglich pro Knoten eine Betriebssystem-Instanz Mehrbenutzerbetrieb durch Partitionierung typische Vertreter der Klasse: Distributed Memory-Systeme (DMM) auch: MPP (Massively Parallel Processor) im Prinzip auch Rechnernetze Cluster, Grid,... c 2005, Roland Wismüller Klassifikation nach Art der anordnung... NUMA: Nonuniform Memory Access-Modell alle en können auf den gemeinsamen zugreifen die Zugriffszeiten variieren aber, je nach dem Ort, an dem sich der adressierte block physisch befindet die module sind auf die Knoten verteilt Zugriff auf lokales modul ist schneller analog für andere Betriebsmittel für Benutzer praktisch kein Unterschied zu SMP typische Vertreter der Klasse: Distributed Shared Memory-Systeme (DSM) c 2005, Roland Wismüller 02-20

6 2.2.1 MIMD Rechner... Gemeinsamer Adreßraum Verteilte Adreßräume Globaler Verbindungsnetz gemeinsamer SMP: Symmetrischer Multiprozessor Leer Physisch verteilter Verbindungsnetz DSM: Distributed Shared Memory send receive Verbindungsnetz DMM: Distributed Memory c 2005, Roland Wismüller SIMD Rechner... Vektorrechner: Beispiel A(J) = B(J) + C(J), für alle J = 1, 2,..., N Die Vektoren B und C werden mit einem Vektorbefehl komponentenweise addiert und das Ergebnis im Vektor A gespeichert Häufige Schreibweise: A(1 : N) = B(1 : N) + C(1 : N) c 2005, Roland Wismüller SIMD Rechner SIMD Rechner... Vektorrechner Speziell auf die Verarbeitung von Vektoren optimierte Rechnerarchitektur mit speziellen Befehlen zur Vektorverarbeitung Vektor = eindim. Feld (Array) von Gleitkommazahlen Vektorrechner besitzen (i.a. mehrere) pipelineartig aufgebaute Rechenwerke (Vektoreinheit) zur Bearbeitung von Vektoren eine oder mehrere Skalareinheiten zur Bearbeitung skalarer Befehle (Befehle, die nicht auf Vektoren arbeiten) Skalar- und Vektoreinheit können parallel zueinander arbeiten c 2005, Roland Wismüller Vektorrechner: Beispiel... A(1 : N) = B(1 : N) + C(1 : N) Die Elemente der Vektoren werden in einer Pipeline sequentiell, aber überlappt addiert Falls eine einfache Addition vier Takte (d.h. 4 Pipelinestufen) benötigt, ergibt sich folgender Ablauf: 1 1 Takt B+C N N N N Stufe 1 Stufe 2 Stufe 3 Stufe 4 c 2005, Roland Wismüller Zeit

7 2.2.2 SIMD Rechner SIMD Rechner... Vektorrechner: Besonderheiten Die Pipeline-Verarbeitung wird mit den Elementen von zwei Vektoren durchgeführt, die Operanden eines Befehls sind Nach einer gewissen Einschwingzeit wird pro Takt ein Ergebnis berechnet Maximaler Parallelitätsgrad = Anzahl der Pipeline-Stufen i.a. auch mehrere parallele Pipelines Vektorisierung erfolgt i.a. durch den Compiler Operationen in (inneren) Schleifen werden durch Vektoroperationen ersetzt Feldrechner... Verarbeitungseinheiten tauschen Daten über Nachrichten aus Kommunikation nur mit den direkten Nachbarn alle Verarbeitungseinheiten führen gleichzeitig dieselbe Kommunikationsoperation aus Verschiebung des gesamten Feldes in einem Schritt möglich Anwendung: datenparallele Algorithmen, z.b.: Signal- und Bildverarbeitung numerische Algorithmen Heute keine praktische Bedeutung mehr c 2005, Roland Wismüller c 2005, Roland Wismüller SIMD Rechner Datenflußrechner Feldrechner Rechner mit Feld (Matrix) von Verarbeitungseinheiten, die unter Aufsicht einer zentralen Steuereinheit gleichzeitig dieselbe Operation auf verschiedenen Daten ausführen Prinzip-Aufbau: Befehls strom Zentrale Steuerung Feld von Verarbeitungs einheiten Idee: Verzicht auf expliziten Kontrollfluß, Programmablauf wird ausschließlich durch Datenabhängigkeiten zwischen den Operationen gesteuert eng verwandt mit funktionaler Programmierung Programm: Datenflußgraph Knoten: Operationen Kanten: Datenfluß (echte Datenabhängigkeiten) keine Variablen / Register / explizite adressen Datenflußrechner wertet Operationen aus, sobald alle Operanden verfügbar sind Parallelität im Programm ist somit optimal nutzbar c 2005, Roland Wismüller c 2005, Roland Wismüller 02-28

8 2.2.3 Datenflußrechner Gemeinsamer Probleme: Finden ausführbarer Operationen erfordert assoziative (hoher Hardware- Aufwand) oder sequentielle Suchverfahren (hoher Zeitaufwand) Umgang mit komplexen Datenstrukturen funktionales Paradigma erlaubt keine Änderung einzelner Komponenten einer Datenstruktur, sondern nur Erstellung einer geänderten Kopie Einsatz beschränkt auf Spezialanwendungen z.b. Hybridprozessoren zur Verarbeitung von Datenströmen im Netzwerkbereich Leichtgewichtige Prozesse (Threads) teilen sich einen gemeinsamen virtuellen Adreßraum Einfacheres paralleles Programmiermodell alle Threads haben Zugriff auf alle Daten auch theoretisch gut untersucht (PRAM-Modell) Vornehmlich bei speichergekoppelten Rechnern aber (mit starken Leistungseinbußen) auch auf nachrichtengekoppelten Rechnern realisierbar Virtual Shared Memory (VSM) Beispiele: PThreads, Java, OpenMP c 2005, Roland Wismüller c 2005, Roland Wismüller Parallele Programmiermodelle Gemeinsamer... Nachfolgend betrachtet: Beispiel für Datenaustausch Gemeinsamer Nachrichtenaustausch Verteilte Objekte Datenparallele Sprachen Liste ist nicht vollständig (z.b. Datenflußmodell) Erzeuger Thread for (i=0; i<size; i++) buffer[i] = produce(); flag = size; Zeitlicher Ablauf: schreibe in gemeinsamen Puffer flag = 10 Verbraucher Thread while(flag==0); for (i=0; i<flag; i++) consume(buffer[i]); flag == 0 flag == 0 flag!= 0 lies Daten aus Puffer c 2005, Roland Wismüller c 2005, Roland Wismüller 02-32

9 2.3.2 Nachrichtenaustausch Verteilte Objekte Prozesse mit getrennten Adreßräumen Bibliotheksfunktionen zum Versenden und Empfangen von Nachrichten informeller Standard für parallele Programmierung: MPI (Message Passing Interface) Vornehmlich bei nachrichtengekoppelten Rechnern aber auch bei speichergekoppelten Rechnern nutzbar Komplizierteres Programmiermodell explizite Datenverteilung / expliziter Datentransfer i.d.r. keine Compiler-/Sprachunterstützung Parallelisierung erfolgt vollständig manuell Basis: (rein) objektorientierte Programmierung Zugriff auf Daten nur über Methodenaufrufe Dann: Objekte können auf verschiedene Adreßräume (Rechner) verteilt werden bei Objekterzeugung: zusätzlich Angabe einer Rechners Objektreferenz identifiziert dann auch diesen Rechner Methodenaufrufe über RPC-Mechanismus z.b. Remote Method Invocation (RMI) in Java Verteilte Objekte an sich ermöglichen noch keine Parallelverarbeitung zusätzliche Konzepte / Erweiterungen erforderlich c 2005, Roland Wismüller c 2005, Roland Wismüller Nachrichtenaustausch Verteilte Objekte... Beispiel für Datenaustausch Erzeuger Prozeß send(receiver, &buffer, size); Systemaufruf prüfe Rechte DMA aufsetzen DMA zum Netzwerkadapter Benutzerprozeß Betriebssystem (BS) Hardware Verbraucher Prozeß receive(&buffer, buffer_length); Systemaufruf blockieren des Prozesses DMA vom Netzwerk in BS Puffer Unterbrechung kopiere BS Puffer in User Puffer Prozeß rechenbereit setzen Bearbeiten der Nachricht Beispiel Klasse Scene zur Beschreibung einer Szene Konstruktor Scene(int param) Methode Image generate() berechnet Bild Berechnung dreier Bilder mit verschiedenen Parametern (sequentiell): Scene s1 = new Scene(1); Scene s2 = new Scene(2); Scene s3 = new Scene(3); Image i1 = s1.generate(); Image i2 = s2.generate(); Image i3 = s3.generate(); show(i1, i2, i3); c 2005, Roland Wismüller c 2005, Roland Wismüller 02-36

10 2.3.3 Verteilte Objekte Verteilte Objekte... Parallelverarbeitung mit Threads s1 = new Scene(1); s2 = new Scene(2); s3 = new Scene(3); i1 = s1.generate(); join() Knoten 0 Knoten 1 Knoten 2 Knoten 3 i2 = s2.generate(); i3 = s3.generate(); show(i1, i2, i3); Thread 1 Thread 2 Thread 3 c 2005, Roland Wismüller s1 s2 s3 Parallelverarbeitung mit Futures Resultat: Future Objekt Beim Zugriff auf ein Future wird automatisch blockiert, bis der Wert verfügbar ist Knoten 0 Knoten 1 Knoten 2 Knoten 3 s1 = new Scene(1); s2 = new Scene(2); s3 = new Scene(3); i1 = s1.generate(); i2 = s2.generate(); i3 = s3.generate(); show(i1, i2, i3); c 2005, Roland Wismüller s1 s2 s Verteilte Objekte Datenparallele Sprachen Parallelverarbeitung mit asynchronem RPC Resultat: Anfrage Objekt Warte auf Ergebnis Knoten 0 Knoten 1 Knoten 2 Knoten 3 s1 = new Scene(1); s2 = new Scene(2); s3 = new Scene(3); r1 = s1.generate(); r2 = s2.generate(); r3 = s3.generate(); i1 = r1.getresult(); i2 = r2.getresult(); i3 = r3.getresult(); show(i1, i2, i3); c 2005, Roland Wismüller s1 s2 s3 Ziel: Unterstützung von Datenparallelität Sequentieller Code wird mit Compilerdirektiven ergänzt Festlegung einer Aufteilung von Datenstrukturen (i.a.: Arrays) auf en Compiler erzeugt automatisch Code für Synchronisation bzw. Kommunikation Operationen werden auf dem ausgeführt, der Ergebnisvariable besitzt (Owner computes-regel) Beispiel: HPF (High Performance Fortran) Trotz einfacher Programmierung nicht wirklich erfolgreich nur für eingeschränkte Anwendungsklasse geeignet gute Leistung erfordert viel manuelle Optimierung c 2005, Roland Wismüller 02-40

11 2.3.4 Datenparallele Sprachen... Beispiel zu HPF REAL A(N,N), B(N,N)!HPF$ DISTRIBUTE A(BLOCK,*)!HPF$ ALIGN B(:,:) WITH A(:,:) DO I = 1, N DO J = 1, N A(I,J) = A(I,J) + B(J,I) END DO END DO Aufteilung bei 4 en: A B 0 führt Berechnungen für I = 1.. N/4 aus Problem im Beispiel: viel Kommunikation erforderlich B müßte hier anders aufgeteilt werden c 2005, Roland Wismüller Einordnung der Vorlesung Explizite Parallelität (letztes Kapitel: implizite Parallelität) Prozeß- und Blockebene Grob- und mittelkörnige Granularität MIMD-Rechner Programmiermodelle: gemeinsamem und Nachrichtenaustausch c 2005, Roland Wismüller 02-42