Parallele und verteilte Programmierung

Transkript

1 Thomas Rauber Gudula Rünger Parallele und verteilte Programmierung Mit 165 Abbildungen und 17 Tabellen Jp Springer

2 Inhaltsverzeichnis 1. Einleitung 1 Teil I. Architektur 2. Architektur von Parallelrechnern Entwicklung von Mikroprozessoren Parallelität auf Prozessorebene Klassifizierung von Parallelrechnern Speicherorganisation von Parallelrechnern Rechner mit physikalisch verteiltem Speicher Rechner mit physikalisch gemeinsamem Speicher Reduktion der Speicherzugriffszeiten Verbindungsnetzwerke von Parallelrechnern Bewertungskriterien für Netzwerke Direkte Verbindungsnetzwerke Einbettungen Dynamische Verbindungsnetzwerke Routing- und Switching-Strategien Routingalgorithmen Switching Flußkontrollmechanismen Caches und Speicherhierarchien Charakteristika von Cache-Speichern Cache-Kohärenz Speicherkonsistenz Beispiele realer Parallelrechner Busbasierte Systeme Verteilter Adreßraum Gemeinsamer Adreßraum: UMA Gemeinsamer Adreßraum: NUMA Gemeinsamer Adreßraum: CC-NUMA Gemeinsamer Adreßraum: COMA Clustermaschinen und Workstationnetze 118

3 X Inhaltsverzeichnis Teil II. Programmierung 3. Parallele Programmiermodelle Modelle paralleler Rechnersysteme Parallelisierung von Programmen Ebenen der Parallelität Parallelität auf Instruktionsebene Datenparallelität Parallele Schleifen Funktionsparallelität Explizite und implizite Darstellung der Parallelität Strukturierung paralleler Programme Datenverteilungen für Felder Informationsaustausch Gemeinsame Variablen Kommunikationsoperationen Parallele Matrix-Vektor-Multiplikation Message-Passing-Programmierung Einführung in MPI Einzeltransferoperationen Globale Kommunikationsoperationen Auftreten von Deadlocks Prozeßgruppen und Kommunikatoren Prozeßtopologien Zeitmessung und Abbruch der Ausführung Einführung in PVM Programmiermodell Prozeßkontrolle Austausch von Nachrichten Verwaltung von Prozeßgruppen Einführung in MPI Prozeßerzeugung und -Verwaltung Einseitige Kommunikation Programmierung mit gemeinsamen Variablen Thread-Programmierung Begriffsklärung und Motivation Programmiermodell und Grundlagen für Pthreads Erzeugung und Verwaltung von Pthreads Koordination von Threads Implementierung eines Taskpools Steuerung und Abbruch von Threads 259

4 Inhaltsverzeichnis XI 5.2 OpenMP Steuerung der parallelen Abarbeitung Koordination von Threads Einführung in p Monitore und gemeinsamer Adreßraum Vordefinierte Monitore Laufzeitanalyse paralleler Programme Leistungsbewertung von Rechnersystemen MIPS und MFLOPS Leistung von Mikroprozessoren mit Cachespeichern Benchmarkprogramme Parallele Leistungsmaße Modellierung von Laufzeiten Realisierung von Kommunikationsoperationen Parameterbestimmung durch Ausgleichsrechnung Laufzeitformeln für Kommunikationsoperationen Analyse von Laufzeitformeln Paralleles Skalarprodukt Parallele Matrix-Vektor-Multiplikation Parallele Berechnungsmodelle PRAM-Modelle BSP-Modell LogP-Modell 352 Teil III. Algorithmen 7. Lösung von Linearen Gleichungssystemen Gauß-Elimination Beschreibung der Methode Parallele zeilenzyklische Implementierung Parallele gesamtzyklische Implementierung Laufzeitanalyse der gesamtzyklischen Implementierung Direkte Verfahren für Gleichungssysteme mit Bandstruktur Diskretisierung der Poisson-Gleichung Lösung von Tridiagonalsystemen Verallgemeinerung auf beliebige Bandmatrizen Anwendung auf die Poisson-Gleichung Klassische Iterationsverfahren Beschreibung iterativer Verfahren Parallele Realisierung des Jacobi-Verfahrens Parallele Realisierung des Gauß-Seidel-Verfahrens Rot-Schwarz-Anordnung 410

5 XII Inhaltsverzeichnis 7.4 Methode der konjugierten Gradienten Herleitung der Methode Parallelisierung des CG-Verfahrens Nichtlineare Gleichungssysteme Fixpunktiteration Newton-Verfahren Parallele Implementierung Parallele zeilenzykliche Implementierung Parallele gesamtzyklische Implementierung Gewöhnliche Differentialgleichungssysteme Explizite Runge-Kutta-Verfahren Iterierte Runge-Kutta-Verfahren Vergleich expliziter Verfahren Implizite Runge-Kutta-Verfahren Parallele Implementierung des Standardverfahrens Diagonal-implizit iteriertes RK-Verfahren Parallele Implementierung des DIIRK-Verfahrens Extrapolationsverfahren Grundalgorithmus Parallele Implementierung Vergleich der Varianten.., Zusammenfassung und Ausblick Irreguläre Algorithmen Cholesky-Faktorisierung für dünnbesetzte Matrizen Sequentieller Algorithmus Abspeicherungsschemata für dünnbesetzte Matrizen Implementierung für gemeinsamen Adreßraum Hierarchische Algorithmen Klassisches Radiosity-Verfahren Hierarchisches Radiosity-Verfahren Strahlungsbasierte Zerlegung Implementierung für gemeinsamen Adreßraum 532 Glossar 535 Literatur 545 Index 555