Inhaltsverzeichnis. Teil I Grundlagen

Transkript

1 Inhaltsverzeichnis Teil I Grundlagen 1 Von Megahertz zu Gigaflops Ochsen oder Hühner? Rechenleistung im Takt Von-Neumann-Flaschenhals Benchmarks Amdahls Gesetz Granularität Parallele Leistungsmetriken Notizen Parallelrechner Gemeinsamer oder verteilter Speicher Verbindungsnetzwerke Cluster-Computer Das Beowulf-Projekt Standard-Hardware Linux, freie Software und offene Standards Anwendungsgebiete SETI@home und Grid-Computing Notizen Programmieransätze Datenparallelität Threads Nachrichtentransfer Notizen

2 VIII Inhaltsverzeichnis Teil II Technik 4 Cluster-Design Grundlegende Komponenten Anforderungen an einen High-Performance-Cluster Netzwerktechnik Netzwerkhardware Netzwerktechnologien CPU-Architektur Arbeitsspeicher Massenspeicher Hardware Clusterdateisysteme Diskless nodes Hardware-Monitoring Unterbringung, Klima und Kühlung Cluster now! Besonderheiten von Knoten-Hardware Schrauben oder kaufen? Do it your self Schlüsselfertig Notizen PCs vernetzen TCP/IP-Grundlagen Calculus Der Beispiel-Cluster Erstinstallation Hardwareaufbau Linux-Installation Kernel-Anpassungen und Hardware-Monitoring Hardware-Monitoring per Init-Skript starten Netzwerk-Basiskonfiguration Netzwerkkartentreiber laden IP-Adresse zuweisen und Gateway einrichten Dauerhafte Speicherung der Netzwerkkonfiguration Namensauflösung Tuning SystemImager Installation Vollautomatische Installation Updates Sicherheit Einschränkungen und Alternativen Wichtige Netzdienste

3 Inhaltsverzeichnis IX Network File System Network Information Service Berkeley-r-Kommandos und die Secure Shell Network Time Protocol Network Address Translation Dynamic Host Configuration Protocol Channel bonding Diskless nodes Überblick Booten über das Netzwerk mit PXE Kernelkonfiguration Server-Konfiguration Alternativen und weitere Quellen Notizen Cluster-Dienste LAM/MPI Installation MPI-Programme kompilieren und starten Jobverwaltung und Batch-Systeme Funktionsweise Scheduling-Strategien Checkpointing Batch-Systeme im Überblick Anwendungsbeispiel: Sun Grid Engine Cluster-Management-Systeme OSCAR Rocks Cluster Distribution Notizen Teil III MPI 7 Grundlagen Das Minimalgerüst Senden und Empfangen von Nachrichten Kollektive Kommunikation Daten verteilen mit MPI Bcast Synchronisation Kollektive Varianten Mehr Variabilität mit v Daten zusammenfassen mit MPI Reduce Anatomie der Nachrichtenübertragung Blockierender Nachrichtentransfer Laufzeitmessungen

4 X Inhaltsverzeichnis Deadlocks Fairness Nicht blockierender Nachrichtentransfer Rechnen statt Warten Zeitlicher Ablauf Flexibles Warten Persistente Kommunikation Der MPI-Standard MPI-1 und MPI FORTRAN-Schnittstelle C++-Schnittstelle Profiling-Interface Dynamische Prozesserzeugung Einseitige Kommunikation Notizen Fortgeschrittene Techniken Kommunikator- und Gruppenmanagement Motivation Undurchsichtige Objekte Kommunikatoren kopieren und teilen Prozessgruppen Fehlerbehandlung Nutzerspezifische Datentypen Motivation Der Aufbau von MPI-Datentypen MPI-Funktionen für nutzerspezifische Datentypen Senden und Empfangen von nutzerspezifischen Datentypen Beispiele Parallele Ein- und Ausgabe Motivation Definitionen und Konzepte Grundfunktionen Schreib- und Leseoperationen Fehlerbehandlung Notizen Parallelisierungstechniken Perfekte Parallelisierung Peinliche und weniger peinliche Probleme Statische Lastverteilung Dynamische Lastverteilung, Master-Worker-Schema Eine Master-Worker-Bibliothek Kombinatorische Probleme Geometrische Parallelisierung

5 Inhaltsverzeichnis XI Probleme auf Gittern Gebietszerlegung Schwingende Saite Kommunikatoren und Topologien Zelluläre Automaten Notizen Teil IV Praxis 10 Debuggingmethoden und Entwicklungswerkzeuge für MPI- Programme Kontrollausgaben Debugger Profiler XMPI Namen für MPI-Objekte Notizen Bibliotheken Überblick Allgemeines Lineare Algebra Differentialgleichungen Hydrodynamik N-Körperprobleme und Molekulardynamik Fouriertransformation Optimierung Pseudozufallszahlen Visualisierung APPSPACK Installation Das Thomson-Problem APPSPACK als Bibliothek FFTW Schnelle Fouriertransformation Eindimensionale Transformationen Multidimensionale Transformationen Rücktransformation Tina s Random Number Generator Library Pseudozufallszahlen Die TRNG-Bibliothek Selbstvermeidende Zufallswege Notizen

6 XII Inhaltsverzeichnis 12 Benchmarks Highly-Parallel LINPACK Algorithmus Installation Konfiguration Optimierung Ergebnisse Intel MPI Benchmarks Installation MPI-1-Benchmarks Notizen Checkpoint-Restart Überblick Anforderungen an Checkpoint-Restart-Systeme Implementationen von Checkpoint-Restart-Systeme Ckpt Berkeley Lab Checkpoint/Restart Installation Anwendung Checkpointing von Multithread- und MPI-Programmen Notizen Teil V Anhang 14 Die C-Schnittstelle des MPI-Standards Konstanten MPI-Umgebung Blockierende Punkt-zu-Punkt-Kommunikation Nicht blockierende Punkt-zu-Punkt-Kommunikation Persistente Kommunikation Abgeleitete Datentypen Kollektive Kommunikation Einfache Gruppen, Kontexte und Kommunikatoren Kommunikatoren mit Topologie Argumente aus der Kommandozeile einlesen Literaturverzeichnis Sachverzeichnis

7