Inhaltsverzeichnis Einführung und Grundlagen Rechnerarchitekturen für Parallele und Verteilte Systeme

Transkript

1 Inhaltsverzeichnis 1 Einführung und Grundlagen Historische Entwicklung der Rechensysteme Technologiefortschritte Leistungsexplosion und Preisverfall der Hardware Fortschritte bei lokalen Netzen Aufkommen von Funkverbindungen und mobilen Geräten Übernetzwerk Internet World Wide Web (WWW) Web Web Web E-World Selbstorganisierende Systeme On Demand Computing Autonomic Computing Organic Computing Parallele versus Verteilte Verarbeitung Parallele Verarbeitung Nebenläufige Prozesse Kooperierende Prozesse Verteilte Verarbeitung Literatur Rechnerarchitekturen für Parallele und Verteilte Systeme Eng gekoppelte Multiprozessoren und Multicore-Prozessoren Simultaneous Multithreading Architektur von eng gekoppelten Multiprozessoren Programmierung von Multicore-Architekturen Multiprozessorbetriebssysteme General Purpose Computation on Graphic Processing Unit (GPGPU) Many-Core-Prozessoren und Tile-Prozessor-Architekturen XV

2 XVI Inhaltsverzeichnis Intel Single-chip Cloud Computer (SCC) Tile-CPU Lose gekoppelte Multiprozessoren und Cluster Architektur von lose gekoppelten Multiprozessoren Verteilter gemeinsamer Speicher Multicomputer Leistungs-Effizienzmetriken Load Balancing und High Throughput Cluster Google Literatur Client-Server-Modell und Web-Services Client-Server-Modell Fehlersemantik Serverzustände Client-Server versus Verteilt Service-orientierte Architekturen (SOA) Bestandteile eines Dienstes (Service) Eigenschaften eines Dienstes (Service) Servicekomposition, -management und -überwachung Enterprise Service Bus (ESB) Literatur Programmiermodelle für gemeinsamen Speicher Überblick Parallelisierende Compiler Unix fork()/join()-parallelismus Dynamische Prozesse Gemeinsamer Speicher Semaphore Erzeuger-Verbraucher (Pipe) Pipes in Unix Warteschlange (Queue) Threads Threads versus Prozesse Implementierung von Threads Pthreads OpenMP Parallel Pragma Gültigkeitsbereiche von Daten Lastverteilung unter Threads Synchronisation

3 Inhaltsverzeichnis XVII Barrieresynchronisation Unified Parallel C (UPC) Identifier THREADS und MYTHREAD Private und Shared Data Shared Arrays Zeiger Lastverteilung unter Threads, upc_forall Sperrfunktionen Barrieresynchronisation CUDA Host und Device Kernels, Thread, Block, Grid Ada Ada-Rendezvous Selektive Ada-Rendezvous Erzeuger-Verbraucher (Pipe) mit selektivem Rendezvous Geschützte Objekte Literatur Programmiermodelle für verteilten Speicher Überblick nebenläufige Modelle Nachrichtenbasierte Modelle Datenparallelität ausnutzende Modelle Überblick kooperative Modelle Lokalisierung des Kooperationspartners (Broker) Datenrepräsentation auf unterschiedlichen Maschinen Nachrichtenbasierte Modelle Entfernte Aufruf-Modelle Message Passing Interface (MPI) Dynamische Prozesse Schreib- und Lesefunktionen Implementationen von MPI MPJ Initialisieren und Beenden von Prozessen Kommunikator und Rang Blockierendes Senden und Empfangen Nichtblockierendes Senden und Empfangen Persistente Kommunikation Broadcast Barrierensynchronisation Weitere kollektive Kommunikationsfunktionen Kommunikator und Gruppenmanagement

4 XVIII Inhaltsverzeichnis Prozessgruppen Occam SEQ- versus PAR-Konstrukt Kommunikation mit! und? ALT-Konstrukt mit Wächter (Guard) IF- WHILE- Konstrukt, SEQ- und PAR-Zählschleifen Prozeduren Konfiguration Parallel Virtual Machine (PVM) Dämon-Prozesse Task Erzeugung und Start Hinzufügen und Entfernen von Rechnern Taskkommunikation Gruppen Barrieresynchronisation und Broadcast Google Go Modularisierung und Import von Paketen Deklarationen Datentypen Function Interface Map Channel Kontrollstrukturen Anwendungsbeispiel Echo-Server Ausnahmebehandlung Erlang Module und Funktionen Variablen, Atome, Tupel, Listen if, case, loop Funktionale Objekte Nebenläufigkeit und Nachrichtenaustausch Scala Semikolon Hallo Welt! Modularisierung mit Paketen Import von Paketen Typen, Variablen und Funktionen Objektorientierung Traits TCP/IP-Sockets Domänen und Socketadressen

5 Inhaltsverzeichnis XIX Adressierungsstruktur Umwandlungsfunktionen Sockettypen Datagram-Sockets Stream-Sockets Java Message Service (JMS) Message API Producer-Consumer API Anwendungsbeispiel Erzeuger-Verbraucher-Problem (Pipe) JMS-Provider Kooperative Modelle mit entfernten Aufrufen Ablauf von entfernten Aufrufen Abbildung des entfernten Aufrufes auf Nachrichten Remote Procedure Calls (ONC RPCs, DCE RPCs, DCOM) Entfernte Methodenaufrufe (CORBA) Remote Method Invocation (RMI) Entfernte Komponentenaufrufe (.NET) Entfernte Serviceaufrufe (Web Services) Literatur Parallelisierung Leistungsmaße für parallele Programme Laufzeit Speedup Kosten und Overhead Effizienz Amdahls Gesetz Gustafsons Gesetz Karp-Flatt-Metrik Parallelisierungstechniken Inhärenter Parallelismus Zerlegungsmethoden Weitere parallele Verfahren und Algorithmen Literatur Verteilte Algorithmen Verteilt versus zentralisiert Logische Ordnung von Ereignissen Lamport-Zeit Vektoruhren Auswahlalgorithmen Bully-Algorithmus

6 XX Inhaltsverzeichnis Ring-Algorithmus Übereinstimmungsalgorithmen Unzuverlässige Kommunikation Byzantinische fehlerhafte Prozesse Literatur Rechenlastverteilung Statische Lastverteilung Jobmodelle Lösungsverfahren Dynamische Lastverteilung Zentrale Lastverteilungssysteme Dezentrale Lastverteilungssysteme Grid Scheduling Literatur Virtualisierungstechniken Betriebssystemvirtualisierung Vollvirtualisierung Containervirtualisierung Paravirtualisierung Virtuelle Maschine Java Virtuelle Maschine (JVM) Common Language Runtime (CLR) Softwarevirtualisierung Services Anwendungen Hardware-Virtualisierung Prozessor Hauptspeicher Datenspeicher Netzwerke Literatur Cluster Historische Entwicklung der Cluster Definition Cluster Vor- und Nachteile von Clustern Single System Image Aufstellungskonzepte von Clustern Klassifikationen von Clustern Hochverfügbarkeits-Cluster

7 Inhaltsverzeichnis XXI High Performance-Cluster Cluster für hohen Datendurchsatz Skalierbare-Cluster Zugangs-Konzepte Literatur Grid-Computing Definition Grid Unterscheidung von Grids Grid Middleware-Systeme Globus Toolkit glite Unicore Weitere Grid Software GridSphere Shibboleth VOMS SRB SRM/dCache OGSA-DAI GAT Literatur Cloud-Computing Organisation von Cloud-Systemen Public Cloud Private Cloud Hybrid Cloud Kategorien von Cloud-Diensten Softwaredienste (Software as a Service) Plattformdienste (Platform as a Service) Infrastrukturdienste (Infrastructure as a Service) Ausgewählte Cloud-Dienste und -Lösungen Amazon Elastic Block Store (EBS) Amazon Simple Storage Service (S3) Google App Engine Eucalyptus Herausforderungen beim Cloud Computing Literatur Sachverzeichnis

8