Michael Stumpen Grid Computing. Prof. Dr. Fuhr SS04 Kommunikation. Wide-Area Implementation of the Message Passing Interface

Transkript

1 Michael Stumpen Grid Computing Prof. Dr. Fuhr SS04 Kommunikation Wide-Area Implementation of the Message Passing Interface

2 1. Einleitung Idee zu Grid Computing entstand Anfang der 70er Zunehmendes Vorkommen von Netzwerken unterstützt die Entwicklung Seit einigen Jahren Boom, da die Wirtschaft die ökonomische Nutzbarkeit von Grid Computing entdeckte

3 2. Problemstellung Früher: hauptsächlich in LANs benutzt Heute: durch enormes Wachstum der weltweiten Vernetzung insbesondere des Internets Wunsch nach Nutzung von Grid Computing auch in WANs

4 2. Problemstellung Probleme entstehen durch die Heterogenität und die Dynamik der einzelnen Systeme innerhalb eines WANs Daher Zielsetzung: Erstellung einer Implementation des Message Passing Interfaces, welches die Probleme zufriedenstellend löst

5 2. Problemstellung Zu optimierende Abläufe und Operationen: Kommunikation Autorisierung und Authentifizierung Prozess- und Ressourcen- Management Dynamik

6 3. Nexus Problem : Low-Level Level Schnittstelle Programme müssen häufig aufwändig manuell konfiguriert werden um Kommunikation zwischen verschiedenen Systemen zu ermöglichen Automatisierung wünschenswert

7 3. Nexus Implementation von Nexus, der Kommunikations-Bibliothek des Globus Tool Kits Wichtigste Merkmale: - Multithreading - Kommunikationsmechanismen sowohl für homogene als auch heterogene Systeme - Multimethod communication

8 3.1 Struktur Ein node ist eine physikalische Ressource, z.b. CPU Anwendung besteht aus Threads Jeder Thread führt ein sequentielles Programm aus Threads werden in gemeinsamen Adressraum (context( context) ) ausgeführt Threads lesen und schreiben in gemeinsamen context

9 3.1 Struktur Threads können Aktionen in einem Remote context starten, indem sie einen Remote Service Request (RSRs) machen Communication endpoints sind Punkte in einem context an die RSRs geleitet werden können Communication startpoints werden an die endpoints gebunden

10 3.2 Schaubild Beispiel Nexus Kommunikation (communication link)

11 3.3 Multimethod communication Wichtigster Bestandteil von Nexus Durch automatische Konfiguration, Möglichkeit Programme ohne Änderungen auf verschiedenen Systemen laufen zu lassen Dazu müssen jedoch Daten stets aktuell sein, manuelle Konfiguration allerdings auch möglich

12 4. MPICH Problem: Mobilität / Dynamik Programme müssen häufig aufwändig manuell konfiguriert werden um auf verschiedenen Systemen zu laufen Wunsch nach hoher Kompatibilität und geringem Konfigurationsaufwand durch Automatisierung

13 4. MPICH Erweitert die MPI Standardfunktionen wie z.b. Senden von Nachrichten zwischen zwei (point( point-to-point) ) oder mehreren (collective( collective) ) Prozessen Wichtigste Vorteile von MPICH(ADI): - Höchst performant - mobil

14 4.1 ADI Higher-Level Funktionen werden durch eine Geräte-Unabhängige Bibliothek implementiert Enthält eine große Auswahl an Kommunikations-Funktionen Unterstützt verschiedene Kommunikationsarten

15 4.2 Schaubild

16 5. I-Way Wählt die optimalen Kommunikations- und Startup- Mechnismen Nutzt TCP/IP über den ATM Adaption Layer 5

17 5.1 Exkurs: Hintergrund gestartet als wide-area computing experiment - 11 bestehende high-performance Computer-Center Center verlinkt - Auf Supercomputing Konferenz Dez 95 Massenspeicher, Virtual-Reality Geräte, Mikroskope, Sateliten Downlinks u.v.m.. verbunden

18 5.1 Exkurs: Hintergrund

19 5.2 Problemstellung Es müssen sowohl eine IP Routing- Tabelle als auch die virtuellen ATM- Kanäle angelegt werden Folge: erheblicher Konfigurationsaufwand

20 5.3 Lösung: I-Soft I (I-POP) Schafft eine einheitliche Entwicklungsumgebung auf der System-Ebene (I-POP) als auch auf der Applikationsebene (I-Soft) Um dies zu erreichen wird auf jeder Seite der Kommunikation ein dedizierter Rechner als I-WAY I Point- of-presence eingesetzt

21 5.3.1 Vorteile - Einheitliche Hardware & System Software - Authentifikation und shared shared-file- system - System Management und Monitoring - Einheitliche Programmierumgebung - Mehrere Parallele Programmier- Bibliotheken (MPI etc.) - Sicherheitsaspekte

22 5.3.2 Schaubild

23 6. Globus Toolkit Infrastruktur für high-performance Applikationen Integriert geographisch verteilte Ressourcen Wichtigste Aufgaben: - Ressourcen-Management - Daten-Management - Informationsdienste

24 6. Globus Toolkit Authentifizierung und Ressourcen- Management wird durch die flexibleren und mächtigeren Globus Security Services und Globus Resource Access Manager ersetzt.

25 6.1 Exkurs: Hintergrund 1992 arbeiteten Carl Kesselmann, Ian Foster und Steve Tuecke an einem Projekt mit dem Namen Nexus 1994 wurde das Globus Projekt gegründet in dem Nexus mit einging 1996 beginnt DARPA das Globus Projekt zu subventionieren

26 6.1 Exkurs Hintergrund 1998 gewinnt das Globus Projekt den Global Information Infrastructure Award und das Globus Toolkit V1.0 wird released 2000 erste europäische Projekte nutzen Globus 2003 Gründung der Globus Alliance

27 6.1 Exkurs Hintergrund

28 6.2 Problemstellung Hohe Dynamik im Netzwerk Manuelle Eintragung von Informationen in Ressource-Datenbanken von I-WayI Daraus resultiert eine sehr großer Konfigurationsaufwand Neben automatischen Konfigurationen auch zeitintensive manuelle Änderungen nötig

29 6.3 Lösung: MDS Globus Metacomputing Directory Service Teil des Globus Toolkits

30 6.3.1 Vorteile Aktualisiert Daten dynamisch Bei Bedarf können Daten auch vom Administrator spezifiziert werden Kann z.b. ATM Link nutzen solange dieser existiert, wenn nicht mehr erreichbar wird automatisch auf shared internet zurückgeschaltet

31 7. Offene Probleme / Entwicklungsansätze für die Zukunft Weitere Optimierungen z.b.. In Sachen Performance Einfügen einer manuellen Kontrolle der Methodenwahl in der Multimethod Communication Zugang zur Struktur-Informationen im MDS (z.b. Anzahl beteiligter Maschinen) MPI-2 Dynamic Support

32 8. Fazit Erstellung einer MPI-Implementation Implementation die in heterogenen wide-area Umgebungen performant läuft, durch Nexus MPICH I-Soft (I-WAY) MDS (Globus)

33 8.1 Fazit Diese Implementation hat ein System erzeugt, das : - Heterogene Kommunikations- Mechanismen - Authentifizierung - Ressourcen Management - Prozess Management in wide-area Umgebungen bereitstellt.

34 9. Quellen unix.mcs.anl.gov/mpi/mpich/ unix.mcs.anl.gov/fl/publications/iway -ijsa.pdf duisburg.de/teaching/seminars/grid/i ndex.html

35 Vielen Dank!