Hochleistungsrechnen in Grids. Seminar: Grid-Middleware. Mirko Dietrich 4. Dezember 2006

Transkript

1 Seminar: Hochleistungsrechnen in Grids Grid-Middleware Mirko Dietrich 4. Dezember 2006

2 2 Inhalt Funktionen einer Grid-Middleware Grid Standards Middleware-Systeme Zusammenfassung

3 3 Virtuelle Organisationen Große Datenmengen

4 3 Virtuelle Organisationen Große Datenmengen Viel Rechenpower

5 3 Virtuelle Organisationen Große Datenmengen Viel Rechenpower Auslastung der Ressourcen Synergien

6 4 Funktionen einer Grid-Middleware Sicherheit

7 4 Funktionen einer Grid-Middleware Sicherheit Ausführen von Jobs

8 4 Funktionen einer Grid-Middleware Sicherheit Ausführen von Jobs Datenverteilung

9 4 Funktionen einer Grid-Middleware Sicherheit Ausführen von Jobs Datenverteilung Monitoring/Service Discovery

10 4 Funktionen einer Grid-Middleware Sicherheit Ausführen von Jobs Datenverteilung Monitoring/Service Discovery Protokollierung/Abrechnung

11 5 Sicherheit Public Key Infrastructure

12 5 Sicherheit Public Key Infrastructure X.509 Namen Unix Accounts /C=DE/O=GridGermany/OU=Universitaet Kassel/ OU=Hochschulrechenzentrum/CN=Max Mustermann

13 6 Sicherheit Proxyzertifikate

14 6 Sicherheit Proxyzertifikate Single-Sign-On

15 6 Sicherheit Proxyzertifikate Single-Sign-On Delegation von Benutzerrechten

16 7 Ausführen von Jobs Beschreibungssprachen für Jobs JSDL (GGF), viele andere...

17 7 Ausführen von Jobs Beschreibungssprachen für Jobs JSDL (GGF), viele andere... Datentransfer Unteraufgaben (inkl. Abhängigkeiten) Delegation

18 8 Datenverteilung Ein- und Ausgabedaten

19 8 Datenverteilung Ein- und Ausgabedaten Verteilte Dateisysteme

20 8 Datenverteilung Ein- und Ausgabedaten Verteilte Dateisysteme Replikationsmechanismen

21 9 Monitoring/Service Discovery Statusinformationen über Cluster (Auslastung,... ) einzelne Jobs...

22 9 Monitoring/Service Discovery Statusinformationen über Cluster (Auslastung,... ) einzelne Jobs... Abfrage von existierende Dienste Anzahl Rechenknoten...

23 10 Accounting Protokollierung der Aktivitäten Messung von CPU-Zeit, Speicherbedarf,... zwecks Abrechnung

24 10 Accounting Protokollierung der Aktivitäten Messung von CPU-Zeit, Speicherbedarf,... zwecks Abrechnung Ausgleich der Kosten in einer Virtuellen Organisation

25 11 Inhalt Funktionen einer Grid-Middleware Grid Standards Middleware-Systeme Zusammenfassung

26 12 Grid Standards: Open Grid Services Architecture Vom Global Grid Forum spezifiziert (2003)

27 12 Grid Standards: Open Grid Services Architecture Vom Global Grid Forum spezifiziert (2003) Definiert Basisdienste für die einzelnen Komponenten eines Grids und soll damit die Zusammenarbeit der verschiedenen Grid Middlewares sicherstellen.

28 12 Grid Standards: Open Grid Services Architecture Vom Global Grid Forum spezifiziert (2003) Definiert Basisdienste für die einzelnen Komponenten eines Grids und soll damit die Zusammenarbeit der verschiedenen Grid Middlewares sicherstellen. Könnte mittels CORBA, RMI, RPC, etc... realisiert werden.

29 12 Grid Standards: Open Grid Services Architecture Vom Global Grid Forum spezifiziert (2003) Definiert Basisdienste für die einzelnen Komponenten eines Grids und soll damit die Zusammenarbeit der verschiedenen Grid Middlewares sicherstellen. Könnte mittels CORBA, RMI, RPC, etc... realisiert werden. Entscheidung: Web Services

30 13 Inhalt Funktionen einer Grid-Middleware Grid Standards Middleware-Systeme Zusammenfassung

31 14 Globus Toolkit Ursprung: Supercomputing 95 conference Projekt IWAY

32 14 Globus Toolkit Ursprung: Supercomputing 95 conference Projekt IWAY Version 4.0 von 2005

33 14 Globus Toolkit Ursprung: Supercomputing 95 conference Projekt IWAY Version 4.0 von 2005 Proxyzertifikate, Single-Sign-On, Delegation

34 14 Globus Toolkit Ursprung: Supercomputing 95 conference Projekt IWAY Version 4.0 von 2005 Proxyzertifikate, Single-Sign-On, Delegation OGSA-konform

35 14 Globus Toolkit Ursprung: Supercomputing 95 conference Projekt IWAY Version 4.0 von 2005 Proxyzertifikate, Single-Sign-On, Delegation OGSA-konform Kein Scheduler Koppelung an lokales Batch-System

36 15 Globus Toolkit Bedienung über Kommandozeile Web Schnittstelle z.b. GridSphere

37 15 Globus Toolkit Bedienung über Kommandozeile Web Schnittstelle z.b. GridSphere Accounting, Ressource Broker fehlen, aber erweiterbar

38 15 Globus Toolkit Bedienung über Kommandozeile Web Schnittstelle z.b. GridSphere Accounting, Ressource Broker fehlen, aber erweiterbar Große Rückhalt (OGF)

39 15 Globus Toolkit Bedienung über Kommandozeile Web Schnittstelle z.b. GridSphere Accounting, Ressource Broker fehlen, aber erweiterbar Große Rückhalt (OGF) stetige Weiterentwicklung

40 16 UNICORE (1) Entwicklung seit 1997, gefördert durch das BMBF

41 16 UNICORE (1) Entwicklung seit 1997, gefördert durch das BMBF Deutsches Projekt

42 16 UNICORE (1) Entwicklung seit 1997, gefördert durch das BMBF Deutsches Projekt Breite Untestützung in Deutschland

43 16 UNICORE (1) Entwicklung seit 1997, gefördert durch das BMBF Deutsches Projekt Breite Untestützung in Deutschland Vergleichsweise unaufwendige Installation

44 16 UNICORE (1) Entwicklung seit 1997, gefördert durch das BMBF Deutsches Projekt Breite Untestützung in Deutschland Vergleichsweise unaufwendige Installation Benutzerfreundlich durch GUI

45 17 UNICORE (2) Monolithisch unflexibel

46 17 UNICORE (2) Monolithisch unflexibel Wenig Interoperabilität zu Globus oder glite

47 17 UNICORE (2) Monolithisch unflexibel Wenig Interoperabilität zu Globus oder glite Keine OGSA Konformität, keine Web Services

48 17 UNICORE (2) Monolithisch unflexibel Wenig Interoperabilität zu Globus oder glite Keine OGSA Konformität, keine Web Services Zukunft: UNICORE/GS, allerdings erste Version erst 2007!

49 18 glite 3.0 Entwickelt durch EGEE Hochenergiephysik ( CERN)

50 18 glite 3.0 Entwickelt durch EGEE Hochenergiephysik ( CERN) Zielen auf eine vollständige Grid-Lösung

51 18 glite 3.0 Entwickelt durch EGEE Hochenergiephysik ( CERN) Zielen auf eine vollständige Grid-Lösung Scheduler, Datenverwaltung, Accounting

52 19 glite 3.0 Basiert letztendlich auf GT2

53 19 glite 3.0 Basiert letztendlich auf GT2 Umstellung auf Web Services noch nicht soweit fortgeschritten, wie bei Globus. sanfte Umstellung

54 19 glite 3.0 Basiert letztendlich auf GT2 Umstellung auf Web Services noch nicht soweit fortgeschritten, wie bei Globus. sanfte Umstellung Einfache Installation über APT

55 19 glite 3.0 Basiert letztendlich auf GT2 Umstellung auf Web Services noch nicht soweit fortgeschritten, wie bei Globus. sanfte Umstellung Einfache Installation über APT Bedienung per Kommandozeile Teilweise GUI vorhanden

56 20 Zusammenfassung Aufgaben einer Grid-Middleware

57 20 Zusammenfassung Aufgaben einer Grid-Middleware Probleme: Bedienung Interoperabilität Resource Broker Accounting

58 21 Vielen Dank für die Aufmerksamkeit... Mirko Dietrich