Ein Blick auf die Grid-Architektur

Transkript

1 Ein Blick auf die Grid-Architektur Christian Grimme (TU Dortmund) Workshop: Virtuelle Forschungsumgebungen aufbauen mit D-Grid 1

2 Einführung - Grid Das Grid ist ein übergreifender oder globaler Zusammenschluss unterschiedlicher Ressourcen zu einer gemeinsamen Forschungsplattform Motivation aus der Wissenschaft: Mangel an lokal verfügbaren Ressourcen Interesse an der Zusammenführung von Methoden, Daten und Resultaten 2

3 Übersicht Anforderungen und Klassen von Grids Enterprise Grid HPC Grid Global Grid Die Schichtenarchitektur Eine Betrachtung der Schichten und Dienste im Grid Einige Beispiele aus Community-Grids Zusammenfassung 3

4 Anforderungen und Klassen von Grids Die Ausprägung und Architektur der Grid-Infrastruktur hängt stark von den Anforderungen der Community ab. genutzte Ressourcen homogen heterogen geographische Verteilung der Community technische Abstraktion bei der Nutzung globale Nutzung wenig techn. Abstraktion homogene Ressourcen starke techn. Abstraktion lokale Nutzung Einige Klassen von Grids: Enterprise Grid, IntraGrid HPC Grid, ExtraGrid Global Grid, InterGrid heterogene Ressourcen 4

5 Die Schichtenarchitektur Applikationen und Dienste Applikationen Mehrwertdienste Middleware Authentifizierung/ Nutzerverwaltung Informationsdienst Ressourcenmanagement Sicherheit Ressourcen Server Geräte und Sensoren Speicher Supercomputer Netzwerk 5

6 Schichten: Netzwerk- und Ressourcenschicht Netzwerkschicht: grundlegende Netzwerkinfrastruktur verschiedenen Topologien (Peer-to-Peer, Client Server) spielt meist untergeordnete Rolle für den Aufbau einer Grid-Infrastruktur manchmal werden spezielle Anforderungen gestellt Anbindung spezieller Ressourcen Erfüllung spezieller Anforderungen (geringe Latenz, direkte Steuerung von Instrumenten) Ressourcenschicht: Instrumente lokale und weit verteilte Einrichtungen zur gemeinsamen Nutzung Computer Daten Verfügbarkeit von Rechenpower (parallele Aufgaben, Batch-Processing) Speicher und Archive zur Ablage von Daten, Datenbanken 6

7 Schichten: Netzwerk- und Ressourcenschicht Netzwerkschicht: grundlegende Netzwerkinfrastruktur verschiedenen Topologien (Peer-to-Peer, Client Server) spielt meist untergeordnete Rolle für den Aufbau einer Grid-Infrastruktur manchmal werden spezielle Anforderungen gestellt Anbindung spezieller Ressourcen Erfüllung spezieller Anforderungen Müssen physikalische (geringe Ressourcen Latenz, eingebunden direkte Steuerung von werden? Latenzen für den Zugriff / spezielle Leistungsanforderungen? Welcher Rechenbedarf besteht (Batch, MPI)? Zeitbedarf und zeitkritische Anwendungen? Welche Betriebssysteme müssen unterstützt lokale und weit Datenvolumen? verteilte werden? Einrichtungen zur gemeinsamen Nutzung Datenrate? Organisation der Daten? Verfügbarkeit von Rechenpower (parallele Aufgaben, Batch-Processing) Instrumenten) Ressourcenschicht: Instrumente Computer Daten Speicher und Archive zur Ablage von Daten, Datenbanken 7

8 Schichten: Middleware Middlewareschicht: Verbindungsglied zwischen Ressourcenebene und Anwendungseben abstrahiert die Sicht auf die heterogenen Ressourcen bietet Schnittstellen zum manuellen/programmgesteuerten Zugriff auf die Ressourcen (bereits hier als Grid nutzbar) Basisdienste zur Nutzung der Ressourcen Ressourcenmanagement: Verwaltung und Steuerung der im Grid vorhandenen Ressourcen und des technischen Zugriffs Informationsdienste: Überwachung der Ressourcen und zugleich Anlaufpunkt für Informationsanfragen seitens der Applikationen/Nutzer Nutzerverwaltung/Authentifizierung: Strukturierung der Community und Regelung der Nutzung von verfügbaren Ressourcen Sicherheit: Mechanismen, um die Sicherstellung der Nutzeridentität und Einhaltung von entsprechenden Zugriffsrechte für Ressourcen zu gewährleisten Globus 8

9 Schichten: Middleware Middlewareschicht: Verbindungsglied zwischen Ressourcenebene und Anwendungseben abstrahiert die Sicht auf die heterogenen Ressourcen bietet Schnittstellen zum manuellen/programmgesteuerten Zugriff auf die Ressourcen (bereits hier als Grid nutzbar) Monitor Basisdienste zur Nutzung der Ressourcen Ressourcenmanagement: Verwaltung und Steuerung der im Grid vorhandenen Ressourcen und des technischen Zugriffs Informationsdienste: Execution Überwachung der Ressourcen Data und zugleich Anlaufpunkt für Management Informationsanfragen Management seitens der Applikationen/Nutzer Nutzerverwaltung/Authentifizierung: Strukturierung der Community GRAM GridFTP GRAM GridFTP GridFTP und Regelung der Nutzung von verfügbaren Ressourcen Sicherheit: Mechanismen, um die Sicherstellung der Nutzeridentität und Einhaltung von entsprechenden Zugriffsrechte für Ressourcen zu gewährleisten Globus Security 9

10 Schichten: Dienste und Applikationen Applikationen: Normale Programme, die für den Nutzer unsichtbar, Grid-Ressourcen Nutzen und zur Verfügung stellen Webapplikationen, die einen graphisch gestützten Zugriff über das Internet anbieten (Portallösung) Mehrwertdienste: Dienste die Grid-Ressourcen und deren Funktionalität zu komplexen Funktionen verknüpfen Workflowmanagement, Steuerung umfangreicher und komplexer Prozesse Datenmanagement, insbesondere vereinheitlichter Zugriff, Replikation, Verwaltung von Metadaten und Langzeitarchivierung Scheduling, also die Optimierung der Ressourcennutzung Nutzbar über direkten Zugriff, APIs oder verborgen und genutzt durch Applikationen 10

11 Beispiele aus Community-Grids Portal Applikation Workflows Scheduling Datenmanagement 11

12 Beispiele aus Community-Grids Portal Applikation Workflows Scheduling Datenmanagement Gridsphere Liferay GWES C3WSS Gridway OGSA-DAI irods C3DMS 12

13 Zusammenfassung Grid-Architektur: Einteilung in vier Schichten mit unterschiedlicher technischer Granularität Ziel: Abstraktion der Komplexität, Heterogenität und Technik für höhere Ebenen Was ist aus Sicht der Architektur beim Aufbau einer Grid-Infastruktur zu beachten? Auf jeder Ebene der Architektur die benötigten Aspekte und Funktionalitäten identifizieren Nur benötigte Komponenten integrieren oder umsetzen Kombination von existierenden Lösungen Weiterführende Informationen und Beratung: WissGrid Fachberater: WissGrid Dokumentation der Architekturkonzepte: Deliverable