Instant-Grid ein Grid in 15 Minuten

Transkript

1 Instant-Grid ein Grid in 15 Minuten Vortrag von Andreas Félix beim Practical Linux Forum des LinuxTag 2006 Gesellschaft für wissenschaftliche Datenverarbeitung Göttingen mbh

2 Übersicht über den Vortrag Was ist das Grid Ziele momentaner Stand Beispiele Grid Voraussetzungen Grid-Middleware Globus Toolkit 4 Instant-Grid Funktionsweise Clustersetup Setup Globus Toolkit 4 Anwendungen Beispiel POV-Ray

3 Was ist das Grid - Ziele Ziel: weltweiter Zugriff auf Daten und Rechnerresourcen Name in Anlehnung an das Stromnetz, engl. power grid in Entwicklung, von Forschung vorangetrieben Rechnerresourcen je nach Bedarf über Internet verbundene Rechnerresourcen Resourcenquelle beliebig Desktop, PDA, Web-Browser,... Quelle: Wikipedia Verfügbarkeit Strom je nach Bedarf Infrastruktur Generatoren,Trafos, Kabel,... Transparenz Stromerzeuger beliebig Zugang Steckdose Quelle: CERN Ziele Vergleich von Stromnetz und (Wunsch-)Grid: Stromnetz (power grid) Das Grid

4 Was ist das Grid - momentaner Stand verschiedene Gridtypen bereits vorhanden Forschungsphase und early adopters Unterscheidung nach Resource: Berechnungs-Grid: verteiltes Rechnen (distributed supercomputing) mit hohem Durchsatz durchgeführte Berechnungen (high troughput computing) Reduzierung der Berechnungszeit Daten-Grid: Zugriff und Bearbeitung verteilter Datenmengen Service-Grid: Anbieten ungenutzter Resourcen Gemeinschaftliches Arbeiten Multimedia-Dienste

5 Was ist das Grid - Beispiele Domain Name System (DNS) LimeWire LHC Computing Grid

6 Grid Voraussetzungen Umgang mit dynamischen Resourcen gemeinsame Benutzung von Resourcen Verbergen der Heterogenität der Resourcen einfache Bedienbarkeit Quelle: LHC Computing Grid Umsetzung durch Einsatz einer Virtualisierungsschicht: Die Grid-Middleware ohne Middleware mit Middleware

7 Grid Grid-Middleware Grid-Middleware ersetzt physischen Zugriff Bereitstellung von Tools standardisierte Schnittstellen Virtualisierung der Bereiche: Sicherheit (Zugang, Authentifizierung, Autorisierung) Daten-Management (Gridweites Daten I/O) Execution-Management (Ausführen von Jobs) Informationsdienste (Welche Resourcen sind verfügbar) Accounting (Bezahlung der genutzten Dienste)

8 Grid-Middleware - Globus Toolkit 4 Globus Toolkit 4 als Grid-Middleware: Produkt der Globus-Alliance ( Middleware bei vielen Grids Basis-Komponenten zum Erstellen von Grids standardisierte Protokolle (SOAP,XML,SSL) Schnittstellen (meist) Web-Service basiert (OGSA,WSRF) Ermöglicht Entwicklung eigener Grid-Dienste Erfasst die Bereiche: Sicherheit Daten-Management Execution-Management Informationsdienste bietet keine Lösung zu Accounting und Job-Scheduling

9 Instant-Grid - Übersicht Live-CD mit Grid-Umgebung Webseite: instant-grid.org gefördert vom BMBF Verwendung von Open-Source Teilprojekt der D-Grid Initiative Projektbeteiligte: GWDG, FIRST, ed-media, FU Hagen, FIZ Chemie Ziel des Projekts: ohne Vorkenntnisse einsetzbare Test-, Demonstrations- und Entwicklungsumgebung für Grid-Technologien FU Hagen

10 Instant-Grid - Funktionsweise Live-CD auf Knoppix-Basis Globus-Toolkit 4 als Grid-Middleware automatisches Setup der Hardware auf Clusterebene der Grid-Middleware von Beispielanwendungen eines Portalsystems Setup erfolgt während des Bootens nach Booten volle Grid-Funktionalität für User knoppix oder über Browser/Portalsystem

11 Instant-Grid - Clustersetup Booten eines Rechners mit der CD (Frontend) weitere Rechner Booten über Netzwerk per PXE Übersicht Clustersetup

12 Instant-Grid - Clustersetup Netzwerksetup per DHCP CD-Image per NFS gemeinsames Verzeichnis /clusterwork Anpassen der Konfiguration per daemon (distributord) Erkennen von neuen oder entfernten Knoten alle 30s Internetzugang der Knoten per NAT Bootvorgang

13 Instant-Grid Setup von Globus Toolkit 4 Setup vollautomatisch ohne Benutzereingabe Erstellung einer Zertifizierungsstelle (CA) auf dem Frontend basierend auf simpleca Knoten erhalten X.509 Zertifikat von CA automatische Generierung von Zertifikat für User knoppix Starten der Globus-Dienste (CA, Gatekeeper, WS-GRAM, WebMDS, GridFTP,...) Nach dem Booten besitzt User knoppix volle Grid-Funktionalität

14 Instant-Grid Beispielanwendungen Ganglia (Monitoringsystem) Portalsystem GridSphere (Portlet-Container) GridPortlets und GT4-Portlets (Portlets mit Grid-Funktionalität) POV-Ray (Raytracingprogramm) ERAMAS* (Environmental Risk Analysis and Management System) Access-Grid* (gemeinschaftliches Arbeiten) Gridlabs* (Zugriff auf virtuelle Experimente) GridSearch* (gridweite Vollindizierung von Dokumenten) * noch nicht implementiert

15 Instant-Grid Beispiel POV-Ray frei verfügbarer Renderer mit Raytracing-Technik einfache Parallelisierbarkeit durch Zuweisen von Bildausschnitten an einzelne Grid-Knoten momentan Zugriff über Web-Frontend Rendern einzelner Bilder möglich geplant: Zugriff über Portal mit Unterstützung für Animationen Screenshots des Web-Frontends: Berechnungsseite und Ausgabeseite

16 Wichtige Internetadressen Instant-Grid Webpräsenz: Instant-Grid CD-Image: D-Grid Initiative: Globus-Alliance: Globus Toolkit 4: GridSphere: POV-Ray: ERAMAS: Access-Grid: Es folgt ein kurzer Flashfilm mit einem POV-Ray Beispiel Vielen Dank für die Aufmerksamkeit!