Grundlagen des Grid Computing Grid Middleware Toolkits: glite ICA Joh.. Kepler Universität t Linz
glite Grid Middleware für das LHC Grid Wurde im Rahmen des EGEE Projekts entwickelt Basiert auf dem Globus Toolkit 2 Weiterentwickelt im EU Datagrid und EGEE Projekt Globus 2 -> LCG -> glite Grundlagen des Grid Computing 2
glite Architektur High Level Services Security Services Authentifizierung, Authentisierung Zugriffskontrolle Vertraulichkeit der Daten Informations- und Monitoring-Services Zum Publizieren und und Konsumieren von Ressourceinformationen Job-Monitoring und Netzwerk-Performance Monitoring bauen darauf auf Grundlagen des Grid Computing 3
glite Architektur High Level Services Job-Management Services Computing Element (CE) Virtualisierung einer Computing Resource Bietet Informationen über die darunterliegende Resource Schnittstelle für Job Submission und Management Workload Management (WMS) Grid Level Metascheduler Verteilt Jobs an die verfügbaren CEs Verfolgt Jobs (Logging & Bookkeeping) Job Provenance Persistente Informationen über ausgeführte Jobs Accounting Package Manager: Softwareinstallation Grundlagen des Grid Computing 4
glite Architektur High Level Services Data Services Storage Element (SE) Virtualisierung einer Speicherressource Catalog Services Hält den Speicherort und Metadaten (Checksummen, Dateigrößen) Data Movement Services Effizienter Datentransfer zwischen SEs Granularität der Data Services ist auf Dateiebene Benutzer sieht ein globales Dateisystem Grundlagen des Grid Computing 5
glite Services Grundlagen des Grid Computing 6
Sicherheit Grundlagen des Grid Computing 7
Information & Monitoring Services glite verwendet R-GMA für Monitoring relationale Implementierung der Grid Monitoring Architecture Monitoring Ergebnisse werden in einer virtuellen Datenbank abgelegt Producers schreiben in virtuelle Datenbank, Consumers lesen Standard SQL Queries R-GMA Schema definiert, was publiziert wird Producers registrieren sich in der Registry zb. JobWrapper schreibt Information zu durchgeführten Jobs für Accounting Consumer bezieht Daten direkt von Producer Grundlagen des Grid Computing 8
R-GMA Komponenten Grundlagen des Grid Computing 9
Workload Management Services Verteilung und Management von Jobs Resource Broker Ziel: Effiziente Ausführung von Jobs Komponenten: Workload Manager Job Submission überträgt diesem den Job Finden einer Resource und Zuweisung an diese Geeignetes CE wird durch Matchmaking zwischen Anforderung & Resourcebeschreibungen gefunden Logging & Bookkeeping Service Beobachtet den Status eines Jobs Kann dem Benutzer Job-Status-Informationen liefern Grundlagen des Grid Computing 10
glite Job Description Language (JDL) Ursprünglich im EU Datagrid Projekt entwickelt basiert auf Condor ClassAds Ein Ad enthält eine Menge an Attributnamen und werten erweiterbar Beschreibt die Anforderungen eines Jobs Jobtyp: batch, interactive,... Aggregates (Subjobs) Anforderungen an Rechen- und Speicherressourcen Grundlagen des Grid Computing 11
JDL Arten von Attributen Jobattribute Job-spezifische Information für WMS (z.b.transfer von Eingabe- und Ausgabedateien) Datenattribute Informationen zu Eingabedaten und SEs Verwendet für Resourceauswahl um effizienten Datenzugriff zu ermöglichen Anforderungen Anforderungen an Resourcen (zb. Installierte Software...) Grundlagen des Grid Computing 12
glite WMS User Interface Rechner als Schnittstelle zum Grid Bietet Commandline Werkzeuge für Job Submission Automatische Ressourcenfindung und Auswahl Übertragung der Eingabedaten Auflistung geeigneter Resourcen für einen Job (Basierend auf der JDL) Abbruch eines abgeschickten Jobs Holen von Statusinformationen vom Logging & Bookkeeping (z.b. Job-Status) Holen der Job-Ausgabedateien nach Jobende Grundlagen des Grid Computing 13
glite Logging & Bookkeeping Sammelt Job-Statusinformationen Stellt sie dem Benutzer zur Verfügung Zugriff über Commandline-Tools oder Logging & Bookkeeping API Grundlagen des Grid Computing 14
glite Data Management Annahme: Dateien als niedrigste Datengranularität Dateien werden über logische Dateinamen (LFN) identifiziert Hierarchischer Namensraum Werkzeuge zum Zugriff sind dieselben wie bei lokalen Dateien Grid Data Management bildet LFN auf physikalische Dateinamen ab Grundlagen des Grid Computing 15
glite Data Management Logical Filename (LFN) Dateiname, human-readable, veränderbar Global Unique Identifier (GUID) Global eindeutig 1:1 Abbildung zu LFN konstant Logische Symlinks Selbe Semantik wie lokale Symlinks Zeigt auf einen LFN Site URL (SURL) referenziert eine physikalische Datei möglicherweise Replikas, daher kann es mehrere SURLs für eine GUID geben Transport URL (TURL) Wird für Datentransfer verwendet spezifiziert Protokoll Grundlagen des Grid Computing 16
glite Data Management Speicherressourcen müssen ein Storage Resource Manager (SRM) Interface bereitstellen zb. Disk Pool Manager (DPM) Datei-Kataloge (z.b. LFC) Speichert Orte von Dateien und Replikas Bildet LFNs oder GUIDs auf SURLs ab File Transfer Service (FTS) verschieben von Dateien von einer Site zu einer anderen Grundlagen des Grid Computing 17