Grid-Computing in der Hochenergiephysik

Transkript

1 Grid-Computing in der Hochenergiephysik

2 Auf dem Weg zum Grid (EDG-Tutorial, Cristophe Jaquet) Once upon a time.. Microcomputer Mini Computer Cluster

3 Auf dem Weg zum Grid (EDG-Tutorial, Cristophe Jaquet) Virtuelle Organisation GRID =flexible, secure, coordinated resource sharing among dynamic collections of individuals, institutions, and resources- virtual organizations

4 GRID-Computing vom lokalen zum globalen Ressourcenmanagement Lokal job Master Ressourcen Management Queue1 Queue2... Node 1 Node 2.. Benutzer Cluster Ressourcenmanager: LSF (load sharing facility) OpenPBS : Open Source, Entwicklung gestoppt kommerzielle Version:PBS Pro Condor: University of Wisconsin-Madison, Projekt gestartet 1988 Sun Grid Engine usw. Gridsoftware: eigene Beschreibungssprache, wird für die lokalen Manager übersetzt

5 GRID-Computing vom lokalen zum globalen Ressourcenmanagement Client Cluster 1 Cluster 2 Server: Gatekeeper Informationsystem Server: Gatekeeper Informationsystem... jobmanager Lokales Ressourcen management LSF jobmanager Lokales Ressourcen management PBS PC PC

6 Grid: Sicherheit (1) GSI Grid-Security-Infrastructure (Globus-Projekt) asymmetrische Verschlüsselung, X.509-Zertifikat, SSL privater Schlüssel nicht im Klartext (pass-phrase) X.509-Zertifikat subject name (distinguished name DN) z.b. /C=AT/O=UIBK/OU=HEPG/CN=Reinhard Bischof/ =reinhard... öffentlicher Schlüssel digitale Unterschrift einer Zertifizierungsstelle (CA) bestätigt DN bestätigt Bindung öffentlicher Schlüssel an DN beweist, daß Zertifikat von der CA ausgestellt wurde CNRS-CA verwendet, österreichische CA bald verfügbar (VCPC Wien, Dr. Lifka)

7 Grid: Sicherheit (2) Gegenseitige Authentifizierung gegenseitiges Überprüfen der Zertifikate, Testnachricht single sign on damit Benutzer nur einmal seine pass phrase eingeben muß, erzeugt er zu Beginn ein proxy Zertifikat: neuer privater und öffentlicher Schlüssel, privater Schlüssel nicht passwortgeschützt, begrenzte Lebensdauer DN=DN(Benutzer)/proxy, von Benutzer unterschrieben bei Authentifizierung wird auch Benutzerzertifikat benötigt (Unterschrift Proxy überprüfen)

8 Grid: Authorisation grid-mapfile: bildet DN eines Zertifikats auf lokalen Benutzer ab, z.b: "/C=AT/O=UIBK/OU=HEPG/CN=Reinhard gdmp "/C=CH/O=SIB/OU=LAUSANNE/CN=Lorenzo "/C=ES/O=DATAGRID-ES/O=IFAE/CN=Gonzalo Merino".atlas "/C=ES/O=DATAGRID-ES/O=IFAE/CN=Miquel Barcelo".wpsix "/C=ES/O=DATAGRID-ES/O=IFCA/CN=David Rodriguez Gonzalez".cms EDG: jede virtuelle Organisation hat einen pool von accounts grid - mapfile wird automatisch erzeugt (mit LDAP-servern der virtuellen Organisationen LCAS : kann Grid-Benutzer sperren, Grid-Zugang nur zu bestimmten Zeiten geben

9 Globus-Toolkit Globus Projekt = Zusammenarbeit Argonne National Lab, University of Chicago, Un. of Southern California, Un. of Northern Illinois, Start 1995, erste Version Toolkit 1998, seit Sept Globus Alliance (+ Uni Edinburgh, Königl.Schwed. Institut für Technologie) Sicherheit GSI (Grid Security Infrastructure) Data Management gridftp: ftp + security; Replica Catalog Resource Management: nach der Annahme des jobs durch den gatekeeper sorgt ein jobmanager-prozess für die Kommunikation mit dem Benutzer und die Weitergabe an das lokale Ressourcenmanagement Informationssystem: stellt die Informationen zur Verfügung, die für eine automatische Verteilung von Jobs nötig sind (freie CPUs, verfügbarer Speicher, installierte Software.. Kein scheduling system, Eigenentwicklung von verschiedenen Grid-Projekten (Nordugrid, DataGrid) dzt Übergang zu web services (grid services) OGSA (open grid services architecture)

10 DataGrid Projekt Beginn: , 3 Jahre, Hauptpartner CERN, INFN, CNRS, NIKHEF, PPARC, ESA verwendet Globus Toolkit, Condor-G, eigenen resource broker Benutzer sendet Jobbeschreibung (Textdatei) und kleine Eigabedateien an einen resource broker, der Informationen von den grid sites (freie Cpus,...) und falls nötig von einem Replikakatalog (um grosse Eingabedateien zu finden) bekommt und dementsprechend einen geeigneten Cluster zur Bearbeitung des Jobs aussucht in Innsbruck: Computing Element grid.uibk.ac.at Worker Node grid01.uibk.ac.at Storage Element pc31-c704.uibk.ac.at 400 GB User Interface pc1-hep.uibk.ac.at

11 Konzept DataGrid Replicakatalog SE Mitglied VO UI Beschreibung Job: Executable, Eingabedatei, Ressourcen.. Ressource Broker CE Informationssystem SE CE

12 Bsp ATLAS DC1 Job-description-Datei Executable = "/bin/zsh"; Arguments = "prod.dc "; StdOutput = " dc simul hlt.pythia_jet_17.log"; StdError = "dc simul hlt.pythia_jet_17.err"; InputSandbox = "prod.dc1"; OutputSandbox = {"dc simul hlt.pythia_jet_17.log","dc simu l hlt.pythia_jet_17.his","dc simul hlt.pythia_jet_17.err"}; InputData = {"LF:evgen/data/002000/dc evgen.0001.hlt.pythia_jet_17.root"}; DataAccessProtocol = "file"; ReplicaCatalog = "ldap://grid011g.cnaf.infn.it:9011/rc=atlas Testbed1 Replica Catalog,dc=grid011g,dc=cnaf,dc=infn,dc=it"; Requirements = other.maxcputime > 86400;

13 LCG (LHC-Grid) rot: betriebsbereit dzt Zertifizierungstestbed LCG-1 mit 11 sites und 101 CPUs vorerst Zugriff nur für wenige Tester (1-2 pro LHC Experiment) baut auf den Erfahrungen mit DataGrid und Nordugrid auf wird ab April 2004 für die Atlas Data Challenge DC2 verwendet

14 EGEE (Enabling Grids for E-science and industry in Europe) 9 regionale Konsortien mit 70 Teilnehmern in 26 Ländern Österreich durch Linz und Innsbruck vertreten (Ressourcengarantie für 4 CPUs und 0.5 TB disk) verwendet Erfahrungen von EDG, LCG, Nordugrid Aufbau einer europaweiten Gridinfrastruktur, Weiterentwicklung der Grid middleware, Gridapplikation (zu Beginn Schwerpunkt Hephy und Biologie)

15 ZID-GRID (Zentraler Informatikdienst Universität Innsbruck) Studenten-PC s werden ausserhalb der Betriebszeiten (22:00-8:00, Wochenenden, Ferien) für das Agrid zur Verfügung gestellt Jeder Benutzerraum ist eine eigene grid site, dzt. 11 grid sites mit insgesamt 192 PCs, Clustergröße 6-46 CPUs jede grid site hat eine eigene Zeittabelle (wann fürs Grid verfügbar) und Benutzerliste die grid sites können unterschiedliche lokale Ressourcemanager verwenden, zur Zeit OpenPBS, Condor, und Sun grid engine Testbetrieb diesen Sommer (z.b. parallele MPI-jobs auf mehrere grid sites verteilen), mit Semesterbeginn Regelbetrieb Gridaktivitäten in Innsbruck: Dokumentation ZID-GRID:

16 Grid: Ressourcen teilen Idee: nicht nur Computerressourcen sondern auch Ausbildungsressourcen gemeinsam und damit möglichst effizient nutzen Studentenexperiment Myonenlebensdauer in Innsbruck komplett computergesteuert, Zugriff mit Grid-Methoden möglich (Messung Myonenlebensdauer, Statistik)