Accounting im D-Grid (DGAS)

Größe: px

Ab Seite anzeigen:

Download "Accounting im D-Grid (DGAS)"

Alexandra Tiedeman
vor 8 Jahren
Abrufe

1 Accounting im D-Grid (DGAS) Jan Wiebelitz RRZN, Leibniz Universität Hannover DGI2 FG5 Jan Wiebelitz

2 Agenda Überblick D-Grid Infrastruktur Accounting-System für D-Grid (DGAS) DGAS im D-Grid Ausblick/Diskussion Jan Wiebelitz Folie 2

3 D-Grid Infrastruktur D-Grid Infrastruktur Überblick acht Zentren bilden den D-Grid Backbone weitere 17 Partner der Communities beschafft wurden aus Sonderinvestitionen ca CPU-Cores mit min. 2 GB RAM/Core ca. 3,3 PB Disk Storage ca. 5,5 PB Tape Storage Hamburg Bremerhaven Oldenburg Hannover Potsdam Berlin Middleware-Unterstützung Compute Services Globus Toolkit 4 glite 3.0 UNICORE 5 Datenmanagement glitese/dcache-srm Globus OGSA-DAI Jülich Köln Sankt Augustin Dortmund Göttingen Wuppertal Dresden Siegen Marburg Darmstadt Heidelberg Karlsruhe Stuttgart München Freiburg Oberpfaffenhofen Jan Wiebelitz Folie 3

4 D-Grid Infrastruktur Referenzinstallation Referenzinstallation wurde erstellt und getestet durch das DGI dient der Unterstützung der Ressourcenbetreiber Kern-Standorte sind verpflichtet alle Compute-Services zu unterstützen müssen einen Data-Service anbieten Weitere Informationen Jan Wiebelitz Folie 4

5 Accounting-System für D-Grid Distributed Grid Accounting System (DGAS) Accounting-System für das EGEE-Projekt basiert auf LCG/gLite Accounting-Informationen aus dem Batch-System LSF, PBS und Torque werden unterstützt werden in Usage Records umgewandelt speichert Accounting-Informationen im Home Location Register (HLR) auf DGAS-Server autorisierter Zugriff auf die Accounting-Informationen Command Line Interface grafische Darstellung durch HLRmon Jan Wiebelitz Folie 5

6 Accounting-System für D-Grid Argumente für DGAS als D-Grid Accounting-System Accounting von CPU-Time, Walltime, Mem und VMem Normalisierung der Hardware auf Basis von Benchmarks (SPECint2000, SPECfp2000) sehr gutes grafisches UserInterface Erfahrung mit dem Betrieb in (sehr) großen Grid-Projekt (EGEE) mit heterogener Infrastruktur Unterstützung von Pool-Accounts und Nutzer-Attributen (FQAN) DGAS-Entwickler sind in der OGF RUS-WG und in OMII vertreten Accounting in D-Grid durch Anpassung von DGAS vorhanden Jan Wiebelitz Folie 6

7 DGAS im Detail Computing Element Aufnahme der Nutzungs-Informationen beendeter Jobs (Gianduia Client) Zuordnung der Nutzung-Informationen zu einem Nutzer (Distingiushed Name) Übertragung der Usage Record zum DGAS-Server DGAS-Server Zwischenspeicherung der Usage Record durch Transaction Manager Übertragung des Usage Records in Accouting Record durch Transaction Manager Eintragung des Accounting Record in das Home Location Register UserInterface Abfrage der Nutzungsinformationen vom DGAS-Server durch den Nutzer (CLI) HLRmon nutzt CLI zur Abfrage der Nutzungsinformationen Jan Wiebelitz Folie 7

8 DGAS im Detail Job auf dem Worker Node PPID PID PGID SID TTY TPGID STAT UID TIME COMMAND ? -1 Ss 0 151:40 /usr/sbin/pbs_mom -p ? -1 Ss :00 \_ -sh ? -1 S :00 \_ /bin/sh /var/spool/pbs/mom_priv/jobs/8.torqu.sc ? -1 S :00 \_ /bin/bash /home/software/ ? -1 S :00 \_ /home/software/... Accounting- Log (Torque) 03/07/ :00:11;Q;92028.torqued1.d-grid.uni-hannover.de;queue=dgiseq 03/07/ :00:16;S;92028.torqued1.d-grid.uni-hannover.de;user=uhad0005 group=uhad jobname=stdin queue=dgiseq ctime= qtime= etime= start= exec_host=gcwn02.d-grid.uni-hannover.de/0 Resource_List.cput=48:00:00 Resource_List.ncpus=1 Resource_List.neednodes=gcwn02.d-grid.uni-hannover.de Resource_List.nodect=1 Resource_List.nodes=1 Resource_List.walltime=11:20:00 03/07/ :01:53;E;92028.torqued1.d-grid.uni-hannover.de;user=uhad0005 group=uhad jobname=stdin queue=dgiseq ctime= qtime= etime= start= exec_host=gcwn02.d-grid.uni-hannover.de/0 Resource_List.cput=48:00:00 Resource_List.ncpus=1 Resource_List.neednodes=1 Resource_List.nodect=1 Resource_List.nodes=1 Resource_List.walltime=11:20:00 session=27001 end= Exit_status=0 resources_used.cput=00:00:00 resources_used.mem=4664kb resources_used.vmem=127148kb resources_used.walltime=10:01:37 Jan Wiebelitz Folie 8

9 DGAS im Detail Usage Record JOB_TYPE=local USER_DN=/O=GermanGrid/OU=AEI/CN=Thomas Radke (ad0006) USER_FQAN=/astrogrid/Role=NULL/Capability=NULL ACCTLOG:03/11/ :52:18;E;96992.torqued1.d-grid.uni-hannover.de;user=uhad0006 group=uhad jobname=stdin queue=dgiseq ctime= qtime= etime= start= exec_host=gcwn07.d-grid.uni-hannover.de/1 Resource_List.cput=48:00:00 Resource_List.ncpus=1 Resource_List.neednodes=1 Resource_List.nodect=1 Resource_List.nodes=1 Resource_List.walltime=11:20:00 session=501 end= Exit_status=0 resources_used.cput=00:00:00 resources_used.mem=4652kb resources_used.vmem=127020kb resources_used.walltime=00:00:01 Ressourcennutzung ist Nutzer durch den Distinguished Name (DN) zugeordnet Accounting Record Tables_in_hlr acctdesc grdesc groupadmin group_vo hlradmin jobauth jobtranssummary jobtranssummaryindex resource_group_vo roles transininfo Field Type dgjobid varchar(160) date datetime transtype varchar(160) thisgridid varchar(160) remotegridid varchar(160) userfqan varchar(255) uservo varchar(160) remotehlr varchar(160) cputime int(11) walltime int(11) pmem int(11) vmem int(11)... Jan Wiebelitz Folie 9

10 HLRmon Interface für DGAS Informationen aus dem Home Location Register (HLR) hierarchische Autorisierung durch Zertifikat ROC-Manager Site-Manager VO-Manager VO-User Walltime, CPU-Time Ranking der VOs Ranking der Nutzer Microsoft Excel export Jan Wiebelitz Folie 10

11 DGAS im D-Grid Zentraler DGAS-Server zurzeit in Hannover eingebundene Sites übertragen ihre Accounting-Informationen aktuell drei Sites Leibniz Uni Hannover TU Dortmund FZ Jülich DGAS-Clients Anpassung zum Accounting aller Jobs nutzt modifiziertes grid-mapfile Einhaltung der Namenskonvention notwendig Tests bei der Einbindung neuer Sites erforderlich Installationsanleitung vorhanden Jan Wiebelitz Folie 11

12 Ausblick/Diskussion Aus: Review of Accounting and Usage Monitoring - Finale Report, Jan Wiebelitz Folie 12

13 Ausblick/Diskussion Erweiterung des Accounting notwendig für die vollständige Erfassung der Ressourcennutzung Storage (50% der Sonderinvestitionen 2006) lizenzpflichtige Software (Beteiligung von Industrie-Partnern) lizenzpflichtige Daten (Beteiligung von Industrie-Partnern) Jan Wiebelitz Folie 13

14 Zusammenfassung Teilnehmer: 12 Communities 3 Rechenzentren DGI Community-Projekte möchten auf dem Accounting des DGIs aufsetzen lediglich community-spezifische Anpassungen/Weiterentwicklungen sehen DGI hier in der Pflicht Folgende Metriken werden gewünscht: Storage lizenzpflichtige Software lizenzpflichtige Daten Network... Pricing und Billing Schwerpunkt der Arbeiten hier Koordinationsbedarf! Jan Wiebelitz Folie 14

15 Jan Wiebelitz Folie 15 Vielen Dank und gute Heimreise!

16 DGAS und HLRmon in EGEE Jan Wiebelitz Folie 16

Ähnliche Dokumente

Wo stehen wir: AAI, VO, Sonderinvestitionen

Wo stehen wir: AAI, VO, Sonderinvestitionen Stefan Piger, Christian Grimm RRZN, Leibniz Universität Hannover DGI FG3-4, in Abstimmung mit FG1-10 und FG2-3 Stefan Piger 27.03.07 Agenda Überblick Sonderinvestitionen