GridKa TAB site report 55th Session of the GridKa TAB,

Transkript

1 Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft GridKa TAB site report 55th Session of the GridKa TAB, Holger Marten Forschungszentrum Karlsruhe GmbH Institut für Wissenschaftliches Rechnen, IWR Postfach 3640 D Karlsruhe 1

2 0. Content 1. Status of hardware and services 2. Actions from last TABs 3. Information on the dcache upgrade on Oct Transparencies for the next GridKa OB on Nov-17 2

3 1. Status of hardware and services Security vulnerability of batch system on Fri 15:45: GridKa security contact people received broadcast mail: The Grid Security Vulnerability Group (GSVG) and the Operational Security Coordination Team (OSCT) have been made aware this morning of a security flaw affecting Torque/OpenPBS... has been rated EXTREMELY CRITICAL... - PBS Pro support involved - Fri 17:25: Answer from PBS Pro support team: PBS Pro is also affected. - Fri ~18:00: Batch operation at GridKa stopped - Sat 22:23: Patches available - Mon until 12:00: Re-installation of all worker nodes with the patched PBS mom 3

4 1. Status of hardware and services Security vulnerability of VO boxes on atlas-fzk.gridka.de: re-installed from scratch because a vulnerability in the YAIM configuration of the VO boxes was reported and rated HIGH risk. - alice-fzk.gridka.de: not affected (no *sgm entries in /etc/shadow) - cms-fzk.gridka.de, lhcb-fzk.gridka.de: not affected (*sgm accounts were not generated by YAIM) dcache upgrade on upgrade to and moved to new head node - databases converted to new format - can now grow beyond 2 GB - needed for next upgrade to 1.7 (planned January 2007) - pnfs operations on separate machine - instabilities may have been caused by memory handling - steady growth of dcache operations hit some limits - dependencies between components (poolmanager, gridftp door) lock each other Tape robot delivered -GridKa photos TAB, November of robot? 9,

5 1. Status of hardware and services Tape library delivered - GRAU XL (5400 slots, 10 LTO3 drives) - currently testing and verification - located at IWR: to provide redundant tape storage for T0 T1 data transfers - in production early work in progress for tape scheduling interface to TSM 5

6 1. Status of hardware and services Installation of Tape library Grau XL, Oct

7 2. Actions from last TABs TAB#52: Action (GridKa) to separate directories and file systems /home and /software for all VOs in progress; delayed because of issues with dcache and NEC disks Action (GridKa) to investigate the possibility to enable experiments representatives to send mail to grid users. delayed Action (experiments) to specify data classes and access patterns to optimize the dcache system. in progress; architecture of dcache based storage is discussed with developers and other dcache sites (SARA, IN2P3) TAB#53: Action (GridKa) to provide time scales for adding new disk for Compass done. Compass received +9,5 TB disk only Action (J.Kennedy) to give feedback on the use of data on old disks that can be recovered for integration into srm disk1tape0. in progress 7

8 2. Actions from last TABs TAB#54: Action (experiments) to give feedback on file systems for data that can be removed from backup automatism. reminder: this is requested for alice1, alice5, atlas1, atlas2, cms4, lhcb3, babar15, cdf4, cdf8, compass2, compass3, compass4 received first statements from most experiments; missing info from alice and cms Action (GridKa) to provide a breakdown of tape usage for ATLAS, CMS and CDF in progress (partially done). Action (GridKa) to add the remaining missing disk space (~30 TB) for CMS as dcache disk only. in progress. 8

9 3. dcache upgrade on Oct-24 9

10 dcache Update on 24th October 2006 Migrate the PNFS Database from GDBM to postgres Now separate from headnode In preparation for upgrade to 1.7 Took more time than planned, but can only be done without any user access Update of headnode installed on a different machine before the 24th and only final setup changes were needed. Update of pool and gridftp nodes The easiest step

11 Instabilities of Gridftp-doors not reduced Increased effort to stabilize (the problem is in the memory) Reverting to default TCP/IP buffers sizes Monitoring memory consumption of nodes Restart of gridftp doors needed because of Memory depletion lockup Throughput reduces over time Restart of gridftp door leads to lockup of dcache poolmanager dcache fixes for 1.6 will not appear. A solution may only be available in 1.7 FTS transfer failures happen over time Known problem with srm db Workaround is to drop the respective tables now and then Solved in 1.7 Registering files in pools failed on some pools solved Should upgrade to 1.7 soon After the dcache Update

12 4. Input for next Overview Board on Nov-17 (transparencies already in German) Preliminary, not yet complete 12

13 Planungen für f r 24x7 Betrieb bei GridKa Es gab wiederholt Ausfälle oder Instabilitäten, die an Wochenenden zu eingeschränkter Verfügbarkeit über mehr als 48 Stunden geführt haben. Mehrfache Empfehlung des TAB, auch am Wochenende mal in das System zu schauen Vorgeschlagene Vorgehensweise: Terminals und Internetzugang für Administratoren zu Hause (bezahlt durch FZK im Rahmen des Projektes) Pflicht, an Wochenenden & Feiertagen ca. 2 Stunden pro Tag Systemarbeiten zu verrichten (angeordnete Überstunden) Ausgleich durch Freizeit und/oder bezahlte Überstunden nach Wahl der Mitarbeiter 13

14 Planungen für f r 24x7 Betrieb bei GridKa 24x7 Betrieb erfordert Rufbereitschaft für zentrale Kerndienste (Bsp.: batch server, Internet-Anbindung, LCG-Zugangsrechner, ) Definition dreier Rufbereitschaftskreise (RB) für: Netzwerke (LAN, WAN) Online und Hintergrundspeicher Grid Middleware Services Kosten: ca Eur pro Bereitschaftskreis und Jahr für zusätzliches Personal und Gehalt. RB macht nur Sinn, wenn die betriebene Umgebung stabil ist (wenig Änderungen oder neue Funktionalitäten, hauptsächlich für bugfixes) und die Dienste automatisiert überwacht werden können! 14

15 Personalsituation für f r den Betrieb von GridKa Über das Projekt GridKa werden gegenwärtig 10 Akademiker und 13 Ingenieure finanziert (inklusive einer zum zu besetzenden Stelle). Diese arbeiten in den Bereichen: GridKa Aufbau & Betrieb; LCG & non-lhc Exp. (17,25 FTE) EGEE Grid Operations; ROC & GGUS (4,5 FTE) D-Grid Autorisierung und Authentifizierung (0,75 FTE) ISSeG (0,5 FTE) Unterstützung von 2 Auszubildenden und 2 Diplomanden Das Projekt wird aus dem Service-Bereich zusätzlich unterstützt durch ca. 0,5 FTE Akademiker und 0,3 FTE Ingenieure. Nicht aufgelistet sind 2 Akademiker, die über Drittmittel finanziert werden (reine F&E-Tätigkeiten für EGEE und ISSeG). 15

16 Personalsituation für f r den Betrieb von GridKa Von diesen 23 Personen haben: 4 Akademiker und 6 Ingenieure Dauerstellen 6 Akademiker und 7 Ingenieure Zeitverträge nur 13 Personen eine Stelle laut Stellenplan Konsequenzen: Personal mit Zeitverträgen fällt aus der 12-Jahresregelung nach HRG Hohe Fluktuationsrate Hoher Aufwand für Neuausschreibungen & Stellenverlängerungen Hoher Aufwand, gegebenenfalls neue Mitarbeiter anzulernen Mit diesem hohen Anteil an Zeitverträgen und Sonderfinanzierungen ist der langfristige Betrieb des Großgerätes GridKa nicht zu gewährleisten. 16