10. GridKa Overview Board GridKa Statusbericht

Transkript

1 Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 10. GridKa Overview Board GridKa Statusbericht Holger Marten Forschungszentrum Karlsruhe GmbH Institut für Wissenschaftliches Rechnen, IWR Postfach 3640 D Karlsruhe 1

2 Ausbau GridKa 2006 Prozessoren Verzögerung der Installation durch Bios-Inkompatibilitäten Verfügbarkeit ab August 2006 Disk Lieferung und Einbau der Platten und Fileserver im Mai hohe Mehrfachbelastung der Administratoren durch gleichzeitige Installation neuer Hardware, Experiment-Support und Problemlösung schrittweise roll-out ab Juli 2006, teilweise aber für die Experimente zeitlich knapp 2

3 Ausbau GridKa 2006 Tape Neue Tape-Library im Oktober eingetroffen (notwendig für 2007) Gesamtkapazität damit > slots = 4 PB (bei 400 GB/Band) Ziel: Freigabe im Frühjahr 2007 Installation Grau XL, Oct

4 Ausbau GridKa 2006 WAN/Internet Internet mit 10 Gb/s für Tier-1/2 Verkehr bereits seit 2005 Dedizierte OPN-Verbindung CERN GridKa verzögert seitens DFN in Produktion seit Juli 2006 Datenbank-Systeme Aufbau experimentspezifischer Datenbanken (Oracle & Squid) Installation und Test über LCG Subprojekt 3D (Meilenstein ) anfängliche Hardware- und Personalengpässe termingerecht freigegeben am

5 Ausbau GridKa 2006 glite 3.0 upgrade von LCG 2.6 auf 2.7 im Frühjahr wegen Personalengpass ausgelassen; stattdessen von LCG 2.7 auf glite 3.0 im Juni Release-Sprung war zu groß (im nachhinein deutlich Mehrarbeit) und für einige Experimente zu spät (VO-Boxen) File Transfer Service Filetransfers zu allen im Juni bekannten, assoziierten Tier-0/1/2 aufgesetzt und im Rahmen der Service Challenges getestet Extrem arbeitsintensiv; viele Parameteranpassungen in den Tier-2s der Testpartner; einige T2s sind noch nicht so weit Rekorde: siehe nächste Folie 5

6 FTS-Rekorde Datenimport über OPN auf dcache -Platten und -Bänder bei GridKa Stundenmittel = 477 MB/s am , 4:00-5:00 Uhr 8-Stundenmittel = 436,4 MB/s zwischen , 23:00 und , 7:00 Target für 2008 = 200 MB/s; 400 MB/s für catch-up nach Ausfall 6

7 Ausbau GridKa Zusammenfassung Erinnerung: MoU-Meilenstein wurde auf Juli 2006 verschoben! CPU: 2087 ksi2k verfügbar seit August Disk: 640 TB seit Juni; roll-out noch nicht ganz abgeschlossen Tape: 940 TB verfügbar seit April WAN: 2x 10 Gb/s komplett seit Juni 3D-Datenbanken: plangemäß seit Ende September glite 3.0: seit Juni FTS: OPN-Datenraten > 400 MB/s erreicht; Tests mit Tier-0/1/2 Es gibt ca. 15 neue, noch nicht eingebundene Tier-2s!! Auch die nicht-lhc Experimente haben sicherlich unter einigen Verzögerungen gelitten. 7

8 Issues 8

9 Issues Stabilität, Verfügbarkeit, Personalengpässe Juni: Grid Infosysteme zeigen Verfügbarkeit GridKa = 0 nach glite update. Experimente können aber hervorragend arbeiten. Langer Diskussionsprozess mit den Entwicklern. 15. Juli: Totalverlust der Kühlung nach Sensorbruch mit anschließender Notabschaltung sämtlicher Systeme vor dem Wochenende. Anschließendes unkontrolliertes Einschalten der Kühlung führt zu Verlusten von Festplatten und Filesystemen. Langwierige Reparaturarbeit. 9

10 Issues Juli/August: Instabilitäten und Skalierungsprobleme einiger Middleware-Services. Analyse und Fehlerbehebung in mehreren Stufen und über mehrere Wochen August/September: Skalierungs- und Stabilitätsprobleme der gridftp-implementierung in dcache zeigen sich erst nach Lösung der Middleware-Instabilitäten (gekoppelte Probleme). Analysen und Schaffung von Work-arounds. Ende September: Notwendige OPN-Umschaltung auf dynamisches Routing führt zu unerwartetentransfer-fehlern; Mehrere Tage für Fehlerbehebung. 10

11 Issues 20. Oktober: Entdeckung einer Sicherheitslücke im Batch- System. Abschaltung GridKa vor dem Wochenende, da Patches erst am folgenden Montag erhältlich. 24. Oktober: Geplanter update von dcache. Anschließend Instabilitätsprobleme (anderer Art als vorher) über ca. 1 Woche. Insbesondere CMS und ATLAS betroffen. Fehlersuche und Schaffung von Work-arounds. Jetzt deutlich stabiler als voher. 15. November: Stromausfall im gesamten Zentrum. Ausfall der Kühlung, Notabschaltung aller Systeme 11

12 Fazit Kernproblem Produktionsstabilität (LCG & GridKa) Versuch einer Analyse Fast identisch mit Folien in OB#9 Die äußeren Randbedingungen lassen gegenwärtig noch keinen regulären Produktionsbetrieb zu. Der Übergang von Test- zu Produktionsbetrieb läuft (immer) noch. Babysitting oft auch am Wochenende notwendig. Notwendige Voraussetzung für stabilen Betrieb ist, dass sich die äußeren Randbedingungen stabilisieren, Achtung, die wichtigsten Neuerungen kommen erst im Frühjahr 2007! Mehrfachbelastung des Personals durch: weiteren Ausbau, neue Funktionalitäten, Updates, Instabilitäten, Experiment- & Benutzerunterstützung, workshops, KIT, SCC + zeitlich befristete Arbeitsverträge Die Belastungsgrenze einiger Administratoren ist deutlich überschritten! 12

13 24x 7 und Personalsituation 13

14 Planungen für f r 24x7 Betrieb bei GridKa Es gab wiederholt Ausfälle oder Instabilitäten, die an Wochenenden zu eingeschränkter Verfügbarkeit über mehr als 48 Stunden geführt haben. Mehrfache Empfehlung des TAB, auch am Wochenende mal in das System zu schauen Vorgeschlagene Vorgehensweise: Terminals und Internetzugang für Administratoren zu Hause (bezahlt durch FZK im Rahmen des Projektes) Pflicht, an Wochenenden & Feiertagen ca. 2 Stunden pro Tag Systemarbeiten zu verrichten (angeordnete Überstunden) Ausgleich durch Freizeit und/oder bezahlte Überstunden nach Wahl der Mitarbeiter Hilft, bereits heute geleistete Mehrarbeit zu honorieren, Arbeit auf mehr Schultern zu verteilen, Experten zu entlasten, 14

15 Planungen für f r 24x7 Betrieb bei GridKa 24x7 Betrieb erfordert Rufbereitschaft für zentrale Kerndienste (Bsp.: batch server, Internet-Anbindung, LCG-Zugangsrechner, ) Definition dreier Rufbereitschaftskreise (RB) für: Netzwerke (LAN, WAN) Online und Hintergrundspeicher Grid Middleware Services Kosten: ca Eur pro Bereitschaftskreis und Jahr für zusätzliches Personal und Gehalt. RB macht nur Sinn, wenn die betriebene Umgebung stabil ist (wenig Änderungen oder neue Funktionalitäten, hauptsächlich für bugfixes) und die Dienste automatisiert überwacht werden können! Arbeit & Zeit! 15

16 Personalsituation für f r den Betrieb von GridKa Über das Projekt GridKa werden gegenwärtig 10 Akademiker und 13 Ingenieure finanziert (inklusive einer zum zu besetzenden Stelle). Diese arbeiten in den Bereichen: GridKa Aufbau & Betrieb; LCG & non-lhc Exp. (17,25 FTE) EGEE Grid Operations; ROC & GGUS (4,5 FTE) D-Grid Autorisierung und Authentifizierung (0,75 FTE) ISSeG (0,5 FTE) Unterstützung von 2 Auszubildenden und 2 Diplomanden Das Projekt wird aus dem Service-Bereich zusätzlich unterstützt durch ca. 0,5 FTE Akademiker und 0,3 FTE Ingenieure. Nicht aufgelistet sind 2 Akademiker, die über Drittmittel finanziert werden (reine F&E-Tätigkeiten für EGEE und ISSeG). 16

17 Personalsituation für f r den Betrieb von GridKa Von diesen 23 Personen haben: 4 Akademiker und 6 Ingenieure Dauerstellen 6 Akademiker und 7 Ingenieure Zeitverträge nur 13 Personen eine Stelle laut Stellenplan Konsequenzen: Personal mit Zeitverträgen fällt aus der 12-Jahresregelung nach HRG Hohe Fluktuationsrate Hoher Aufwand für Neuausschreibungen & Stellenverlängerungen Hoher Aufwand, gegebenenfalls neue Mitarbeiter anzulernen Mit diesem hohen Anteil an Zeitverträgen und Sonderfinanzierungen ist der langfristige Betrieb des Großgerätes GridKa nicht zu gewährleisten. 17

18 Ressourcenanforderungen an GridKa 18

19 Änderungen der Ressourcenplanung bei GridKa (nur LHC-Anteil Anteil) Überarbeitung der Ressourcenanforderungen durch das TAB aufgrund der geänderten Zeitskalen des LHC MoU CPU [ksi2k] neu; MoU Disk [TB] neu; MoU Tape [TB] neu; Verschiebungen im Prozentbereich; kaum finanzielle Auswirkungen. Sollen diese neuen Zahlen als GridKa MoU-Werte planned to be pledged an das LCG-Projekt weitergegeben werden?