TAB-Bericht Nov. 05 Jun.'06 1 Inhalt: GridKa-Nutzung durch Experimente Tier2-Treffen im März Erfahrungen aus SC4 Anforderungen an GridKa Günter Quast & Christian Zeitnitz, 14.6.'06 Quellen: - Experimentberichte TAB 1. Juni. '06 - TAB Tier2 Meeting. 2. März '06 am GridKa
GridKa-Nutzung durch Experimente 2 Neuer Fair-Share Algorithmus eingeführt; (garantiert jedem Experiment Mindestnutzung auch bei Überschreiten des Ressourcenkontingents) TAB mit Tier2-Vertretern im März Sehr erfolgreiche Betriebs-Periode bis März` 06! Dann: massive Fileserver-Probleme, die noch nicht vollständig behoben sind Experimente mit Daten-intensiven Anwendungen schwer betroffen Service Challenge 4 ( SC4 ) mit zentralen LCG-Aktivitäten und parallelen Tests der Experimente sowie Service für non-lhc fordern GridKa stark. Aufbauphase für Ressourcen zum LHC-Start ebenfalls zu bewältigen! WLCG Service Challenge 4 mit gleitendem Übergang zu LHC Datennahme hat begonnen
CPU-Nutzung Nov. `05 bis Mai `06 3 Starke Schwankung des ungenutzen bzw. nicht nutzbaren Anteils zwischen 2% (Feb.) und 27% (Dez.) Keine Statistik für März verfügbar
Tier1/2-Netzwerk 4 Auf dem TAB-Treffen mit Tier2s am 2./3. März wurde die Netzwerksituation analysiert. T1-T2 Verbindungen lt. Computing TDRs, ok CMS T3 netzwerk-topologisch nahe an T1/T2 ATLAS computing model sieht nur geringe Datenströme T2-> T3 vor; sollte von Universitäten über die normale Internet-Anbindung bewerkstelligt werden können mit dem neuen XWIN des DFN kann LHC-Netzwerk jederzeit leicht zu moderaten Kosten ( einige 10k / Gbit Punkt-zu-Punkt) erweitert werden; derzeit kein besonderer Handlungsbedarf! SARA/Nikhef RWTH Aachen -CMS (60 MB/s) CERN CNAF/Bologna UNI Wuppertal -Atlas (10/20/25/33 MB/s) GSI Darmstadt -Alice (5-7MB/s) GridKa UNI Freiburg -Atlas (10/20/25/33 MB/s) DESY Hamburg -CMS (60 MB/s) -Atlas (10/20/25/33 MB/s) LMU + MPI Munich -Atlas (10/20/25/33 MB/s) B. Höft, TAB 2.3.06
T2-Treffen 5 Bei Treffen im März außer deutschen T2 auch Vertreter ausländischer T2: - Polen (ALICE, ATLAS, CMS und LHCb) - Tschechien (ALICE, ATLAS) - Belgien (CMS) - Schweiz (CMS) (Interesse mittlerweile auch von ATLAS und LHCb bekundet) Alle T2-Standorte sehr aktiv in Service Challenges. Diskussionen über Zusammenarbeit innerhalb der Experimente haben begonnen (regionaler User Support, zentrale Aufgaben am T1 etc.) Zuteilung von T2 zu den T1-Zentren und Aufgabenteilung liegen in der Verantwortung der Experimente Anm.: CMS testet gegenwärtig im Rahmen von SC4 Datentransfers von allen T1 zu allen T2; technische Infrastruktur vorhanden, starre Zuordnung von T2 zu jeweils einem T1 evtl. nicht nötig (Implikationen für das Computing-Modell werden noch beraten) Sicher ein gangbarer Weg für CMS in Nordeuropa!
BaBar 6 Anwendungen: Skimming - nur 6,5% (2005 ca. 25%) Anteil am MC Skimming des Experiments MC produktion 4% Anteil Analyse Betrieb GPFS/NFS Server Probleme (wie alle Experimente) Diskcrash/Datenverlust im Dez/Jan Plattenplatz sehr eng Wartet dringend auf neue Platten TAB gibt BaBar Priorität bei Plattenzuordnung Immer wiederkehrende Loginprobleme Instabilitäten führten zu stark verminderter Nutzung SLAC hat Teile des Skimmings übernommen GridKa ist damit Verpflichtungen als Tier A Zentrum nicht nachgekommen! Konsequenzen Benutzer meiden GridKa aufgrund der Probleme Finanzielle Forderungen könnten vom SLAC kommen, aber noch nicht klar Fortsetzung als Tier A noch unklar Zeit- und Resourcenplanung Betrieb des Detektors wahrscheinlich bis 2008 Disk und CPU Planung scheint adäquat
CDF 7 Anwendungen: Hauptsächlich Analyse von deutschen Nutzern Zur Zeit wird an Interface zur weitergehenden Nutzung durch CDF gearbeitet Wird mehr Support am GridKa erfordern 24/7 Support Mehr Benutzer in verschieden Zeitzonen Zeit und Resourcenplanung Voraussichtlicher Betrieb des Experiments bis 2009 Momentane Resourcenplanung ist adäquat Danke für verbesserte Kommunikation (Mails an Expt.-Admins)!
Compass 8 Verwendung als Tier-2 Zentrum Anwendungen: Anteil am MC (50% Anteil am Experiment) Anteil an Datenselektion (20% Anteil) Analyse VOMS Server wird am GridKa betrieben Weiterhin überproportionaler Anteil an CPU Zeit (aber Nov. bis Apr. nur ca. 60% der beantragten CPU nutzbar) Betrieb: Probleme seit dem 20. März bis Mitte Mai GPFS/NFS Problem Compass-spezifische Probleme mit NFS Einige Analysen verzögert wegen Nicht-Verfügbarkeit von GridKa wünschenswert: Testsystem für neue GridKa/OS Software Zu Zeiten stabilen Betriebs weniger Probleme als am CERN (CASTOR! ) Verfahren zum Entfernen von Daten nicht mehr aktiver Nutzer notwendig z.zt. darf GridKa aus Datenschutzgründen hier nicht ran Zeit- und Resourcenplanung Betrieb bis 2010 genehmigt Momentane Ressourcen zu knapp
DZero 9 Anwendungen Seit Frühjahr nur noch MC Produktion MC Produktion hauptsächlich GRID basiert (JIM/samGrid) Größtes einzelnes Zentrum bei MC Produktion 60 Mio Ereignisse generiert (ca. 33% Anteil) Bereithaltung von Analyse-Samples Betrieb GPSF/NFS Problem Häufig login Probleme Trotz der Probleme hoher Anteil am GridKa durch manuelle Korrekturen Zeit- und Resourcenplanung Betrieb wahrscheinlich bis 2009 Hauptsächlich MC Betrieb Vorgesehene Resourcen an Tape und Platte nicht im vollen Umfang benötigt, Mangel an Rechenleistung ==> Tausch gegen CPU gewünscht
ALICE ALICE Produktions-Jobs: grün: GridKa 10 Alice 2005-2/2006: DC05: 146 gleichzeitige Jobs im Mittel u. 700 max. Feb April 06: Vorbereitungen für SC4 and PDC06 mit neuem Soft-ware Stack. Neu: Nutzung von lokalem LCG via AliEn-LCG Interface auf VObox GridKa ist größte ALICE Site. GridKa noch nicht wieder in Produktion! Hauptgrund: abhängig von Grid-Installation durch GridKa-Personal (LCG2.7 dauerte lange, kein xrootd-support und fehlender Alice-eigener LFC)
ATLAS 11 MC-Produktion in den letzten 6 Monaten, meist Grid-basiert, ~10% lokal; lokale Batch-Queues in der Zukunft nur für Tests und Fehlersuche; lokale Nutzer-Logins als glite/lcg User Interface ATLAS stark von File-Systemproblemen der letzten Monate behindert Ernsthafte Sorgen bzgl. Personalstand am GridKa: - Aufsetzen der vor 6 Monaten beantragten VObox sehr verzögert - Anbindung von ATLAS Datenspeicher an dcache kritisch für den Erfolg (u. U. könnte ATLAS personelle Unterstützung anbieten) Points above not meant as criticism of performance of GridKa staff. In the contrary, we thank the GridKa staff for their efficient and hard work, often outside normal working hours. But they are terribly overloaded, many more people are needed to operate the site in procuctionquality mode! (ATLAS, TAB im Juni)
CMS Signifikanter GridKa-Beitrag zu CMS MC-Produktion, Datenimporte & grid-basirte Analyse DESY als gut funktionierendes T2 etabliert: Datenimport, Grid-basierte Analyse, Teilnahme erste Grid-basierte MC- Produktion in CMS; auch der Aachen-Teil des CMS-T2 ist mit guter Stabilität im SC4 aktiv * * 12 Datenanalyse für Physics-TDR mit starkem Beitrag GridKa & DESY! ca. 50 TB Daten für Analysen bei GridKa & Desy CMS-SC4 Im CMS-SC4 eine Woche lang ~50MB/sec an T2 exportiert! Leider: In der kritischen Phase ~ 1 Monat vor Deadline für CMS-PTDR GridKa-Datensätze praktisch nicht verfügbar! Große Unzufriedenheit der Nutzer!
LHCb 13 Aktivitäten: wenig bis April `06 danach Produktion für DC06-4000 LHCb-Jobs gleichzeitig im Grid, davon ~8% am GridKa (typischer T1-Anteil) ~20% Abbrüche wegen Filesystem-Problemen nur 0.16% von 4.9 nominellem Share genutzt LHCb besorgt wegen Stabilitätsproblemen am GridKa Allerdings fehlte es auch an Man-Power für das LHCb- Produktions- Management, um Problemen nachzugehen
Beispiel Pfingsten 2006 Pfingsten 2006: Drei Services am Fr. ausgefallen: - Batch System abgeschaltet(alle Experimente) - PhEDEx wegen SRM (CMS SC4) - LCG FTS (LCG SC4, ATLAS Tests) Neu gestartet erst Mo. Abend bzw. Di. Morgen trotz bereits laufendem SC4!!! LCG-FTS 14 CMS-SC4 CPU GridKa GridKa war weltweit das einzige T1 mit derartigen Ausfällen über Pfingsten Mindestens Rufbereitschaft 7d/24h sobald wie möglich nötig!
TAB Interna 15 Wahl des TAB-Sprechers und dessen Stellvertreter im Sept. 2006 Anmerkung des derzeitigen Sprechers: - in den letzen Jahren Trend zu jungen Post-Docs als TAB-Vertreter - senior scientists oder Vertreter von KET und KHK weniger vertreten (fast verständlich angesichts der monatlichen Telefonkonferenzen mit teilweise sehr technischen Themen) - Kommunikation mit Institutsleiterebene der Experimente wird schwieriger Apell: die zweimal jährlich statt findenden TAB-Treffen am GridKa zur konstruktiven Teilnahme nutzen!
Zusammenfassung - die wesentlichen Punkte Sehr erfolgreicher Betrieb Nov. - März! DANKE an GrdiKa Team! Alle Experimente drängen auf höhere Stabilität und Verfügbarkeit der Ressourcen am GridKa Konsolidierung der Fileserver von höchster Wichtigkeit (s. H. Marten) Support an 24 h/d 7d in der Woche ab sofort dringend erforderlich, um Tier1-Standards zu erreichen (MOU Reaktionszeit: 12h!, Verfügbarkeit 98%) Personalstand am GridKa kritisch in Anbetracht der vielfältigen Aufgaben, (trotz baldiger Einbeziehung von weiterer Expertise der Experimente) Stabilität und Verfügbarkeit von GridKa bereitet den Experimenten große Sorge Such filesystem crash is terrible now but desastrous in 15 months ATLAS, TAB im Mai Zitat CDF-Bericht: We appreciate the hard and good work of the GridKa staff CZ & GQ Erfahrung aus CMS Service Challenge: T1 am FNAL und amerikanische T2s weit überlegen bzl. Datenraten und Zuverlässigkeit 16