LCG2-basierte MonteCarlo Produktion bei H1

Größe: px

Ab Seite anzeigen:

Download "LCG2-basierte MonteCarlo Produktion bei H1"

Babette Waltz
vor 8 Jahren
Abrufe

1 LCG2-basierte MonteCarlo Produktion bei H1 Moritz Karbach Universität Dortmund

2 MonteCarlo Überblick e 27 GeV Generator e h1simrec rekonstruiertes Ereignis p 920 GeV X Detektorsimulation und Rekonstruktion h1simrec ca 5s pro Ereignis Ereignisse pro Job (ca 14 Std) Ereignisse pro typischem Request 2

3 Warum im Grid? klassische Ressourcen migrieren ins Grid Zahl der benötigten MC Ereignisse steigt HERA 2 bringt mehr Luminosität Millionen Ereignisse grobe Schätzung Mrd Ereignisse 20 Mio pro Woche 1995 bis 2004 ca 40% Dortmund ca 40% RAL (UK) ca 20% DESY 3 Jahr

4 H1 MonteCarlo Generator SE SE Tape Pool h1simrec erwartet WN Tape Pool Steering Generator Input Noise Files Datenbank InputSandbox SE SE? 4

5 Datenmengen Output 1000 Mb 50Mb Generator Input Noise Files 500 Mb Datenbank 2000 Mb Executable 10 Mb 5

6 Folgendes ist zu meistern Batch Jobs verwalten viele Grid Jobs einzelner Grid Job läuft auf dem WN Data Handling lcg-tools Process Handling Executable auf dem WN Modulare Implementierung Perl 6

7 Grid Batch Jobs zerteile MonteCarlo Job in kleine Grid Jobs, O(1000) schicke Grid Jobs ab überwache Status der Gesamtproduktion sammle OutputSandboxes mit Logfiles ein sammle Output von SEs ein ca 20 kleine sites zeus-ce.desy.de 4 große sites grid-ce.desy.de 7 Erfahrungswerte von K. Wrona et al. ZEUS Kollaboration DESY Hamburg ce-a.ccc.ucl.ac.uk gridit001.pd.infn.it

8 Grid Single Job wrapper aus InputSandbox Daten holen kleine per Input Sandbox große vom SE Zeit get data executable arbeiten lassen H1simrec Watchdog wrapper H1simrec watchdog 8 Daten wegschreiben kleine per Output Sandbox große zum SE done put data

9 Data Handling Datenbank ist zu groß DB Dump lesen war bei H1 von vornherein vorgesehen Kopiere nur den Teil, der wirklich gebraucht wird! LCG tools sind sehr fehleranfällig alles mehrmals probieren öfter das gleiche SE, andere SEs get stimmt die Checksumme? put ist das file wirklich da auf dem SE? Notlösung: OutputSandbox 9

10 Process Handling Rechne mit Abstürzen und Endlosschleifen Watchdog überwacht Prozess Prüft, ob Outputfiles größer werden Prüft Logfiles auf Fehlermeldungen neu starten nach Crash Starte erneut beim letzten prozessierten Ereignis Output prüfen Alle Ereignisse enthalten? Logfiles in Ordnung? 10

11 H1 Grid Sites DESY Grid Farm 34 CPUs Uni Dortmund Grid Farm 60 Nodes Dualprocessor, ab 2 x 2.4 Ghz VOs hone, ghep, dteam dcache SE mit z.z. 1Tb RAL ca 1000 CPUs (Tier1) ca 66 CPUs (Tier2) geplant britische Tier2 Zentren 11

12 Zusammenfassung und Stand Grid Batch Job Handling Single Job Daten holen Prozess überwachen Output prüfen Integration weiterer Sites running done done running done scheduled unsere größten Grid- Schwierigkeiten: file transfer derzeitige Kapazität: 1 Mio Ereignisse pro Woche 12

13 ZEUS MC Production in the Grid grid0.fe.infn.it boalice5.bo.infn.it grid001.ts.infn.it atlasce01.na.infn.it heplnx201.pp.rl.ac.uk grid002.pi.infn.it ce1-gla.scotgrid.ac.uk gridce.pi.infn.it grid001.oat.ts.astro.it pc31.hep.ucl.ac.uk bigmac-lcgce.physics.utoronto.ca grid003.roma2.infn.it uhh-ce.desy.de grid-ce.desy.de ce-a.ccc.ucl.ac.uk grid002.ca.infn.it griditce01.na.infn.it heplnx131.pp.rl.ac.uk zeus-ce.desy.de grid012.ct.infn.it lcgce02.gridpp.rl.ac.uk gridba2.ba.infn.it gridit001.pd.infn.it 13 load distribution (thanks to K. Wrona, DESY Hamburg)

Ähnliche Dokumente

Grid-Computing bei CDFII

Grid-Computing bei CDFII G.Barker, M.Erdmann, M.Feindt, Th.Müller, U.Kerzel, K.Rinnert Institut für Experimentelle Kernphysik Universität Karlsruhe mailto:kerzel@fnal.gov - Förderschwerpunkt Elementarteilchenphysik