HEPiX Frühjahr 2004 HEPiX 2004 24. 28. Mai in Edinburgh GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 1
HEPiX Frühjahr 2004 GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 2
HEPiX Frühjahr 2004 GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 3
HEPiX Frühjahr 2004 GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 4
HEPiX Frühjahr 2004 HEPiX 2004 24. 28. Mai in Edinburgh National e-science Centre - Help coordinate and lead UK e-science Community building & outreach Training for UK and EGEE - Help establish the UK s international role The focus for presenting UK e-science - Run the e-science Institute Research visitors and events - Undertake R&D projects Reliable middleware (OGSA-DAI, SunDCG, ) Engage industry (IBM, Sun, Microsoft, HP, Oracle, ) Stimulate the uptake of e-science technology - UK e-science Budget (2001-2006) Total: 213 M GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 5
HEPiX Frühjahr 2004 - More than 35 projects: Astronomy, Particle Physics, NeuroInformatics, BioInformatics, Middleware, Fundamental CS, Collaboration, Fabric Management, Wearable devices Particular emphasis on scientific data management - Over 20,000,000 funding in total GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 6
HEPiX Frühjahr 2004 HEPiX 2004 ~ 100 Teilnehmer (19 vom Cern, 8 von Desy) ~ 60 Notebooks Hörsaal gerade ausreichend (107 Plätze) WLAN Videoaufzeichnungen Social Event Institut Teilnehmer CERN 19 RAL 11 sonstige 10 DESY 8 Glasgow University 6 IN2P3 6 SLAC 6 Edinburgh University 5 Fermilab 4 Brookhaven 3 FZ Karlsruhe 2 GSI 2 INFN-CNAF 2 NIKHEF 2 CASPUR 1 DAPNIA 1 IFAE 1 Jefferson Lab 1 LBNL 1 Manchester University 1 Oxford University 1 PSI 1 TRIUMF 1 GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 7
HEPiX Frühjahr 2004 GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 8
HEPiX Frühjahr 2004 GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 9
HEPiX Frühjahr 2004 3 Tage HEPiX 16 Site Reports Vorträge von RedHat (Preismodelle) Überwachungstools (Lemon) LCG FNAL neu-alte Gebäude für IT CVS Citrix Remote Access to SLAC Security: aktuelles CVS Server am Cern gehackt AFS SUS und SMS GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 10
HEPiX Frühjahr 2004 Diskussion um eine HEP Linux-Distribution Cern Linux (RH) Fermilab Scientific Linux (RHES 3) Einigung auf FNAL Version Support bis 2008 "Core" Pakete wenig (keine speziellen) Erweiterungen GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 11
HEPiX Frühjahr 2004 1,5 Tage Mass Storage Vorträge von IBM (SAN für GRID) Storage Tek Speicherkonzepte, Disks, Tape-Library, Blades Caspur (SAN Fibre Channel, SATA) Castor SRM Cern LCG Data Management dcache und TSM am FZK GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 12
Manage: Information Lifecycle Management Data Value High Reference Frequency Application Server Online (ms) Aging 30 days Retrieval Activity Policy-based migration software ATA disk Inline (ms) Aging 3 months Tape Library Policy-based migration software Nearline (sec) Aging to 1 Year Amount of Data ROI Tool now available Policy-based migration software Low Tape Archive (min) Aging to 1+ Years Deletion Time GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 13
What are ATA, PATA, and SATA? ATA Advanced Technology Architecture» Also known as IDE Parallel ATA (PATA) has been the dominant internal storage interconnect for desktop and mobile computers Serial ATA (SATA) was designed to address PATA limitations and deliver greater reliability and performance» Better performance (10 year roadmap)» More advanced, SCSI-like set of commands» Smaller pin count / cable» Lower power requirement GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 14
Where does ATA Disk fit? Fixed Content Distribution (E-mail, Surveillance, HealthCare, Broadcast) Disk-to-Disk Backup/Restore (EchoView, Legato, Veritas, ISV s) Mirroring (RVM, MirrorStore) General Purpose Secondary Disk Applications (ASM (HSM) and other applications) Where it performs well: Large block transfers and streaming workloads Write once, read many environments GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 15
SL8500 Value Investment protection Consolidation High capacity Virtual technology support Superior density Footprint efficiency Unparalleled performance Superior RAS Unprecedented scalability» 1500 to 6000+ cartridges per LSM 750 to 3000+ TBs per LSM (native, with NGD) Up to 31 LSMs, 90+ PBs!» Up to 64 tape drives per LSM 25+ TB/hr!» Choice of drive technology NGD, T9840, T9940, LTO, and SDLT Full mixed media (any cart, any cell) GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 16
HEPiX Frühjahr 2004 1,5 Tage Mass Storage Vorträge von IBM (SAN für GRID) Storage Tek Speicherkonzepte, Disks, Tape-Library, Blades Caspur (SAN Fibre Channel, SATA) SATA/FC gute Performance xfs deutlich performanter als ext3 SCDS Storage Resource Broker: GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 17
HEPiX Frühjahr 2004 SDSC Storage Resource Broker San Diego Supercomputer Center, University of California San Diego It is a distributed but unified file system It is a database access interface It is a digital library It is a semantic web It is a data grid system It is an advanced archival system SDSC Operational for 5+ years Under continual development since 1997 Brokering over 90 TeraBytes in over 16 million files at GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 18
HEPiX Frühjahr 2004 1,5 Tage Mass Storage Vorträge von IBM (SAN für GRID) Storage Tek Speicherkonzepte, Disks, Tape-Library, Blades Caspur (SAN Fibre Channel, SATA) SATA/FC gute Performance xfs deutlich performanter als ext3 LCG Data Management: GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 19
HEPiX Frühjahr 2004 LCG Data Management goals Common Interfaces, Why? Different grids: LCG, Grid3, Nordugrid Different Storage Elements Possibly different File Catalogs Solutions Storage Resource Manager (SRM) Grid File Access Library (GFAL) Replication and Registration Service (RRS) GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 20
HEPiX Frühjahr 2004 1,5 Tage Mass Storage Vorträge von IBM (SAN für GRID) Storage Tek Speicherkonzepte, Disks, Tape-Library, Blades Caspur (SAN Fibre Channel, SATA) SATA/FC gute Performance xfs deutlich performanter als ext3 LCG Data Management dcache und TSM am FZK GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 21
HEPiX Frühjahr 2004 Diskussion: LHC Cern Tier-0/Tier-1 Testbed Infrastruktur und Datenfluss testen Zuverlässigkeit und Datenmenge 2007 LHC Start (~10 PB/y, 300 Days/y) 7 Tier-1 Zentren je 10 Gb/s link 2006 Tested and running 2004 erste Tests notwendig! Netzwerk Hardware Transportmechanismen Mass Storage Systeme Error-Recovery GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 22
HEPiX Frühjahr 2004 Plan ausgearbeitet 2004 Beginn mit einfachen Lasttests (Wochenweise) Ausbau der Link Struktur 2005: Erweiterung der Tests, LCG Software, GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 23
HEPiX Herbst 2004 (18. 22. Oktober) am BNL (Long Island, NY) Frühjahr 2005 (09. 13. Mai) am FZK / Karlsruhe Herbst BNL: HEPiX Large System SIG Section, Themen: Platform Technology spielt MacOS eine Rolle warum Itanium AMD oder Intel 32 oder 64 Bit Blades GSI Palaver 22. Juni 2004 HEPiX Konferenzbericht Christopher Huhn, Helmut Kreiser DV/EE - GSI Darmstadt 24
Topics & Trends Kerberos 5 SLAC + MS: Implementation des Passwortaustauschs zwischen (Heimdal-) Kerberos und Active Directory Optional Single Sign-On möglich Migration nach Exchange 2003 (CERN, SLAC, PSI, DESY,...) Anbindung von Linux-Desktops an die Groupware- Funktionalität problematisch Groupware-Funktionalität wird in heterogenen Umgebungen zumeist nicht genutzt Report: Hepix Meeting Edinburgh Mai 2004 Helmut Kreiser Christopher Huhn 1
Topics & Trends infiniband statt 10 GB Ethernet AMD64 Widersprüchliche Aussagen zur Performance DESY: 2 GHz Opteron schneller als 3,2 GHz Xeon Insbesondere ROOT profitiert von 64bit Bevorzugtes Linux-Dateisystem: XFS Satelliten-Rechenzentren Report: Hepix Meeting Edinburgh Mai 2004 Helmut Kreiser Christopher Huhn 2
Security Alle Plattformen sind betroffen Größtes Problem: Mitgebrachte Notebooks FNAL, CERN,... : Registrierung erforderlich FNAL, DESY: Vorraussetzung ist ein (manueller) Vulnerability Scan VLANs Kommunikation verbessern! Report: Hepix Meeting Edinburgh Mai 2004 Helmut Kreiser Christopher Huhn 3
Security Maßnahmen des DoE (SLAC, LBNL, JLAB, FNAL, BNL) Unterstützung für Cryptocards Grundlage für zertifikatsbasierte Authentifizierung (X.509) Einmal-Passwörter Security Audits Report: Hepix Meeting Edinburgh Mai 2004 Helmut Kreiser Christopher Huhn 4
Security: Firewalls FNAL: Erkennung ein- und ausgehender Portscans Automatische Sperrung der auffälligen Maschinen Unsichere Protokolle (FTP, POP, IMAP) von und nach draußen völlig gesperrt (CERN, DESY) Einwahlverbindungen abgeschaltet (CERN) SMTP nach draußen nur von offiziellen Servern (CERN) Report: Hepix Meeting Edinburgh Mai 2004 Helmut Kreiser Christopher Huhn 5
Security: Windows Bei den meisten Instituten wenig Schaden durch SASSER. 2000 1800 Application of Patches to Windows Allgemeiner Einsatz von MS Software Update Service (SUS) mit eigenem Server Keine Semi-Automatik Vulnerable Systems 1600 1400 1200 1000 800 600 400 200 0 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 MS03-026 MS03-039 MS03-043 MS04-011 Inkompatibilität verschiedener Patches Days Since Patch Released Report: Hepix Meeting Edinburgh Mai 2004 Helmut Kreiser Christopher Huhn 6
Security: Windows FNAL: 2-tier Patch-Verteilung Patches werden zentral auf Gruppenservern verteilt. Für die weitere Verteilung ist ein Mitglied der Gruppe verantwortlich. Fortschrittliche Rootkits Report: Hepix Meeting Edinburgh Mai 2004 Helmut Kreiser Christopher Huhn 7
CERN Projekte ELFms (extremely large fabric management system) Quattor configuration management framework Lemon monitoring framework Indico (CDS Agenda) Conference Management In use for CHEP'04 Report: Hepix Meeting Edinburgh Mai 2004 Helmut Kreiser Christopher Huhn 8
Grid Activities - LCG VO Management User Registration LCG test suites Storage Management als Schwerpunkt des Storage Workshop Report: Hepix Meeting Edinburgh Mai 2004 Helmut Kreiser Christopher Huhn 9
Das RedHat Dilemma RedHat 7.3 noch im verbreiteten Einsatz RedHat Enterprise Linux 3 Konditionen für HEP: 30 pro Maschine pro Jahr Enterprise Linux WorkStation nur i386 Technical Account Manager Gesonderter Deal zwischen DoE-Instituten und RedHat Report: Hepix Meeting Edinburgh Mai 2004 Helmut Kreiser Christopher Huhn 10
Das RedHat Dilemma Scientific Linux (Fermi) und CERN E. Linux RedHat EL3 Sourcen selbst kompiliert und gepackt Distributionen + Pakete Security Updates? Kosten bei Fermi: 2 FTE Kostenverteilung unter den Instituten? Koordinierter Release-Zyklus? Inkompatible Modifikationen Angst, RedHat die Geschäftgrundlage zu entziehen??? In Zukunft bessere Koordination? Report: Hepix Meeting Edinburgh Mai 2004 Helmut Kreiser Christopher Huhn 11
Das RedHat Dilemma CERN: Limitierter Einsatz von RHEL3 neben CEL3 Nathan Jones (RedHat): We were a big part of Linux... and still are Trotz allem: Sistina GFS wird OpenSource Lösungsansatz: Virtualisierung LBNL: CHOS Simples chroot Integriert in batch scheduler und Globus Bessere Implementation mit UserModeLinux bzw. vserver? Report: Hepix Meeting Edinburgh Mai 2004 Helmut Kreiser Christopher Huhn 12
Lizenzen CERN Oracle Lizenz Nur an die Anzahl der - benannten Datenbanknutzer geknüpft. Erlaubt Oracle-Installationen außerhalb von CERN zum Einsatz von CERN-Software. Neues LSF-Lizenzmodell Nur günstiger für > 1000 Knoten? Report: Hepix Meeting Edinburgh Mai 2004 Helmut Kreiser Christopher Huhn 13
MacOS X Plattform mit zunehmender Verbreitung In erster Linie auf Notebooks Alternative für File Server und Scientific Computing? (Kavli, ATLAS, D0) Unix-OS + MS Office-Apps etc. Kosten für Support einer zusätzlichen Plattform zu hoch? Report: Hepix Meeting Edinburgh Mai 2004 Helmut Kreiser Christopher Huhn 14
Computing FNAL: US-CMS compute cells:. Compute Node Compute Node Compute Node Compute Node Switch. Compute Node Compute Node Compute Node Compute Node Switch. Compute Node Compute Node Compute Node Compute Node Switch Data Mover (dcache) Data Mover (dcache) Data Mover (dcache) FibreChannel Switch Report: Hepix Meeting Edinburgh Mai 2004 Helmut Kreiser Christopher Huhn 15
Projekte Cluster-Dateisysteme GFS GPFS Lustre CXFS GUPFS Hierarchical Storage Management (HSM) DMAPI dcache als verteilter Speicher auf Batchfarm-Knoten Report: Hepix Meeting Edinburgh Mai 2004 Helmut Kreiser Christopher Huhn 16
Projekte Externe FibreChannel/USB-Platten als Tape-Ersatz? Report: Hepix Meeting Edinburgh Mai 2004 Helmut Kreiser Christopher Huhn 17
Best practices Burn-In Tests für neue Hardware Lights Out Management über serielle Konsole Report: Hepix Meeting Edinburgh Mai 2004 Helmut Kreiser Christopher Huhn 18