Steinbuch Centre for Computing (SCC)

Transkript

1 (SCC) Achim Streit (SCC) KIT University of the State of Baden-Wuerttemberg and National Research Center of the Helmholtz Association

2 Mission of SCC IT-services under one roof with R&D Provision and development of secure, reliable, ubiquitously available, process-integrated, customer-oriented IT-services Promotion of research, innovation, teaching, studying, higher education and administration at KIT by excellent IT-services R&D in scientific computing, HPC & Data Intensive Computing, Grids and Clouds, Large Scale Data Management & Analysis Science for Services Services for Science

3 Facts and Figures Board of directors Prof. Dr. Hannes Hartenstein Prof. Dr. Bernhard Neumair Prof. Dr. Achim Streit 223 employees in total 111 scientists, 112 technicians and administrative personnel and 13 trainees in 12 departments Two locations at KIT Campus South and North Founded on January 1st, 2008 Merger of the Computing Centers of former Karlsruhe University (URZ) and Research Center Karlsruhe (IWR) Karl Steinbuch Professor at Karlsruhe University, creator of the term Informatik, cofounder of the first German faculty of informatics

4 Tasks and Responsibilities Infrastructure HPC systems for the state Baden-Württemberg and KIT GridKa: German Tier-1 center in the Worldwide LHC Computing Grid Large Scale Data Facility (LSDF) Services User support and consulting, KIT-wide integrated IT-service management, desktop and workstation services, print, plot and media production, data management, scientific software scaling, scientific applications, Grid services, high speed networking, communication and information services, education, training, etc. Research High performance computing, data intensive computing, scientific computing and simulation, Grid and Cloud computing, cluster computing, large-scale data management & analysis, IT-management and web engineering, service-oriented architectures, distributed systems, innovative network technologies, IT-security, virtualization, etc

5 HPC Systems XC2: HPC system and service for the State of Baden-Württemberg 3,000 cores, AMD Opteron, 16 TFlop/s, 12 TB RAM, Infiniband 4x DDR, Lustre file system Academic users from KIT, BW, Germany Industrial cooperation: Porsche, T-Systems and other companies HC3: HPC system for all users at KIT 2,900 cores, Intel Nehalem, 30 TFlop/s, 10 TB RAM, Infiniband 4x QDR, Lustre file system Over 500 users from KIT Very heterogeneous mix of scientific applications IC1: Compute cluster for research projects of KIT institutes 1600 cores, Intel Xeon, 17.5 TFlop/s, IB DDR, Lustre Joint research infrastructure of KIT institutes and SCC (Financed by KIT institutes and SCC, operated by SCC)

6 GridKa German Tier-1 center in the Worldwide LHC Computing Grid Compute and storage resources Long term storage for the raw data of the LHC experiments Central and regional Grid services with high availability, e.g. file transfer service, file catalogues, database services Of strategic importance for the German Particle Physics Community Enables German and European research groups to explore the data of the LHC 12,500 CPU cores (105 khep-spec06) 10 PB disk storage 14 PB tape capacity

7 LSDF at SCC Status 2.6 PB installed 110 TB Hadoop 10 Gb/s network Central storage facility for BW Systems biology, satellite and synchroton data Available to all scientific disciplines Funding from state ministry (MWK) Perspective Extension to more than 10 PB Long term archive for BioQuant/Heidelberg Connection to HPC resources Data Intensive Computing (DIC) for high efficient data analysis

8 Basic IT-services for KIT User service: service desk, PC-support, student pools, planning, coordination and purchase of SW/HW, print & plot, etc. Communication: , web server, groupware/collaboration, videoconference & tele-teaching, mobile communication, etc. Network: access infrastructure (LAN/WLAN), network expansion, IPaddress administration, VPN, firewall, DNS, etc. Data Management: data storage, databases, universal content management, workflow supported applications, etc. Servers & Systems: operating systems, server applications, directory services, etc. Security: network & system security, certification service (CA, RA, Shibboleth IdP), incident response, information services, CERT, etc. Software & Applications: scientific applications, software licenses & management, software supply, distribution and development, etc

9 Simulations Laboratories (SimLabs) Mission R&D and support of simulation applications from different scientific areas at KIT Activities closely oriented at KIT Centers Interface between high performance (HPC), data intensive computing (DIC), science and scientific computing SimLabs Energy Projects NanoMicro Climate and Environment Elementary Particle and Astroparticle Physics (EU FP7 project) HPC-5 (Baden-Württemberg Stiftung)

10 Grid Infrastructures Provide reliable and secure Distributed Computing Infrastructures (Grids and Clouds) for scientific use in Germany Main customers and user communities Humanities and social sciences, life sciences, engineering sciences, earth, climate, environment, geo sciences, chemical & process engineering, astro & elementary particle physics, high energy physics KIT coordinates the National Grid Initiative NGI-DE Under the roof of EGI (European Grid Infrastructure) Within the Gauß Alliance of German academic computing centers As coordinator of DGI-2 (D-Grid Integration Project) As coordinator of bwgrid (state Grid) Responsible for international tasks in EGI Central helpdesk for EGI, WLCG, EMI Coordination of development of operational tools

11 Cloud Computing Cloud Systems Research HPC as a Service Cloud Service Bus Management Tools Hadoop Cloud Computing Projects Open Cirrus B2B in the Cloud Software-Cluster Peer Energy Cloud C. Baun, M. Kunze, J. Nimis, S. Tai Cloud Computing - Web based dynamic IT Services 2nd Edition, Springer

12 HPC und Cloud am Achim Streit Mit Beiträgen von Viktor Mauch und Marcel Kunze (SCC) KIT University of the State of Baden-Wuerttemberg and National Research Center of the Helmholtz Association

13 HPC as a Service (HPCaaS) HPC Infrastruktur heute Werden als dedizierte Systeme unterschiedlicher Leistungsklassen betrieben Betriebs- und Benutzerumgebung (Systemprogramme, Compiler, Libs, ) vorgegeben Benutzerrechte sind eingeschränkt, Änderungen abhängig vom Administrator Meist hohe Überbuchung/Last und dadurch lange Wartezeiten HPCaaS Konzept Möglichkeit Rechenknoten und Speicherplatz aus einem Pool vollautomatisch zu reservieren Individuelle Konfiguration auf Abruf Flexibilität, um mehrere Benutzergruppen mit unterschiedlichen Anforderungen zu bedienen Kunden erhalten administrative Privilegien

14 Vor-/Nachteile von HPCaaS Pros Kunden bekommen eine wunschgemäße Sicht auf die IT-Infrastruktur Bereitstellung von unterschiedlichen Arbeitsumgebungen mit passenden Vorkonfigurationen Vermeidung systembedingter Abhängigkeiten Ressourcen sind skalierbar und können auf Wunsch durch den Kunden selbständig erweitert werden Sofortige Nutzung auf Anfrage, praktisch keine Wartezeiten Cons Leistungseinbußen durch Verwendung einer Virtualisierungsschicht in der benutzen Infrastruktur Direkte Entstehung realer Kosten (Ressourcen, Datentransport) Datensicherheit / Datenschutzrechtliche Bedenken Ressourcen sind auch endlich

15 Parallele Anwendungen in der Cloud Realisierung eines MPI-fähigen Clusters in einer virtualisierten Umgebung basierend auf Software Virtualisierung ist problematisch Netzwerkleistung (Bandbreite/Latenz) nimmt durch reine Virtualisierung bei 10Gb Ethernet / InfiniBand ab; Virtual Machine Manager (Hypervisor) muss jedes Paket verarbeiten und weiterleiten und wird damit zum Flaschenhals CPU Auslastung nimmt dramatisch zu, verlangsamt die Ausführung von VMs und Anwendungen Isolierung bei InfiniBand ist momentan nicht perfekt gelöst Bis auf einige Prototypen kein Support für Software Virtualisierung von InfiniBand

16 Aktuelles HPCaaS Angebot von Amazon Cluster Compute Instance 8 cores (Intel Nehalem Xeon X5570, 64-bit) 23 GB memory 1690 GB storage 10 Gigabit Ethernet Werbeaktion zur Markteinführung 880 Instanzen (7040 cores) kamen auf 41,82 TFlop/s Linpack Platz 231 in der top500 (

17 HPCaaS Forschung am SSC Nutzung des InfiniBand Interconnects in virtualisierten Umgebungen Hochgeschwindigkeitsübertragungstechnologie, ideal für parallele Berechnungen Momentan: Bandbreite bis zu 40 Gb/s (Knoten-zu-Knoten) und Latenz ~ 1µs Momentan: PCI Pass-Through Direkte Anbindung der VM an die Hardware. Hypervisor leitet komplette Kommunikation durch. Beschränkung auf eine VM pro Host. Zukunft: Single Root I/O Virtualization (SR-IOV) Netzwerk Karte erzeugt auf dem Host mehrere virtuelle Adapterkopien, die wiederum direkt an die VMs weitergeleitet werden. Mehrere VMs pro Host möglich. Virtual Machine Virtual Machine Manager Host mit IB PCIe Card Host Viktor Mauch, SCC <viktor.mauch@kit.edu>

18 Problem: Isolierung der IB Fabric Sun DataCenter IB Stwich 36 Logische Netzwerk Isolierung erlaubt den Betrieb von mehreren isolierten Umgebungen verwaltet durch einen Switch Dynamische Konfiguration des IB Subnet Manager Partitionierung der IB Fabric wird je nach Bedarf neu ausgehandelt und verwaltet Aufbau eines Prototypen am KIT Bereitstellen von cloudifizierten HPC Ressourcen Virtualisierung von InfiniBand mittels PCI-Passthrough Vollautomatische Verwaltung der Benutzung durch ein Cloud Computing Framework (OpenNebula) HPCaaS In Zusammenarbeit mit Marius Hillenbrand und Dr.-Ing. Jan Stoess, Lehrstuhl Systemarchitektur, Fak. für Informatik, Viktor Mauch, SCC

19 Langfristiges Ziel: Topology as a Service Virtualisierung der gesamten HPC Infrastruktur ermöglicht die wunschgemäße Bereitstellung von Rechenumgebungen für den Endkunden Viktor Mauch, SCC <viktor.mauch@kit.edu>

20 Ausblick: aktuelle Infiniband Entwicklungen Erste Single Root I/O Virtualization (SR-IOV) fähige IB Adapter Karten sind bereits von Mellanox verfügbar: Model Typ ConncetX-2 SR-IOV unterstützende Firmware und Treiber für den OFED Software Stack sind momentan in der Entwicklung und werden voraussichtlich Mitte 2011 verfügbar sein SR-IOV Standard wird es erlauben, InfiniBand mit annähernd nativer Geschwindigkeit in virtuellen Maschinen zu nutzen Cloud Computing Frameworks wie Eucalyptus oder OpenNebula müssen um die Eigenschaft erweitert werden eng gekoppelte Ressourcen zu verwalten Kunden/Anwender werden in der Lage sein ganze HPC fähige, virtuelle Cluster entsprechend ihren Wünschen und je nach Bedarf zu reservieren/nutzen Viktor Mauch, SCC

21 Vielen Dank für die Aufmerksamkeit Achim Streit Mit Beiträgen von Viktor Mauch und Marcel Kunze (SCC) KIT University of the State of Baden-Wuerttemberg and National Research Center of the Helmholtz Association