Erweiterung einer D-Grid Ressource um eine Compute Cloud Schnittstelle

Transkript

1 am am Erweiterung einer D-Grid Ressource um eine Compute Schnittstelle 3. DFN-Forum 2010 Kommunikationstechnologien Verteilte Systeme im Wissenschaftsbereich Stefan Freitag Institut für Roboterforschung Technische Universität Dortmund 26. Mai 2010

2 am am 1 D-Grid Resourcen Zentrum Ruhr 2 am 3 am 4

3 Hardware am am 256 Blades, je 8 Cores, 16 GByte RAM SLES 10 SP3 mit Xen 3.2 Kernel 100 TByte Massenspeicher sowie 25 TByte SFS 3.1 (Lustre 1.6) D- LCG Ressource seit April 2008

4 Dienste am am Starke Anlehnung an die D-Grid Referenz-Installation 1 Drei Compute Middlewares glite 3.1 (lcg-ce) und 3.2 (CREAM-CE, BDII) UNICORE 5 und 6 Globus Toolkit (in Vorbereitung GT 5) Zwei Storage Middlewares dcache OGSA-DAI WSRF 2.2 Zusätzlich LDAP MySQL DB für OGSA-DAI Alle Dienste laufen in Xen VMs. Derzeit Evaluation von Xen

5 Compute Middlewares Schichtenansicht am am UNICORE VSite glite CE Batchsystem Server Torque & Maui WS GRAM Globus Toolkit Worker Nodes Platform Virtualization

6 Durchgeführte Erweiterung Schichtenansicht am am UNICORE VSite glite CE WS GRAM Globus Toolkit Batchsystem Server Torque & MAUI Open Nebula Worker Nodes Platform Virtualization

7 am am Auszug aus der Beschreibung ( Standard-based open-source toolkit to build private, public and hybrid clouds. The toolkit provides flexible architecture, interfaces and components that fit into any existing data center. Key features der Version 1.4 Unterstützung für Xen, KVM und VMware Zugang zu Amazon EC2 und ElasticHosts libvirt, EC2 Query API und OCCI Schnittstellen Analog zu Eucalyptus: Unternehmensgründung (C12G Labs) zur Bereistellung von value-added enterprise-solutions und commercial support

8 am am am Angepasster ONE 1.4 GIT Snapshot (März 2010) Einbindung physischer Partitionen in Worker Nodes file statt tap:aio aufgrund Xen Bug Xen Infrastructure und SSH Transfer Abbilder/ Templates für SL 5.4 Worker Nodes In Vorbereitung u. a. glite CREAM-CE, sitebdii Nutzerinteraktion mit ONE via CLI und ONE MC Unterstützung von OCCI via HTTPS

9 Executions Hosts am am

10 Virtuelle Netzwerke am am

11 Virtuelle Maschinen am am

12 Worker Node Template am am NAME = udo wn300 VCPU = 8 MEMORY = OS = [ b o o t l o a d e r = / r o o t / b i n / domuloader. py ] DISK = [ s o u r c e = <path >/w n s l 5 4 x img, t a r g e t = xvda, r e a d o n l y = no ] DISK = [ t y p e = swap, s i z e = 1024, t a r g e t = xvdb, r e a d o n l y = no ] DISK = [ t y p e = b l o c k, c l o n e = y e s, s o u r c e = / dev / c c i s s / c0d0p4, t a r g e t = xvdc, r e a d o n l y = no ] NIC = [ NETWORK = Workernodes, IP = ]

13 Szenario 1: Private am am Deployment von Grid Worker Nodes mittels ONE Homogen (derzeit im Einsatz) Heterogen (bereits in small scale getestet 2 ) Annahme: VO Anforderungen sind durch VO-spezifische Worker Nodes erfüllbar 1:1 Abbildung von Worker Node Typen auf LRMS Queues Überprüfung der Füllstands jeder Queue Leere Queue Reduktion der zugewiesenen Worker Nodes Vergabe der freigewordenen Ressourcen an andere (overcrowded) Queues 2 B. Konrad: Dynamic management of VMs on HPC resources of TU Dortmund (Diplomarbeit, 2009)

14 Szenario 2: Public am am Hauptunterschied zu Szenario 1 Zugriff auf schnittstellen für externe Nutzer Verwaltung von VLANs 3, VMs und VStorage Spaltung der physischen Ressourcen in & Grid Partition Dynamische Änderung der Partitionsgröße Verdrängung (Suspendierung) von z. B. VMs Welche VM sind anzuhalten? Priorisierung Job Typ: simple batch jobs, MPI jobs, services Kundenstatus: z. B. Normal, Premium und Platin 3 VLANS!= ONE virtual networks

15 Integration in D-Grid am am Ein Ziel von D-Grid (Quelle: Wikipedia) Create sustainable & longterm Grid infrastructure in Germany D-Grid ist fokussiert auf Grid Nutzung. Was ist mit s? Schnittstellen erlauben einen neuen und einfacheren Zugang zu entfernten Ressourcen Offene Probleme für eine mögliche Integration in D-Grid Nutzerverwaltung Autorisation Accounting/ Billing Monitoring Informationssystem

16 Ausblick am am Kontextualisierung Zugriff über OCCI für externe Nutzer Ausweitung der über die UAMR D-Grid Erweiterung des D-Grid Portfolio um IaaS Protoypische Integration neuer Technologien KMUinnovativ Projekt D-Grid IaaS (Start: )