Der GWDG Cloud Server Dienst Eine Infrastructure-as-a-Service Cloud auf Basis von OpenStack. Piotr Kasprzak (GWDG) , 63. DFN-Betriebstagung

Transkript

1 Der GWDG Cloud Server Dienst Eine Infrastructure-as-a-Service Cloud auf Basis von OpenStack Piotr Kasprzak (GWDG) , 63. DFN-Betriebstagung

2 GWDG Rechen- und IT-Kompetenzzentrum Gegründet 1970 von der Max-Planck- Gesellschaft und dem Land Niedersachsen Rechen- und IT-Kompetenzzentrum Universität Göttingen mit 25K Studenten Max-Planck Gesellschaft: 80 Max-Planck Institute, 17K Beschäftige, 5K Wissenschaftler IT-Dienstbetrieb, Beratung, Kompetenzzentrum (IT-Dienstleister) Virtualisierung mit ESX, Wissenschaftliches Rechnen (HPC) Backup / Archivierung, Sync & Share, SAN,... Mailserver, Sharepoint, Active Directory,... Betrieb Netzwerk- / WLAN Infrastruktur für Universität, MPIs

3 GWDG Cloud Server Dienst Externe Nutzung IaaS: Bereitstellung von Computing Ressourcen on Demand (CPU, RAM, Massenspeicher, Netzwerk) in Form von VMs Zielgruppe: Wissenschaftler / Studenten Nutzungsszenarien: Datenanalysen, Simulationen Prototyping Test- / Entwicklungssysteme Unkritische Produktionssysteme Self-Service: Zugriff über Kundenportal / APIs, rund um die Uhr Keine manuellen Zwischenschritte (z.b. für Firewallregeln) Geringer Supportaufwand

4 GWDG Cloud Server Dienst Interne Nutzung Nutzung im Kontext von Drittmittel- / Forschungsprojekten: Zukünftig mehrere hundert VMs notwendig für einige Projekte Programmatische Schnittstellen (REST-APIs) Nutzung durch entsprechende Frameworks / Software Teilersatz von ESX: Einsparung von Lizenzkosten / teurer Hardware Nicht für alle VMs geeignet (Virtualisierung vs. Cloud) Gute Beispiele: Entwicklungs- / Testsysteme Unkritische Produktivsysteme Entwicklung und Implementierung neuer technischer Konzepte (Kosten, Effizienz)

5 Aktueller Stand Testbetrieb mit > 550 VMs, > 200 Nutzer Wird sehr gut angenommen Vorbereitung des Produktivbetriebs Ziel: Infrastruktur für mehrere tausend VMs Updates Softwarebasis + Hardware Fokus: Skalierbarkeit / HA Interne Verbesserungen bei Netzwerk Ersatz von NFS durch Ceph Integration neuer Komponenten (Docker) Neue Infrastruktur in interner Testphase

6 Nutzung von OpenStack als IaaS- Plattform Horizon Neutron Nova Glance Swift Cinder Keystone

7 Nutzung von OpenStack als IaaS- Plattform

8 GWDG OpenStack Cloud Konfigurations- Management Management Virtueller Maschinen Virtualisierung Baremetal Installation Host Betriebssystem

9 HAProxy Loadbalancer1 Keepalived HAProxy Loadbalancer2 Keepalived Galera1 MariaDB Galera Galera2 MariaDB Galera Memcached Controller1 RabbitMQ Memcached Controller2 RabbitMQ Network1 L3 agent (dvr_snat) Network2 L3 agent (dvr_snat) Keystone Cinder API Keystone Cinder API DHCP agent DHCP agent Glance API Glance Registry Horizon Heat API Nova API Nova conductor, scheduler, console Neutron Server Glance API Glance Registry Horizon Heat API Nova API Nova conductor, scheduler, console Neutron Server Metadaten Agent Storage1 Cinder Volume Metadaten Agent Storage2 Cinder Volume MongoDB MongoDB MongoDB Legend Mongo1 Mongo2 Mongo3 Single node Active / Active Active / Passive Compute1 Nova Compute L3 agent (dvr) Compute2 Nova Compute L3 agent (dvr) Spof1 Ceilometer Central-agent Ceilometer Collector Ceilometer Alarm* Heat Engine Spof2 Ceilometer Central-agent Ceilometer Collector Ceilometer Alarm* Heat Engine

10 Hardware: Compute Hosts Knoten Prozessoren Kerne Hauptspeicher 9728 GB Linpack gesamt GFLOPs STREAM gesamt G/s Klima 33,84 KW Energieeffizienz 533 GFLOPS pro KW

11 Hardware: Netzwerk Cisco Nexus Infrastruktur Nexus 7K (Core) Nexus 5K (Row) Nexus 2K (Rack), Linecard / FEX 2 x 10 GbE pro Host Mehrere VLANs (Storage, Management, Overlay, Internet)

12 Netzwerkmodell: Overlay Networking (VXLAN) VM1 VM2 VM1 VM2 Anwender A Anwender B Virtuelles Netzwerk Virtuelles Netzwerk Host1 Host2 Host3 VM1 VM1 VM2 VM2 Hypervisor Hypervisor Hypervisor Open vswitch Open vswitch Open vswitch Physikalisches Netzwerk

13 Massenspeicher: Ceph Software-Defined-Storage (SDS): Verteilter, skalierbarer Massenspeicher mit Commodity Hardware Open Source (LGPL), Enterprise Support durch Red Hat Einfache horizontale Skalierbarkeit: Mehr Knoten = zusätzliche Kapazität + Performance Pseudorandomisierte, deterministische Datenverteilung (CRUSH) Zugriffsmodell: Client -> Cluster, statt Client -> Server Unified Storage System: Block (RBD) Verteiles, POSIX-konformes Filesystem (CephFS) Object-Storage (S3) Datensicherheit durch Redundanz: Replikation, Erasure Codings Kein Hardware-RAID notwendig

14 Ceph-Architektur Low-Level API Object Block File RADOSGW RBD CEPHFS LIBRADOS Library für direkten Zugriff auf RADOS C, C++, JAVA,... REST Gateway S3 / Swift API Verteiltes Block- Device KVM / QEMU Kernel POSIX Kernel + Userspace (FUSE) RADOS Verteilt Skalierbar Selbstverwaltend Redundant Daten + Metadaten

15 Kundenzugriff OpenStack REST-APIs / CLI-Tools Selbstentwickelte Web-UI für Kunden Ersatz für OpenStacks Horizon Dashboard Einfacher in der Verwendung für Kunden: Reduzierte Funktionalität Weniger technisches Know-Hownotwendig Integriert mit dem Kundenportal der GWDG (IDM, Styling) Technische Umsetzung Java JSF Portlet (JSR 268) Läuft in Liferay 6.2 Portal

16

17

18

19 AAI / Provisionierung Integration mitidm-infrastruktur an GWDG Nutzung von LDAP zur Kopplung Abbildung User -> Tenant Automatische Provisionierung notwendiger OpenStack-Strukturen bei erstmaligem Zugriff: Neutron Router / private Netze Floating IPs Quotas (Nova, Neutron, Cinder)

20 Ausblick Baldiger produktiver Start des Dienstes mit der neuen Infrastruktur (basierend auf OpenStack Kilo) Einige Last- / HA-Tests stehen noch aus Beseitigung kleinerer Probleme / Unzulängligkeiten Migration der bisherigen Nutzer auf neue Infrastruktur: Downtime für VMs Bewerbung / Öffnung des Dienstes für eine größere Nutzeranzahl

21 Vielen Dank! Fragen?