IaaS - Cloud Konfiguration mit OpenStack

Transkript

1 Fakultät Informatik, Institut für Systemarchitektur, Professur Rechnernetze Service & Cloud Computing IaaS - Cloud Konfiguration mit OpenStack marius.feldmann@tu-dresden.de

2 Gliederung 1) Übersicht zu OpenStack 2) OpenStack-Kernkomponenten 3) Authentifizierung / Identity-Verwaltung 4) Abläufe beim Anlegen von VMs 5) Neutron 6) Dashboard 7) OpenStack-API 8) Cloud-Init 2

3 OpenStack ( Seit 2010 in Entwicklung befindliche Plattform für Public- und Private- Cloud-Lösungen Halbjährlicher Release-Zyklus Liberty : Mitaka : Newton : Ocata : Pike : Offeriert neben eigener API eine zu Amazon EC2 and Amazon S3 kompatible API OpenStack wird im Wesentlichen aus mehreren modular einsetzbaren Komponenten mit unterschiedlichen Aufgabenfeldern gebildet Nova Neutron Glance OS Client Trove Tempest Cinder Ironic OS Ansible Docs Sahara Heat Keystone Telemetry Swift Rally TripleO Kuryr Murano Horizon Designate Magnum Barbician Kolla Manila Oslo RefStack 3

4 (Ursprüngliche) Basisprojekte Keystone Nova Glance Swift Cinder Neutron Keystone: Authentisierungs- und Autorisierungsdienst Nova: Verwaltet Lebenszyklus von Virtuellen Maschinen Glance: Verwaltung von Images und ihren Eigenschaften Swift: Speicher für unstrukturierte Daten ( Object Storage ) Cinder: Bereitstellung von persistentem Speicher für VMs ( Block Storage ) Neutron: Verwaltung von Netzwerken und Anbindung von VMs an ein Netzwerk Alle Basisprojekte sind bereits mindestens 4 Jahre in Entwicklung 4

5 Infrastrukturdienste AMQP (RabbitMQ) Relationale Datenbank (MariaDB ggf. mit Galera) Telemetry Backend (MongoDB, Gnocchi) Webserver (Apache mit mod_wsgi) Objekt-Cache (Memcached) Load-Balancer (HAProxy) Ausfallsicherung (Keepalived, Pacemaker) Konfigurations- management- Server DNS-Server NTP-Server LDAP-Server... Möglichkeit des Betriebs innerhalb von Kubernetes (innerhalb von Docker-Container) 5

6 OpenStack Interaktion der Komponenten = Neutron 6

7 OpenStack Interaktion der Komponenten (vereinfacht) Swift (Object Storage) Nova (Compute) Horizon (Dashboard) Glance (Image Service) Keystone (Identity Service) Neutron (Networking) Heat (Orchestration) Ceilometer (Telemetry) 5 Cinder (Block Storage) 7

8 Identity-Dienst: Keystone Authentisierungs- und Autorisierungsdienst für OpenStack Unterstützt mehrere Backends für die Ablage von Login/Passwort Insbesondere: SQL-Datenbank, LDAP (repliziertes LDAP ermöglicht dezentralisierte Cloud) Grundprinzip: Ausstellung eines Tokens nach Authentifizierung, das mit jedem Request an die REST-API mitgesendet wird Dienste, die Token erhalten, überprüfen dieses mittels Keystone, dazu Angabe von Informationen zu Keystone in jedem Dienst notwendig, z.b. für Nova: [DEFAULT]... auth_strategy = keystone [keystone_authtoken]... auth_uri = auth_type = password project_name = service username = nova password = SOMEPASS Vielzahl von Konfigurationen von Keystone möglich, z.b.: Time-based One-time Password 8

9 Identity-Dienst: Keystone - CMS client OS-API keystone Login Passwort Keystone- DB Sign. Key Sign. Cert CAkey CACert CMS- Token API Request + CMS-Token HTTP 200 HTTP 401 Prüfung CMS-Token Sign. Cert CACert Valide? nein ja Request bearbeiten Request ablehnen Prüfung Erzeugung CMS-Token Cryptographic Message Syntax (CMS): CMS-Format gemäß RFC 5652 Generiert u.a. unter Verwendung des Service- Katalogs, von Tenant- Informationen und User-Rollen Beinhaltet Expiration-Date 9

10 Identity-Dienst: Keystone Konzepte (v3) Domain Project User Role Service Endpoint Menge von Projekten (projects), Gruppen (groups) und Nutzern (user) Zentrale Einheit, der Ressourcen zugewiesen werden kann Beinhaltet Nutzer Entitäten, die auf API-Endpunkte zugreifen können Einem Projekt zugeordnet Ermöglicht Zuordnung von Rechten und Privilegien zu Nutzeraccount (Rechte in policy.json des jeweiligen Dienstes festgelegt) OpenStack-Projekt, das Keystone zur Authentifizierung nutzt Keystone verwaltet Liste von Diensten (openstack service list) Schnittstelle hin zu einem API-Dienst, über den auf Funktion des OpenStack-Projektes zugegriffen werden kann Keystone verwaltet Liste von Endpunkten (openstack endpoint list) 10

11 OpenStack Interaktion der Komponenten REST Nova API Message Queue (RabbitMQ) Nova Scheduler Direkter Zugriff Nova Conductor Nova Compute Virtualisierungstechnologien (Libvirt + KVM) Datenbank (u.a. Informationen zu erstellten VMs,...) 11

12 Knotenrollen Controller Node Compute Node nova-api, nova-conductor, nova-consoleauth, nova-novncproxy, nova-cert, nova-api, novascheduler,... nova-compute Dienste Controller Node Compute Compute Node Node Compute Node VM VM Feingranulare Verteilung von Diensten in produktiven Installationen zur Vergrößerung der Skalierbarkeit und für Hochverfügbarkeit: Dienste auf Controller Node können auf zwei Knotentypen aufgeteilt werden: nova-api, nova-consoleauth, nova-novncproxy, nova-cert: Zugriff von extern nova-scheduler, nova-conductor: Zugriff von intern Weiterhin: Neutron / Nova Network Zusätzliche mögliche Dienste auf Controller: Proxy für HA (z.b. HAProxy), Datenbanken plus Keystone-Infrastruktur 12

13 Anlegen einer VM: Selektion des Hypervisors 8 nova-scheduler 7 9 Message Queue 6 Nova DB Keystone DB 4 Keystone 2 nova-api 3 OpenStack CLI / Horizon 1 5 Nova In Schritt 9 ist ein physischer Host bestimmt, auf dem die VM ausgeführt wird. Nova-Scheduler sendet im Schritt 9 eine rpc.cast- Nachricht an die Message Queue, um die VM auf dem selektierten Host zu 13 starten.

14 Anlegen einer VM: Instanziierung auf Host 12 Message Queue nova-compute nova-conductor Nova DB 13 Hypervisor Glance Neutron Cinder Nova Keystone DB Keystone In Schritt 23 wird auf dem Hypervisor (lokaler Zugriff durch novacompute) unter Verwendung der ermittelten Parameter eine VM gestartet und in das Netzwerk integriert. Durchlaufene Tasks: Scheduling, Networking, Block Device Mapping, Spawning 14

15 Neutron Neutron (früher: Quantum) offeriert modulare Konfiguration des Netzwerks Setzt technisch auf Basismechanismen des Linux-Kernels auf (Network Namespaces, Linux Bridge, iptables, ) Projekt umfasst neben Server (auf Control-Node auszuführen) insbesondere mehrere Agents (z.b. für DHCP) wie auch Plugins (z.b. zur Untersützung verschiedener L2- Mechanismen) Minimalsetup (Provider-Network) mittels Linux Bridge unter Verwendung von Controller- plus Compute-Node möglich neutron.conf [DEFAULT] core_plugin = ml2 service_plugins = linuxbridge_agent.ini [linux_bridge] physical_interface_mappings = provider:eth1 [vxlan] enable_vxlan = False [securitygroup] firewall_driver = iptables enable_security_group = True Modular Layer 2 Framework Zusätzlich: Konfiguration in dhcp_agent.ini ml2_conf.in i[ml2] type_drivers = flat,vlan tenant_network_types = mechanism_drivers = linuxbridge extension_drivers = port_security [ml2_type_flat] flat_networks = provider [ml2_type_vlan] network_vlan_ranges = provider [securitygroup] firewall_driver = iptables 15

16 Neutron Übersicht zum Network Node L3 Agent qrouter (network namespace) DHCP Agent qdhcp (network namespace) Open vswitch Agent Integration Bridge br-int Tunnel Bridge br-tun VLAN Bridge br-vlan Metadata Agent Interface 1 Interface 2 Vier Komponenten auf Network Node benötigt: Open vswitch für die Bereitstellung virtueller Switches DHCP-Agent Router Metadata-Agent Zentrale Bridge: br-int (führt verschiedene Netze zusammen) VxLAN/GRE VLAN External Bridge br-ext Interface 3 Internet Open vswitch Network Node 16

17 Neutron Übersicht zum Compute Node Instanz Linux Bridge qbr Security Groups Open vswitch Agent Integration Bridge br-int Tunnel Bridge br-tun VLAN Bridge br-vlan Interface 1 Interface 2 Zwei Komponenten auf Compute Node benötigt: Open vswitch für die Bereitstellung virtueller Switches Linux Bridge (Anwendung von iptables-regeln) Instanz wird an Linux Bridge angebunden VxLAN/GRE VLAN Open vswitch Compute Node 17

18 Dashboard: Horizon Web-basierte Benutzungsoberfläche für OpenStack-Basisprojekte (bzw. weitere Projekte) Implementiert unter Verwendung von Django Kann durch eigene Themes in Bezug auf Design / Layout adaptiert werden Integration von weiteren Sichten sehr leicht realisierbar durch Registrierungs- Mechanismus in horizon/openstack_dashboard/enabled Dashboards Tab Panel 18

19 OpenStack API Ermöglicht Kontrolle der Cloud-Ressourcen (insbesondere Anlegen, Konfigurieren, Löschen) mittels REST-API Neben OpenStack-spezifischer API wird zu AWS konforme API offeriert Für API-Operationen ist Token erforderlich, das mittels Keystone angefordert wird curl -i -H "Content-Type: application/json" -d ' { "auth": { "identity": { "methods": ["password"], "password": { "user": { "name": "username", "domain": { "id": "default" }, "password": "xyz" } } } } }' ; echo 19

20 Kommandozeilenwerkzeuge Alle Basisdienste plus weitere Dienste verfügen über dedizierte Kommandozeilenwerkzeuge (in Python implementiert; CLI-Werkzeug selbst überwiegend deprecated) mit zugehöriger Bibliothek Werkzeug openstack greift auf Bibliotheken zu, um mit verschiedenen Diensten zu interagieren Installation via pip install python-openstackclient Run-Command-Datei für Export der Authentifizierungsinformationen in Umgebung (wird von Kommandozeilenwerkzeugen verwendet) #!/bin/bash export OS_USERNAME=maxmustermann export OS_TENANT_NAME=maxmustermann export OS_AUTH_URL= export OS_REGION_NAME=SOME_REGION echo "Please enter your OpenStack Password: " read -sr OS_PASSWORD_INPUT export OS_PASSWORD=$OS_PASSWORD_INPUT 20

21 Kommandozeilenwerkzeuge keypair network image quota catalog CLI-Kommandos snapshot... token flavor server Beispiel: Abfrage von Informationen von Basisdiensten und Anlegen einer VM: $ ssh-keygen -q -N "" $ openstack keypair create --public-key ~/.ssh/id_rsa.pub keyname $ openstack security group rule create --proto icmp default $ openstack security group rule create --proto tcp --dst-port 22 default $ openstack flavor list $ openstack image list $ openstack security group list $ openstack server create --flavor m1.tiny --image cirros \ --security-group default \ --key-name keyname mynewinstance 21

22 Kommandozeilenwerkzeuge keypair network image quota catalog CLI-Kommandos snapshot... token flavor server Beispiel: Anlegen einer IP-Adresse und Zuweisung zu einer VM: #Anlegen einer sogenannten floating IP $ openstack floating ip create provider # Zuweisen der IP zu Server $ openstack server add floating ip $INSTANCE_NAME

23 Cloud-Init Cloud-Init ermöglicht es, Information als Parameter an eine startende Instanz zu übergeben und automatisiert Skripte nach dem Start der Instanz auszuführen Informationen werden als user-data übergeben Unterschiedliche Syntax verfügbar: Cloud-config-Dateien Shellskripte #cloud-config users: - name: ubuntu groups: sudo shell: /bin/bash sudo: ['ALL=(ALL) NOPASSWD:ALL'] ssh-authorized-keys: - ssh-rsa AAAAuzaueeafz...adca user@domain runcmd: - touch /home/ubuntu/demo.txt 23