Lifecycle-Management mit Foreman und Katello Grundlagen und Spacewalk-Migration Christian Stankowic

Transkript

1 Lifecycle-Management mit Foreman und Katello Grundlagen und Spacewalk-Migration Christian Stankowic Free and Open Source software Conference

2 whoami Christian Stankowic VMware Global Inc. Senior PSO Consultant Blogger & Fachbuchautor 2

3 AGENDA

4 Agenda Überblick Installation Content-Management Puppet Automatisierung Spacewalk-Migration 4

5 ÜBERBLICK

6 Was ist Foreman? Quelloffene Lifecycle-Management-Suite Erstellung, Konfiguration und Inventarisierung 1 von Systemen Unterstützt Konfiguration mittels Puppet oder optional 2 Chef, Salt und Ansible 1. Facts, system profiling 2. per Plugin 6

7 facter 1 $ facter -p 2 architecture => x86_64 3 domain => stankowic.loc 4 interfaces => docker0,ens192,lo memoryfree => 1.14 GB 7 processor0 => Intel(R) Xeon(R) CPU 2.20GHz 8 virtual => vmware Listing 1: Ausgabe von facter 7

8 Plugins Derzeit ca. 100 Plugins online verfügbar Einige Beispiele: Cockpit Monitoring Jenkins CI Slack Drittanbieter DNS-/DHCP 8

9 Virtualize _all_ the workloads Integration in gängige Hypervisor- und Cloud-Plattformen: VMware vsphere 3 ovirt Amazon EC2 Microsoft Azure XEN OpenStack, OpenNebula 3. ESXi und vcenter Server 9

10 Weitere Features rollenbasierte Konfiguration Mandantenfähig Integration in LDAP, FreeIPA und Microsoft Active Directory Domain Services Verteilen von Infrastruktur-Diensten in Satelliten-Instanzen Gut dokumentierte RESTful API zur Automatisierung 10

11 Was ist Katello? Content Management-Plugin für Foreman Vereint die Software-Projekte Pulp und Fiction Candlepin Synchronisation von OSTree-/RPM-Paketen 4 und Docker-/Puppet-Modulen 4. DEB-Unterstützung in Arbeit 11

12 Weitere Features Verwaltung von Errata Verwaltung von Subskriptionen und Kanal-Berechtigungen Snapshots, Einfrieren von Inhaltsbeständen (z.b. Dev, QA, Prod) 12

13 13

14 Foreman/Katello vs. Satellite 6 Foreman RHS6 Releases 1-2 Monate 11 Monate Puppet- 4.x Version Server OS $Linux RHEL Support 6 Orchestration Smart Proxy Capsule RHN 7 5. Puppet 4.x ab Release Verwendung über CLI, WebUI und API, keine Fremd-Plugins; siehe auch Dokumentation 7. Über Subscription Manager 14

15 INSTALLATION

16 Installation Foreman ist vorkompiliert erhältlich für: Debian 8 Fedora 24 Ubuntu / Enterprise Linux (RHEL, CentOS, SL) 7 Katello-Pakete lediglich für EL6 / 7 x86_64! 16

17 Anforderungen mindestens 2 Cores mindestens 8 GB RAM (12 empfohlen) 30 GB Speicherplatz pro Betriebssystem empfohlen siehe auch: theforeman.org/plugins/katello 17

18 Vorbereitung Dedizierte Dateisysteme: /var/spool/squid (Cache, 10 GB) /var/lib/mongodb (Katello, 10 GB, inodes!) /var/lib/pulp (Content, 30 GB) /var/lib/pgsql (Foreman, 10 GB) Netzwerk-Ports öffnen: http/https tcp/ Client-Kommunikation tcp/ Smart Proxy / Capsule 18

19 Software-Installation 1/2 Einbinden von Software-Quellen je nach Distribution (Katello, Foreman, Puppet,...) Installation des katello Pakets berücksichtigt Abhängigketen Snapshot anlegen! foreman-installer konfiguriert benötigte Dienste automatisch 19

20 Software-Installation 2/2 Zusatzoptionen evaluieren: foreman-installer --scenario katello -h 1 # foreman-installer --scenario katello -- foreman-initial-organization Stankowic --foreman-initial-location Homelab Listing 2: Installation mit angepasster Organisation und Location 20

21 21

22 CONTENT

23 Spacewalk Parent- und Child-Channels mit 1+ Repositories Systemen werden Parent- und optionalen Child-Channels zugewiesen Automatische Zuordnung per Aktivierungsschlüssel möglich 23

24 Foreman/Katello Product mit 1+ Repositories Versionsstände werden in Content Views eingefroren Content View enthält 1+ Repositories 8 Content View kann YUM-Filter enthalten 8. YUM-, Datei-, Docker- oder Puppet-Inhalte 24

25 25

26 YUM-Filter Einbeziehen oder Ausschließen von: Paketen Paketgruppen Errata (anhand ID, Datum oder Typ) Ideal für feste Wartungsfenster (z.b Q1-Updates) Filter können auch kombiniert werden 26

27 27

28 Composite Content View kombiniert mehrere Content Views in einem View ideal, wenn OS- und Applikationspakete getrennt versioniert werden Filter werden überschrieben 28

29 29

30 Lifecycle Environments Systeme können nach Umgebungen unterteilt werden 9, z.b.: Dev QA Prod Content View-Versionen werden Umgebungen zugeordnet 9. Standardmäßig gehören alle Systeme Library an 30

31 Patch-Freigabe Neue Patches importieren, Content View aktualisieren 10 Freigabe der Patche für Dev (promoten) 11 Patche werden getestet Freigabe der Patche für QA Freigabe der Patche für Prod siehe auch katello-cvmanager 10, 11. manuell oder per API (z.b. hammer) 31

32 32

33 33

34 34

35 35

36 36

37 37

38 38

39 PUPPET

40 40

41 Puppet in a nutshell Client-/Server-Applikation 12 Master konfiguriert und steuert Agenten Manifeste definieren gewünschte Komponenten-Zustände 13 Modulare Manifeste mit Facts 12. Auch ohne zentralen Server nutzbar 13. Systemparameter, Dienste, Konfigurationen... 41

42 Resource Abstraction Language 1/2 Definition von Stati innerhalb Manifest Unzählige Ressource-Typen: file, service, user, Auflisten von Optionen pro Ressource: puppet describe resourcetype Beschreiben einer vorhandenen Ressource: puppet resource resourcetype name 14. Auflisten mit puppet resource --types 42

43 Resource Abstraction Language 2/2 1 $ puppet describe service 2 $ puppet resource service httpd 3 service { httpd : 4 ensure => started, 5 enable => true, 6 } Listing 3: Informationen zu Services sowie Beschreibung eines Services 43

44 Puppet manifests in a nutshell 1 $ cat httpd.pp 2 package { httpd : 3 ensure => installed, 4 } 5 # puppet apply httpd.pp Notice: Finished catalog run in 8.03 seconds Listing 4: Manifest zur Installation von Apache 44

45 Puppet manifests in a nutshell 1 $ cat httpd-file.pp 2 package { httpd : 3 ensure => installed, 4 } 5 file { /var/www/html/index.html : 6 content => Yes this is $hostname 7 } 8 # puppet apply httpd-file.pp Listing 5: Apache-Manifest mit Datei und fact 45

46 Foreman - Master of Puppets? Foreman integriert Puppet Master und CA 15 Puppet-Dashboards 16 Konfiguration von Klassen, Variablen,... Gruppierung von Klassen in Config Groups Environment pro Lifecycle Environment Overrides pro Host bzw. Hostgroup 15. auf dem Master bzw. den Smart Proxies/Capsules 16. Aktivität und Kompliance 46

47 47

48 48

49 49

50 50

51 51

52 52

53 Drittanbieter-Module Place to be: Puppetforge Kopie heruntergeladener Puppet-Module in Puppet-Produkt, Aktualisierung des Content Views unbedingt Abhängigkeiten und Anforderungen überprüfen RHNS6 < 6.3 nutzt noch Puppet v3! 53

54 54

55 AUTOMATE

56 API Foreman und Katello bieten eine gut dokumentierte REST-API Schnelle Integration in eigene Anwendungen Dokumentation online und auf eigenem Server

57 hammer umfangreiches Tool zur Steuerung von Foreman, Katello, Docker,... erweiterbar, auto-completion Verwalten von lokalen oder entfernen Systemen mehr als 50 Kommandos für Foreman und Katello 57

58 Beispiel: Update _all_ the repos 1 $ hammer content-view update --async -- name CentOS_7 2 $ hammer content-view publish --async -- name CentOS_7 3 $ hammer content-view version promote -- organization Stankowic --to-lifecycleenvironment Dev --name CentOS_7 Listing 6: Aktualisieren und Veröffentlichen eines Content Views 58

59 Maintenance: Status quo Wartungsarbeiten sind in größeren Umgebungen i.d.r. komplexer: Erstellen von Snapshots Ausplanen des Monitorings Dokumentieren der Änderungen Löschen von Snapshots... Vorarbeiten und Dokumentation umfangreicher als Wartung 59

60 60

61 katprep Python-Toolkit, automatisiert Wartungen Vorbereiten, Warten und Bereinigen von Systemen mit einzelnen Befehlen Changelogs mit Pandoc 20 integriert sich in gängige Hypervisor und Monitoring-Systeme: KVM, XEN, Hyper-V,... (libvirt) VMware vsphere (pyvmomi) Nagios/Icinga 1.x und Icinga2 20. derzeit Vorlagen für Markdown und HTML 61

62 katprep unterstützt verschiedene Filter 21 startet Systeme automatisch neu, falls ein Update dies erfordert Konfiguration über System-Parameter 22 automatischer Abgleich mit VM-/Monitoring-Systemen möglich (auto-discovery) Join the development: GitHub 21. Organisation, Location, Hostgruppe, Environment 22. Snapshots, Monitoring,... 62

63 Installation Toolkit herunterladen und installieren Zugangsdaten eintragen Informationen automatisch erkennen lassen oder gestapelt eintragen Wartung (simulieren) 63

64 Kommandos Zugangsdaten pflegen: katprep_authconfig Parameter erkennen/setzen: katprep_populate / katprep_parameters System-Bestandsaufnahme: katprep_snapshot Wartungen steuern: katprep_maintenance Reports erstellen: katprep_report 64

65 Vorgehensweise Bestandsaufnahme durchführen Wartung vorbereiten, durchführen und überprüfen Erneute Bestandsaufnahme durchführen Reports erstellen Über gesparte Zeit freuen :-) 65

66 katprep_maintenance Mit -n / --dry-run arbeiten! Wartung vorbereiten: prepare Installation durchführen: execute Status überprüfen: verify Snapshots, etc. entfernen: cleanup Verwerfen: rollback noch nicht implementiert 66

67 67

68 MIGRATION

69 Unterschiede zu Spacewalk Spacewalk Foreman Datenbank PGSQL, Oracle MongoDB + PGSQL Client OS RPM RPM, DEB 24 Konfiguration custom 25 Puppet Software Kanal : Repos Repos : Products : CVs Aktivierung Orchestration Proxy Manuell, Schlüssel Capsule 24. Foreman-only, experimenteller Pulp-Support 25. SUSE Manager implementiert Salt 69

70 Passive Vorgehensweise Installation eines neuen Systems Abbilden der Software-Quellen und -Zustände Erstellen der Konfigurationen anhand Test-Systeme Sukzessive Migration der Systeme siehe auch Transitioning from Red Hat Satellite 5 to 6 70

71 Registrieren neuer Clients Ausführen des Bootstrap-Skripts 26 Installation von Puppet und katello-agent 27 Zuweisen/Überprüfen von Subskriptionen Aktualisieren von weiteren Informationen Zur Überprüfung installierter Errata 28. Besitzer, Hostgruppen, katprep,... 71

72 Bootstrap Registriert neue Systeme Entfernen von RHN-Altlasten (yum-rhn-plugin, rhnsd, osad,...) Migriert Systeme von Spacewalk und Red Hat Satellite 5 Optional Angabe von Aktivierungsschlüssel, Hostgruppe, Organization,... 72

73 Dr. virt-who 1/2 RHEL-Systeme erhalten lediglich eine temporäre wibbly-wobbly Subskription 29, wenn die Lizenz nicht validiert werden kann bei virtualisierten Systemen werden Hypervisor 30 als Content-Hosts geführt Überprüfung der Subskription mittels subscription-manager maximal 24 Stunden 30. VMware vsphere, Red Hat Enterprise Virtualization und Microsoft Hyper-V 31. siehe auch Dokumentation 73

74 Dr. virt-who 2/2 virt-who 32 überprüft Host-VM-Zuordnungen mit verknüpften Manifest Dienst ist über Lizenzen und Installationen informiert Wirkt Unterlizensierung entgegen Zuweisung einzelner Lizenzverträge im Backend möglich 32. RE-GIS-TRATE! 74

75 Temporäre Subskription 1 # subscription-manager status Overall Status: Insufficient Guest has not been reported on any host and is using a temporary unmapped 6 guest subscription. Listing 7: Temporäre Zuordnnung aufgrund fehlender Lizenz-Validierung 75

76 FRAGEN?

77 Links Foreman-Webseite Katello-Plugin Red Hat Satellite 6-Dokumentation Puppetforge katprep-framework Foreman-/Katello-Artikelserie 77

78 Vielen Dank für die Aufmerksamkeit! 78