Systemmanagement mit RPM und YADT Eine Lösung für Rechenzentren

Transkript

1 Systemmanagement mit RPM und YADT Eine Lösung für Rechenzentren Chemnitz Ralph Angenendt Application Manager License:

2 Worum geht es? RPM Bekanntes Paketformat Einfache Nutzung (und Paketierung) Eingebaute Datenverfikation Es gibt ein komplettes Werkzeugset (yum, rpm, etc.) Folie 2 Systemmanagement mit RPM & YADT Ralph Angenendt

3 Worum geht es? YADT Ein Augmented Deployment Tool Zentrales Management von Abhängigkeiten zwischen Services Systemen Softwarepaketen Folie 3 Systemmanagement mit RPM & YADT Ralph Angenendt

4 RPM, huh? Sicherlich. Alles andere ist auch schon RPM Unser eingesetztes OS (RHEL 100% RPM) Software die von außen kommt (z.b. EPEL) Unsere Applikationen <Nelson>Ha Ha</Nelson> Aber wir sind auf dem besten Weg dahin Folie 4 Systemmanagement mit RPM & YADT Ralph Angenendt

5 Aber für Konfigurationsmanagement? Konfiguration sind auch nur Dateien RPM kann gut mit Dateien umgehen Es gibt schon Tools, um RPMs auf Rechnern zu installieren RPM kann den Inhalt von Paketen verifizieren Updates sind einfach Folie 5 Systemmanagement mit RPM & YADT Ralph Angenendt

6 Ihr baut also RPMs für alle eure Rechner? Um. Nein. Folie 6 Systemmanagement mit RPM & YADT Ralph Angenendt

7 Ihr baut also RPMs für alle eure Rechner? Okay, doch. Irgendwie. Folie 7 Systemmanagement mit RPM & YADT Ralph Angenendt

8 Ihr baut also RPMS für alle eure Rechner? Wir lassen bauen. Automatisch. Folie 8 Systemmanagement mit RPM & YADT Ralph Angenendt

9 Config Subversion Die komplette Konfiguration befindet sich in einem Subversion-Repository Hierarchisch Unterstützt ein Data Center -Layout Ist leicht verständlich In einem typischen Unix -Layout Folie 9 Systemmanagement mit RPM & YADT Ralph Angenendt

10 Config Subversion Von generisch nach spezifisch On-Commit RPM building YUM repository generation Also works with dpkg and apt If you write the code to support it Folie 10 Systemmanagement mit RPM & YADT Ralph Angenendt

11 So sieht's aus Überschreibt all/ loc/ type/ loctype/ host/ Folie 11 Systemmanagement mit RPM & YADT Ralph Angenendt

12 So sieht's aus Überschreibt all/ etc/ data/ VARIABLES/ loc/ type/ loctype/ host/ Folie 12 Systemmanagement mit RPM & YADT Ralph Angenendt

13 So sieht's aus Überschreibt all/ loc/ tuv/ ber/ ham/ etc/ data/ VARIABLES/ type/ loctype/ host/ Folie 13 Systemmanagement mit RPM & YADT Ralph Angenendt

14 So sieht's aus all/ loc/ type/ web/ Überschreibt app/ etc/ data/ VARIABLES/ loctype/ host/ Folie 14 Systemmanagement mit RPM & YADT Ralph Angenendt

15 So sieht's aus all/ loc/ type/ loctype/ berweb/ Überschreibt host/ berapp/ etc/ data/ VARIABLES/ Folie 15 Systemmanagement mit RPM & YADT Ralph Angenendt

16 So sieht's aus Überschreibt all/ loc/ type/ loctype/ host/ berweb01/ berweb02/ etc/ data/ VARIABLES/ Folie 16 Systemmanagement mit RPM & YADT Ralph Angenendt

17 VARIABLES? VARIABLES/ beinhaltet ach - Variablen Viele Hosts haben eine ähnliche Konfiguration Den Host am besten generell konfigurieren Alle Hosts benutzen einen Proxy Proxies in tuv, ber und in ham sind verschieden Folie 17 Systemmanagement mit RPM & YADT Ralph Angenendt

18 Variablen all/etc/proxy.conf: [...] proxy_port=3128 loc/tuv/variables/proxy_host: tuvprx.example.com loc/ber/variables/proxy_host: berprx.example.com loc/ham/variable/proxy_host: hamprx.example.com Folie 18 Systemmanagement mit RPM & YADT Ralph Angenendt

19 Mehr Spezialitäten Es gibt zwei Spezialvariablen RPM_PROVIDES config-hostname (e.g. config-berweb01) RPM_REQUIRES tomcat,httpd,java-application RPM_PROVIDES wird von Kickstart required Inhalt von RPM_REQUIRES zieht alle anderen benötigten Pakete für den Host nach Folie 19 Systemmanagement mit RPM & YADT Ralph Angenendt

20 All zusammen jetzt config-rpm-maker ersetzt VARIABLES baut RPMs erstellt YUM-Repository Folie 20 Systemmanagement mit RPM & YADT Ralph Angenendt

21 All zusammen jetzt yadt-config-rpm-maker Wird als post-commit-hook in SVN eingebunden In python geschrieben Kann mehrere Pakete parallel erstellen Erkennt, welche Pakete nach einer Änderung neu gebaut werden müssen Baut nur das minimal benötigte Set Ist Open Source (GPL) Erhältlich hier: Folie 21 Systemmanagement mit RPM & YADT Ralph Angenendt

22 Probleme RPM mag ein paar Dinge nicht z.b. 2 Pakete denen die gleiche Datei gehört config.d/ wird auch nicht überall benutzt Generische Konfiguration ist meistens genau das Das kann eine Installation verhindern Folie 22 Systemmanagement mit RPM & YADT Ralph Angenendt

23 Probleme Lösung Wrapper-Pakete Diese überschreiben Konfiguration via %post Selbstgeschriebene config.d/-struktur Original-Konfig durch useful use of cat von Dateien in eigenem config.d/ zusammensetzen Folie 23 Systemmanagement mit RPM & YADT Ralph Angenendt

24 Zusammenfassung Die komplette Konfiguration eines Hosts ist in einem Paket Die Konfiguration zieht alle benötigte Software mit Einfache Verifikation der installierten Konfiguration Gleiche Toolchain wie für Softwareinstallation Paketformat ist Wohlbekannt Relativ einfach (Für mich als RPM-Person ) Konfiguration wird zentral vorberechnet Folie 24 Systemmanagement mit RPM & YADT Ralph Angenendt

25 Werbung Nexus Yum Plugin erhältlich unter Folie 25 Systemmanagement mit RPM & YADT Ralph Angenendt

26 YADT Kennt dein Rechenzentrum Das RZ kann einfach modelliert werden YAML-basierte Beschreibung von Services Applikationen Hosts Kennt Abhängigkeiten zwischen Paketen Services Systemen Folie 26 Systemmanagement mit RPM & YADT Ralph Angenendt

27 Konfiguration Definition in einer Datei target : name: probau log-dir: logs hosts: - hambau*.example.com - berbau*.exampe.com Folie 27 Systemmanagement mit RPM & YADT Ralph Angenendt

28 Konfiguration Service-Definition in yadt.services : - service1: needs_services: [service2] - service2: needs_services: [service3] - service3: Folie 28 Systemmanagement mit RPM & YADT Ralph Angenendt

29 Konfiguration Notation: service://hostname/servicename host://hostname/ artefact://hostname/packagename/version yadt status service://hostname1/httpd yadt ignore host://{host2 host33} yadt lock -m REASON host://hostname3 yadt updateartefact artefact:// [host1..host15]/yadt-client Folie 29 Systemmanagement mit RPM & YADT Ralph Angenendt

30 YADT Die kleinste Einheit tomcat Abhängig Neustart bei update tomcat config yadt.services: - tomcat: Target: hosts: - foo.example.com Folie 30 Systemmanagement mit RPM & YADT Ralph Angenendt

31 YADT Einfache Abhängigkeiten Abhängig httpd Zuerst gestoppt Zuletzt gestartet httpd config yadt.services: - httpd: needs_services: [tomcat] - tomcat: tomcat Zuletzt gestoppt Zuerst gestartet Abhängig tomcat config Folie 31 Systemmanagement mit RPM & YADT Ralph Angenendt

32 YADT Externe Services LB Abhängig httpd Abhängig tomcat Abhängig Aus Loadbalancer gelöscht/eingetragen Zuerst gestoppt Zuletzt gestartet httpd config Zuletzt gestoppt Zuerst gestartet tomcat config yadt.services: - loadbalancer: needs_services: [httpd] class: LoadbalancerService loadbalancer_clusters: [pro-fe] pool: test port: 80 status_max_tries: 2 - httpd: needs_services: [tomcat] - tomcat: Folie 32 Systemmanagement mit RPM & YADT Ralph Angenendt

33 Externe Services YADT hat ein Service Layer Python-Modul Kann auch Skripte ausführen Loadbalancer: Benutzt die F5 Big IP Python-API Hosts disablen/enablen Wir nutzen das auch, um Nagios ruhig zu stellen Noch kein Open Source Generalisierung fehlt Folie 33 Systemmanagement mit RPM & YADT Ralph Angenendt

34 YADT Services auf anderen Systemen LB httpd httpd config yadt.services: - loadbalancer: needs_services: [httpd] class: LoadbalancerService loadbalancer_clusters: [pro-fe] pool: test [...] - tomcat: needs_services: [app] tomcat tomcat config app app config yadt.services: - app: Folie 34 Systemmanagement mit RPM & YADT Ralph Angenendt

35 YADT Mehr Komplexität! LB httpd httpd tomcat httpd config target: hosts: - host[01..02] tomcat httpd config tomcat config app tomcat config app config Folie 35 Systemmanagement mit RPM & YADT Ralph Angenendt

36 YADT Chunks und Wellendeployment LB httpd httpd httpd httpd httpd httpd Folie 36 Systemmanagement mit RPM & YADT Ralph Angenendt

37 Screenshot! Folie 37 Systemmanagement mit RPM & YADT Ralph Angenendt

38 Fazit Konfiguration via RPM funktioniert erstaunlich gut Man muss um ein paar Probleme herumrouten Einfache Pflege ( für jeden, just change config ) Distribution via yum Ein RPM zieht die ganze Maschine hinterher Maschine neu aufsetzen? yum remove config-rpm yum install config-rpm Folie 38 Systemmanagement mit RPM & YADT Ralph Angenendt

39 Fazit YADT ist work in progress aber zuverlässig Bei vielen Maschinen im Target manchmal langsam Vor allem wenn Loadbalancer/Nagios involviert sind Service-Layer noch nicht Open Source Einfache Konfiguration Benötigt ein paketbasiertes System Bei uns im täglichen Einsatz Folie 39 Systemmanagement mit RPM & YADT Ralph Angenendt

40 Blick in die Zukunft Neue yadt-shell (das Interface) ist in interner Beta Yadt bekommt Fähigkeit zu parallelisieren Um Yadt schneller zu machen Implementierung des Server, Rack, Datacenter - Szenarios Variable fault tolerance Funktionierendes Demosystem wäre nett =:) Folie 40 Systemmanagement mit RPM & YADT Ralph Angenendt

41 Der Schluss (endlich!) YADT Yadt-rpm-config-maker Nexus YUM plugin Folie 41 Systemmanagement mit RPM & YADT Ralph Angenendt

42 Vielen Dank. Bei Fragen: Einfach kontaktieren! Kontakt: Immobilien Scout GmbH Andreasstraße Berlin Fon: URL: Folie 42 Systemmanagement mit RPM & YADT Ralph Angenendt