Linux Tag Puppet. Umgebungen, Daten & Code, Abhängigkeiten. Alexander Pacnik Karlsruhe,

Transkript

1 Linux Tag Puppet Umgebungen, Daten & Code, Abhängigkeiten Alexander Pacnik Karlsruhe,

2 Die Agenda... worum es in diesem Vortrag geht Umgebungen Trennung von Daten und Code Abhängigkeiten Modul Best Practices 2

3 Einleitung... worum es in diesem Vortrag geht Aufgabe Repositories und Module für heterogene Systemlandschaften verwalten Ziele Wartbarkeit erhöhen Transparenz schaffen Prozess erzwingen Weg Umgebungen, Modellierung von Daten und Abhängigkeiten 3

4 Einleitung... worum geht es bei der Konfigurationsverwaltung? Konfigurationsverwaltung So einfach und minimal wie möglich Daten und Code trennen Konfigurationen beim Anwenden testen Konfigurationsverwaltung erzwingen Alles unter Versionskontrolle stellen Konfiguration in ein VCS Daten in ein Repository (Paketmanager oder Artefakt Repository) Versionierung überwachen 4

5 Einleitung... worum geht es bei der Umgebungsverwaltung? Umgebungsverwaltung Redundanzen vermeiden Auseinanderlaufen verhindern Klärungen Paketabhängigkeiten in Puppet oder Paketmanagement Baremetal, Betriebsystem, Dienste, Applikationen 5

6 Reihenfolgen und Abhängigkeiten... Abhängigkeiten modellieren Umgebungen Trennung von Daten und Code Abhängigkeiten Modul Best Practices 6

7 Environments... die Verwaltung von Umgebungen mit Puppet Ziel Umgebungen abbilden (Test, Abnahme, Produktion) Nach Möglichkeit gleiche Codebasis Versionsstände abbilden (Feature, Release, Hotfix, Master) So wenig branchen wie möglich (Continous Integration) Workflow (Gleiche vs. getrennte Codebasis) 7

8 Environments... die Verwaltung von Umgebungen mit Puppet Erklärung Environment Environment Konfiguration (puppet.conf) manifest ($manifestdir/site.pp) modulepath ($confdir/modules) manifestdir ($confdir/manifests) templatedir ($vardir/templates) Zugriff in Modulen über $environment 8

9 Dynamic Environments... Weiterentwicklung mit temporären Umgebungen Konfiguration auf dem Master (puppet.conf) Möglichkeit einfach neuen Code zu testen [master] environment = production manifest = $confdir/environments/$environment/manifests/site.pp modulepath = $confdir/environments/$environment/modules [agent] environment = production 9

10 Dynamic Environments... Weiterentwicklung mit temporären Umgebungen Anwendung auf dem Node puppet agent --environment <name> puppet agent --environment <name> --noop 10

11 Dynamic Environments... Weiterentwicklung mit temporären Umgebungen Anwendung zentral über Puppet 11

12 Environments... die Verwaltung von Umgebungen mit Puppet Environments & VCS Best Practices Alles Versionieren Style und Syntax Check mit Puppet Lint (pre-commit) Monitoring für alles was im Puppet verwaltet wird 12

13 Reihenfolgen und Abhängigkeiten... Abhängigkeiten modellieren Umgebungen Trennung von Daten und Code Abhängigkeiten Modul Best Practices 13

14 Trennung von Daten und Code... die Möglichkeiten Trennung von Daten und Code Möglichkeiten 1. Top Scope Variable 2. Node Inheritance 3. Parametrisierte Klassen 4. Extlookup 5. Hiera 14

15 Trennung von Daten und Code... mittels Variablen Variable im Top Scope Variable werden im zentralen Manifest definiert und in den Modulen verwendet Variable im Top Scope Beispiel 15

16 Trennung von Daten und Code... mittels Variablen Variable im Top Scope Vor- und Nachteile Pro: Sehr einfach Pro: defacto Trennung von Code und Daten Con: immer noch im gleichen Repository Con: unklar wo die Variablen verwendet werden und welcher Werte gesetzt ist 16

17 Trennung von Daten und Code... mittels Node Inheritance Node Inheritance Variable werden in Nodes definiert und über Vererbung die Hierarchie abgebildet Node Inheritance Beispiel 17

18 Trennung von Daten und Code... mittels Node Inheritance Node Inheritance Vor- und Nachteile Pro: Sehr einfach Pro: defacto Trennung der Daten vom Code Con: immer noch im gleichen Repository Con: unklar wo die Variablen verwendet werden und welcher Werte gesetzt ist 18

19 Trennung von Daten und Code... mittels parametrisierte Klassen Parametrisierte Klassen Variable werden in Nodes definiert und über Vererbung die Hierarchie abgebildet Parametrisierte Klassen Beispiel 19

20 Trennung von Daten und Code... mittels parametrisierte Klassen Parametrisierte Klassen Vor- und Nachteile Pro: Daten nicht mehr im Modulcode und Defaultwerte möglich (Lesbarkeit) Pro: klar wo die Variablen verwendet werden Con: Daten und Logik in params.pp ausgelagert 20

21 Trennung von Daten und Code... mittels extlookup Extlookup Hierarchischer Lookup einer Variable im datadir basierend auf Fact und Key Extlookup Beispiel 21

22 Trennung von Daten und Code... mittels extlookup Extlookup Vor- und Nachteile Pro: dynamische und hierarchische Abbildung von Werten Con: schlechte Wartbarkeit (CSV) Con: liefert nur den ersten Wert, keine zusammengesetzten Werte 22

23 Trennung von Daten und Code... mittels Hiera Hiera Hierarchischer Lookup einer Variable im datadir ähnlich wie extlookup Hiera Konfiguration 23

24 Trennung von Daten und Code... mittels Hiera Hiera Beispiele hiera spezifischen Wert anhand des Schlüssels zurückliefern $local_var = hiera('my_name') hiera_array alle Strings als Array zurückliefern $local_array = hiera_array('my_array') hiera_hash alle Werte zu einem Hash zusammenfassen und zurückliefern $local_hash = hiera_hash('my_hash ) 24

25 Trennung von Daten und Code... mittels Hiera Hiera auf der Kommandozeile Die YAML Datenbank abfragen hiera <key> [Optionen] Wichtige Optionen --yaml <file> --array --hash 25

26 Trennung von Daten und Code... mittels Hiera Hiera und Node Definitions Liste von Klassen aus Hiera abfragen und anwenden 26

27 Trennung von Daten und Code... mittels Hiera Hiera Vor- und Nachteile Pro: dynamische und hierarchische Abbildung von Werten Pro: Default Werte möglich Pro: Trennung von Code und Daten Pro: zusammengesetzten Werte 27

28 Trennung von Daten und Code... mittels Hiera Hiera Best Practices Hiera nicht in Templates sondern nur im Manifest verwenden (Lesbarkeit) Hierarchien minimal halten (Einfachheit) Hiera Daten pro Umgebung trennen :datadir: '/etc/puppet/environments/%{environment}/hieradata' 28

29 Trennung von Daten und Code... die Zusammenfassung Empfehlung So nah wie möglich am Code (Lesbarkeit) Seit weit entfernt wie nötig (Abstrahierbarkeit) Im Zweifel Hiera Default-Werte verwenden 29

30 Reihenfolgen und Abhängigkeiten... Abhängigkeiten modellieren Umgebungen Trennung von Daten und Code Abhängigkeiten Modul Best Practices 30

31 Reihenfolgen und Abhängigkeiten... die Problemstellung Grund Reihenfolge im Manifest wird nicht beachtet (deklarativ) Abhängigkeiten zwischen Ressourcen müssen modelliert werden Problem Reihenfolgen oft doch relevant z.b. Dienst installieren, konfigurieren und starten 31

32 Reihenfolgen und Abhängigkeiten... die Möglichkeiten Reihenfolgen und Abhängigkeiten 1. Metaparameter 2. Chaining 3. Die require Funktion 4. Run Stages 32

33 Reihenfolgen und Abhängigkeiten... die Verwendung von Metaparametern Metaparameter Einsatzzweck: Abhängigkeiten zwischen Ressourcen Before (Ressource vor einer anderen anwenden) Require (Ressource nach einer anderen anwenden) Notify (Ressource vor einer anderen anwenden und Änderungen mitteilen) Subscribe (Ressource nach einer anderen anwenden und Änderungen mitteilen) 33

34 Reihenfolgen und Abhängigkeiten... die Verwendung von Metaparametern Metaparameter Beispiel 34

35 Reihenfolgen und Abhängigkeiten... die Verwendung von Metaparametern Metaparameter Vor- und Nachteile Pro: funktionieren mit jedem Ressourcen Typ Con: wird schnell unübersichtlich 35

36 Reihenfolgen und Abhängigkeiten... Chaining Chaining Einsatzzweck: Abhängigkeiten zwischen Ressourcen(-gruppen) -> (ordering arrow) Die Ressource links des Pfeils wird zuerst angewendet ~> (notification arrow) Die Ressource links des Pfeils wird zuerst angewendet und bei Änderungen wird die Rechte benachrichtigt Best Practice: Pfeile nur in eine Richtung (rechts) verwenden 36

37 Reihenfolgen und Abhängigkeiten... Chaining Chaining Anwendungsfälle Ressourcen Deklarationen Puppet Code Blöcke 37

38 Reihenfolgen und Abhängigkeiten... Chaining Chaining Anwendungsfälle Ressourcen Referenzen Referenz auf eine existierende Puppet Ressource (Typ und Titel) 38

39 Exkurs... Resource Collectors Resource Collectors Ressourcen gruppieren anhand bestimmter Attribute Syntax: < [Ausdruck] > Suchausdrücke mit!=, ==, and und or 39

40 Reihenfolgen und Abhängigkeiten... Chaining Chaining Anwendungsfälle Ressourcen Collectoren (auch virtuelle Ressourcen) 40

41 Reihenfolgen und Abhängigkeiten... Chaining Chaining Vor und Nachteile Pro: Funktioniert für Ressourcen und Gruppen von Ressourcen Pro: sehr flexibel vor allem im Zusammenspiel mit virtuellen Ressourcen Con: Gefahr von Dependency Cycles insbesondere mit virtuellen Ressourcen puppet agent --configprint graphdir 41

42 Reihenfolgen und Abhängigkeiten... die require Funktion Funktion require Einsatzzweck: Abhängigkeiten zwischen Klassen abbilden require (Klassen vor einer Ressource anwenden) Wird auch bei mehrfachen Aufrufen nur einmal ausgeführt im Gegensatz zu include Funktion require Beispiel 42

43 Reihenfolgen und Abhängigkeiten... run stages für Massenabhängigkeiten Run Stages Einsatzzweck: Gruppe von Klassen die vor oder nach allem anderen laufen soll Definition über einen Ressource Type, Verwendung durch Zuweisung eines Metaparameters in einer Klasse Run Stages Beispiel 43

44 Reihenfolgen und Abhängigkeiten... run stages für Massenabhängigkeiten Run Stages Vor- und Nachteile Pro: Massenabhängigkeiten abbildbar Con: funktioniert nicht mit include, subscribe oder notify Con: Klassen die andere Klassen deklarieren verhalten sich im run stage anders Empfehlung: einzig valider Fall sind Abhängigkeiten mit Paketrepositories 44

45 Reihenfolgen und Abhängigkeiten... die Zusammenfassung Zusammenfassung Abhängigkeiten innerhalb von Klassen mit Metaparametern und Chaining Abhängigkeiten zwischen Klassen mit der require Funktion Run Stages vermeiden So einfach wie möglich halten um Dependency Cycles zu vermeiden 45

46 Vielen Dank für Ihre Aufmerksamkeit Kontakt Alexander Pacnik Systems Engineering inovex GmbH Office Karlsruhe Zur Gießerei Karlsruhe +49 (0)

47 Anhang

48 Anhang... wo sie in Ruhe nachlesen können Quellen Puppet Style Guide Puppet Language Guide Puppet Referenzen Puppet Guides Puppet Blog Lizenz des Vortrags Creative Commons (by-nc-nd) 48