IT Engineering Continuous Delivery. Development Tool Chain Virtualisierung, Packer, Vagrant und Puppet. Alexander Pacnik Karlsruhe,

Transkript

1 IT Engineering Continuous Delivery Development Tool Chain Virtualisierung, Packer, Vagrant und Puppet Alexander Pacnik Karlsruhe,

2 Einleitung... worum es in diesem Vortrag geht Ziele Continuous Delivery einfache, atomare Änderungen sollten immer möglich sein Voraussetzung Dev/Prod Parity Werkzeuge und Prozesse der Umgebungen identisch halten Vollständige Automatisierung der Prozesse und Tests Infrastructure as Code 2

3 Einleitung... worum es in diesem Vortrag geht Problemstellung Entwicklungsumgebung für Operations zur Verfügung stellen Entwicklungsumgebung für Development zur Verfügung stellen Ein (!) Tool pro Aufgabe festlegen heute Image Verwaltung mit Packer Entscheidungskriterien : Wer nutzt es? Wie wird es verwendet? Teil der DoD und für alle Beteiligten verbindlich 3

4 Virtualisierung... die Basis für unsere Boxen Virtualisierung Image Creation (Packer) Development Environments (Vagrant) Hands-on Code 4

5 Virtualisierung... mit VirtualBox VirtualBox Virtualisierungslösung die auf OSX, Linux und Windows funktioniert Vorteil: nur ein Host Betriebssystem das berücksichtigt / getestet werden muss Console: VBoxManage Installation: Installer Quellen VirtualBox: 5

6 Virtualisierung... mit VMware Fusion VMware Fusion Virtualisierungslösung für OSX Vorteil: Bessere Integration in die VMware Welt Console: vmrun (steuern) und ovftool (konvertieren) Installation: Installer Quellen VMware Fusion: VMware Tools Versionen: OVF Tool: 6

7 Image Bauen... mit Packer Virtualisierung (VirtualBox) Image Creation (Packer) Development Environments (Vagrant) Hands-on Code 7

8 Image Bauen... eine Einführung Was ist Packer? Packer is an open source tool for creating identical machine images for multiple platforms from a single source configuration. 8

9 Image Bauen... einfache Installation Installation Archiv herunterladen und auspacken Binaries in den PATH aufnehmen 9

10 Image Bauen... die wichtigsten Begriffe Terminologie Artifacts das Ergebnis eines Builds (Image) Templates JSON Datei die die ganze Konfiguration enthält Builders Konfiguration für eine bestimmte Plattform (Virtualbox, AWS,...) Post-processors Schritte nach einem Build (Artefakte hochladen / komprimieren) Provisioners - installieren Software in die laufende VM (Shell, Puppet, Chef,...) Kickstart / Preseeding Konfigurationsdatei für die OS Installation 10

11 Image Bauen... Templates schreiben Templates Alles zwischen {... } in der JSON Datei {{.VAR}} Variablen beginnen mit einem Punkt und werden groß geschrieben {{timestamp}} build-in Funktionen werden klein geschrieben 11

12 Image Bauen... Templates schreiben Variablen in Templates Werden in einen "variables": {... } eingeschlossen, Definition: key : value Value = entspricht einer Variable die optional übergeben werden kann Value = null führ zu einem Validate-Fehler wenn die nicht gesetzt wird Im Template werden sie wie folgt verwendet: "{{user `key`}} Umgebungsvariablen können auch ausgelesen werden: "{{env `LANG`}} Variablen können über die CMD übergeben oder aus einer Datei ausgelesen werden Beispiel: 12

13 Image Bauen... Provisioners Provisioners Starten Skripte (Shell, Puppet,...) in der laufenden VM Können auf Builds eingeschränkt werden (nur für Vagrant ausführen, etc) Können für einzelne Builds überschrieben werden um Unterschiede abzubilden 13

14 Image Bauen... Debugging wenn Fehler auftreten Debugging Viele Builder unterstützen "headless": "false Am Ende der Skripte ein Sleep einbauen und SSH in die Maschine Umgebungsvariable PACKER_LOG auf irgendeinen Wert setzen 14

15 Image Bauen... Debugging wenn Fehler auftreten Beispiel: 15

16 Development Environments... das Image einfach nutzbar machen Virtualisierung (VirtualBox) Image Creation (Packer) Development Environments (Vagrant) Hands-on Workflow 16

17 Development Environments... das Image einfach nutzbar machen Vagrant Verwaltung virtueller Entwicklungsumgebungen Vorteil: einfach ganze lokale Umgebungen als Code zu beschreiben und zu teilen Console: vagrant Installation: Installer Quellen Vagrant: 17

18 Development Environments... das Image einfach nutzbar machen Beispiel: Vagrantfile 18

19 Hands-on... der Workflow Virtualisierung (VirtualBox) Image Creation (Packer) Development Environments (Vagrant) Hands-on Code 19

20 Hands-on... die Verzeichnisstruktur Übersicht 20

21 Hands-on... die Konfiguration für unsere Box anpassen Konfigurationen prüfen und ggf. anpassen Umgebung: build_images/conf/build_images.properties Template: build_images/templates/centos/centos65-config.json Kickstart: build_images/templates/centos/public_html/centos6.cfg 21

22 Hands-on... die Arbeit mit Ant vereinfachen Antfile Optional: Bash Funktion erstellen um Antfiles direkt ausführen zu können $EDITOR ~/.profle 22

23 Hands-on... der Workflow im Überblick Antfile die wichtigsten Actions 23

24 Hands-on... das ISO für die Installation herunterladen Download Die ISOs die in den Templates verwendet werden konfigurieren build_images/conf/images.conf Konfigurierte ISOs herunterladen Anschließend die md5 Summe berechnen und in der Konfiguration eintragen build_images/templates/centos/centos65-config.json 24

25 Hands-on... Syntax prüfen packer validate JSON Datei auf syntaktische Korrektheit prüfen 25

26 Hands-on... die Konfiguration anzeigen packer inspect Elemente und Konfiguration der JSON Datei anzeigen 26

27 Hands-on... die Konfiguration anzeigen Kickstart / Preseeding Passend zum Projekt die Kickstart / Preseeding Datei anpassen OS Version Sprache und Zeitzone Partitionierungsschema... Beispiel: build_images/templates/centos/public_html/centos6.cfg 27

28 Hands-on... die Box bauen packer build Box mit angegeben Typ bauen und optional Puppet ausführen 28

29 Hands-on... die laufende VM konfigurieren Skripte Die Basisinstallation nach Kickstart / Preseeding erfolgt mit Shell Skripten Beispielsweise alles für den ersten Puppet Run vorbereiten 29

30 Hands-on... eine mögliche Puppet Integration Konventionen für das Verwenden von Puppet Packer liegt unter build_images/ Puppet Module liegen unter configuration/modules/ Hieradata liegt unter configuration/hieradata/ Modul das angewendet werden soll hat ein Manifest unter tests/init.pp Der Packer Code: scripts/puppet_apply.sh 30

31 Hands-on... Boxen anzeigen und... list Alle Vagrant Boxen im work/cache_boxes Verzeichnis anzeigen 31

32 Hands-on... Box lokal Vagrant bekannt machen oder... publish_local Die angegebene Box lokal (vagrant add) hinzufügen 32

33 Hands-on... Box auf einen Webserver für Vagrant ablegen publish_remote Die angegebene via scp hochladen 33

34 Hands-on... Box konvertieren um sie ohne Vagrant verwenden zu können vmware2ova / vbox2ova Box-Datei aufräumen, so dass ein Standard konformes OVA entsteht vbox2ova: metadata.json aus box entfernen vmware2ova: box mit OVF Tool konvertieren Die Datei kann dann in eine Virtualisierungslösung importiert werden 34

35 Hands-on... um die Übersicht zu behalten Box testen 1. VirtualBox / VMware Fusion OVA Datei importieren (UI oder Console) 2. Mit Vagrant die Box nach dem publish_local testen 35

36 Hands-on... um die Übersicht zu behalten Fazit Entwicklungsmaschinen so nah wie möglich an den produktiven bauen Immer ein Image für Engineering Tests bereit halten (minimales Golden Image) Entwicklern immer ein Image für die Entwicklung zur Verfügung stellen Erfolgskriterium: Wenn die Vagrant Box und das Deployment Tool von Dev verwendet wird, haben wir die richtige Lösung gefunden. Überall die gleichen Tools für Configuration und Deployment verwenden Die einfachste Lösung verwenden die funktioniert 36

37 Hands-on... um die Übersicht zu behalten Next Steps 1. Tools installieren 2. Beispiel aus unserem Git Server clonen 3. Skripte ausprobieren, Beteiligung an der Weiterentwicklung erwünscht! J 4. Dokumentation der Tools vollständig lesen! 37

38 Vielen Dank für Ihre Aufmerksamkeit Kontakt Alexander Pacnik IT Engineering & Operations Project Management inovex GmbH Ludwig-Erhard-Allee Karlsruhe Mobil: +49 (0) Mail: alexander.pacnik@inovex.de 38

39 Anhang

40 Anhang... wo sie in Ruhe nachlesen können Quellen VirtualBox VMware Fusion Packer Vagrant Lizenz des Vortrags Creative Commons (by-nc-nd) 40