Puppet als Bindeglied zum Monitoring

Transkript

1 Puppet als Bindeglied zum Monitoring Open Source Monitoring Conference Nürnberg Referent: Birger Schmidt

2 Agenda DESTINATION TIME REMARK KURZVORSTELLUNG WARUM MONITORING UND PUPPET? WAS IST PUPPET? WIE FUNKTIONIERT PUPPET? WELCHE VORTEILE? WELCHE NACHTEILE? UMSETZUNGSKONZEPT UMSETZUNGSMÖGLICHKEIT 5 SLIDES 8 SLIDES 4 SLIDES 2 SLIDES 5 SLIDES 2 SLIDES 2 SLIDES 9 SLIDES ON TIME ON TIME ON TIME ON TIME ON TIME ON TIME ON TIME ON TIME

3 BOARDING KURZVORSTELLUNG

4 Kurzvorstellung BIRGER SCHMIDT 37 Jahre seit 2008 bei der NETWAYS GmbH Senior Consultant / Trainer Dipl. Inf. Uni Rostock und HU zu Berlin seit Anfang der 90er Jahre tätig im Bereich IT-Infrastruktur, Betrieb und Entwicklung Application Management Netzwerk Management Entwicklung im Embedded Bereich

5 Kurzvorstellung: NETWAYS Firmengründung 1995 GmbH seit 2001 Open Source seit 1997 Nagios / Netsaint seit festangestellte Mitarbeiter Spezialisierung in den Bereichen Open Source Systems Management und Open Source Datacenter Solutions

6 Leistungsbereiche Open Source Systems Management Open Source Data Center Solutions Monitoring High Availability Lösungen Performance Management Cluster Lösungen Configuration Management Loadbalancing Service Management Virtualisierung Knowledge Management Speicherlösungen Asset Management Firewalls Identity Management Datenbanken Backup & Datensicherung Voice over IP Reporting Managed Services Monitoring HW Konferenzen

7 Konferenzaktivitäten Veranstalter der Open Source Monitoring Conference Teilnehmer: 145 (06) 220 (07) 250 (08) 260 (09) 5 Tracks mit Vorträgen & Workshops 06. & 07. Oktober 2010 in Nürnberg Veranstalter der Open Source Datacenter Conference Teilnehmer: 70 (09), 80 (10) 3 Tracks mit Vorträgen & Workshops 06. & 07. April 2011 in Nürnberg

8 TAKE OFF WARUM MONITORING UND PUPPET?

9 Create many similar drops and monitor every single one automatically.

10 WOHER KOMMEN DIE TROPFEN? Systems Management ein Admin viele Systeme Automatisierung Scalability durch Clone

11 WAS FÜR CLONE WILL ICH? Diskimages / FAI / Kickstart / Autoyast /... Möglichst flexible, generische Ausgangsbasis

12 Ein Abbild meiner alten Maschine? WAS FÜR CLONE WILL ICH? Diskimages / FAI / Kickstart / Autoyast /... Möglichst flexible, generische Ausgangsbasis

13 Ein freies Gleis und ein paar Packages? WAS FÜR CLONE WILL ICH? Diskimages / FAI / Kickstart / Autoyast /... Möglichst flexible, generische Ausgangsbasis

14 WAS FÜR CLONE WILL ICH? Diskimages / FAI / Kickstart / Autoyast /... Möglichst flexible, generische Ausgangsbasis Oder nur das freie Gleis?

15 WAS FÜR CLONE WILL ICH? Diskimages / FAI / Kickstart / Autoyast /... Möglichst flexible, generische Ausgangsbasis Nein, ein freies Gleis und ein Cockpit!

16 WAS FÜR CLONE WILL ICH? Diskimages / FAI / Kickstart / Autoyast /... Möglichst flexible, generische Ausgangsbasis Und dann noch einen, der weiß wo lang...

17 WARUM MONITORING UND PUPPET? Systems Management ein Admin viele Systeme Automatisierung Scalability durch Clone Clonen mittels Diskimages / FAI / Kickstart / Autoyast /... Rollenzuordnung ein Diskimage pro Rolle? der Clon wächst in seine Rolle! Monitoring Konfiguration Teil der Rollenzuordnung nicht Teil eines Diskimages Puppet jumps in

18 CRUISING WAS IST PUPPET?

19 GESCHICHTE 2005 Reductive Labs one man show von Luke Kanies Heute Puppet Labs mit 14 Mitarbeitern Sitz in Portland, Oregon, USA NETWAYS ist deutscher Schulungspartner

20 WAS IST PUPPET? beschreibend / declarativ es wird definiert wie das System aussehen soll nicht der Weg dahin

21 WAS IST PUPPET? Konfigurationsengine basiert auf Ruby eigene Sprache für Manifest (ralsh) Manifest ist Plaintext Automatisierung von Tasks Paketinstallation Anlegen von Benutzer/Gruppen Verteilen von Konfigurationsdateien Facter für die Erkennung Puppet kennt das System befüllt Variablen über das System

22 CRUISING WIE FUNKTIONIERT PUPPET?

23 WIE FUNKTIONIERT PUPPET?

24 WIE KOMMUNIZIERT PUPPET? XMLRPC over HTTP(S) Verschlüsselt Zertifikatsbasiert Verwaltung durch Puppet

25 CRUISING WELCHE VORTEILE

26 WO HILFT PUPPET? Verwaltung großer Umgebungen Beschreibung der Konfiguration Regelbasiert Initial höherer Aufwand, aber: einfaches Massendeployment einfaches Scaleout der Plattform definierter Konfigurationsstand der Clients

27 WO FUNKTIONIERT PUPPET? CentOS Debian 3.1 and later Fedora Core 2-6 Fedora 7 and later Gentoo Linux Mandriva Corporate Server 4 RHEL 3 and later Oracle Linux SuSE Linux 8 and later Ubuntu 7.04 and later BSD FreeBSD 4.7 and later OpenBSD 4.1 and later Macintosh OS X Sun Solaris 2.6, 7 and later basic Windows support in v2.6

28 MIT WEM KANN PUPPET? Apache Asterisk AutoFS Bacula BIND DNS Courier IMAP/ POP denyhosts exim heartbeat iptables git Linux Vserver Lighttpd MediaWiki munin MySQL Nagios NTP OpenVPN OpenLDAP postfix PostfixAdmin Shorewall snmpd SpamAssassin SSH Webproxy Subversion sudo Tomcat Trac Varnish Xen 3 Zope

29 WARUM PUPPET? Puppet vergleichsweise einfach!! hoher Anfangserfolg sehr flexibel einfach erweiterbar leicht mit SVN oder GIT zu Versionieren

30 WELCHE VORTEILE? Configurationmanagement Pakete sind auf allen Systemen gleich Konfigurationen sind durchgängig Zentrale Pflege der Konfiguration Testing möglich schnelle Incidentbehandlung Changetracking wer hat was geändert? wann wurde die Änderung vorgenommen? Genehmigungsprozess möglich Kein Backup mehr notwendig leider nur theoretisch

31 CRUISING WELCHE NACHTEILE

32 WELCHE NACHTEILE? Noch jung wird von Jahr zu Jahr besser ;-) Performace Issues Mittels eigenem Webserver zu umgehen

33 LANDING UMSETZUNGKONZEPT

34 UMSETZUNGSKONZEPT

35 LANDING UMSETZUNGSMÖGLICHKEIT

36 WELCHE DATEIEN ZUR KONFIGURATION? Hauptkonfigurationsdatei /etc/puppet/puppet.conf [puppetmasterd] certname = puppetserver certdnsnames = puppet modulepath = /etc/puppet/modules/dist:/etc/puppet/modules/ site reports = tagmail,store,log external_nodes = /etc/puppet/nodes/bin/external_nodes.rb node_terminus = exec storeconfigs = true dbadapter = sqlite3 dblocation = /var/lib/puppet/storeconfigs.sqlite

37 WELCHE DATEIEN ZUR KONFIGURATION? Manifest /etc/puppet/manifests/site.pp node default { notice("${hostname} has no node definition") notice("i feel fine at home: ${home}") } include monitoring node 'puppet1' { notice("i want to be monitored: ${hostname}") include monitoring::target } node 'puppet2' { notice("i want to be monitored: ${hostname}") include monitoring::target }

38 WELCHE DATEIEN ZUR KONFIGURATION? Klasse für Monitoringkonfiguration /etc/puppet/modules/site/monitoring/manifests/init.pp class monitoring { # collect resources and populate /etc/nagios/nagios_*.cfg Nagios_host << >> Nagios_service << >> Nagios_hostextinfo << >> class target { $fqdn: ensure => present, alias => $hostname, address => $ipaddress, use => "generic-host", }...

39 WELCHE DATEIEN ZUR KONFIGURATION? Klassen /etc/puppet/modules/site/monitoring/manifests/init.pp class monitoring {... { $fqdn: ensure => present, icon_image_alt => $operatingsystem, icon_image => "base/$operatingsystem.png", statusmap_image => "base/$operatingsystem.gd2", } } { "check_ping_${hostname}": use => "check_ping", host_name => "$fqdn", }

40 WAS IST DAS ERGEBNIS? Puppetmaster /etc/nagios/* Clients (to be done) Check Plugin Package / Dateiverteilung /usr/local/icinga/libexec/* Nutzer und Zugriff (ssh keys) Monitoring Server (to be done).../icinga/etc/puppet_generated/*

41 WELCHE DATEIEN ZUR KONFIGURATION? Klassen /etc/puppet/modules/site/monitoring/manifests/init.pp class monitoring {... } group { icinga: ensure => "present", gid => 1000; } schedule { puppet: period => hourly, repeat => 6 } file { "/etc/passwd": owner => "root", group => "root", mode => 644 }

42 WIE SIEHT EIN MANIFEST AUS? Zentrale Verteilung einer Datei file { "authorized_keys": mode => 644, owner => icinga, group => icinga, path => "/usr/local/icinga/.ssh/authorized_keys", source => "puppet:///files/icinga/.ssh/authorized_keys" } ebenso zentrale Verteilung eines Verzeichnisses

43 WIE SIEHT EIN MANIFEST AUS? Hauptkonfigurationsdatei import "classes/*" $server = puppetmaster.localdomain" # global filebucket on server filebucket { main: server => $server } node puppet1.localdomain" { } include icinga_monitored

44 UMSETZUNGSMÖGLICHKEITEN Puppet Manifeste in SVN / GIT Syntaxcheck vor commit (pre-commit) vollständiger compile nur syntaxcheck Export bei valider Syntax (post-commit) Verteilung über Puppetmaster bereits fertig: Subversion_Commit_Hooks_Patterns Puppet_Version_Control

45 LANDING FRAGEN UND ANTWORTEN!?

46 Fragen und Antworten Jetzt und Hier NETWAYS GmbH Deutschherrnstrasse Nürnberg Twitter: twitter.com/netways blog.netways.de