Puppet im Monitoring-Umfeld

Transkript

1 Puppet im Monitoring-Umfeld Übersicht zum Einsatz von Nagios / Check_MK, unterstützt/gesteuert durch Puppet. Puppet im Monitoring-Umfeld 1 / 39

2 Vita: Sascha Brechmann Linux-User seit Debian Bo/Hamm Nagios-User seit 2005 Puppet-User seit 2010 Check_MK User seit 2010/2011 Projekt-Leader Customer-Cloud Projekt-Leader Puppet Projekt-Leader Log-Analyse Projekt-Leader Hadoop Puppet im Monitoring-Umfeld 2 / 39

3 Nagios-Umgebung, in welcher ich tätig bin Nodes (Server; VMs;Storage; Network Devices) >6.500 Services > Nagios/OMD Server >16 Locationen - Europe (Hannover 2 Datacenter) - Nord- / Süd-Amerika (Miami 1 Datacenter) - Asien / China (Shanghai 1 Datacenter) Puppet im Monitoring-Umfeld 3 / 39

4 Puppet Nagios_* Resources Vorraussetzungen: Exported Resources ist eingerichtet Server + Clients Puppet Managed Nagios-Config ist unter /etc/nagios zu finden Ein alternativer Path geht auch, dann funktioniert aber das automatische Löschen nicht mehr sauber Puppet im Monitoring-Umfeld 5 / 39

5 Puppet Nagios_* Resources Übersicht der wichtigsten Nagios Resourcen: nagios_host / nagios_hostgroup nagios_service / nagios_servicegroup nagios_contact / nagios_contactgroup nagios_timeperiod nagios_command => Puppet im Monitoring-Umfeld 6 / 39

6 Puppet Nagios Resources class nagios::client { package{ 'nagios-pluginsping': ensure => present, } #package # set resources and # populate # { $fqdn: ensure => present, alias => $hostname, address => $ipaddress, use => "generic-host", } { "check_ping_$ {hostname}": use => "check_ping", host_name => "$fqdn", } #nagios_service } #class Puppet im Monitoring-Umfeld 7 / 39

7 Puppet Nagios Resources class apache::vhost::monitoring { ## Check_HTTP Remote Host via { "check_http_${hostname}": use => "check-http", host_name => "$fqdn", } #nagios_service ## Check Apache Prozess via { "check_http_processes_${hostname}": use => "remote-nrpe-httpd-procs", host_name => "$fqdn", } #nagios_service } #class Puppet im Monitoring-Umfeld 8 / 39

8 Puppet Nagios Resources class nagios::server { package { 'nagios3' : ensure => installed, } #package service { 'nagios3' : ensure => running, require => Package[nagios3, } #service # collect resources and populate /etc/nagios/nagios_*.cfg Nagios_host << >> Nagios_service << >> } #class Puppet im Monitoring-Umfeld 9 / 39

9 Puppet-Check_MK-Module Puppet Modul zum Installieren von CMK/OMD Server.pp: class { 'check_mk': filestore => 'puppet:///files/check_mk', package => 'omd-1.10-rh61-31.x86_64.rpm', Site => 'customer-name', } #class Agent.pp: include check_mk::agent Puppet im Monitoring-Umfeld 10 / 39

10 Weitere Themen Advance Agent-Usage Host Templates MRPE Host-Dokumentation Exportierte Resourcen MK-Files Host_Parents local_checks plugin_checks Puppet im Monitoring-Umfeld 11 / 39

11 Advance Agent-Usage Setzen der Check_MK Tags via Puppet Beim Template Via Puppet check_mk_tags Variable bzw. hiera Via Puppet Facts FQDN Operationsystem usw. ->Facter Via Custom Facts Via if has_variable Setzen von Hostalias und Notes_/Action_URL Puppet im Monitoring-Umfeld 12 / 39

12 Puppet Tags im host.erb Template Statischer Text all_hosts += [ " <%= fqdn -%> CG_netde CG_customer <%= architecture -%> <%= operatingsystem -%> processorcount_<%= processorcount -%> network_<%= scope.lookupvar('::ipaddress').split(".")[0..2.join('_') -%> <% if hostname[/stage dev/ == nil %>tcp<% else %>ping<% end %> <% %>mysql_role_<%=mysql_role-%><%else%>no_mysql_role<%end%> <% %> <%= puppet_classes_csv.split(",").join(' ').split(":").join('_') -%> <%end%> <%= mktags.join(' ') %> ", extra_host_conf['alias' += [ ( '<%= hostname -%>', ['<%= fqdn -%>', ), extra_host_conf['notes_url' += [ ("/<%= omd_site -%>/wiki/doku.php?id=nagios_doku:hosts:<%= hostname -%>", ['<%= fqdn -%>', ), $OMD_ROOT/etc/check_mk/conf.d/$FQDN.mk + CMK -I $FQDN + CMK -O Puppet im Monitoring-Umfeld 13 / 39

13 Puppet Tags im host.erb Template Facter Fact all_hosts += [ " <%= fqdn -%> CG_netde CG_customer <%= architecture -%> <%= operatingsystem -%> processorcount_<%= processorcount -%> network_<%= scope.lookupvar('::ipaddress').split(".")[0..2.join('_') -%> <% if hostname[/stage dev/ == nil %>tcp<% else %>ping<% end %> <% %>mysql_role_<%=mysql_role-%><%else%>no_mysql_role<%end%> <%= mktags.join(' ') %> ", extra_host_conf['alias' += [ ( '<%= hostname -%>', ['<%= fqdn -%>', ), extra_host_conf['notes_url' += [ ("/<%= omd_site -%>/wiki/doku.php?id=nagios_doku:hosts:<%= hostname -%>", ['<%= fqdn -%>', ), $OMD_ROOT/etc/check_mk/conf.d/$FQDN.mk + CMK -I $FQDN + CMK -O Puppet im Monitoring-Umfeld 14 / 39

14 Puppet Tags im host.erb Template all_hosts += [ " <%= fqdn -%> CG_netde CG_customer <%= architecture -%> <%= operatingsystem -%> processorcount_<%= processorcount -%> network_<%= scope.lookupvar('::ipaddress').split(".")[0..2.join('_') -%> <% if hostname[/stage dev/ == nil %>tcp<% else %>ping<% end %> <% %>mysql_role_<%=mysql_role-%><%else%>no_mysql_role<%end%> <%= mktags.join(' ') %> ", extra_host_conf['alias' += [ ( '<%= hostname -%>', ['<%= fqdn -%>', ), extra_host_conf['notes_url' += [ ("/<%= omd_site -%>/wiki/doku.php?id=nagios_doku:hosts:<%= hostname -%>", ['<%= fqdn - %>', ), $OMD_ROOT/etc/check_mk/conf.d/$FQDN.mk + CMK -I $FQDN + CMK -O if; than; else Schleife Puppet im Monitoring-Umfeld 15 / 39

15 Puppet Tags im host.erb Template all_hosts += [ Transformation einer Variable " <%= fqdn -%> CG_netde CG_customer <%= architecture -%> <%= operatingsystem -%> processorcount_<%= processorcount -%> network_<%= scope.lookupvar('::ipaddress').split(".")[0..2.join('_') -%> <% if hostname[/stage dev/ == nil %>tcp<% else %>ping<% end %> <% %>mysql_role_<%=mysql_role-%><%else%>no_mysql_role<%end%> <%= mktags.join(' ') %> ", extra_host_conf['alias' += [ ( '<%= hostname -%>', ['<%= fqdn -%>', ), extra_host_conf['notes_url' += [ ("/<%= omd_site -%>/wiki/doku.php?id=nagios_doku:hosts:<%= hostname -%>", ['<%= fqdn -%>', ), $OMD_ROOT/etc/check_mk/conf.d/$FQDN.mk + CMK -I $FQDN + CMK -O Puppet im Monitoring-Umfeld 16 / 39

16 Puppet Tags im host.erb Template all_hosts += [ " <%= fqdn -%> CG_netde CG_customer <%= architecture -%> <%= operatingsystem -%> processorcount_<%= processorcount -%> network_<%= scope.lookupvar('::ipaddress').split(".")[0..2.join('_') -%> <% if hostname[/stage dev/ == nil %>tcp<% else %>ping<% end %> <% %>mysql_role_<%=mysql_role-%><%else%>no_mysql_role<%end%> <%= mktags.join(' ') %> ", Überprüfung ob eine Variable gesetzt ist extra_host_conf['alias' += [ ( '<%= hostname -%>', ['<%= fqdn -%>', ), extra_host_conf['notes_url' += [ ("/<%= omd_site -%>/wiki/doku.php?id=nagios_doku:hosts:<%= hostname -%>", ['<%= fqdn -%>', ), $OMD_ROOT/etc/check_mk/conf.d/$FQDN.mk + CMK -I $FQDN + CMK -O Puppet im Monitoring-Umfeld 17 / 39

17 Puppet Tags im host.erb Template all_hosts += [ " <%= fqdn -%> CG_netde CG_customer <%= architecture -%> <%= operatingsystem -%> processorcount_<%= processorcount -%> network_<%= scope.lookupvar('::ipaddress').split(".")[0..2.join('_') -%> <% if hostname[/stage dev/ == nil %>tcp<% else %>ping<% end %> <% %>mysql_role_<%=mysql_role-%><%else%>no_mysql_role<%end%> <%= mktags.join(' ') %> ", Puppet-Array extra_host_conf['alias' += [ ( '<%= hostname -%>', ['<%= fqdn -%>', ), extra_host_conf['notes_url' += [ ("/<%= omd_site -%>/wiki/doku.php?id=nagios_doku:hosts:<%= hostname -%>", ['<%= fqdn -%>', ), $OMD_ROOT/etc/check_mk/conf.d/$FQDN.mk + CMK -I $FQDN + CMK -O Puppet im Monitoring-Umfeld 18 / 39

18 all_hosts += [ " <%= fqdn -%> CG_netde CG_customer <%= architecture -%> <%= operatingsystem -%> processorcount_<%= processorcount -%> network_<%= scope.lookupvar('::ipaddress').split(".")[0..2.join('_') -%> <% if hostname[/stage dev/ == nil %>tcp<% else %>ping<% end %> <% %>mysql_role_<%=mysql_role-%><%else%>no_mysql_role<%end%> <% %> <%= puppet_classes_csv.split(",").join(' ').split(":").join('_') -%> <%end%> <%= mktags.join(' ') %> ", extra_host_conf['alias' += [ ( '<%= hostname -%>', ['<%= fqdn -%>', ), extra_host_conf['notes_url' += [ ("/<%= omd_site -%>/wiki/doku.php?id=nagios_doku:hosts:<%= hostname -%>", ['<%= fqdn -%>', ), Puppet Tags im host.erb Template Custom Puppet-Fact, welcher alle Puppet-Klassen eines Hosts enthält. ->/var/lib/puppet/classes.txt $OMD_ROOT/etc/check_mk/conf.d/$FQDN.mk + CMK -I $FQDN + CMK -O Puppet im Monitoring-Umfeld 19 / 39

19 Puppet Tags im host.erb Template all_hosts += [ " <%= fqdn -%> CG_netde CG_customer <%= architecture -%> <%= operatingsystem -%> processorcount_<%= processorcount -%> network_<%= scope.lookupvar('::ipaddress').split(".")[0..2.join('_') -%> <% if hostname[/stage dev/ == nil %>tcp<% else %>ping<% end %> <% %>mysql_role_<%=mysql_role-%><%else%>no_mysql_role<%end%> <%= mktags.join(' ') %> ", Setzen von host-spezifischem Alias extra_host_conf['alias' += [ ( '<%= hostname -%>', ['<%= fqdn -%>', ), extra_host_conf['notes_url' += [ ("/<%= omd_site -%>/wiki/doku.php?id=nagios_doku:hosts:<%= hostname -%>", ['<%= fqdn -%>', ), $OMD_ROOT/etc/check_mk/conf.d/$FQDN.mk + CMK -I $FQDN + CMK -O Puppet im Monitoring-Umfeld 20 / 39

20 Puppet Tags im host.erb Template all_hosts += [ " <%= fqdn -%> CG_netde CG_customer <%= architecture -%> <%= operatingsystem -%> processorcount_<%= processorcount -%> network_<%= scope.lookupvar('::ipaddress').split(".")[0..2.join('_') -%> <% if hostname[/stage dev/ == nil %>tcp<% else %>ping<% end %> <% %>mysql_role_<%=mysql_role-%><%else%>no_mysql_role<%end%> <%= mktags.join(' ') %> ", extra_host_conf['alias' += [ ( '<%= hostname -%>', ['<%= fqdn -%>', ), extra_host_conf['notes_url' += [ ("/<%= omd_site -%>/wiki/doku.php?id=nagios_doku:hosts:<%= hostname -%>", ['<%= fqdn -%>', ), $OMD_ROOT/etc/check_mk/conf.d/$FQDN.mk + CMK -I $FQDN + CMK -O via exportierter Resource Puppet im Monitoring-Umfeld 21 / 39

21 Advance Agent-Usage Nutzung von Puppet-Concat um Agent-Konfig- Files aus Fragmenten zu erstellen /etc/check_mk/mrpe.cfg /etc/check_mk/logwatch.cfg /etc/check_mk/fileinfo.cfg Puppet im Monitoring-Umfeld 22 / 39

22 Check_MK MRPE Nagios NRPE Ersatz, sehr gut geeignet um lokale Nagios-Checks mit den Nagios-Plugins durch zuführen. Leider werden alle Checks mit dem gleichen Interval ausgeführt wie der Agent (default= 1min), es gibt aber einen Patch um dieses zu ändern Puppet im Monitoring-Umfeld 23 / 39

23 Puppet-Concat mrpe.cfg # Build mrpe.cfg from Fragments!!! concat{'/etc/check_mk/mrpe.cfg': Mode => '0644', owner => root, group => root, require => File['/etc/check_mk', } # concat concat::fragment{'mrpe.cfg_header': target => '/etc/check_mk/mrpe.cfg', TARGET muss vorher definiert sein!!! content => template('check_mk/mrpe_head_cfg.erb'), order => 01, } #concat::fragment concat::fragment{'mrpe.cfg_user_logged_in': Fragmente können überall erstellt werden. target => '/etc/check_mk/mrpe.cfg', Diese werden dann zusammen gesetzt in einer Datei. content => "User_Logged_in /usr/lib64/nagios/plugins/check_users -w 4 -c 6\n", order => 10, } #concat::fragment Puppet im Monitoring-Umfeld 24 / 39

24 Host-Dokumentation ==== General ==== ^ Hostname <%= hostname -%> ^ Domain <%= domain -%> ^ Virtualisiert <%= is_virtual -%>, <%= virtual -%> ^ CPU vcpu ^ Summe CPUs/Cores <%= physicalprocessorcount -%> / <%= processorcount -%> ^ RAM <%= memorysize -%> ^ Swap <%= swapsize -%> ^ Size HDD <% if defined? lvm_pv_size %><% then %><%= lvm_pv_size %><% end %> ^ OS-Version <%= kernel -%> <%= operatingsystem -%> <%= operatingsystemrelease -%> ^ Kernel-Version <%= kernelrelease -%> ^ Zeitzone <%= timezone -%> ==== Network ==== ^ Interfaces <%= interfaces -%> ^ IPs <%= ipaddress -%> ^ MACs <%= macaddress -%> ==== Zugewiesene Puppet Klassen ==== <% classes.each do klass -%> <%= klass -%> \\ <% end -%> { "${wiki_confdir}/hosts/${::hostname}.txt": content => template('check_mk/wiki_hosts.txt.erb'), } #file Puppet im Monitoring-Umfeld 25 / 39

25 Host-Dokumentation Bild vom Doku Wiki!!! Puppet im Monitoring-Umfeld 26 / 39

26 Doku-Agent Der Doku-Agent ist ein Bash/Shell Skript, auf das via xinetd zugegriffen werden kann. Hier werden umfangreiche Systeminformationen gesammelt. Beispielsweise: - Block-Disk Devices - LVM Devices - Mount-Points - Installierte Software - Puppet-Klassen - Installations-Log (lokale Datei auf dem System) Puppet im Monitoring-Umfeld 27 / 39

27 Doku-Agent #!/bin/bash #make sure tools work as expected LANG=C #this specifies which Headline level is used HL='====' echo "" echo -e "$HL PCI $HL\n" echo "^ Bus Address ^ Device Class ^ Details ^" /sbin/lspci \ sed 's/\([0-9\{2\}:[0-9a-z\{2\}.[0-9\)\([a-za-z0-9() \+\):\(.*\)$/ \1 \2 \3 /g' echo echo -e "$HL Filesystems $HL\n" df -hpt -x tmpfs awk '{print " " $1 " " $2 " " $3 " " $7 " "}' echo echo -e "$HL Filesystems LVM $HL\n" echo "<code>" /sbin/lvdisplay echo "</code>" if [ "$(ls -1d /sys/block/sd* 2> /dev/null)" ; then echo -e "$HL SCSI devices $HL\n" for DEV in `ls -1d /sys/block/sd* sed 's/.*\///'` do MODEL=`cat /sys/block/ $DEV/device/model` fi SIZE=`cat /sys/block/$dev/size` SIZE=`expr $SIZE / ` echo " /dev/$dev $MODEL $SIZE GB " done echo echo "</code>" echo -e "$HL Software $HL\n" echo "<code>" yum list installed -C -q echo "</code>" Puppet im Monitoring-Umfeld 28 / 39

28 MK-Files Puppet File Resource $OMD_ROOT/etc/check_mk/conf.d/ extra_host_conf.mk extra_host_conf['notification_period' = [ # ( 'Nagios-Notification-Period-Name', [ 'TAG1', 'TAG2', 'TAG3', ALL_HOSTS ), extra_service_conf.mk extra_service_conf["max_check_attempts" = [ ("5", ALL_HOSTS, ["") check_parameters = [ # ( (warn, crit), [ 'tag1, 'tag2', ALL_HOSTS, [ "check_name"), Puppet im Monitoring-Umfeld 29 / 39

29 Host_Parents Puppet kennt das Netz und das default GW Fact ipaddress + Custom-Fact gateway check_mk TAG im Host.ERP Template parent.mk: parents = [ ## Parent -> Hostname #( "Nagios-Parent-Name", [ "Nagios_Host_Name1" ) ## Parent -> TAG #( "Nagios-Parent-Name2", ["TAG1", ALL_HOSTS ), Puppet im Monitoring-Umfeld 30 / 39

30 Hosts-Groups Erzeugen von dynamischen Host-Groups auf Basis des Custom-Facts Puppet_classes_csv Alle Host, welche das Tag mysql server (das ist die Puppet-classe mysql::server in umgewandelter Form) haben sollen in die Hostgrouppe MySQL-Server Erzeugen von dynamischen Host-Groups auf Basis der IP (Front-/Back-/Verwaltungs-LAN) Erzeugen von dynamischen Host-Groups auf Basis des Environment (DEV; Stage; QA; Prod) Puppet im Monitoring-Umfeld 31 / 39

31 Plugin_Checks Check_MK Systemtime: Interessant bei VMs, da dort kein NTP vorhanden sein muss. /usr/lib/check_mk_agent/plugins/systemtime: #!/bin/bash /bin/echo '<<<systemtime>>>' /bin/date '+%s' Damit wird der Windows -Check Systemtime unter Linux benutzbar. Ein einfacher Check ob die Systemtime OK ist. Puppet im Monitoring-Umfeld 33 / 39

32 Weitere Plugin_Checks apache_status check_puppet (->github.com; Status des Puppet-Agent) mk_logwatch mk_postgres / mk_mysql mk_job (Überwachung von Cronjobs) agent_vsphere (VMWare ESXi + VCenter) agent_emcvnx (EMC VNX Storage) Check_ipmi remote (ilo / idrac with own interface) check_bi_local Puppet im Monitoring-Umfeld 34 / 39

33 Host-Icons zur besseren Übersichtlichkeit Zuordnung von Host-Icons zu Tags Tag mysql server -> MySQL Icon Tag apache vhost -> Apache Icon Beim Überscheidungen von mehreren Tags gilt das Prinzip first match. D.H. Wir haben spezifischere Icons (Blog/WebShop/Media-Sites) in der Reihenfolge weiter oben und dann eher unspezifische Icons wie Apache-Webserver Am besten offizielle Pojekt-Icons nutzen (48x48) Puppet im Monitoring-Umfeld 35 / 39

34 Host-Icons directory Icons müssen meistens noch in die OMD Site kopiert werden. Hierfür bietet sich eine Puppet-File- Resource an: File{'${omd_root}/...: ensure => directory, recurse => true, purge => true, source => puppet:///modules/check_mk/icons } #file Puppet im Monitoring-Umfeld 36 / 39

35 Beispiele für Icons-Regeln Icons.mk: extra_host_conf["icon_image" = [ # spezific icons ( 'webshop.png', ['customer_webshop', ALL_HOSTS ), ( 'blog.png', ['customer_blog', ALL_HOSTS ), # generic icons ( 'mysql.png', ['mysql server', ALL_HOSTS ), ( 'apache.png', ['apache vhost', ALL_HOSTS ), ( 'centos.png', ['centos', ALL_HOSTS ), # all hosts with tag 'linux' ( 'tux.png', ['linux', ALL_HOSTS ), # all hosts with tag 'linux' Puppet im Monitoring-Umfeld 37 / 39

36 Fragen??? Puppet im Monitoring-Umfeld 39 / 39