Workshop Failover monitoring

Transkript

1 Workshop Failover monitoring Nagios-Cluster mit Heartbeat und DRBD Martin Hefter Schenker Deutschland AG September 2008

2 Zur Person Erfahrungen mit Nagios Zwei kleinere Nagios-Projekte für das Rechenzentrum der Hochschule Furtwangen Planung und Umsetzung der Nagios-Überwachung für das Hess. Landesamt für Bodenmanagement und Geoinformation (früher Hess. Landesvermessungsamt) 2. Praxissemester bei NETWAYS GmbH Diplomarbeit zum Thema: Analyse, Überwachung und Auswertung von Geschäftsprozessen mit Nagios seit Mai 2008 Leiter EDV im Zentral-HUB der Schenker Deutschland AG in Friedewald M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 2 von 37

3 Zur Person Erfahrungen mit Nagios Zwei kleinere Nagios-Projekte für das Rechenzentrum der Hochschule Furtwangen Planung und Umsetzung der Nagios-Überwachung für das Hess. Landesamt für Bodenmanagement und Geoinformation (früher Hess. Landesvermessungsamt) 2. Praxissemester bei NETWAYS GmbH Diplomarbeit zum Thema: Analyse, Überwachung und Auswertung von Geschäftsprozessen mit Nagios seit Mai 2008 Leiter EDV im Zentral-HUB der Schenker Deutschland AG in Friedewald M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 2 von 37

4 Agenda 1 Vorbereitung 2 Distributed Replicated Block Device (DRBD) 3 Heartbeat 4 Nagios 5 DNX 6 Ende M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 3 von 37

5 Neuer Abschnitt 1 Vorbereitung 2 Distributed Replicated Block Device (DRBD) 3 Heartbeat 4 Nagios 5 DNX 6 Ende M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 4 von 37

6 Über diesen Workshop... Ziel Dieser Workshop zeigt eine Variante für die Umsetzung eines hochverfügbaren Monitoring-Clusters mit Nagios DRBD und Heartbeat. Versionsübersicht Debian 4.1 (etch) Nagios (source) DRBD 0.7 Heartbeat M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 5 von 37

7 Über diesen Workshop... Ziel Dieser Workshop zeigt eine Variante für die Umsetzung eines hochverfügbaren Monitoring-Clusters mit Nagios DRBD und Heartbeat. Versionsübersicht Debian 4.1 (etch) Nagios (source) DRBD 0.7 Heartbeat M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 5 von 37

8 Struktur des virtuellen Clusters M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 6 von 37

9 Vorbereitung Zeitsynchronisation im Cluster /etc/cron.hourly/ntpdate #!/ bin / bash / usr / bin / test -x / usr / sbin / ntpdate && / usr / sbin / ntpdate pool. ntp. org >> / var / log / ntpdate. log M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 7 von 37

11 Funktionsweise von DRBD M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 9 von 37

12 Installation von DRBD und node2 Installation mit apt-get install 1 build-essential 2 module-assistant 3 drbd0.7-module-source 4 drbd0.7-utils 5 drbdlinks M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 10 von 37

13 Installation von DRBD und node2 Installation mit apt-get install 1 build-essential 2 module-assistant 3 drbd0.7-module-source 4 drbd0.7-utils 5 drbdlinks Kompilieren des Kernel-Modules module-assistant auto-install drbd0.7-module-source M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 10 von 37

14 Konfiguration von DRBD /etc/drbd.conf (Teil 1) resource r0 { protocol C; incon -degr - cmd " echo! DRBD! pri on incon -degr [...] "; disk { on -io - error detach ; } net { on - disconnect reconnect ; } syncer { rate 10M; group 1; al - extents 257; } M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 11 von 37

15 Konfiguration von DRBD /etc/drbd.conf (Teil 2) on { device / dev / drbd0 ; disk / dev / sda7 ; address :7788; meta - disk internal ; } on node2 { device / dev / drbd0 ; disk / dev / sda7 ; address :7788; meta - disk internal ; } M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 12 von 37

16 Testen von DRBD Initialisieren von DRBD 1 scp /etc/drbd.conf node2:/etc 2 /etc/init.d/drbd start 3 drbdadm primary all 4 drbdsetup /dev/drbd0 primary do-what-i-say M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 13 von 37

17 Testen von DRBD Initialisieren von DRBD 1 mkfs.ext3 /dev/drbd0 2 mkdir /cluster 3 mount /dev/drbd0 /cluster M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 13 von 37

18 Testen von DRBD node2 Überprüfen der Funktion 1 mkdir /cluster 2 /etc/init.d/drbd start 3 cat /proc/drbd Ausgabe: version: (api:79/proto:74) SVN Revision: 2326 build by root@node2, :54:11 0: cs:connected st:secondary/primary ld:consistent ns:0 nr:50856 dw:50856 dr:0 al:0 bm:12 lo:0 pe:0 ua:0 ap:0 M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 13 von 37

19 Testen von DRBD node2 Überprüfen der Funktion 1 mkdir /cluster 2 /etc/init.d/drbd start 3 cat /proc/drbd Ausgabe: version: (api:79/proto:74) SVN Revision: 2326 build by root@node2, :54:11 0: cs:connected st:secondary/primary ld:consistent ns:0 nr:50856 dw:50856 dr:0 al:0 bm:12 lo:0 pe:0 ua:0 ap:0 M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 13 von 37

20 Testen von DRBD node2 Ausgabe: version: (api:79/proto:74) SVN Revision: 2326 build by :54:11 0: cs:connected st:secondary/primary ld:consistent ns:0 nr:50856 dw:50856 dr:0 al:0 bm:12 lo:0 pe:0 ua:0 ap:0 Aushängen von /dev/drbd0 umount /cluster M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 13 von 37

22 Installation von Heartbeat und node2 Installation mit apt-get install heartbeat M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 15 von 37

23 Konfiguration von Heartbeat Konfigurationsdateien vorbereiten 1 zcat /usr/share/doc/heartbeat/ha.cf.gz /etc/ha.d/ha.cf 2 zcat /usr/share/doc/heartbeat/haresources.gz /etc/ha.d/haresources 3 cp /usr/share/doc/heartbeat/authkeys /etc/ha.d/ 4 chmod 600 /etc/ha.d/authkeys M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 16 von 37

27 Konfiguration von Heartbeat /etc/ha.d/authkeys 1 auth crc M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 17 von 37

28 Konfiguration von Heartbeat /etc/ha.d/ha.cf 1 debugfile /var/log/ha-debug 2 logfile /var/log/ha-log 3 logfacility local0 4 keepalive 2 5 deadtime 30 6 warntime 10 7 initdead udpport bcast eth1 10 auto failback on 11 node node2 M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 18 von 37

39 Konfiguration von Heartbeat /etc/ha.d/haresources IPaddr:: /24/eth0 Hinweis Diese Datei wird im Laufe des Workshops weiter ergänzt. M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 19 von 37

40 Das Herz beginnt zu schlagen... /etc/ha.d/ 1 scp -r /etc/ha.d node2:/etc 2 /etc/init.d/heartbeat start node2 /etc/ha.d/ /etc/init.d/heartbeat start M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 20 von 37

41 Das Herz beginnt zu schlagen... /etc/ha.d/ 1 scp -r /etc/ha.d node2:/etc 2 /etc/init.d/heartbeat start node2 /etc/ha.d/ /etc/init.d/heartbeat start M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 20 von 37

42 Integration von DRBD in Heartbeat /etc/ha.d/haresources 1 IPaddr:: /24/eth0 drbddisk::r0 Filesystem::/dev/drbd0::/cluster::ext3 2 scp /etc/ha.d/haresources node2:/etc/ha.d/ und node2 Heartbeat neu starten /etc/init.d/heartbeat restart M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 21 von 37

43 Integration von DRBD in Heartbeat /etc/ha.d/haresources 1 IPaddr:: /24/eth0 drbddisk::r0 Filesystem::/dev/drbd0::/cluster::ext3 2 scp /etc/ha.d/haresources node2:/etc/ha.d/ und node2 Heartbeat neu starten /etc/init.d/heartbeat restart M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 21 von 37

44 Halbzeit Kurze Pause M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 22 von 37

46 Installation von Nagios und node2 Installation mit apt-get install 1 apache2 2 weitere Pakete nach Bedarf M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 24 von 37

47 Installation von Nagios und node2 Benutzer und Gruppen hinzufügen (/root/scripts/createuser.sh) 1 groupadd -g 9000 nagios 2 groupadd -g 9001 nagcmd 3 useradd -u g nagios -G nagcmd -d /usr/local/nagios nagios Hinweis Es ist wichtig darauf zu achten, dass die Benutzer und Gruppen, die für Nagios verwendet werden, auf beiden Knoten die gleiche UID erhalten. M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 24 von 37

48 Installation von Nagios und node2 Nagios übersetzen und installieren (/root/scripts/installnagios.sh) Nagios nach Dokumentation übersetzen und installieren. Für diesen Workshop wurde folgende Verzeichnisstruktur gewählt: prefix = /usr/local/nagios sysconfdir = /etc/nagios localstatedir = /var/nagios Hinweis Auf node2 sind nur make all, make install und make install-commandmode erforderlich. M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 24 von 37

49 Integration von Nagios in heartbeat und node2 Apache stoppen und Autostart deaktivieren 1 /etc/init.d/apache2 stop 2 Autostart von Nagios und Apache deaktivieren M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 25 von 37

50 Integration von Nagios in heartbeat Konfigurationsdaten verschieben 1 mkdir /cluster/etc 2 mkdir -p /cluster/var/nagios 3 chown nagios.nagios /cluster/var/nagios/ 4 mv /etc/apache2 /cluster/etc 5 mv /etc/nagios /cluster/etc M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 26 von 37

51 Integration von Nagios in heartbeat init-skripte verschieben 1 mv /etc/init.d/nagios /etc/ha.d/resource.d/ 2 mv /etc/init.d/apache2 /etc/ha.d/resource.d/ M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 26 von 37

52 Integration von Nagios in heartbeat /cluster/etc/nagios/nagios.cfg 1 state retention file=/cluster/var/nagios/retention.dat 2 retention update interval=5 M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 26 von 37

53 Integration von Nagios in heartbeat /etc/drbdlinks.conf 1 mountpoint( /cluster ) 2 link( /etc/apache2 ) 3 link( /etc/nagios ) M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 27 von 37

54 Integration von Nagios in heartbeat /etc/ha.d/haresources IPaddr:: /24/eth0 drbddisk::r0 Filesystem::/dev/drbd0::/cluster::ext3 drbdlinks apache2 nagios M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 27 von 37

55 Integration von Nagios in heartbeat Konfiguration auf node2 übernehmen scp -r /etc/drbdlinks.conf /etc/ha.d/ node2:/etc M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 27 von 37

56 Nodes überwachen Hinweis (/root/scripts/installnrpe.sh) Für alle Checks NRPE oder check by ssh verwenden. Clusterknoten mit Nagios überwachen 1 check_heartbeat_link von Brandon Lee Poyner 2 check_drbd von Brandon Lee Poyner M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 28 von 37

57 Nodes überwachen Hinweis (/root/scripts/installnrpe.sh) Für alle Checks NRPE oder check by ssh verwenden. Clusterknoten mit Nagios überwachen 1 check_heartbeat_link von Brandon Lee Poyner 2 check_drbd von Brandon Lee Poyner M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 28 von 37

58 Nagios mit Heartbeat starten und node2 Heartbeat neu starten... /etc/init.d/heartbeat restart M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 29 von 37

59 Nagios überwachen /usr/local/sbin/monitornagios.sh #!/ bin / bash check_nagios ="/ usr / local / nagios / libexec / check_nagios " logfile ="/ var / nagios / nagios. log " expires =15 procstr ="/ usr / local / nagios / bin / nagios " output = $check_nagios -F $logfile -e $expires -C $procstr if [ $? -eq 0 ] then exit 0 else echo " ERROR : " $output mailx -s " Failover " admin@example. com / usr / lib / heartbeat / hb_standby / sbin / shutdown -F +5 " $output " fi M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 30 von 37

60 Nagios überwachen /usr/local/sbin/monitornagios.sh Service Monitoring Daemon M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 31 von 37

62 Aktueller Stand Distributed Nagios executor (DNX) Aktuelle Version 0.18 Nutzung der Hardware-Ressourcen des Standby-Knotens Sehr geringer Konfigurationsaufwand Hinweis DNX befindet sich noch in der ALPHA-Phase der Entwicklung und sollte nicht auf Produktivsystemen verwendet werden. M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 33 von 37

63 Aktueller Stand Distributed Nagios executor (DNX) Aktuelle Version 0.18 Nutzung der Hardware-Ressourcen des Standby-Knotens Sehr geringer Konfigurationsaufwand Hinweis DNX befindet sich noch in der ALPHA-Phase der Entwicklung und sollte nicht auf Produktivsystemen verwendet werden. M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 33 von 37

64 Funktionsweise M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 34 von 37

65 Installation Hinweis Um DNX verwenden zu können, ist es zurzeit noch erforderlich, den Nagios-Sourcecode zu patchen. /usr/local/src/nagios patch -p 1 < /usr/local/src/dnx-0.18/nagios/nagios- 3.x/nagios-3.0-dnx.patch M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 35 von 37

66 Installation und node2 Installation mit apt-get install libltdl3-dev Installation 1 DNX-Server Komponenten auf installieren 2 DNX-Client Komponenten auf node2 installieren M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 35 von 37

67 Installation /usr/local/src/dnx /configure prefix=/opt/dnx with-nagios3x 2 make all 3 make install-server 4 make install-servercfg M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 35 von 37

68 Installation /opt/dnx/etc/dnxserver.cfg 1 channeldispatcher = udp:// : channelcollector = udp:// : authworkernodes = , /etc/nagios/nagios.cfg broker module=/opt/dnx/lib/dnxserver.so /opt/dnx/etc/dnxserver.cfg M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 35 von 37

69 Installation /etc/nagios/nagios.cfg broker module=/opt/dnx/lib/dnxserver.so /opt/dnx/etc/dnxserver.cfg Nagios-Konfiguration neu laden /etc/ha.d/resource.d/nagios reload M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 35 von 37

70 Installation node2 /usr/local/src/dnx /configure prefix=/opt/dnx with-nagios3x 2 make all 3 make install-client 4 make install-clientcfg /opt/dnx/etc/dnxclient.cfg 1 channelagent = udp:// : channeldispatcher = udp:// : channelcollector = udp:// :12481 M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 35 von 37

71 Installation node2 /opt/dnx/etc/dnxclient.cfg 1 channelagent = udp:// : channeldispatcher = udp:// : channelcollector = udp:// :12481 DNX Client starten /etc/init.d/dnxcld start M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 35 von 37

73 Ende Fragen? Slides TEXed with L A TEX-Beamer M. Hefter - Nagios Konferenz 2008 Workshop Failover monitoring 37 von 37