Barth Schneemann Oestreicher: Nagios

Transkript

1 r ❶ r t t3 t s

2 Barth Schneemann Oestreicher: Nagios

3

4 Wolfgang Barth Christian Schneemann Tobias D. Oestreicher Nagios System- und Netzwerk-Monitoring 3. Auflage

5 Alle in diesem Buch enthaltenen Programme, Darstellungen und Informationen wurden nach bestem Wissen erstellt. Dennoch sind Fehler nicht ganz auszuschließen. Aus diesem Grunde sind die in dem vorliegenden Buch enthaltenen Informationen mit keiner Verpflichtung oder Garantie irgendeiner Art verbunden. Autor(en), Herausgeber, Übersetzer und Verlag übernehmen infolgedessen keine Verantwortung und werden keine daraus folgende Haftung übernehmen, die auf irgendeine Art aus der Benutzung dieser Informationen oder Teilen davon entsteht, auch nicht für die Verletzung von Patentrechten, die daraus resultieren können. Ebenso wenig übernehmen Autor(en) und Verlag die Gewähr dafür, dass die beschriebenen Verfahren usw. frei von Schutzrechten Dritter sind. Die in diesem Werk wiedergegebenen Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. werden ohne Gewährleistung der freien Verwendbarkeit benutzt und können auch ohne besondere Kennzeichnung eingetragene Marken oder Warenzeichen sein und als solche den gesetzlichen Bestimmungen unterliegen. Dieses Werk ist urheberrechtlich geschützt. Alle Rechte, auch die der Übersetzung, des Nachdrucks und der Vervielfältigung des Buches oder Teilen daraus vorbehalten. Kein Teil des Werkes darf ohne schriftliche Genehmigung des Verlags in irgendeiner Form (Druck, Fotokopie, Mikrofilm oder einem anderen Verfahren), auch nicht für Zwecke der Unterrichtsgestaltung, reproduziert oder unter Verwendung elektronischer Systeme verarbeitet, vervielfältigt oder verbreitet werden. Bibliografische Information Der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über abrufbar. Copyright 2012 Open Source Press GmbH, München Gesamtlektorat: Dr. Markus Wirtz Lektorat: Franz Mayer Satz: Open Source Press (LATEX) Umschlaggestaltung: Olga Saborov, Open Source Press Gesamtherstellung: Kösel, Krugzell ISBN der gedruckten Ausgabe: ISBN (E-Book, PDF)

6 Inhaltsverzeichnis Vorwort zur dritten Auflage 21 Einleitung 23 I Vom Quellcode zum lauffähigen System 31 1 Installation Vorbereitende Schritte Benötigte User ermitteln und anlegen Source-Code übersetzen Nagios automatisch starten Plugins installieren und testen Installation Plugin-Test Konfiguration des Webinterfaces Apache einrichten SELinux User-Authentifizierung Konfiguration Die Hauptkonfigurationsdatei nagios.cfg Objekte eine Übersicht Zu überwachende Rechner mit host festlegen Rechner gruppieren mit hostgroup Zu überwachende Dienste festlegen mit service Dienste mit servicegroup zusammenfassen

7 Inhaltsverzeichnis 2.7 Adressaten für Fehlermeldungen festlegen: contact Die Nachrichtenempfänger: contactgroup Wenn Nagios etwas tun soll: Das command-objekt Zeitfenster definieren mit timeperiod Templates Konfigurationshilfen für Tippfaule Services für mehrere Rechner definieren Eine Hostgruppe für alle Rechner Weitere Konfigurationshilfen Vererbung CGI-Konfiguration in cgi.cfg Die Ressourcen-Datei resource.cfg Inbetriebnahme Überprüfen der Konfiguration Startschuss für die Überwachung Manueller Start Konfigurationsänderungen wirksam werden lassen Übersicht über das Webinterface II Im Detail 87 4 Grundlagen Die Netzwerktopologie berücksichtigen On-Demand-Host-Checks vs. regelmäßige Prüfung Zustände von Hosts und Services Service-Checks und ihre Ausführung Netzwerkdienste direkt prüfen Plugins via SSH auf dem entfernten Rechner ausführen Der Nagios Remote Plugin Executor Überwachung via SNMP Der Nagios Service Check Acceptor

8 Inhaltsverzeichnis 6 Plugins für Netzwerkdienste Standardoptionen Erreichbarkeitstest mit Ping check_icmp als Service-Check check_icmp als Host-Check Mailserver überwachen SMTP überwachen mit check_smtp POP und IMAP Überwachung von FTP- und Webservern FTP-Services Webserverkontrolle via HTTP Webproxies überwachen Domain Name Server unter Kontrolle DNS-Check mit nslookup Nameserver-Überwachung mit dig Secure Shell Server abfragen Generische Netzwerkplugins TCP-Ports überprüfen UDP-Ports überwachen Datenbanken überwachen PostgreSQL MySQL LDAP-Verzeichnisdienste überwachen Kontrolle eines DHCP-Servers USV-Überwachung mit den Network UPS Tools Gesundheitscheck eines NTP-Servers mit check_ntp_peer Lokale Ressourcen überprüfen Freie Festplattenkapazität Auslastung des Swap-Bereichs Systemlast prüfen Prozesse überwachen Logfiles unter Kontrolle Das Standard-Plugin check_log

9 Inhaltsverzeichnis Die moderne Variante: check_logs.pl Das Schweizer Taschenmesser: check_logfiles Anzahl der eingeloggten User im Blick behalten Systemzeit unter Kontrolle Systemzeit via NTP überprüfen Systemzeit mit dem Time-Protokoll kontrollieren Regelmäßiger Einblick in den Zustand der Mail-Queue Das Änderungsdatum einer Datei im Auge behalten USVs mit apcupsd überwachen Nagios kontrolliert sich selbst Manueller Aufruf des Plugins per Skript Hardware-Checks mit LM-Sensoren Plugins für Sonderaufgaben Das Dummy-Plugin für Tests Plugin-Ergebnisse negieren Hyperlinks einfügen mit urlize Host- oder Service-Cluster als Gesamtheit prüfen Checks mit check_multi zusammenfassen Mehrzeiliger Plugin-Output Installationsvoraussetzungen Installation und Test Konfigurationsdatei Kommandozeilenparameter Performancedaten und PNP Einfaches Business-Prozess-Monitoring Plugins via SSH ausführen Das check_by_ssh-plugin SSH-Konfiguration SSH-Schlüsselpaar auf dem Nagios-Server generieren Den User nagios auf dem Zielhost einrichten SSH-Verbindung und check_by_ssh testen Nagios-Konfiguration

10 Inhaltsverzeichnis 10 Der Nagios Remote Plugin Executor (NRPE) Installation Distributionsspezifische Pakete Installation aus dem Quellcode Start via Inet-Daemon xinetd-konfiguration inetd-konfiguration Wacht der Inet-Daemon am NRPE-Port? NRPE-Konfiguration auf dem zu überwachenden Rechner Parameterübergabe an die lokalen Plugins NRPE-Funktionstest Nagios-Konfiguration NRPE ohne Parameter-Übergabe NRPE mit Parameter-Übergabe Optimierung der Konfiguration Indirekte Checks Überwachungsrelevante Informationen sammeln mit SNMP Einführung in SNMP Die Management Information Base SNMP-Versionen NET-SNMP Werkzeuge zur SNMP-Abfrage Der NET-SNMP-Daemon Nagios-eigene SNMP-Plugins Das generische SNMP-Plugin check_snmp Mehrere Interfaces gleichzeitig überprüfen Betriebszustand einzelner Interfaces testen Weitere SNMP-basierte Plugins Festplattenplatz und Prozesse überwachen Auslastung von Netzwerkinterfaces beobachten Die manubulon.com-plugins SNMP-Trap-Handling mit NagTrap Installation

11 Inhaltsverzeichnis Konfiguration und Datenbank Interaktion mit Nagios Das NagTrap-Webfrontend Das Nagios-Benachrichtigungssystem Wer soll wann wie informiert werden? Wann entsteht eine Nachricht? Die Nachrichtenfilter Benachrichtigungen systemweit ein- und abschalten Rechner- und dienstbezogene Nachrichten Personenbezogene Filtermöglichkeiten Fallbeispiele Externe Benachrichtigungsprogramme Benachrichtigung per Nachricht per SMS Eskalationsmanagement Abhängigkeiten zwischen Hosts und Services berücksichtigen Der Standardfall: Service Dependencies Nur für Ausnahmefälle: Host Dependencies Passive Tests über das External Command File Die Schnittstelle für externe Kommandos Passive Service-Checks Passive Host-Checks Auf veraltete Informationen passiver Checks reagieren Der Nagios Service Check Acceptor (NSCA) Installation Konfiguration des Nagios-Servers Die Konfigurationsdatei nsca.cfg Konfiguration des Inet-Daemons Konfiguration auf Clientseite Testergebnisse an den Server schicken Anwendungsbeispiel I: Syslog und Nagios integrieren syslog-ng für den Einsatz mit Nagios vorbereiten

12 Inhaltsverzeichnis Nagios-Konfiguration: Volatile Services Fehlerzustände manuell aufheben Anwendungsbeispiel II: Verarbeitung von SNMP-Traps Traps empfangen mit snmptrapd Traps an NSCA übergeben Die passende Service-Definition Verteiltes Monitoring Den OCSP/OCHP-Mechanismus einschalten OCSP/OHCP-Kommandos definieren Einsatzszenarien Redundanz bei Konfigurationsdateien vermeiden Templates definieren Mod Gearman Funktionsweise Szenarien Load Balancing Verteiltes Monitoring Installation Gearman aus dem Quellcode übersetzen Mod Gearman aus dem Quellcode übersetzen Konfiguration III Webinterface und Visualisierungsmöglichkeiten Die klassische Weboberfläche Probleme erkennen und behandeln Kommentare zu problembehafteten Rechnern Verantwortung für Probleme übernehmen Die einzelnen CGI-Programme im Überblick Statusanzeige in Variationen: status.cgi Zusatzinformationen und Steuerzentrale: extinfo.cgi Schnittstelle für externe Kommandos: cmd.cgi Das Wichtigste auf einen Blick: tac.cgi

13 Inhaltsverzeichnis Topologische Netzwerkkarte mit statusmap.cgi Navigation in 3D: statuswrl.cgi Statusabfrage via Handy: statuswml.cgi Gestörte Teilnetze analysieren: outages.cgi Objektdefinition abfragen mit config.cgi Verfügbarkeitsstatistik: avail.cgi Wie oft tritt welches Ereignis ein? histogram.cgi Logeinträge nach Zuständen filtern: history.cgi Nachrichten verfolgen mit notifications.cgi Anzeige aller Logfile-Einträge: showlog.cgi Auswertung nach Wunsch: summary.cgi Zustände über die Zeit verfolgen: trends.cgi Wartungszeiten planen Wartungszeiträume für Hosts Wartungsfenster für Services Zusatzinformationen über Rechner und Dienste Erweiterte Host-Informationen Erweiterte Service-Informationen Das Neustart-Problem bei Konfigurationsänderungen Modernes Outfit mit dem Nuvola-Style Flexible Weboberfläche mit den NDOUtils Der Event-Broker Die Datenbankschnittstelle Die Installation Den Quellcode übersetzen Vorbereiten der MySQL-Datenbank Upgrade des Datenbank-Designs Konfiguration Anpassen der Event-Broker-Konfiguration Konfiguration des Datenbankzugriffs Den ndo2db-daemon starten Das Event-Broker-Modul in Nagios laden

14 Inhaltsverzeichnis 19 Live-Zugriff auf die Statusdaten mit MK_Livestatus Installation Zugriff über Netzwerk Die Livestatus Query Language NagVis Installation Den Quellcode einspielen Initiale Konfiguration Benutzer-Authentifikation NagVis-Maps erstellen Konfiguration in Textform bearbeiten Die Nagios-Weboberfläche um NagVis-Maps erweitern Grafische Darstellung von Performancedaten Plugin-Performancedaten mit Nagios verarbeiten Der Template-Mechanismus Externe Kommandos zur Verarbeitung einsetzen Graphen fürs Web mit Nagiosgraph Basis-Installation Konfiguration Performancedaten mit Perf2rrd zur Auswertung vorbereiten Installation Nagios-Konfiguration Perf2rrd in der Praxis Der Grafik-Spezialist drraw Installation Konfiguration Praktische Anwendung Reibungsloses Plotten mit PNP Installation Die Standardkonfiguration Die PNP-Weboberfläche Massenverarbeitung von Performancedaten

15 Inhaltsverzeichnis Wie soll die Grafik aussehen? ingraph Performancedaten visualisieren Installation und Konfiguration Das Datenbank-Backend Nagios-Konfiguration ingraph-webfrontends Anomalien finden mit dem Check Plugin Weitere Tools und die Grenzen grafischer Auswertung IV Spezielle Einsatzzwecke Windows-Server überwachen Agentenlose Checks via WMI Installation und Konfiguration der Zusatzdienste NSClient NC_Net NSClient OpMon Agent Probleme mit Port 1248 beheben Das check_nt-plugin Generell unterstützte Kommandos Die erweiterten Funktionen von NC_Net Installation des Plugins check_ncnet Windows-Performance-Counter NRPE für Windows NRPE_NT, der Klassiker Plugins für NRPE unter Windows NRPE mit NSClient Interne NSClient++-Funktionen Raumtemperatur und Luftfeuchtigkeit überwachen Sensoren und Software Die messpc-software für Linux Das Abfrageprotokoll

16 Inhaltsverzeichnis 23.2 Das Nagios-Plugin check_pcmeasure2.pl Überwachung von SAP-Systemen Überprüfung ohne Login: sapinfo Installation Erster Test Das Plugin check_sap.sh Aktueller und in Perl geschrieben: check_sap.pl Überwachung mit SAP CCMS Der Alert-Monitor im Überblick Nagios die nötigen SAP-Nutzungsrechte verschaffen Monitore und Templates Die CCMS-Plugins Performance-Optimierung Ereignisse verarbeiten mit der EventDB Funktionsweise der EventDB Installation Installationsvoraussetzungen Vorbereiten der MySQL-Datenbank Events an die Datenbank schicken mit syslog-ng Das Webinterface nutzen Vorauswahl des Filters mit URL-Parametern Das Nagios-Plugin für die EventDB Maintenance Windows-Events an Syslog senden Unverständliches lesbar machen mit SNMPTT Die Konfigurationsdatei snmptt.ini MIBs konvertieren Überwachung von Geschäftsprozessen Das Nagios Business Process Addon Installation Konfiguration Integration in Nagios

17 Inhaltsverzeichnis Alarmierung durch Nagios Nagios Business Process Intelligence Installation und Konfiguration Einrichten der Geschäftsprozesse Einbinden in Nagios V Entwicklung Plugins selbst schreiben Programmierrichtlinien für Plugins Rückgabewerte Informationen für den Admin auf der Standardausgabe Online-Hilfe an Bord? Reservierte Optionen Schwellwertangaben Abbruch nach Zeit Performancedaten Copyright Das Perl-Modul Nagios::Plugin Installation Datei- und Verzeichnisgrößen ermitteln Die Kommandozeile mit Getopt::Long zerlegen Die Perl-Online-Dokumentation Das Modul Pod::Usage Schwellwerte ermitteln Timeouts implementieren Performancedaten ausgeben Konfigurationsdateien für Plugins Oracle-Überwachung mit dem Instant-Client Den Oracle-Instant-Client installieren Verbindung zur Oracle-Datenbank herstellen Ein Wrapper-Plugin für sqlplus Die Funktionsweise des Wrappers

18 Inhaltsverzeichnis Das Perl-Plugin im Detail Anhang 615 A Nagios-Konfigurationsparameter 617 A.1 Die Hauptkonfigurationsdatei nagios.cfg A.2 CGI-Konfiguration in cgi.cfg A.2.1 Authentifikationsparameter A.2.2 Sonstige Parameter B Schnell wechselnde Zustände: Flapping 645 B.1 Flap Detection bei Services B.1.1 Nagios-Konfiguration B.1.2 Historienspeicher B.1.3 Darstellung in der Weboberfläche B.2 Flap Detection bei Hosts C Eventhandler 653 C.1 Ausführungszeitpunkte für Eventhandler C.2 Eventhandler in der Service-Definition festlegen C.3 Das Handler-Skript C.4 Beachtenswertes beim Umgang mit Eventhandlern D Makros 659 D.1 Standardmakros D.1.1 Host-Makros D.1.2 Service-Makros D.1.3 Gruppen-Makros D.1.4 Kontakt-Makros D.1.5 Benachrichtigungsmakros D.1.6 Makros für Zeit- und Datumsangaben D.1.7 Statistikmakros D.1.8 Standardmakros über das Environment verwenden D.2 On-Demand-Makros D.3 Makros für selbstdefinierte Variablen D.4 Makro-Inhalte: Nicht alles ist erlaubt

19 Inhaltsverzeichnis E Single-Sign-On für die Nagios-Weboberfläche 671 E.1 HTTP-Authentifikation für Single-Sign-On E.2 Kerberos-Authentifikation mit mod_auth_kerb E.2.1 Installation E.2.2 Service-Ticket für Apache erstellen E.2.3 Kerberos-Konfiguration E.2.4 Apache-Konfiguration E.2.5 Definition eines Nagios-Kontakts E.3 Single-Sign-On mit mod_auth_ntlm_winbind E.3.1 Installation E.3.2 Samba vorbereiten E.3.3 Apache-Konfiguration E.3.4 Definition eines Nagios-Kontakts E.4 Mozilla Firefox als Webclient E.4.1 Firefox und NTLM E.5 Microsoft Internet Explorer als Webclient F Tipps zur Performance-Optimierung 687 F.1 Nagios-interne Statistiken F.1.1 Das Kommandozeilentool nagiostats F.1.2 Nagios-Performance im grafischen Verlauf F.1.3 Ein Plugin zur Überwachung der Latenz F.2 Maßnahmen zur Performance-Verbesserung F.2.1 Service-Checks so oft wie nötig, so wenig wie möglich 696 F.2.2 Performancedaten intelligent verarbeiten F.2.3 Plugins in interpretierten Sprachen vermeiden F.2.4 Host-Checks optimieren F.2.5 Die Sache mit dem Reaper F.2.6 Passive Checks bevorzugen F.2.7 Optimierung großer Nagios-Umgebungen F.2.8 NDOUtils-Datenbank optimieren F.3 Neustart

20 Inhaltsverzeichnis G Der Embedded Perl-Interpreter 705 G.1 Anforderungen an ein epn-taugliches Plugin G.2 epn verwenden G.2.1 epn einkompilieren G.2.2 Interpreter-spezifische Parameter in der nagios.cfg G.2.3 epn auf Plugin-Basis deaktivieren G.3 Das Testwerkzeug new_mini_epn

21

22 Vorwort zur dritten Auflage Seit dem Erscheinen der zweiten Auflage ist viel passiert nicht unbedingt beim Nagios-Core selbst. Dieser wird seit jeher konservativ entwickelt. Das freut einerseits den Admin, denn er muss sich keine Sorgen über Instabilitäten durch Featurismus machen. Auf der anderen Seite bedeutet das aber auch, dass neue, sinnvolle Features nur langsam oder gar nicht in die Entwicklung aufgenommen werden. Das bietet Raum und Ansporn für alternative Ansätze wie Icinga oder Shinken. Icinga ist ein Fork von Nagios, also eine 1:1-Kopie eines bestimmten Entwicklungsstandes, der dann parallel weiterentwickelt wird. Shinken hingegen ist eine vollständige Neuentwicklung auf Python-Basis. Beide nutzen die klassische Nagios-Konfiguration (mit geringfügigen Erweiterungen), beide nutzen die Vielfalt an Plugins und Addons aus dem Nagios-Umfeld. Die gute Nachricht für den Leser ist, dass alles in diesem Buch auch weiterhin Bestand hat. Ich empfehle Lesern, die sich zum ersten Mal mit dem Thema Nagios-Monitoring befassen, zunächst mit dem Nagios-Core zu beginnen. Schnell werden Sie feststellen, dass der Nagios-Core zwar wesentliche Grundfunktionen für das Monitoring liefert, dass es aber gerade die unzähligen Plugins und die zahlreichen Addons sind, die den Einsatz von Nagios so interessant machen. Finden Sie die klassische Nagios-Weboberfläche zu hausbacken? Dann sehen Sie sich vielleicht Thruk, Multisite, Ninja oder Nagvis an. Möchten Sie vielleicht testweise einen anderen Monitoring-Kern nutzen? Die Open Monitoring Distribution OMD bietet Ihnen eine Möglichkeit, vom Nagios-Core auf Shinken oder Icinga zu wechseln, ohne gleich wieder ganz von vorne beginnen zu müssen. Neben OMD gibt es weitere Umgebungen, die den Nagios-Kern zusammen mit Plugins und Addons leicht installierbar und vorkonfiguriert für den Anwender aufbereitet verpacken: Nagios XI vom Nagios-Autor Ethan Galstad selbst, OpMon, Ground- Works, Op5, Centreon und andere. Nicht alle sind jedoch in einer Community-Edition frei verfügbar. Fertige Pakete erleichtern den Einstieg, für konkrete Lösungen und das Verständnis der Möglichkeiten kommen Sie aber nicht umhin, sich mit den einzelnen Bestandteilen zu beschäftigen. Dieses Buch hilft Ihnen dabei. Es dient Ihnen sowohl als Einführung in die Materie wie auch als Nachschla- 21

23 Vorwort zur dritten Auflage gewerk. Mit der dritten Auflage wurden alle Kapitel auf den aktuellen Stand gebracht. Die regelmäßige Aktualisierung eines Werkes wie des hier vorliegenden kostet Zeit und Kraft, die ich nicht mehr aufbringen konnte, da andere Projekte zu viel Zeit in Anspruch nehmen. Ich freue mich daher besonders, dass es dem Verlag gelungen ist, für die Pflege und Weiterentwicklung dieses Standardwerks mit Christian Schneemann und Tobias D. Oestreicher von der Firma B1 Systems zwei kompetente Koautoren zu finden und den Fortbestand des Buchprojekts sicherzustellen. Beim Verlag, insbesondere bei Markus Wirtz, möchte ich mich für die jahrelange sehr gute Zusammenarbeit bedanken. Und nicht zuletzt bei Ihnen, liebe Leser, die Sie dieses Buch zum Standardwerk haben werden lassen und mit kritischen Fragen zur stetigen Verbesserung beigetragen haben. Allen Admins wünsche ich, dass Nagios-Monitoring Ihnen die Gewissheit gibt, drohende technische Katastrophen rechtzeitig erkennen und abwehren zu können. Wolfgang Barth April

24 Einleitung Montagmorgen gegen 10 Uhr. Der Chef der Filiale tobt. Er wartet schon seit Stunden vergeblich auf eine wichtige . Kann ja nur am Mailserver liegen, der hat sich sicher wieder mal aufgehängt. Ein kurzer Check des Rechners zeigt aber, dass dort keine Mails in der Queue hängen geblieben sind. Und im Logfile steht auch nicht, dass eine Mail vom ersehnten Absender eingetroffen wäre. Worin also besteht das Problem? Der zentrale Mailserver des Konzerns antwortet nicht auf Ô Ò. Vermutlich liegt dort der Hund begraben. Die in der Konzernzentrale zuständige EDV- Abteilung weist aber jede Schuld von sich. Sie kann zwar den Mailknoten der Filiale auch nicht anpingen, behauptet aber, in der Zentrale funktioniere das Netzwerk einwandfrei, also müsse es am Netz in der Filiale liegen. Die Fehlersuche geht weiter... Das unrühmliche Ergebnis: Die VPN-Strecke zur Zentrale war ausgefallen, die ISDN-Backup-Leitung funktionierte zwar, aber im Backup-Router war keine Route zur Zentrale (und damit zum zentralen Mailserver) eingetragen. Zuständig für die Netzwerkverbindungen (VPN und ISDN) zwischen Filiale und Zentrale war ein global operierender IT-Dienstleister, bei dem so was nicht passiert. Bilanz: stundenlange Fehlersuche, ein entnervter Chef (die Besprechung, zu der die dringend erforderlich gewesen wäre, ist längst vorbei) und ein schweißgebadeter Admin. Mit einem entsprechend konfigurierten Nagios-System hätte der Administrator bereits morgens um 8 Uhr das Problem bemerkt und in wenigen Minuten seine Ursache eingrenzen können. Anstatt wertvolle Zeit zu verlieren, wäre der IT-Dienstleister direkt informiert worden. Die dann benötigte Zeit zur Fehlerbehebung (hier: eine halbe Stunde) hätte gereicht, um die noch rechtzeitig zuzustellen. Zweites Beispiel: Irgendwo in Deutschland läuft in einem Krankenhaus die Festplatte voll, auf der die zentrale Oracle-Datenbank ihre Logfiles ablegt. Zwar gehen im OP deswegen nicht die Lichter aus, da aber die Datenbank ihre Arbeit verweigert, kommt es zu erheblichen Störungen im Betriebsablauf: Patienten können nicht aufgenommen werden, Untersuchungsergebnisse lassen sich nicht abspeichern und Befunde nicht dokumentieren solange, bis das Problem behoben ist. 23

25 Einleitung Bei Überwachung der kritischen Festplatte mit Nagios wäre die EDV-Abteilung frühzeitig gewarnt worden, das Problem gar nicht erst entstanden. Bei immer knapper werdenden Personalressourcen kann es sich keine IT- Abteilung leisten, regelmäßig alle Systeme manuell zu überprüfen. Immer komplexere Netzwerke verlangen geradezu, sich frühzeitig über auftretende Störungen oder kurz bevorstehende Probleme informieren zu lassen. Ethan Galstads Open-Source-Werkzeug Nagios 1 zur System- und Netzwerküberwachung hilft dem Administrator, Probleme zu erkennen, bevor die Telefondrähte glühen. Ziel der Software ist es, Administratoren schnell über bedenkliche (WAR- NING) oder kritische Zustände (CRITICAL) zu benachrichtigen. Was als bedenklich oder kritisch gilt, legt der Admin in der Konfiguration fest. Eine übersichtliche Webseite informiert ihn dann über normal arbeitende Systeme und Dienste, die Nagios grün darstellt, über bedenkliche Zustände (gelb) und kritische Situationen (rot). Außerdem besteht die Möglichkeit, zuständige Administratoren in Abhängigkeit von bestimmten Diensten oder Systemen gezielt per , aber auch über Paging-Dienste wie SMS zu benachrichtigen. Mit der Konzentration auf Ampelzustände (grün, gelb, rot) unterscheidet sich Nagios von Netzwerktools, die etwa den zeitlichen Verlauf grafisch darstellen (zum Beispiel die Auslastung eines WAN-Interfaces oder einer CPU über den ganzen Tag) oder den Netzwerkverkehr zählen und vermessen (Wie hoch war der Anteil von HTTP auf einem bestimmten Interface?). Bei Nagios geht es schlicht und ergreifend um die Frage, ob sich alles im grünen Bereich bewegt. Deren Beantwortung beherrscht die Software ausgezeichnet, und zwar nicht nur in Hinblick auf den aktuellen Zustand, sondern auch über längere Zeiträume. Die Tests Beim Überprüfen kritischer Rechner und Dienste unterscheidet Nagios zwischen Host- und Service-Checks. Ein Host-Check testet einen Rechner auf Erreichbarkeit in der Regel kommt einfach Ô Ò zum Einsatz. Ein Service- Check prüft gezielt einzelne Netzwerkdienste wie HTTP, SMTP, DNS etc., aber auch laufende Prozesse, CPU-Last oder Logfiles. Host-Checks führt Nagios unregelmäßig und nur bei Bedarf durch, etwa dann, wenn auf dem überwachten Rechner keiner der zu überwachenden Dienste erreichbar ist. Solange sich dort mindestens ein Service ansprechen lässt, gilt dies schließlich für den gesamten Rechner, im Nagios-Slang Host genannt, und diese Prüfung kann damit entfallen. Der einfachste Test für Netzwerkdienste besteht darin, nachzusehen, ob der betreffende Zielport offen ist und dort ein Dienst lauscht. Allerdings stellt 1 Nagios und das Nagios-Logo sind eingetragene Warenzeichen von Ethan Galstad. 24

26 Einleitung dies nicht unbedingt sicher, dass etwa auf TCP-Port 22 tatsächlich der SSH- Daemon läuft. Nagios benutzt daher für viele Dienste Tests, die wesentlich weiter gehen. Bei SMTP prüft die Software zum Beispiel, ob sich der Mailserver auch mit einer 220 -Ausgabe, dem sogenannten SMTP-Greeting, meldet; bei einer PostgreSQL-Datenbank, ob diese eine SQL-Anfrage entgegennimmt. Interessant wird Nagios vor allem auch dadurch, dass es Abhängigkeiten in der Netzwerktopologie (bei entsprechender Konfiguration) berücksichtigt. Lässt sich das Zielsystem nur über einen bestimmten Router erreichen, der gerade ausgefallen ist, meldet Nagios, dass das Zielsystem unreachable sei, und verzichtet darauf, es mit weiteren Host- und Service-Checks zu bombardieren. Damit versetzt die Software den Administrator in die Lage, die eigentliche Ursache schneller zu erkennen und zu beheben. Die Informationslieferanten Die große Stärke von Nagios auch im Vergleich zu anderen Netzwerküberwachungstools liegt in seinem modularen Aufbau: Der Nagios-Kern enthält keinen einzigen Test, stattdessen verwendet er für Service- und Host- Checks externe Programme, die als Plugins bezeichnet werden. Zur Grundausstattung gehört bereits eine Anzahl Standard-Plugins für die wichtigsten Anwendungszwecke. Darüber hinausgehende Spezialwünsche erfüllen grundlegende Programmierkenntnisse vorausgesetzt selbstgeschriebene Plugins. Bevor man Zeit in deren Entwicklung investiert, lohnt es jedoch, erst einmal im Internet und auf den einschlägigen Mailinglisten 2 zu stöbern, denn in diesem Bereich herrscht reges Treiben. Fertige Plugins stellt insbesondere die Nagios-Austauschplattform MonitoringExchange bereit. Ein Plugin ist ein einfaches Programm gern auch ein Shell- oder Perlskript, das einen der vier Zustände OK, WARNING, CRITICAL oder (bei Bedienfehlern, zum Beispiel der Übergabe einer unbekannten Option an das Plugin) UNKNOWN ausgibt. Damit kann Nagios prinzipiell alles prüfen, was sich elektronisch messen oder zählen lässt: Temperatur und Luftfeuchtigkeit im Serverraum, Niederschlagsmenge, die Anwesenheit von Personen in einem bestimmten Raum zu einer Zeit, in der ihn keiner betreten sollte. Der Phantasie sind keine Grenzen gesetzt, vorausgesetzt, man findet einen Weg, Messdaten oder Ereignisse als eine vom Computer verwertbare Information bereitzustellen (zum Beispiel mit einem Temperatur- und Feuchtigkeitssensor, einem Bewegungsmelder etc.). Dementsprechend stellt dieses Buch neben den Standard-Plugins auch weitere, frei verfügbare Plugins vor, etwa im Kapitel 23 ab Seite 521 den Einsatz eines Plugins zur Abfrage eines Temperaturund Feuchtigkeitssensors. 2 ØØÔ»»ÛÛÛºÒ Ó ºÓÖ» ÙÔÔÓÖØ»Ñ Ð Ò Ð Ø ºÔ Ô 25

27 Einleitung Die Admins auf dem Laufenden halten Nagios besitzt ein ausgefeiltes Benachrichtigungssystem. Auf der Senderseite (also beim Host- oder Service-Check) lässt sich einstellen, wann welche Personengruppen die sogenannten contactgroups über welche Zustände oder Ereignisse (Ausfall, Recovery, Warnings etc.) informiert werden. Auch auf Empfängerseite lässt sich mehrstufig festlegen, was mit einer entsprechenden Nachricht geschieht etwa ob das System sie zeitabhängig weiterleiten oder verwerfen soll. Soll beispielsweise ein bestimmter Dienst sieben Tage die Woche rund um die Uhr überwacht werden, heißt das nicht, dass der zuständige Administrator keinerlei Ruhepausen bekommt: Stattdessen kann man Nagios anweisen, ihn nur montags bis freitags zwischen 8 und 17 Uhr maximal alle zwei Stunden zu benachrichtigen. Vermag er das Problem nicht innerhalb einer festgesetzten Frist, etwa innerhalb von acht Stunden, zu beheben, soll der verantwortliche Abteilungsleiter eine Nachricht erhalten, auch Eskalationsmanagement genannt (siehe Kapitel 12.5 ab Seite 294). Nagios greift für Benachrichtigungen ebenfalls auf frei konfigurierbare externe Programme zurück, so dass sich beliebige Systeme einbinden lassen: von über SMS bis hin zu einem Sprachserver, der den Administrator anruft und diesem die Fehlermeldung per Voice überbringt. Mit seiner Weboberfläche (vgl. Kapitel 17 ab Seite 347) bietet Nagios dem Administrator eine Fülle an Informationen, übersichtlich sortiert nach der jeweiligen Fragestellung. Ob ein Überblick über die Gesamtsituation, die Anzeige problematischer Dienste und Rechner bzw. der Verursacher von Netzwerkausfällen oder der Zustand ganzer Host- und Service-Gruppen Nagios bietet für fast jeden Zweck eine eigens gestaltete Infoseite. Über das Webfrontend benachrichtigt ein Administrator seine Kollegen, wenn er sich eines Problems annimmt, diese können sich dann auf bisher noch unbearbeitete Dinge konzentrieren. Bereits gewonnene Informationen lassen sich als Kommentare zu Hosts und Services ebenso hinterlegen wie Wartungszeiten: Nagios verhindert in diesen Zeiten Fehlalarme. In Rückschau auf die Vergangenheit verrät das Webinterface, welche Probleme in einem gewählten Zeitintervall auftraten, wer benachrichtigt wurde, wie es um die Verfügbarkeit eines Hosts und/oder Services in einem bestimmten Zeitraum aussah auch dies natürlich unter Berücksichtigung der Wartungszeiten. Informationen von außen aufnehmen Für Tests, Benachrichtigungen etc. greift Nagios auf externe Programme zu, aber auch der umgekehrte Weg ist möglich: Über eine separate Schnittstelle (siehe Kap ab Seite 306) können unabhängige Programme Zustands- 26

28 Einleitung informationen und Kommandos an Nagios übermitteln. Von dieser Möglichkeit macht übrigens die Weboberfläche regen Gebrauch und erlaubt es dem Administrator somit, interaktiv Kommandos an Nagios zu senden. Aber auch ein Nagios-fremdes Backup-Programm kann so Erfolg oder Misserfolg an Nagios übermitteln, ebenso ein Syslog-Daemon u. a. der Phantasie sind hier wenig Grenzen gesetzt. Dank dieser Schnittstelle erlaubt Nagios verteiltes Monitoring. Dabei senden mehrere dezentrale Nagios-Installationen ihre Testergebnisse an eine zentrale Instanz, die hilft, den Überblick zu behalten. Andere Tools zur Netzwerküberwachung Nagios ist nicht das einzige Werkzeug zur Überwachung von Systemen und Netzwerken. Der bekannteste, vielleicht gleichwertige Konkurrent ist Big Brother (BB). Trotz einiger Unterschiede dient auch dessen Webschnittstelle demselben Zweck wie die von Nagios: dem Administrator aufzuzeigen, was sich im grünen Bereich befindet und was nicht. Warum der Autor Nagios statt Big Brother einsetzt, liegt in der Big-Brother- Lizenz begründet, auf der BB-Homepage 3 Better Than Free License genannt: Das Produkt wird kommerziell weiterentwickelt und vertrieben. Wer BB einsetzt und damit Geld verdient, muss die Software kaufen. Nicht mit den Kriterien für Open-Source-Lizenzen vereinbaren lässt sich, dass die Software inklusive Quellcode nur mit expliziter Erlaubnis des Herstellers weitergegeben oder verändert werden darf. Damit sind Linux-Distributoren die Hände gebunden. Für die grafische Darstellung bestimmter Messwerte über die Zeit, etwa die Auslastung eines Netzwerkinterfaces, einer CPU oder die Anzahl der Mails pro Minute, gibt es andere Werkzeuge, die das besser erledigen als Nagios. Deren Urahn ist sicher der Multi Router Traffic Grapher MRTG, 4 der sich trotz inzwischen erwachsender Konkurrenz anhaltend großer Beliebtheit erfreut. Eine relativ junge, aber sehr mächtige Alternative heißt Cacti: 5 Umfangreicher und per Weboberfläche konfigurierbar, umgeht sie Einschränkungen wie die, dass MRTG nur zwei Messwerte parallel aufzeigen und keine negativen Werte darstellen kann. Eine weitere interessante Alternative ist Munin. 6 Hierzu ist 2008 ein eigenes Buch im selben Verlag erschienen. 7 Nagios selbst zeigt Performancedaten über Erweiterungen ebenfalls grafisch an (vgl. Kapitel 21 ab Seite 431). In vielen Fällen reicht das aus, bei sehr 3 ØØÔ»»ÛÛÛº ºÓÖ» 4 ØØÔ»»ÛÛÛºÑÖØ ºÓÖ» 5 ØØÔ»»ÛÛÛº Ø ºÒ Ø» 6 ØØÔ»»ÑÙÒ ÒºÔÖÓ Ø ºÐ ÒÔÖÓºÒÓ» 7 Gabriele Pohl, Michael Renner: Munin Graphisches Netzwerk- und System- Monitoring, ISBN

29 Einleitung dedizierten Anforderungen empfiehlt sich allerdings der parallele Einsatz von Nagios und einem grafischen Darstellungstool wie MRTG oder Cacti. Über dieses Buch Dieses Buch wendet sich an Netzwerkadministratoren, die sich mit einem Open-Source-Werkzeug über den Zustand ihrer Systeme und Netzwerke informieren wollen. Es beschreibt Nagios in der aktuellen Version Die Plugins führen ein Eigenleben, sind weitestgehend unabhängig von Nagios und nicht an eine bestimmte Version gebunden. Auch wenn dieses Buch auf Linux als Betriebssystem für den Nagios-Rechner setzt, ist das keine Bedingung. Die meisten Beschreibungen treffen auch auf andere Unix-Systeme 8 zu, lediglich Systemspezifisches wie Startskripte müssen entsprechend angepasst werden. Unter Windows läuft Nagios dagegen derzeit offiziell nicht. 9 Der erste Teil des Buches beschäftigt sich damit, Nagios in einer einfachen, aber für viele Einsatzzwecke bereits ausreichenden Konfiguration so schnell wie möglich zum Laufen zu bekommen. Die Kapitel Installation, Konfiguration und Inbetriebnahme verzichten daher auf eine ausführliche Darstellung und Abhandlung aller Möglichkeiten und Features. Dies übernimmt der zweite Teil des Buches. Grundlagen geht detailliert auf Service- und Host-Checks ein und stellt insbesondere deren Abhängigkeit von der Netzwerktopologie vor. Welche Möglichkeiten Nagios zur Verfügung stehen, um Service-Checks durchzuführen oder an deren Ergebnisse zu gelangen, beschreibt das Kapitel Service-Checks und ihre Ausführung. Dann folgen Einzelvorstellungen der Standard-Plugins und einiger zusätzlicher, frei erhältlicher Plugins: Kapitel Plugins für Netzwerkdienste geht auf Möglichkeiten ein, Diensten über ein Netzwerkprotokoll direkt vom Nagios-Host aus auf den Zahn zu fühlen, während das Kapitel Lokale Ressourcen überprüfen Plugins zusammenfasst, die auf dem zu überprüfenden Rechner selbst installiert sein müssen und zu deren Ausführung Nagios weitere Hilfsmittel braucht. Einige Hilfsplugins, die selbst keine Tests durchführen, sondern bereits ermittelte Ergebnisse manipulieren, stellt das Kapitel Plugins für Sonderaufgaben vor. Zwei Hilfsmittel, die Nagios benötigt, um lokale Plugins auf entfernten Hosts auszuführen, stellen die darauffolgenden beiden Kapitel vor: In Plugins via SSH ausführen kommt die Secure Shell SSH zum Einsatz, während das Kapitel Der Nagios Remote Plugin Executor (NRPE) einen speziell für Nagios entwickelten Daemon vorstellt. 8 Z. B. *BSD, HP-UX, AIX und Solaris; zu Nagios unter Mac OS X sind dem Autor keine Berichte bekannt. 9 Es gibt Gerüchte über laufende Nagios-Installationen in einer Cygwin-Umgebung. 28

30 Einleitung Wo Netzwerke überwacht werden, darf auch SNMP nicht fehlen. Das Kapitel Überwachungsrelevante Informationen sammeln mit SNMP beschreibt nicht nur SNMP-fähige Plugins, sondern geht zuvor auch ausführlich auf das Protokoll und die SNMP-Welt selbst ein, um das notwendige Grundwissen zu vermitteln. Das Nagios-Benachrichtigungssystem stellt das darauffolgende Kapitel vor, dabei kommen auch die Benachrichtigung per SMS, Eskalationsmanagement und die Berücksichtigung von Abhängigkeiten zur Sprache. Die Schnittstelle für externe Kommandos bespricht das Kapitel Passive Tests über das External Command File. Sie bildet die Grundlage für weitere Nagios-Mechanismen, wie etwa den Nagios Service Check Acceptor (NSCA), einen Client-Server-Mechanismus für die Übermittlung passiver Testergebnisse. Dessen Einsatzmöglichkeiten zeigen wir an zwei konkreten Beispielen der Integration von Ý ÐÓ ¹Ò und der Verarbeitung von SNMP- Traps. Auch Verteiltes Monitoring setzt den NSCA voraus. Der dritte Teil des Buches widmet sich der Visualisierung der gewonnenen Informationen. Das Kapitel Die klassische Weboberfläche erklärt deren Aufbau und Funktion im Detail, unterstützt durch aussagekräftige Screenshots. Es geht auch auf eine Reihe von Parametern ein, die außer im Quellcode bisher nirgends dokumentiert sind. Nagios lässt sich durch externe Anwendungen erweitern. Die NDOUtils erlauben die datenbankgestützte Speicherung aller Nagios-Objekte, beschrieben im Kapitel Flexible Weboberfläche mit den NDOUtils. Wie man über das Netzwerk auf Live-Daten des Nagiosprozesses zugreifen kann, beschreibt das Kapitel Live Zugriff auf die Statusdaten mit MK_Livestatus. Beide Datenquellen ermöglichen über das im Kapitel NagVis beschriebene Addon eine weit über den Grundumfang von Nagios hinaus konfigurierbare Weboberfläche. Zwar konzentriert sich Nagios bei seiner Arbeit primär auf Ampelzustände (rot, gelb, grün), doch gibt es Möglichkeiten, die von den Plugins gelieferten Performancedaten auszuwerten und darzustellen, was das Kapitel Grafische Darstellung von Performancedaten im Detail beschreibt. Der vierte Teil des Buchs widmet sich speziellen Anwendungsmöglichkeiten. So sind Netzwerke selten homogen nur mit Linux und anderen Unixartigen Betriebssystemen ausgestattet. Daher zeigt das Kapitel Windows- Server überwachen, mit welchen Hilfsmittel sich Windows-Systeme einbinden und auf Funktionsfähigkeit kontrollieren lassen. Das Kapitel Raumtemperatur und Luftfeuchtigkeit überwachen demonstriert am Beispiel eines Low-Cost-Hardware-Sensors, wie sich diese Parameter einfach, aber wirkungsvoll im Blick behalten lassen. Nagios kann auch proprietäre, kommerzielle Software überwachen, sofern Mechanismen zur Verfügung stehen, um entsprechende Systemzustände 29