magick smoke Check_MK - Netzwerkmonitoring , Nagios Workshop, Hannover Florian Heigl <fh@mathias-kettner.de>

Transkript

1 magick smoke Check_MK - Netzwerkmonitoring , Nagios Workshop, Hannover Florian Heigl <fh@mathias-kettner.de>

2 Intro Florian Heigl Unix-Admin, aber eigentlich mag ich Netzwerke und Monitoring Bei Mathias Kettner seit 01/11 Consulting, d.h. Checks, Linuxthemen Erste produktive Nagiosumgebung 2003?auf AIX4.3 (66MHz) Fragen gerne mittendrin hoffentlich nicht zu Ernst

3 Das unbekannte Hinzufuegen von Komponenten zu Nagios Configteile oder Configfiles kopieren Templates definieren Config generieren aus Puppet Kann man dynamisch Aenderungen abbilden? Kann man scannen und Templates nur fuer's richtige Device anwenden?

4 unbekannte Hosts nagios_bsd Monitoring fuer alle *BSD Mirrors weltweit Nagios 2 viel Spass mit Skalierung und Hostcheck Timeouts (Pings >900ms) Eingestellt, weil 'Nagios check_http' fuer Hackerzeug gehalten wurde Config automatisch jede Nacht mit Templates aus den DNS Records aufgebaut

5 Nagswitch Templatebasiertes Script sollte das Problem loesen for id in $( $SNMPWCMD $naghostname_ip IF-MIB::ifIndex awk '{print $NF}' ); do # gather interface type (ethernet...) and state iftype="$( $SNMPCMD $naghostname_ip IF-MIB::ifType.$id awk '{print $NF}' cut -f1 -d\( )" ifoperstatus="$( $SNMPCMD $naghostname_ip IF-MIB::ifOperStatus.$id awk '{print $NF}' cut -f1 -d\( )" [...] echo "define service{ use host_name service_description check_command -r 1 -m RFC1213-MIB generic-service $naghostname Port $idpad Link Status check_snmp!-c public -o ifoperstatus.$id } nice try, weil...

6 Nice try Probleme erkannt :)

7 Weiterdenken Wie erkennt man, ob man einen Switch hat? Wie kann man dynamisch festlegen, wie mit bestimmten Portstati umgegangen wird? Koennte man ein beliebiges Geraet erkennen?

8 Check_MK Wie erkennt check_mk ein Netzwerkdevice? Auf jeden Fall per SNMP snmp_scan Funktion im Check Prueft beliebige OID, idealerweise haeufig verwendete, z.b. sysdescr oder Vendor OID table Wenn Hersteller Cisco und Modell Catalyst 65 anfaengt dann SNMP Queries werden gecached

9 Services? Services machen eine Inventur des Zielgeraets, wenn dieses mit snmp getagged ist. z.b. switch-core0 snmp rz2 rz2rack5 Wenn die Scanfunktion ein Geraet sicher erkannt hat, folgt die eigentliche Inventur: Fuer jede Funktion des Ziels, die gefunden werden konnte, wird ein Dienst erzeugt. (z.b. einer pro Netzteil oder einer pro Switchport)

10 Check_MK Genaueres zum Scan / Inventory snmp_info definiert alle SNMP OIDs, welche der Check erhaelt. SNMP Version, Community etc. kann pro Geraet (oder Gruppe, oder Kunde) unterschiedlich sein SNMPv2 ist schneller (inv bulk: 3.6s vs. 5.2s) SNMPv3 ist sicherer, evtl. aber mehr Overhead (spaeter mehr)

11 unbekannte Switches Ifstate checks einrichten fuer bestimmte Ports? (Nein, wir haben dynamisch gesagt) Lieber den Switch fragen: Wie viele Ports gibt's? Sind sie online?

12 Check_MK SNMP Scan Lasst uns einfach rausfinden, was fuer ein Geraet es ist Inventur Dinge aendern sich Dienste auch. z.b. neue Vhosts am Loadbalancer, Ports an Switches (That's life!) Variablen Vorgaben fuer's Verhalten von Checks & Inventur

13 SNMPv2 SNMPv2c ist schneller Abfrage mit bulkwalk statt walk. bulkwalk_hosts = [ ["snmp"], ALL_HOSTS ] Inventory: 3.6s vs. 5.2s Check: 2.1s vs. 4.7s Unterschied nimmt mit Portzahl zu

14 SNMPv3 Setupbeispiel Performancehungrig, falls nicht in Hardware Vorsicht z.b. bei einem bestimmten Hersteller aus China

15 Check_MK Genaueres zum Scan / Inventory snmp_info definiert alle SNMP OIDs, welche der Check erhaelt. SNMP Version, Community etc. kann pro Geraet (oder Gruppe, oder Kunde) unterschiedlich sein SNMPv1 vermeiden, v2 schneller, v3 sicherer (aber wir lesen nur...)

16 Ablauf cmk -I <host> SNMP Tag? Fuer alle Checks mit Typ snmp wird snmp_scan gemacht Fuer alle Checks, bei denen Scan klappte, wird Inventur gemacht Fuer alle bei Inventur gefundenen Teile wird ein Check Item generiert. Fuer jedes Check Item werden ein oder mehrere Nagios Services generiert (autochecks)

17 Ablauf auf der Shell check_mk -v debug -I <host> check_mk -nv <host> check_mk -N Ls -tr var/check_mk/autochecks/ check_mk -R

18 Inventory check Was ist jetzt bitte ein Inventory check? Dinge aendern sich nun mal! Warnung, dass etwas entdeckt wurde, das nicht ueberwacht wird Monitoringadmin kann auf Problem eingehen, es gibt keine Stealthdevices mehr. check_mk -I <host> && cmk -R

19 SNMP Checks superstack3_sensors

20 Spannender: if-checks Der If-Check ist eine Familie: If If64 lnx_if mcdata_fcport Die Checks wachsen... Steuerbare Inventur, Schwellwerte, OK- Zustaende, Trendmonitoring Nett: alle verwandten funktionieren gleich (NagVis, Service Search)

21 If-Check Inventur Nur Ports in bestimmten Stati aufnehmen Nur Ports mit bestimmten Medientypen aufnehmen (siehe if.include!!) Ports nach ifalias, ifdescr oder ifname bezeichnen Ports anhand der Bezeichnung filtern (Keine Services generieren) Performance beachten, ggf. Agent Timeout anpassen

22 If-check-Parameter Auf Port GigabitEthernet 1/0/14 kommen dauernd Fehler. Was heisst eigentlich das Hub auf dem naechsten Switch da vor der Firewall? Definition ueber Dictionary (ein bisschen Magie) z.b. Bandbreitenalarm, wenn mehr als 50% Last auf der Backupleitung Ueberlastete Backboneports / Frontendports

23 If-check-Parameter

24 If-Check Extras Anomalieerkennung durch Trending Warning, wenn auf einem Clientport mehr als 15GB/Tag uebertragen werden Traffic Alarm, wenn auf vif 87.0 die Auslastung so gestiegen ist, dass das monatliche Limit erreicht wuerde Averaging Checks auf Durchschnittswerte anwenden

25 NagVis Mit NagVis kann man visuell besondere Verbindungen ueberwachen und Trafficmuster erkennen gerade wenn man nicht mal eben einkaufen NetFlow und Co als Loesung nehmen kann. Drill-Down Moeglichkeiten anstatt RRDs von Hand zu korrelieren. (Memory spielen)

26 NagVis Wichtige Karten vorher anfertigen fuer: N:1 Verbindungen Server zu Backupserver und StorageNodes, oder 1:N wie Storagearrays zu allen Servern (da sieht man dann auch, was man von einem zentralisierten Reissbrett- SAN hat ) Blade-Enclosure Uplinks Firmenbackbone

27 virtuelle Netze Doppelt Monitoren oder nicht? (Oder: das eine dort, das andere hier) VLAN Interfaces an Switches (je nach Hersteller verbuggt oder nicht) Testen und vordefinieren Baugrund fuer virtuelle Schloesser: Bridges, (M)STP monitoring, LACP OpenVswitch, Nexus 1K Roaming...

28 End-Userports Umgang mit Ports bei denen nicht OK vorrausgesetzt werden kann Standardloesung: Linkstate ignorieren, errors, bandwidth monitoren Wenn man auch den Status loggen will, aber OK draufstehen soll wrapper um das check_command bauen Extra Service fuer dying gasp?

29 Host:Kringel Dependency

30 Host:Parent Dependency

31 Parent Scan --scan-parents Erkennen der Parents eines Hosts (braucht IP+ICMP auf der Strecke) Monitoring Host vordefinieren Schreibt Parents.mk Definiert fake Hosts fuer erkannte Parents Kann nicht zaubern, aber sehr hilfreich

32 Drohnen_MK livestatus / multisite verteilt Eigenstaendige Nagiossysteme (z.b. OMD Sites), ein bisschen wie RMON nahezu kein Traffic ohne Zugriff (aber sitestatus) Security: geht so: firewall / ip filter / tcpwrapper besser: ssh tunnel am liebsten: stunnel / ipsec tunnel durch FW nicht so gut: Augen ganz fest zudruecken

33 Traps? Bisher konnten wir sie immer vermeiden genauer: haben wir sie nicht gebraucht Noch genauer: Nagios ist nicht OpenView d.h. Wir monitoren lieber wirklich, anstatt auf Events zu warten. Praktisch, wenn man eh schon Performance aufzeichnen will

34 Andere Standards Moderneres Telco-Zeug wie NETCONF (SNMP Nachfolger), OAM usw. sind nicht direkt unterstuetzt. Normal gibt s die Infos auch via SNMP NetFlow, (und auch HostflowD)? Netzwerkstandards etablieren sich leider ein wenig langsam (siehe v3)

35 Monitoring von Software TACACS, UCS, etc. Ganz normal ueber Nagioschecks (legacy checks) oder via MRPE (wenn es einzelne Hosts sind) Bind, Squid, (und auch UCS) sind gut per SNMP monitorbar (also einfach Plugin bauen) Iptables, pf ebenfalls per SNMP monitorbar

36 auch mit NagVis Auch hier ist NagVis nochmal eine wichtige Ergaenzung um Blockschaltbilder anbieten zu koennen. Beispiel: MTA Flowchart spamd/avscan laeuft evtl. auf anderem Server Fixe Reihenfolge von Routing und Delivery Viele viele viele Prozesse Monitoring == Troubleshooting Anleitung (ui!)

37 Und jetzt? Die Check_MK Exchange braucht immer Futter! (es gibt schon ein paar Super-Checks, z.b. fuer Data OnTAP, MySQL, aber es gibt auch noch etliche spannende Moeglichkeiten).mkp - Einfache Installation: cmk -P install <package> Danke!