Workshop Eventverarbeitung mit NAGIOS

Transkript

1 Workshop Eventverarbeitung mit NAGIOS Marius Hein Michael Streb

2 Agenda Einführung Entstehung der EventDB Ablösung der bisherigen Systeme bisher keine einfache Lösung Konsolidierung verschiedener Systeme Features & Konzept eine zentrale Datenbank (MySQL) Einfache Archivierung und Verwaltung Logik in den Adaptern Hohe Performance und einfache Architektur zentrales Frontend nur ein Checkplugin für NAGIOS Workshop Installation Syslog-NG SNMPTT MySQL + Datenbankdump einspielen SyslogNG2MySQL Daemon EventDB Viewer NAGIOS Plugin DBMiner Konfiguration Verknüpfung von Syslog-NG und SyslogNG2MySQL SNMPTT MIB`s für SNMPTT Test der Lösung Verfeinerung des Konzeptes DBMiner Vorstellung und Konfiguration

3 Wie funktioniert die EventDB

4 Welche Pakete werden benötigt Aus Paketverwaltung: Syslog-NG MySQL Server 5 (mysql-server-5.0) Apache2 (apache2-mpm-prefork) PHP5 (libapache2-mod-php5) PHP5-MySQL (php5-mysql) Perl-DBI-MySQL (libdbd-mysql-perl) SNMPD (snmpd) SNMP (snmp) Net::SNMP (libnet-snmp-perl) SNMP Perl (libsnmp-perl) Config::IniFiles (libconfig-inifiles-perl) Aus den Sourcen EventDB Datenbankstruktur EventDB Viewer (index.php) Syslog Agent (Syslog-NG2MySQL) SNMPTT

5 Konfiguration MySQL Engine InnoDB evtl. Konfigurationsanpassungen notwendig Bufferpool Datafiles Logfiles usw. Anlegen der Datenbank CREATE DATABASE eventdb; Anlegen der Datenbank Benutzer GRANT SELECT,INSERT,UPDATE,DELETE ON eventdb.* TO localhost IDENTIFIED BY eventdb_rw ; Import der Datenbankstruktur mysql eventdb < eventdb/db/create_tables.sql

6 Konfiguration Syslog-NG Pipe anlegen # mkfifo /var/run/syslog-ng.pipe /etc/syslog-ng/syslog-ng.conf anpassen neues Ziel destination d_eventdb { pipe( /var/run/syslog-ng.pipe template( $HOST\t$FACILITY\t$PRIORITY\t$LEVEL\t$TAG\t$YEAR- $MONTH-$DAY\t$HOUR:$MIN:$SEC\t$PROGRAM\t$MSG\n ) template_escape(yes) ); }; zusätzliches Logging log { source(s_all); filter(f_at_least_info); destination(d_eventdb); }; s_all um udp(); erweitern

7 Konfiguration Syslog-NG2MySQL Entpacken des Archivs Kopieren von eventdb/agenten/syslog-ng/syslog-ng2mysql.pl nach /usr/local/sbin Kopieren von eventdb/agenten/syslog-ng/syslog-ng2mysql nach /etc/init.d Benutzt start-stop-daemon (nicht in eder Distribution enthalten) evtl. Daemon-Benutzer anpassen Anpassung der DB Verbindung in /usr/local/sbin/syslog-ng2mysql.pl $db $dbhost $dbuser $dbpass $dbtable

8 Konfiguration EventDB Viewer neues Verzeichnis /usr/local/nagios/share/eventdb anlegen eventdb/webinterface/index.php nach /usr/local/nagios/share/eventdb kopieren Datenbankparameter in index.php anpassen: db.user db.pass db.host db.name Webinterface unter ip>/nagios/eventdb aufrufen

9 Konfiguration SNMPTT Entpacken des Archivs Kopieren von snmptt,snmptt.ini,snmpttconvertmib und snmptthandler snmptt: /usr/sbin snmptt.init: /etc/snmp snmpttconvertmib: /usr/sbin snmptthandler: /usr/sbin INIT-Script aus /etc/init.d/skeleton erzeugen Spool Verzeichnis anlegen und dem Daemon Benutzer zuweisen # mkdir /var/spool/snmptt # chown nagios.nagios /var/spool/snmptt

10 Konfiguration snmptt.ini mode = daemon net_snmp_perl_enable = 1 mibs_environment = ALL (nur wenn alle MIB`s fehlerfrei sind) daemon_uid = nagios Logging für die Testphase aktivieren Log_enable = 1 Log_file = xyz Wichtig: vorher mittels touch anlegen und dem Daemon Benutzer zuweisen unknown_trap_log_enable = 1 unknown_trap_log_file = xyz Wichtig: vorher mittels touch anlegen und dem Daemon Benutzer zuweisen syslog_enable = 1 syslog_level setzen snmptt_conf_files anpassen

11 Konfiguration SNMPD SNMPTrapd aktivieren (/etc/default/snmpd) Trapd Option -On aktivieren nur Numerische OID`s an SNMPTT übergeben Aktivieriung des snmptthandlers in snmptrapd.conf traphandle default /usr/sbin/snmptthandler

12 SNMPTT MIB File anlegen /etc/snmp/snmptt.conf EVENT testtrap "Status Events" Normal FORMAT Testtrap from Device ($*) SDESC Testtrap from device EDESC Sehr gute Doku unter Hersteller MIB`s können mittels snmpttconvertmib konvertiert werden nicht immer eine leichte Aufgabe :)

13 Konfiguration check_eventdb.pl eventdb/plugin/check_eventdb.pl nach /usr/local/nagios/libexec kopieren Anpassung von $opt_dbhost $opt_dbuser $opt_dbpasswd

14 NETWAYS DBMiner Eventverarbeitung mit Nagios

15 Agenda Einleitung Was ist der DBMiner Was macht der DBMiner Installation Kopieren der Dateien Installieren benötigter Perl Module Konfiguration Vorstellung des Szenarios Datenbank, Verbindungen vorbereiten (Datenbanken, Benutzer, Berechtigungen) Daemon vorbereiten (Benutzer, Berechtigungen, Logging) Aktionen und Regeln definieren Starten

16 Was ist der DBMiner Der DBMiner ist ein Daemon, geschrieben in PERL Benutzt Nagios ähnliche Syntax und Templating Pollt aktiv Events für die Verarbeitung Schafft eine Verbindung zwischen verschiedenen Datenbanken Regeln und Aktionen in PERL geschrieben (Module) Arbeitet Seriell die Aktionen ab

17 Was macht der DBMiner Fasst verschiedene Eventdatenbanken zusammen Vergleicht Events anhand von Regelwerken (wichtig / unwichtig) Löscht oder deaktiviert Events um Datenmengen gering zu halten Kumuliert gleichartige Events anhand von verschiedener Kriterien Pro Durchlauf (alle n Sekunden) Gespeicherter Event ändert sich (Cache) Ändert Werte oder fügt neue hinzu Startet externe Tools

18 Funktionsweise (1/2) Events1 Events2 Events kumuliert DBMiner Cache

19 Funktionsweise (2/2) Viewer (Typo3) Events kumuliert Viewer (NAGIOS) check_events (NAGIOS)

20 Installation Kopieren des Paketes in gewünschtes Verzeichnis (/usr/local) Neuste Version von DBI und DBD::mysql installieren

21 Konfiguration Datenbank Datenbanken und Benutzer vorbereiten Datenbanken erstellen Import der Schemas (Vom Eventviewer) Erweiterung des Schemas in der Zieldatenbank Verbindungen konfigurieren

22 Konfiguration Daemon

23 Konfiguration Regeln und Aktionen Verbindungen Abfragen Regeln Aktionen Templates

24 Starten Starten: perl I /usr/local/dbminer/dbminer/lib dbminer.pl configpath=/usr/local/dbminer/dbminer/cfg [--verbose --start --stop --reload] Im Daemonmode müssen absolute Pfade angegeben werden.