collectd the statistics collection & monitoring daemon

Transkript

1 collectd the statistics collection & monitoring daemon Sebastian Harl Linux User Schwabach LUG Camp Flensburg, 03. Mai 2008

2 Inhalt Was ist collectd? Architektur Implementierung von neuen

3 Was ist collectd? Was ist collectd? Geschichte collectd - the statistics collection & monitoring daemon Ressourcen / Community Wichtigste Features Anwendungsfälle Monitoring-Integration

4 Was ist collectd? Geschichte Geschichte Juni/Juli 2005 von Florian Forster ins Leben gerufen erste : load, cpu, traffic aktuelle Version 4.3: 18. Februar 2008 aktuell: ca. fünf regelmäßig aktive Entwickler, > 30 Mitwirkende, 56 Referenzen : BBC UK, noris.net, videobox.com,... (ersetzt immer mehr Munin und Konsorten Setups) Zukunft: Weltherrschaft ;-)

5 Was ist collectd? collectd - the statistics collection & monitoring daemon collectd - the statistics collection daemon ursprünglich: reines sammeln von System-Informationen mittlerweile: modularer Aufbau mit vielen Erweiterungs- und Anwendungsmöglichkeiten, Perl-Bindings Integration einer (rudimentären) Monitoring-Unterstützung (kommerzieller) Client für Windows R : SSC Serv Ausbau der Monitoring-Unterstützung, weitere Optimierungen (globaler Cache, Intervall Plugin-abhängig), verteilte Setups (HA und Load-Balancing), weitere Bindings (z.b. Python, Lua), Web-Frontend,...

6 Was ist collectd? apache, nginx CPU Auslastung, CPU Frequenz disk usage, disk throughput DNS network interface, IPVS, netlink, iptables, TCP connections libvirt, Linux-VServer load mbmon, IPMI

7 Was ist collectd? (II) MySQL processes ping sensors swap users

8 Was ist collectd? Ressourcen / Community Ressourcen / Community Homepage: SCM (Git): git://git.verplant.org/collectd.git Mailingliste: collectd@verplant.org IRC: #collectd auf Freenode

9 Was ist collectd? Wichtigste Features Wichtigste Features hohe Auflösung der gesammelten Werte (Standard: 10s) durchdachte Standard-Einstellungen möglichst einfache Konfiguration fein-granular skalierbar durch optionales Feintuning der Konfiguration keine zwingenden Abhängigkeiten und geringe Ressourcen-Anforderungen laüft auch auf kleinen System (z.b. OpenWRT)

10 Was ist collectd? Wichtigste Features Wichtigste Features (II) modularer Aufbau ( alles in collectd sind ) mächtige Erweiterungsmöglichkeiten mächtige Netzwerk-Unterstützung (u.a. Multicast, Unicast, IPv6, Proxy /Weiterleitung) C99 (zumindest größtenteils) gute Portierbarkeit; alles, was von UNIX schon mal was gehört hat, sollte es unterstützen

11 Was ist collectd? Anwendungsfälle Anwendungsfälle Performance Analyse Kapazitätsplanung (Monitoring) nette, bunte Graphen :-)

12 Was ist collectd? Monitoring-Integration Monitoring-Integration momentan in einer ersten Test-Phase Design: Überwachung von Schwellwert und Status-Indikatoren Notification beim Ausbleiben von Werten persistent Notifications Auslösen von notification-callbacks

13 Datenhaltung Erweiterbarkeit / Bindings exec- UNIX-Domain-Socket Nagios-Integration Netzwerk

14 Datenhaltung Datenhaltung RRD ( CSV z.b. für weitere eigene Verarbeitung

15 Erweiterbarkeit / Bindings Erweiterbarkeit / Bindings C- Perl- (gleiche API, wie C-) exec- UNIX-Domain-Socket SNMP-Unterstützung Nagios-Integration

16 Erweiterbarkeit / Bindings exec- ausführen von (beliebigen) externen Skripten / Programmen Kommunikation mit dem Daemon über Pipes (gesammelte Daten, Notifications) Notification-Behandlung ausführen von Nagios- (mit exec-nagios.px)

17 Erweiterbarkeit / Bindings UNIX-Domain-Sockets allgemeine Schnittstelle zur Kommunikation mit dem Daemon Weitergabe von Daten und Notifications Abfrage von Werten aus dem Daemon

18 Erweiterbarkeit / Bindings Nagios-Integration aktives Plugin für Nagios Abfrage von Werten über den UNIX-Socket

19 Netzwerk Netzwerk (Überblick) Netzwerk-Unterstützung, wie alles andere, ein Plugin Server- und Client-Modus gleichzeitig möglich unidirektionales, auf UDP aufbauendes Protokoll (aktuell) keine Verschlüsselung ggf. VPN o.ä. nutzen transparente Unterstützung von IPv4 und IPv6 transparente Unterstützung von Unicast und Multicast

20 Netzwerk Netzwerk (Konfigurationsmöglichkeiten) n-client, m-server (n, m 1)

21 Netzwerk

22 Netzwerk Netzwerk (Konfigurationsmöglichkeiten) n-client, m-server (n, m 1) Multicast-Gruppe(n)

23 Netzwerk

24 Netzwerk Netzwerk (Konfigurationsmöglichkeiten) n-client, m-server (n, m 1) Multicast-Gruppe(n) Proxies (IPv4 IPv6, Unicast Multicast, zw. versch. Netzwerken)

25 Netzwerk

26 Netzwerk Netzwerk (Konfigurationsmöglichkeiten) n-client, m-server (n, m 1) Multicast-Gruppe(n) Proxies (IPv4 IPv6, Unicast Multicast, zw. versch. Netzwerken)... und jede beliebige Kombination davon

27 Architektur Überblick Plugin-API Zusammenfassung Architektur

28 Architektur Überblick Architektur-Überblick schlanker Core Core verwaltet über Dispatch-Funktionen registrieren Callbacks für versch. Aufgaben (read, write, log) im Prinzip alle Funktionalität in den

29 Architektur Plugin-API Plugin-API (C/Perl) module register() Callback-Funktionen Plugin: plugin register <type>() Core: plugin read all() plugin dispatch values(), plugin log()

30 Architektur Zusammenfassung main loop plugin1_read plugin_dispatch_notif. plugin1_notif plugin2_read plugin2_notif plugin_read_all check_threshold plugin3_read plugin1_write plugin_dispatch_values plugin4_read plugin2_write

31 Implementierung von neuen Implementierung von neuen Minimales Beispiel

32 Implementierung von neuen Minimales Beispiel Minimales Beispiel s t a t i c i n t my read ( v o i d ) { v a l u e t v a l u e s [ 1 ] ; v a l u e l i s t t v l = VALUE LIST INIT ; / magic to g e t t h e data which i s to be c o l l e c t e d / v a l u e s [ 0 ]. gauge = magic ( ) ; } p l u g i n d i s p a t c h v a l u e s ( myplugin, &v l ) ; r e t u r n 0 ; v o i d m o d u l e r e g i s t e r ( v o i d ) { p l u g i n r e g i s t e r r e a d ( myplugin, my read ) ; }

33 Implementierung von neuen Minimales Beispiel Fragen? History: 2007/10/13: Initial version (LUSC Workshop-Weekend 2007) 2008/05/03: LUG Camp 2008, Flensburg