Wisse, was deine Rechner tun

Transkript

1 Performance-Analyse mit collectd Wisse, was deine Rechner tun Sebastian tokkee Harl collectd core team Grazer Linuxtage April 2010

2 Was ist collectd? Wichtige Eigenschaften Wichtige Plugins Eigene Erweiterungen Über den Tellerrand Wisse, was deine Rechner tun Sebastian Harl 2 / 48

3 Was ist collectd? collectd sammelt Leistungsdaten von Rechnern Leistungsdaten sind zum Beispiel: CPU-Auslastung Speichernutzung Netzwerkverkehr Daten werden erhoben, verarbeitet und gespeichert Häufig: Darstellung als Graphen Nicht verwechseln mit Monitoring! Wisse, was deine Rechner tun Sebastian Harl 3 / 48

4 Kontakt Homepage: Mailinglist: IRC: #collectd auf irc.freenode.net Web 2.0 : Wisse, was deine Rechner tun Sebastian Harl 4 / 48

5 Wichtige Eigenschaften Daemon Freie Software (größtenteils GPLv2) Portierbar (Linux, *BSD, Solaris,... ) Skalierbar (OpenWrt,..., Cluster / Cloud) Effizient (Default-Auflösung: 10 Sekunden) Modular (Über 70 Plugins) Wisse, was deine Rechner tun Sebastian Harl 5 / 48

7 Wichtige Eigenschaften: 10-Sekunden-Auflösung Wisse, was deine Rechner tun Sebastian Harl 6 / 48

10 Verfügbare Plugins (Auswahl; Stand: Version 4.7) apache logfile oracle tail apcups entropy mbmon perl tape apple sensors exec memcachec ping ted ascent filecount memcached postgresql tcpconns battery fscache memory powerdns teamspeak2 bind gmond multimeter processes thermal conntrack hddtemp mysql protocols unixsock cpu interface netlink rrdcached uptime cpufreq iptables network rrdtool users csv ipmi nfs sensors uuid curl ipvs nginx serial vmem dbi irq ntpd snmp vserver df java nut swap wireless disk libvirt onewire syslog xmms dns load openvpn table Wisse, was deine Rechner tun Sebastian Harl 8 / 48

11 Technische Details Aktuelle Version ist Pakete für diverse Distributionen vorhanden (Debian, RedHat, FreeBSD, OpenWrt,... ) Major-Version 3. ist veraltet und inkompatibel Geschrieben in C Versionsverwaltung mit Git Wisse, was deine Rechner tun Sebastian Harl 9 / 48

12 Was ist collectd? Wichtige Plugins CPU, Speicher, Netzwerk-Schnittstellen Netzwerk-Plugin RRDtool- und RRDCacheD-Plugins SNMP-Plugin tail-plugin Eigene Erweiterungen Über den Tellerrand Wisse, was deine Rechner tun Sebastian Harl 10 / 48

13 Wichtige Plugins Spezielle Lese-Plugins CPU, Speicher, Netzwerk-Schnittstellen Schreib- bzw. IO-Plugins Netzwerk-Plugin RRDtool RRDCacheD Generische Plugins SNMP tail Wisse, was deine Rechner tun Sebastian Harl 11 / 48

14 Synopsis CPU, Speicher, Netzwerk-Schnittstellen LoadPlugin "cpu" LoadPlugin "memory" LoadPlugin "interface" <Plugin "interface"> Interface "lo" Interface "sit0" IgnoreSelected true </Plugin> Wisse, was deine Rechner tun Sebastian Harl 12 / 48

15 CPU, Speicher, Netzwerk-Schnittstellen Wisse, was deine Rechner tun Sebastian Harl 13 / 48

18 Netzwerk-Plugin Betriebsarten Daten versenden ( Client ) Daten empfangen ( Server ) Weiterleiten ( Proxy ) Unicast ( Punkt-zu-Punkt ) Multicast ( Punkt-zu-Gruppe ) IPv4 und IPv6 Ein Daemon für alles Rolle des Daemon hängt von der Konfiguration ab. Wisse, was deine Rechner tun Sebastian Harl 16 / 48

19 Netzwerk-Plugin: Unicast Wisse, was deine Rechner tun Sebastian Harl 17 / 48

20 Netzwerk-Plugin: Multicast Wisse, was deine Rechner tun Sebastian Harl 18 / 48

21 Netzwerk-Plugin: Proxy Wisse, was deine Rechner tun Sebastian Harl 19 / 48

22 Netzwerk-Plugin Synopsis: Client LoadPlugin "network" <Plugin "network"> Server "collectd0.musterfirma.de" Server "collectd1.musterfirma.de" Server "ff18::efc0:4a42" </Plugin> Wisse, was deine Rechner tun Sebastian Harl 20 / 48

23 Netzwerk-Plugin Synopsis: Server LoadPlugin "network" <Plugin "network"> Listen "collectd0.musterfirma.de" Listen "ff18::efc0:4a42" </Plugin> Wisse, was deine Rechner tun Sebastian Harl 21 / 48

24 Netzwerk-Plugin Synopsis: Proxy LoadPlugin "network" <Plugin "network"> Listen "collectgw.extern.musterfirma.de" Server "collectd1.intern.musterfirma.de" Forward true </Plugin> Wisse, was deine Rechner tun Sebastian Harl 22 / 48

25 Netzwerk-Plugin Authentifizierung / Verschlüsselung (seit Version 4.7.0) Authentifizierung via HMAC-SHA-256 Verschlüsselung mit AES-256 (OFB) Wisse, was deine Rechner tun Sebastian Harl 23 / 48

26 Netzwerk-Plugin Authentifizierung / Verschlüsselung Server Client Nichts Sign Encrypt Nichts akzeptiert akzeptiert nicht möglich AuthFile akzeptiert akzeptiert akzeptiert Sign nicht akzeptiert akzeptiert akzeptiert Encrypt nicht akzeptiert nicht akzeptiert akzeptiert Wisse, was deine Rechner tun Sebastian Harl 24 / 48

27 RRDtool-Plugin Allgemeines Schreibt Daten in RRD-Dateien Wisse, was deine Rechner tun Sebastian Harl 25 / 48

28 RRDtool-Plugin Allgemeines Schreibt Daten effizient in RRD-Dateien Wisse, was deine Rechner tun Sebastian Harl 25 / 48

29 RRDtool-Plugin Allgemeines Schreibt Daten effizient in RRD-Dateien Caching um Performance-Problemen zu begegnen Wisse, was deine Rechner tun Sebastian Harl 25 / 48

30 RRDtool-Plugin Allgemeines Schreibt Daten effizient in RRD-Dateien Caching um Performance-Problemen zu begegnen Flushing für aktuelle Daten Wisse, was deine Rechner tun Sebastian Harl 25 / 48

31 RRDtool-Plugin Allgemeines Schreibt Daten effizient in RRD-Dateien Caching um Performance-Problemen zu begegnen Flushing für aktuelle Daten Throttling für gleichmäßige Last Wisse, was deine Rechner tun Sebastian Harl 25 / 48

32 RRDtool-Plugin Synopsis LoadPlugin "rrdtool" <Plugin "rrdtool"> DataDir "/var/lib/collectd/rrd" CacheTimeout 300 WritesPerSecond 30 </Plugin> Wisse, was deine Rechner tun Sebastian Harl 26 / 48

33 RRDtool-Plugin Wisse, was deine Rechner tun Sebastian Harl 27 / 48

34 RRDCacheD-Plugin Allgemeines Update-Prinzip des RRDtool-Plugins Eigenständiger Daemon Integration in RRDtool 1.4 Weitere Funktionen, z. B. Journaling Vorteil: Neustart von collectd ohne Cache-Verlust Wisse, was deine Rechner tun Sebastian Harl 28 / 48

35 SNMP-Plugin Allgemeines Fragt Netzwerk-Zubehör via SNMP ab Generisch: Nicht für ein gestimmtes Gerät geschrieben Mehrere Geräte werden parallel abgefragt Konfiguration Data -Blöcke Host -Blöcke Wisse, was deine Rechner tun Sebastian Harl 29 / 48

36 SNMP-Plugin Synopsis: Data-Block <Plugin "snmp"> <Data "ifmib_if_octets64"> Type "if_octets" Table true Instance "IF-MIB::ifName" Values "IF-MIB::ifHCInOctets" \ "IF-MIB::ifHCOutOctets" </Data> </Plugin> Wisse, was deine Rechner tun Sebastian Harl 30 / 48

37 SNMP-Plugin Synopsis: Host-Block <Plugin "snmp"> <Host "switch0.intern.musterfirma.de"> Address " " Version 1 Community "public" Collect "ifmib_if_octets64" Interval 60 </Host> </Plugin> Wisse, was deine Rechner tun Sebastian Harl 31 / 48

38 SNMP-Plugin: Users Wisse, was deine Rechner tun Sebastian Harl 32 / 48

39 SNMP-Plugin: USV-Last Wisse, was deine Rechner tun Sebastian Harl 33 / 48

40 SNMP-Plugin: Cache-Alter Wisse, was deine Rechner tun Sebastian Harl 34 / 48

41 tail-plugin Allgemeines Verfolgt Log-Dateien Extrahiert Werte oder zählt Ereignisse Selektion der Zeilen / Werte mit regulären Ausdrücken Verwendbar für MTAs, Web-Server,... Wisse, was deine Rechner tun Sebastian Harl 35 / 48

42 tail-plugin: Verbindungen von Exim Wisse, was deine Rechner tun Sebastian Harl 36 / 48

43 tail-plugin: SSH Brute-Force-Attacke Wisse, was deine Rechner tun Sebastian Harl 37 / 48

44 Wichtige Plugins: Zusammenfassung Plugins für zahlreiche Systemmetriken existieren (z. B. für CPU, Speicher und Netzwerk-Schnittstellen) Wisse, was deine Rechner tun Sebastian Harl 38 / 48

45 Wichtige Plugins: Zusammenfassung Plugins für zahlreiche Systemmetriken existieren (z. B. für CPU, Speicher und Netzwerk-Schnittstellen) Vielfältige Netzwerk-Möglichkeiten (IPv4, IPv6, Unicast, Multicast, Proxies) Wisse, was deine Rechner tun Sebastian Harl 38 / 48

46 Wichtige Plugins: Zusammenfassung Plugins für zahlreiche Systemmetriken existieren (z. B. für CPU, Speicher und Netzwerk-Schnittstellen) Vielfältige Netzwerk-Möglichkeiten (IPv4, IPv6, Unicast, Multicast, Proxies) Bewährtes Caching-Modell für RRD-Dateien Wisse, was deine Rechner tun Sebastian Harl 38 / 48

47 Wichtige Plugins: Zusammenfassung Plugins für zahlreiche Systemmetriken existieren (z. B. für CPU, Speicher und Netzwerk-Schnittstellen) Vielfältige Netzwerk-Möglichkeiten (IPv4, IPv6, Unicast, Multicast, Proxies) Bewährtes Caching-Modell für RRD-Dateien Mächtige, generische Ansätze statt Speziallösungen (z. B. SNMP- und tail-plugins) Wisse, was deine Rechner tun Sebastian Harl 38 / 48

48 Was ist collectd? Wichtige Plugins Eigene Erweiterungen Perl-Plugin unixsock-plugin exec-plugin Java-Plugin Über den Tellerrand Wisse, was deine Rechner tun Sebastian Harl 39 / 48

49 Perl-Plugin Allgemeines Integriert einen Perl-Interpreter (vergleichbar zu Apaches mod perl) Instanziierung und Syntax-Analyse nur einmal Exportiert die API ( nicht nur Lese-Plugins möglich) Wisse, was deine Rechner tun Sebastian Harl 40 / 48

50 unixsock-plugin Allgemeines Öffnet einen UNIX-Domain-Socket Kennt mehrere Befehle (z. B. PUTVAL, FLUSH, LISTVAL) Interaktion mit externen Programmen möglich cussh.pl: collectd UNIX socket shell Wisse, was deine Rechner tun Sebastian Harl 41 / 48

51 exec-plugin Allgemeines Führt Programme aus Liest von deren Standard-Ausgabe Können über längere Perioden laufen (vgl. init) Wisse, was deine Rechner tun Sebastian Harl 42 / 48

52 Java-Plugin Allgemeines Integriert eine Java Virtual Maschine (JVM) Exportiert die API ( nicht nur Lese-Plugins möglich) Prinzipielle Ähnlichkeit zum Perl-Plugin Wisse, was deine Rechner tun Sebastian Harl 43 / 48

53 Eigene Erweiterungen: Zusammenfassung collectd API nutzen C, Perl und Java möglich Wisse, was deine Rechner tun Sebastian Harl 44 / 48

54 Eigene Erweiterungen: Zusammenfassung collectd API nutzen C, Perl und Java möglich Externe Programme erweitern unixsock-plugin ermöglicht Kommunikation Wisse, was deine Rechner tun Sebastian Harl 44 / 48

55 Eigene Erweiterungen: Zusammenfassung collectd API nutzen C, Perl und Java möglich Externe Programme erweitern unixsock-plugin ermöglicht Kommunikation Eigenes Programm / Skript schreiben Exec-Plugin Wisse, was deine Rechner tun Sebastian Harl 44 / 48

56 Was ist collectd? Wichtige Plugins Eigene Erweiterungen Über den Tellerrand Wisse, was deine Rechner tun Sebastian Harl 45 / 48

57 Über den Tellerrand: Zubehör snmp-probe-host.px Erzeugt semi-automatisch <Host />-Blöcke für das SNMP-Plugin jcollectd Java-Implementierung des Netzwerk-Protokolls ( JMX) kcollectd KDE-Programm zur Near-Realtime-Anzeige von Graphen Collectd::Unixsock Perl-Modul für die Kommunikation mit dem unixsock-plugin Wisse, was deine Rechner tun Sebastian Harl 46 / 48

58 Über den Tellerrand: Interaktion collectd-nagios Fragt Daten via unixsock-plugin ab und erzeugt Nagios-kompatible Ausgabe exec-nagios.px Perl-Skript welches Nagios-Plugins ausführt ( Exec-Plugin) exec-munin.px Perl-Skript welches Munin-Plugins ausführt ( Exec-Plugin) gmond-plugin Empfängt und verarbeitet Ganglia Multicast-Pakete Wisse, was deine Rechner tun Sebastian Harl 47 / 48

59 Wisse, was deine Rechner tun Vielen Dank für die Aufmerksamkeit! Gibt es Fragen? Danke an Florian Forster für die initiale Version dieser Folien! Wisse, was deine Rechner tun Sebastian Harl 48 / 48