smekal.at :: IT Consulting RRDTool Ein Bild sagt mehr als 1000 Zahlen

Transkript

1 smekal.at :: IT Consulting RRDTool Ein Bild sagt mehr als 1000 Zahlen

2 smekal.at :: Goesta Smekal 15+ Jahre als IT Professional unterschiedliche Umgebungen: 24x7 Operating im medizinischen Bereich Support, Training, Implementierung IT Leiter bei einer NPO Senior Consultant Systemmanagement 15+ Jahre Open Source Erfahrung enger Kontakt zur Community (Vorstandsmitglied der Linux User Group Austria) Erfahrungen kann man nicht lernen, man muss sie machen

3 RRDTool :: Beispiele RRDTool steckt in vielen Anwendungen zur Überwachung und statistischen Auswertung zb: Debian-Pakete, die von rrdtool abhängen: mbmon, torrus, serverstats, rrdcollect, queuegraph, netmrg,nagiosgrapher,munin, jffnms,iptotal, honeyd, ganglia webfrontend, flowscan, dtc xen, digitemp, collectd, cacti, backuppc weitere im Web:

4 RRDTool :: Anwendungen RRDTool dient zum: Archivieren langer Zeitreihen Darstellung komplexer zeitlicher Zusammenhänge Abschätzen von Trends Beeindrucken des Managements verwendbar in vielen Bereichen: Systemmonitoring Netzwerklast Plattenplatz Datendurchsatz Userzahl Mailqueue Klimadaten Home Automation Finanzdaten Kontostand Börsenkurse

5 RRDTool :: Beispiel Webserver schaltet sich aus unerfindlichen Gründen ab mehrmals und zu unterschiedlichen Zeiten Vermutung: thermisches Problem teilweise richtig: Ursache war CPU Last durch Programmfehler

6 RRD ::? RoundRobinDatabase sammelt numerische Daten verwendet Ringpuffer fixe Dateigröße über die Zeit verdichtet ältere Daten schnelle Auswertungen Quelle:

7 RRA ::? Archivreihen verdichten Daten durch eine Consolidation Function : AVERAGE MIN MAX LAST RRAs sind ebenfalls Ringpuffer durch fixe Zahl der RRAs bleibt Dateigröße begrenzt

8 RRD :: Vor-/Nachteile RRDs haben eine definierte Größe, egal wie lange man Daten einfüllt Schreib-/Lesevorgänge sind effizient und schnell (jeder Datensatz hat eine definierte Position im File) RRDs speichern nur Zahlen CF AVERAGE schleift Extremwerte ab (Mittelwerte von Mittlelwerten ) RRDs sind nicht relational

9 RRD :: Mittelwertproblem Extremfall: Stoßfunktion singuläres Ereignis hebt sich deutlich vom Rest der Daten ab durch Mittelung ebbt das Maximum ab Abhilfe: CF muss zu Datenreihe passen one size never fits all (vgl.: RFC 1925) Rohdaten RRA RRA2 RRA Spalte 1 Spalte 2 Spalte Rohdaten AVG AVG2 AVG3

10 RRD :: anlegen start: ältester Datenpunkt (in Epoch) step: Intervall in Sekunden DS: definiert Datenserie (kann mehrfach verwendet werden) DS:<name>:DST:HB:min:max DST: Art der Wertereihe (GAUGE, COUNTER, DERIVE, ABSOLUTE, COMPUTE) HB: Heartbeat - maximale Lücke bevor Daten als unknown gelten min/max: Unter/Obergrenze der Daten RRA: Archivdatenreihen RRA:CF:xff:step:rows CF: (AVERAGE, MIN, MAX, LAST) xff: X-Files Factor ähnlich HB step: Zahl der zu mittelnden Datenpunkte rows: Zahl der gespeicherten Werte rrdtool create $FILENAME \ start \ step 10 \ DS:Temperatur:GAUGE:300: 40:50 \ RRA:AVERAGE:0.5:6:240 \ RRA:AVERAGE:0.5:60:144 \ RRA:AVERAGE:0.5:180:336 \ RRA:AVERAGE:0.5:360:744 \ RRA:AVERAGE:0.5:8640:365

11 RRD :: Daten schreiben mehrere Datenreihen können gleichzeitig geschrieben werden Daten werden chronologisch(!) geschrieben ohne Timestamp wird aktuelle Zeit genommen rrdtool update \ $FILENAME \ $TIMESTAMP:$VALUE[: $VALUE] eigentlich: rrdtool {update updatev} filename [ template t ds name[:ds name]...] [ daemon address] [ ] N timestamp:value[:value...] at timestamp@value[:value...] [timestamp:value[:value...]...]

12 RRD :: Daten lesen AVERAGE MIN/MAX rrdtool fetch \ $FILENAME LAST \ resolution 900 \ start $TIMESTAMP \ end $TIMESTAMP2 LAST eigentlich: liest konsolidierte Daten CF wählbar RRA wählbar (über resolution) Zeitraum wählbar rrdtool fetch <filename> <CF> resolution <res> start <start> end <end>

13 RRDTool :: Praxis Fallbeispiel Klimadaten digitale Wetterstation liefert periodisch Messwerte (Temperatur, Feuchte, Luftdruck, Sonneneinstrahlung, Neiderschlag, Winddaten...) Langzeitaufzeichnung nur als Graphen gefordert

14 RRDgraph :: simpel rrdtool graph \ /tmp/temperatur.png \ DEF:t=temperatur.rrd\ :Temperatur:AVERAGE \ LINE:t#ff0000 simpel schnell hässlich

15 RRDgraph :: Bildformat rrdtool graph \ /tmp/temperatur.png \ DEF:t=temperatur.rrd\ :Temperatur:AVERAGE \ LINE:t#ff0000 \ width 400 height 300 Bildgröße frei wählbar Dateiformate PNG, SVG, EPS hässlich

16 RRDgraph :: Achsen rrdtool graph \ [ ] upper limit 35 \ lower limit 20 \ y grid 5:1 \ vertical label \ Temperatur ( C) \ start \ end

17 RRDgraph :: Legende rrdtool graph \ [ ] VDEF:max=t,MAXIMUM \ VDEF:min=t,MINIMUM \ VDEF:avg=t,AVERAGE \ LINE1:0#0000FF \ LINE2:t#ff0000:"aktuell\: " \ GPRINT:t:LAST:"%8.2lf C\n" \ GPRINT:t:MAX:" Maximum\: %10.2lf C\n" \ GPRINT:t:MIN:" Minimum\: %10.2lf C\n" \ LINE1:avg#999999:"Mittel \: " \ GPRINT:t:AVERAGE:"%8.2lf C\n" \

18 RRDgraph :: Multigraph rrdtool graph \ [ ] DEF:t=temperatur.rrd:Temperatur:AVERAGE \ DEF:f=luftfeuchte.rrd:Luftfeuchte:AVERAGE \ CDEF:f2=f,2,/ \ LINE: 20 \ AREA:f2#ccccff:"Luftfeuchtigkeit\n":STACK \ VDEF:max=t,MAXIMUM \ VDEF:min=t,MINIMUM \ VDEF:avg=t,AVERAGE \ LINE1:0#0000FF \ LINE2:t#ff0000:"Temperatur\n" \ GPRINT:t:LAST:" aktuell\: %10.2lf C\n" \ GPRINT:t:MAX:" Maximum\: %10.2lf C\n" \ GPRINT:t:MIN:" Minimum\: %10.2lf C\n" \ LINE1:avg#999999:"Mittel \: " \ GPRINT:t:AVERAGE:"%8.2lf C\n" \

19 RRDgraph :: Trends Prognosen sind schwierig, besonders dann, wenn sie die Zukunft betreffen (wird Karl Valentin zugeschrieben)

20 RRD :: Pitfalls RRD Daten sind abhängig von der Architektur (Endianness!, aber auch i386 - amd64) hier hilft rrdtool dump socat socat rrdtool restore Reihenfolge der Zeichenbefehle bestimmt Legende und Anordnung im Graphen (zb AREA hinter LINE)

21 RRDTool :: Quellen