Monitoring mit Graphite

Monitoring mit Graphite

Hallo! 35 Jahre alt Erst Unixadmin, dann Netzwerker Spielplätze sind Web, Enterprise und Service Provider 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 2

Worum gehts? Graphite, Aufzucht und Pflege Wie kriege ich Daten in Graphite rein? Was kann ich mit Graphite tun? Wie bekomme ich meine Daten aus Graphite wieder raus? 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 3

Was ist Graphite Graphite ist eine Time-Series Datenbank Graphite speichert einen Wert für eine Metrik für ein Zeitintervall 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 4

Was ist Graphite? carbon und whisper sind in python geschrieben Die Webapp ist eine Django Applikation 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 5

Wer entwickelt Graphite? Chris Davis begann 2006 mit der Entwicklung und hat das Projekt 2008 unter der Apache 2.0 Lizenz veröffentlicht. Aktuelle Entwicklungen findet man unter https://github.com/graphite-project 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 6

Was kann ich mit Graphite machen? 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 7

Welche Komponenten hat Graphite carbon whisper graphite webapp 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 8

whisper? carbon? carbon sorgt dafür, daß Daten in whisper gespeichert werden. Die webapp kann die in whisper gespeicherten Daten anzeigen, als Graph, CSV oder JSON carbon besteht aus 3 Teilen, aber dazu später mehr. 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 9

Performance? carbon mag SSDs Keinen drehenden Rost verwenden! 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 10

Setup @ XING HP DL380G8 6 mal 240G SSD ca. 18000 metrics/s, gespiegelt 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 11

Daten rein? carbon kennt 2 Datenformate - Text & Pickle Text Format metric value timestamp > servers.webserver.load 1.2 1416061851 metric value > servers.webserver.load 1.2 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 12

Daten rein Client TCP/2003 carbon-cache whisper 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 13

Scaling carbon Client TCP/2003 carbon-relay carboncache carboncache carboncache 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 14

Scaling carbon Client TCP/2003 carbon-relay carbon-relay carbon-relay carbon-relay carboncache carboncache carboncache carboncache carboncache carboncache 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 15

carbon-aggregator carbon-aggregator kann vor carbon-cache oder carbonrelay geschaltet werden, um Metriken zu aggregieren. Damit kann die I/O Last verringert werden und Metriken können in kürzeren Intervallen geschickt werden 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 16

whisper oder wie Graphite Daten speichert whisper ist ähnlich wie RRD Feste Dateigröße Auflösung wird über die Zeit unschärfer Beliebig konfigurierbar: 10s Auflösung für 6 Stunden 60s Auflösung für 7 Tage 5 Minuten Auflösung für 2 Monate 15 Minuten Auflösung für 2 Jahre 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 17

Warum whisper und nicht RRD? RRD kann nicht mit Updates umgehen, die vor dem letzten Update lagen Wenn RRD nicht regelmäßige Updates bekommt, können Daten verloren gehen 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 18

Nachteile? whisper ist langsamer als RRD whisper hätte die Daten gerne im höchsten Auflösungsintervall, sonst gibt es Lücken Kommen Metriken öfter als das konfigurierte Intervall, gelten die letzten, die in dem Intervall geschrieben wurden! 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 19

Wer unterstützt denn Graphite? Brightcove Diamond 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 20

Daten raus Graphite Webapp Bild CSV JSON 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 21

Webfrontend 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 22

Graphen 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 23

Funktionen 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 24

Rechnen mit graphite 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 25

Grafana 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 26

Dusk 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 27

Sonstiges Tessera Dashboards aus Graphite Daten Seyren Alarmierung anhand von Graphite Daten Cabot Monitoring Framework, das auch Graphite Daten beachten kann 20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 28

Fragen? www.xing.com

Danke für eure Aufmerksamkeit! www.xing.com