200 Millionen Messwerte pro Tag. App-Monitoring bei RTLs wer-kennt-wen.de

Transkript

1 200 Millionen Messwerte pro Tag App-Monitoring bei RTLs wer-kennt-wen.de

2 Agenda Vorstellung Historische Betrachtung Klassisches Monitoring Die Evolution des Monitoring Realtime Monitoring Zusammenfassung

3 Was ist wer-kennt-wen.de Internet-Plattform Neue Kontakte schließen und alte Bekannte wiederfinden Registrierung ab 14 Jahren möglich Kostenlos

4 Was ist wer-kennt-wen.de Gründung: 3. Oktober 2006 Über 9,4 Mio. Mitglieder Über 80 Mitarbeiter 6,36 Mio. Unique User pro Monat Firmensitz in Köln

5 Der Diez und der Jan Head of Development System Operations php MySQL Scala RabbitMQ Puppet Puppet Bash Graphite Munin Dieter Schmidt Jan Doberstein

6 Historische Betrachtung Zwei Mann, vier Server und ein Produkt

7 Historische Betrachtung Zwei Mann, vier Server und ein Produkt Produktentwicklung im Vordergrund Keine Zeit für Monitoring

8 Historische Betrachtung Wird das Wachstum beherrschbar bleiben?

9 Historische Betrachtung Wird das Wachstum beherrschbar bleiben? Wo sind die Probleme? Großer Hardware-Bedarf Wollen wir weitermachen?

10 Historische Betrachtung Warum ist der Kaffee leer?

11 Historische Betrachtung Unwissenheit und Naivität führen zu immer dem gleichen Ergebnis!

12 Historische Betrachtung Cacti Graphische Oberfläche LAMP Stack Distributionspakete vorhanden

13 Historische Betrachtung Nagios Simple Konfiguration (Textdateien) Templates möglich

14 Historische Betrachtung - Wachstum Serverwachstum Aug. 10 Rasantes Wachstum Dezember Mio. User September Mio. User April Mio. User Jan. 10 Jul. 09 Dez. 08 Jun. 08 Nov. 07 Apr. 07 Okt. 06 > 500 Server

15 Historische Betrachtung Struktur Webserver Bilder Statischer Content Cache Middleware (Suche, Kontaktpfad) Datenbanken Speicher (Bilder)

16 Historische Betrachtung Überlastung der Überwachung! Check in 5 Minuten Intervallen Mehr als Checks Nagios Mehr als Messpunkte Cacti 100 Mio. Messpunkte am Tag

17 Historische Betrachtung Überlastung des Teams Erstellung neuer Graphen mindestens eine Stunde Applikationsänderungen können zu Messlücken führen

18 Klassisches Monitoring - Architektur Monolithische Architektur Vertikal skalierbar, nicht horizontal

19 Klassisches Monitoring - Modell Sequentielle Bearbeitung Komplexe Ereigniskette Komplizierte Wartung Abhängigkeiten in allen Bereichen

20 Klassisches Monitoring Modellgetriebene Metriken Datenbank als Flaschenhals Nicht persistierte Daten können nicht ausgewertet werden!

21 Klassisches Monitoring Auswertungsprobleme Referenzhardware CPU: HP DL380 8 Core Xeon 3 GHz RAM: 32 GByte ECC HD: Controller P400 / RAID5 6x HP SAS mit RPM DB: MySQL mit InnoDB Storage-Engine bei 70% Bufferpool/Memory OS: Linux wkwdb-fra amd64 #1 SMP Fri May 4 00:37:33 UTC 2007 x86_64 GNU/Linux

22 Klassisches Monitoring Abbruch der Messung Fehleranfälliger Workflow Kanban: tägliches Deployment Applikationsupdates betrifft auch das Monitoring

23 Klassisches Monitoring Schlechter Software Prozess Fehleranfälligkeit Falsche Messwerte Geringe Flexibilität Schwerfällig

24 Evolution eines Monitorings Grocksta Schnell, dynamisch, stabil

25 Evolution eines Monitorings Grocksta Graphite

26 Evolution eines Monitorings Grocksta rocksteady

27 Evolution eines Monitorings Grocksta statsd

28 Evolution eines Monitorings Grocksta Schnell, dynamisch, stabil

29 Evolution eines Monitorings - Graphite Speicherung Darstellung Frontend Python

30 Evolution eines Monitorings - rocksteady Middleware Business Logik Java

31 Evolution eines Monitorings - statsd Aggregation Mittelwertbildung Node.js

32 realtime Monitoring - Architektur Alles ist ein Event! Push statt pull

33 realtime Monitoring Code getriebene Metriken Events Namespaces

34 realtime Monitoring Dynamische Metriken Minimaler Aufwand Wenig Code Metrik wird bei Event erzeugt

35 realtime Monitoring echo "1min.sys.$(hostname).users.loggedin $(who wc l) $(date +%s)" netcat u statsd 6667 Alles kann Graphen erzeugen Egal in welcher Sprache Egal an welcher Stelle Es gibt keine Entschuldigung für keinen Graphen Keine 5 Minuten für neue Graphen

36 realtime Monitoring echo "1min.sys.$(hostname).users.loggedin $(who wc l) $(date +%s)" netcat u statsd 6667 Alles kann Graphen erzeugen Egal in welcher Sprache Egal an welcher Stelle Es gibt keine Entschuldigung für keinen Graphen Keine 5 Minuten für neue Graphen

37 realtime Monitoring echo "1min.sys.$(hostname).users.loggedin $(who wc l) $(date +%s)" netcat u statsd 6667 Alles kann Graphen erzeugen Egal in welcher Sprache Egal an welcher Stelle Es gibt keine Entschuldigung für keinen Graphen Keine 5 Minuten für neue Graphen

38 realtime Monitoring echo "1min.sys.$(hostname).users.loggedin $(who wc l) $(date +%s)" netcat u statsd 6667 Alles kann Graphen erzeugen Egal in welcher Sprache Egal an welcher Stelle Es gibt keine Entschuldigung für keinen Graphen Keine 5 Minuten für neue Graphen

39 realtime Monitoring echo "1min.sys.$(hostname).users.loggedin $(who wc l) $(date +%s)" netcat u statsd 6667 Alles kann Graphen erzeugen Egal in welcher Sprache Egal an welcher Stelle Es gibt keine Entschuldigung für keinen Graphen Keine 5 Minuten für neue Graphen

40 realtime Monitoring echo "1min.sys.$(hostname).users.loggedin $(who wc l) $(date +%s)" netcat u statsd 6667 Alles kann Graphen erzeugen Egal in welcher Sprache Egal an welcher Stelle Es gibt keine Entschuldigung für keinen Graphen Keine 5 Minuten für neue Graphen

41 realtime Monitoring echo "1min.sys.$(hostname).users.loggedin $(who wc l) $(date +%s)" netcat u statsd 6667 Alles kann Graphen erzeugen Egal in welcher Sprache Egal an welcher Stelle Es gibt keine Entschuldigung für keinen Graphen Keine 5 Minuten für neue Graphen

42 realtime Monitoring Graphen können im Dashboard von Graphite angesehen werden Oder via Graphite API auf unserer Webseite eingebunden werden

43 realtime Monitoring Asynchrone Kommunikation Jede Komponente horizontal skalierbar

44 realtime Monitoring - Kommunikation Einfache Kommunikation via UDP Metriken werden gebündelt weitergegeben

45 realtime Monitoring - Kommunikation Transport über AMQP TCP für garantierte Übertragung Metriken werden aus der Queue abgeholt

46 realtime Monitoring - Skalierung Graphite Speicherung erfolgt in Whisper Datenbanken Dauer der Speicherung kann frei definiert werden Frei skalierbar über Servergrenzen ( relay & cache ) Speicherplatz ist das Limit Retentions = Auflösung [s]:anzahl Messpunkte

47 realtime Monitoring klassisch vs. realtime

48 realtime Monitoring - Evolution Aggregation der Metriken Alarmierung via Nagios (nsca) Synthese von neuen Metriken

49 realtime Monitoring - Evolution Eventlistener interface(updatelistener) Alerting an Subsysteme Zusammenfassung von Werten

50 realtime Monitoring Evolution Code Beispiel

51 Zusammenfassung Monitoring ist agiler geworden Trends können schneller erkannt werden Mehr Messmöglichkeiten Ein genauerer Blick auf das Ganze Über 200 Mio. Messpunkte möglich!

52

53 Danke!