Effektiver Einsatz von Lasttests zur Optimierung der Skalierbarkeit von Anwendungen und Web-Sites SEACON 2013

Transkript

1 Effektiver Einsatz von Lasttests zur Optimierung der Skalierbarkeit von Anwendungen und Web-Sites SEACON 2013

2 Agenda Erschlagen vom eigenen Erfolg Beispiele aus der jüngeren Vergangenheit Auch die Cloud ist kein Allheilmittel Fahrplan zu entspannten Live-Gängen Erfahrungen und Ergebnisse in der Praxis 2

3 Vom eigenen Erfolg erschlagen Telekom Mobilfunkseite durch iphone5 Andrang 3 Quelle:

4 Vom eigenen Erfolg erschlagen DaWanda : zunehmende Ausfälle durch steigende Nutzerzahlen 4 Quelle:

5 Vom eigenen Erfolg erschlagen GovData: vom Start weg überlastet 5 Quelle:

6 Agenda Erschlagen vom eigenen Erfolg Beispiele aus der jüngeren Vergangenheit Auch die Cloud ist kein Allheilmittel Fahrplan zu entspannten Live-Gängen Erfahrungen und Ergebnisse in der Praxis 6

7 Erschlagen vom eigenen Erfolg Wozu brauche ich Lasttests, ich habe doch die Cloud? Internet Cache Auth (LDAP) App- Server Firewall LoadBalancer Web- Server Web- Server LoadBalancer App- Server Datenbank App- Server Grundidee: Einsatz von Standardkomponenten zur Lastverteilung (Load-Balancer) + horizontale Skalierbarkeit der Anwendungskomponenten + dynamisches Buchen zusätzlicher Ressourcen in der Cloud = Lastprobleme einfach gelöst 7

8 Erschlagen vom eigenen Erfolg Wozu brauche ich Lasttests, ich habe doch die Cloud? Cache Auth (LDAP) App- Server Internet Firewall LoadBalancer Web- Server Web- Server LoadBalancer App- Server Datenbank App- Server Theory meets Reality typische Bottlenecks: alles was zentral ist RZ-Anbindung, Firewall, zentraler Load-Balancer, zentraler Cache, zentrale Datenbank, zentraler Authentication Server (LDAP) typisches Problem: Implementierungsfehler hebeln Skalierbarkeit aus 8

9 Agenda Erschlagen vom eigenen Erfolg Fahrplan zu entspannten Live-Gängen Definition von Lastanforderungen Lasttests zur Überprüfung der Lastanforderungen Auswahl der passenden Tools Auswertung von Lasttests Sizing der Systeme auf Basis von Lasttestergebnissen Erfahrungen und Ergebnisse in der Praxis 9

10 Definition von Lastanforderungen Typische Kennzahlen Fachliche Anforderung Technische Entsprechung Betrachtungs- Unterschied Anzahl Besucher #User unangemeldete Besucher Visits pro Monat #Session/h Betrachtungs-Zeitraum, Session-Timeout, Bot-Session PageView bzw. PageImpression pro Tag Hit/s Betrachtungs-Zeitraum, statische Ressourcen, AJAX-Requests, Tracking-Requests, API-Calls 10

11 Definition von Lastanforderungen Woran ausrichten Generelle Empfehlung: Ausrichtung an den Business- Anforderungen Business-Kennzahlen als Basis für die Definition der Lastanforderungen verwenden Aber: Abweichungen zur technischen Sicht berücksichtigen Die Server müssen die technisch ankommende Last verkraften Richtigen Betrachtungszeitraum wählen technisch motivierte Lastkomponenten berücksichtigen Bot-Requests Statische Ressourcen AJAX-Calls Tracking-Requests 11

12 Definition von Lastanforderungen Betrachtungs-Zeitraum : Typische Tageskurve 12

13 Definition von Lastanforderungen Betrachtungs-Zeitraum : Monatsverlauf maßgebliches Ziel für Lasttest relevante Kennzahl für Businessplan 13

14 Definition von Lastanforderungen Übersehene Anforderungsbestandteile : Statische Ressourcen Statische Ressourcen bis zu 100 Bilder, Javascript- und CSS-Dateien pro Seitenaufruf MIME Type Requests image 80 js 16 html 12 css 10 other 6 text 2 flash 0 Lösungen auf CDN auslagern auf eigene Cookie-less Domain auslagern im Lasttest mit berücksichtigen (Last mit generieren) 14

15 Definition von Lastanforderungen Übersehene Anforderungsbestandteile : Bot-Requests Woher kommen zusätzliche Requests? Google Microsoft Bing diverse andere Suchmaschinen automatisiertes Verfügbarkeits-Monitoring automatisiertes Performance-Monitoring Benchmarking der Wettbewerber Verlinkungen in sozialen Netzwerken... Bots verursachen 50% aller Sessions 10% aller Seitenaufrufe 1-click Sessions (Bot setzt keinen Cookie) 15

16 Definition von Lastanforderungen Abgestuftes Vorgehen mit mehreren Meilensteinen 16

18 Lasttests zur Überprüfung der Lastanforderungen Begriffsklärung 1. Testarten Performance-Messung: Wie schnell ist das System ohne Last? Lasttest: Wie verhält sich das System unter Last? Stresstest: Wie kommt das System mit Überlastsituationen klar? 2. Umfang Komponenten-Lasttest: Lasttest einzelner Komponenten System-Lasttest: Lasttest des Gesamtsystems 3. Zielsetzungen Entwicklungs-Lasttest: Untersuchung des Lastverhaltens, Identifikation von Engpässen Abnahme-Lasttest: Überprüfung der Zielerreichung bzgl. Lastanforderungen 18

19 Lasttests zur Überprüfung der Lastanforderungen Begriffsklärung 1. Testarten Performance-Messung: Wie schnell ist das System ohne Last? Lasttest: Wie verhält sich das System unter Last? Stresstest: Wie kommt das System mit Überlastsituationen klar? 2. Umfang Komponenten-Lasttest: Lasttest einzelner Komponenten System-Lasttest: Lasttest des Gesamtsystems 3. Zielsetzungen Entwicklungs-Lasttest: Untersuchung des Lastverhaltens, Identifikation von Engpässen Abnahme-Lasttest: Überprüfung der Zielerreichung bzgl. Lastanforderungen 19

20 Lasttests zur Überprüfung der Lastanforderungen Beispiel: Durchsatzmessung in Abhängigkeit von der Last Messung mit linear steigender Last 20

21 Lasttests zur Überprüfung der Lastanforderungen Beispiel: Durchsatzmessung in Abhängigkeit von der Last Messung mit linear steigender Last Lastkurve bei idealem Systemverhalten (lineare Skalierbarkeit) 21

22 Lasttests zur Überprüfung der Lastanforderungen Beispiel: Durchsatzmessung in Abhängigkeit von der Last Messung mit linear steigender Last grün: linearer Bereich, Antwortzeit ist konstant, auch bei steigender Last Lastkurve bei idealem Systemverhalten (lineare Skalierbarkeit) gelb: nichtlinearer Bereich, Antwortzeiten beginnen zu steigen, orange: Sättigung, Antwortzeiten steigen synchron zur Last rot: Überlast, Antwortzeiten steigen stärker als die Last, der Durchsatz verringert sich mit weiterer Erhöhung der Last 22

23 Lasttests zur Überprüfung der Lastanforderungen Realistische Lasttests Realistische Lasttests möglichst viele der Requests, die in der Realität auftauchen alle relevanten UseCases modellierter Lastanteil 90% 95% 98% 99% abzubildende UseCases statische Ressourcen, AJAX-Calls, Tracking-Requests, Mix der Requests (Häufigkeitsverteilung) Sessionlänge Abfolge der Requests Think-Time Datenvielfalt (Kategorien, Artikel, Suchbegriffe, Kunden,...) 23

24 Lasttests zur Überprüfung der Lastanforderungen Zufällige Lasttests Zufällige Lasttests Deterministische Szenarien haben weniger Aussagekraft testen nur ein konkretes Szenario und verbergen Fehler finden Fehler, die in der Realität so nicht vorkommen werden zufällige Testdaten, zufällige Session-Längen, zufällige Testschritt- Reihenfolgen, zufällige Wartezeiten (Think Time), zufällige Warenkorbgrößen Praxis Gewichtete Zufallsauswahl auf Basis relativer Häufigkeiten (CSV) Auswahl Suchbegriff aus den Top-3000 Suchbegriffen der Kunden Zufälliger Shuffle der Testschritt-Reihenfolge Think-Time zwischen Testschritten 24

25 Lasttests zur Überprüfung der Lastanforderungen Regelmäßige Lasttests Regelmäßige Lasttests Lastziele werden nicht auf Anhieb erreicht neue Fehler machen bereits erreichtes zunichte Praxis Automatisierte Komponenten-Lasttest in der Build-Pipeline Automatisierte tgl. System-Lasttests + mehrfach individuell gestartete Lasttests am Tage Automatisierte Abnahme-Lasttest in der Release-Pipeline 25

27 Auswahl der passenden Tools Tool-Klassen Toolklassen synthetische http-request-last (ab, JMeter, Silk Performer) capture replay von realem Traffic (JMeter, Silk Performer, LoadRunner) simulierte Browser (XLT) ferngesteuerte Browser (Soke) ferngesteuerte Rechner (viele WinRunner) gesteuerte Menschengruppe TradeOff Hardware-Aufwand Pflege-Aufwand / Realitätstreue 27

28 Auswahl der passenden Tools HW-Bedarf Tool-Kategorie echte User echte Browser simulierte Browser HTTP-Traffic synthetisch capture / replay einfache HTTP- Last Realitätstreue max sehr hoch hoch mittel max gering Pflegeaufwand min gering gering hoch mittel mittel HW-Bedarf (für 350 PI/s) PC VM VM VM 3-5 VM open source Tools - Soke Soke JMeter Grinder Gatling Apache Bench Siege kommerzielle Tools - XLT LoadRunner SilkPerformer 28

29 Auswahl der passenden Tools HW-Bedarf Tool-Kategorie echte User echte Browser simulierte Browser HTTP-Traffic synthetisch capture / replay einfache HTTP- Last Realitätstreue max sehr hoch hoch mittel max gering Pflegeaufwand min gering gering hoch mittel mittel HW-Bedarf (für 350 PI/s) PC VM VM VM 3-5 VM open source Tools - Soke Soke JMeter Grinder Gatling kommerzielle Tools - XLT LoadRunner SilkPerformer Apache Bench Siege 29

31 Auswertung von Lasttests Überblick über die Gesamtlandschaft jenkins-lpt xltmaster-dev xltmaster-qa-166 xltmaster-qa Lastgeneratoren (8 core, 8GB RAM) LoadBalancer LoadBalancer LoadBalancer PA-Proxy PA-Proxy PA-Proxy PA-Proxy PA-Proxy PA-Proxy Auth Order P13N Product SAN Auth Order P13N Product SAN Auth Order P13N Product SAN Prelive-cluster LPT Live KPI Logging Graphite Splunk 31

32 Auswertung von Lasttests Auswertungen jenkins-lpt xltmaster-dev xltmaster-qa-166 xltmaster-qa-85 1.XLT-Report 50 Lastgeneratoren (8 core, 8GB RAM) 1.Antwortzeiten LoadBalancer LoadBalancer LoadBalancer PA-Proxy PA-Proxy PA-Proxy PA-Proxy PA-Proxy PA-Proxy Auth Order 3.Ressourcen- Monitoring P13N Product SAN Prelive-cluster KPI Auth Order P13N LPT Product SAN Auth Order Live Logging P13N Product SAN 2.(Profiling) Log 3.Graphite-Graph Graphite Splunk 2.Splunk-Report 32

33 Auswertung von Lasttests 1 XLT-Report Durchsatz (Hits/s) Durchsatz User (Laufzeitprobleme?) Aktionen Fehleranteil Seitenladezeiten Durchsatz / Aktion Requests (Antwortzeiten, zeitlicher Verlauf) Custom Timer (Auftreten von speziellen Fehlern, Detaillaufzeiten) External Data (Externe Laufzeiten) Error and Event (Fehlerbilder, Fehlerursachen) Agents (Agent-Auslastung, Validität Messergebnisse) 33

34 Auswertung von Lasttests 1 XLT-Report : Typische Fehlerbilder Verlängerung der Laufzeiten lässt Anzahl simulierter User überproportional steigen 34

35 Auswertung von Lasttests 1 XLT-Report : Typische Fehlerbilder Stau auf der Datenautobahn Erwartete Kurve 35

36 Auswertung von Lasttests 1 XLT-Report : Typische Fehlerbilder Einbruch nach Erreichen einer Lastgrenze = Überlast 36

37 Auswertung von Lasttests 1 XLT-Report : Typische Fehlerbilder zunehmende Anzahl Timeouts lässt durchschnittliche Laufzeit kontinuierlich steigen 37

38 Auswertung von Lasttests 2 Splunk-Report Dashboard Client Backend Request Laufzeiten Aufteilung nach PageTag Welches System ist für Laufzeitprobleme verantwortlich? 38

39 Auswertung von Lasttests 3. Graphite-Graphen Rubriken für Ressourcenauslastung CPU Platten-IO RAM Netzwerk-IO Plattform (Tomcat Threadpool, Java GC) Anwendung Verlinkung Jenkins-Job Graphite Dashboard 39

40 Auswertung von Lasttests 3. Graphite-Graphen Graphite Dashboard 40

42 Sizing der Systeme auf Basis von Lasttestergebnissen Vorgehen 1. Messung der Spitzenlast im Lasttest 2. Messung der Ressourcenauslastung während des Lasttests 3. Messung der zugeordneten Ressourcen in der Lastumgebung 4. Vorgabe der Ziellast 5. Vorgabe der Ressourcenauslastung bei Ziellast Lastreserve Ausfallreserve 6. Vorgaben zum Server-/VM-Zuschnitt minimale Anzahl Server/VM s pro Komponente Ressourcen pro Server/VM 7. Extrapolation der benötigten Ressourcen in der Zielumgebung Re ssourcenbe darf = ( live) Re ssourcen ( Testumgebung ) * Ziellast Last ( live ) ( Test ) * Re ssourcenauslastungsg rad ( Test ) Re ssourcenauslastungsgrad ( live 42)

43 Sizing der Systeme auf Basis von Lasttestergebnissen Grundannahmen Vorgabe Ressourcenauslastung bei Ziellast Lineare Skalierbarkeit auf einer Maschine nur bis max % Ressourcenauslastung erreichbar Ausfallsicherheitsreserve 50% Ziel-Wert: 50% * 60% = 30% Vorgaben zum Server-/VM-Zuschnitt Ausfallsicherheit: AppServer: mindestens zwei Server pro Aufgabe MongoDB Replica-Set: mindestens 3 DBs im Replica-Verbund Ressourcen pro Server mindestens 2 core pro Server/VM (System + Applikation) nie swapping zulassen ausreichend memory minimale disk size für sicheren Betrieb (logging, backup/restore) 43

44 Agenda Erschlagen vom eigenen Erfolg Fahrplan zu entspannten Live-Gängen Erfahrungen und Ergebnisse in der Praxis 44

45 Erfahrungen und Ergebnisse in der Praxis Zahlen Kontinuierliche Lasttests seit 12 Monaten 6 Ziel-Umgebungen, davon 3 für Lasttests genutzt Je Umgebung zwischen 50 und 150 VM 50 VM s als Lastgeneratoren 5-10 Lasttestläufe pro Tag 5-10 GByte Ergebnisdaten pro Lasttestlauf ca. 100 Metriken pro VM pro Minute ca. 100 GByte tägliches Log-Volumen aus Lasttests 3 große Meilensteine erfolgreich bewältigt Mitarbeitershop Closed Alpha Live Beta 45

46 Erfahrungen und Ergebnisse in der Praxis Lessons learned Ohne smarte Ziele geht es nicht. S = Spezifisch M = Messbar A = Akzeptiert R = Realistisch T = Terminiert 46

47 Erfahrungen und Ergebnisse in der Praxis Lessons learned Ohne smarte Ziele geht es nicht. S = Spezifisch M = Messbar A = Akzeptiert R = Realistisch T = Terminiert Zielerreichung laufend kommunizieren und visualisieren Dashboard 47

48 Erfahrungen und Ergebnisse in der Praxis Dashboard Arbeitsstand für alle sichtbar visualisieren: Dashboard 48

49 Erfahrungen und Ergebnisse in der Praxis Lessons learned Ohne smarte Ziele geht es nicht. S = Spezifisch M = Messbar A = Akzeptiert R = Realistisch T = Terminiert Zielerreichung laufend kommunizieren und visualisieren Dashboard Die Probleme treten meist nicht dort auf, wo man sie vermutet. Lasttest so dicht wie möglich an der Wirklichkeit gestalten BlackBox Test 49

50 Erfahrungen und Ergebnisse in der Praxis Beispiele für aufgedeckte Skalierbarkeitsprobleme Problem: Default-Konfiguration des nginx beschränkt CPU-Nutzung auf einen Core Lösung: Anpassung nginx-konfiguration PI/s Sättigung Projektlaufzeit 50

51 Erfahrungen und Ergebnisse in der Praxis Beispiele für aufgedeckte Skalierbarkeitsprobleme Problem: Auslieferung statischer Ressourcen setzt App-Server unter Last Lösung: Einführung Asset-Server für statischen Content PI/s Sättigung Projektlaufzeit 51

52 Erfahrungen und Ergebnisse in der Praxis Beispiele für aufgedeckte Skalierbarkeitsprobleme Problem: zu wenig RAM führt unter Last zum Swapping der Such-Server Lösung: mehr RAM PI/s Sättigung Projektlaufzeit 52

53 Erfahrungen und Ergebnisse in der Praxis Konsequenzen für die Gestaltung der Lasttests Ziele müssen allgemein akzeptiert werden SMART Zielerreichung laufend kommunizieren Dashboard Probleme meist nicht dort, wo man sie vermutet Wirklichkeitsnähe Entspannte Live-Gänge in Sachen Performance- und Lastverhalten sind keine Utopie 53

54 Uwe Beßle Andrea Papst iteratec GmbH Am Sandtorkai Hamburg iteratec GmbH 54