Stud.IP Performance Testing

Transkript

1 C A R L V O N O S S I E T Z K Y Stud.IP Performance Testing Matthias Runge Optimierungen für Hochlast-Situationen

2 Einleitung 1 Einleitung 2 Reproduzieren von Hochlast 3 Datenbank 4 Webserver 5 Architektur Matthias Runge Stud.IP Performance Testing / 30

3 Übersicht 1 Einleitung 2 Reproduzieren von Hochlast 3 Datenbank 4 Webserver 5 Architektur Matthias Runge Stud.IP Performance Testing / 30

4 Nutzer online Matthias Runge Stud.IP Performance Testing / 30

5 Motivation Auslösendes Ereignis Anmeldeverfahren oder 2.Tag im Semester ca. 250 Personen online, davon viele Administratoren Normalbetrieb: bis zu 300 Personen online Load 90 auf 2 Web-Servern, insg. ca. 300 Webserver-Prozesse httpd-prozesse im Status D top sagt, 50% idle kein Swapping hohe Zahl an offenen MySQL-Verbindungen zur Datenbank Matthias Runge Stud.IP Performance Testing / 30

6 Datenbank-Server Übersicht Hohe Zahl an Verbindungen (>200, maximal 343, normal sind ca. 20) Laut top ist Maschine zu 70% idle Ein MySQL-Prozess bei 100% CPU-Auslastung Kein Swapping 4-Prozessormaschine Matthias Runge Stud.IP Performance Testing / 30

7 Übersicht 1 Einleitung 2 Reproduzieren von Hochlast 3 Datenbank 4 Webserver 5 Architektur Matthias Runge Stud.IP Performance Testing / 30

8 Was tun?... Matthias Runge Stud.IP Performance Testing / 30

9 Hübsche Architektur Matthias Runge Stud.IP Performance Testing / 30

10 Testen! Was tun, wie optimieren? Optimierungen am Produktivsystem scheiden aus Wir wollen reproduzierbare Ergebnisse Wir wollen quantifizieren Einzelnutzer nützen nix Anmeldeverfahren simulieren Matthias Runge Stud.IP Performance Testing / 30

11 Wir brauchen ein Werkzeug Anforderung das ganze Paket testen Viele Nutzer erzeugen und diese Tests ausführen lassen Verschiedenste Seitenaufrufe in Stud.IP: Einloggen/Abmelden Meine Seminare Veranstaltung suchen Kalender einsehen zu/von Veranstaltung an/abmelden das schwarze Brett besuchen Matthias Runge Stud.IP Performance Testing / 30

12 Test-Framework Test-Framework Erzeugt... Nutzer und führt für diese parallel Tests durch die benötigte Zeit wird gemessen Matthias Runge Stud.IP Performance Testing / 30

13 Werkzeug Übersicht Python Scripte httplib, urllib zu konfigurieren: Stud.IP-URL Datenbankverbindung Evtl. Zeitspanne zwischen Aufrufen Anzulegende Nutzer (Studiengang, Einrichtung) Bilder laden ja/nein Script zur Ausführung einer Testreihe Shell-Script zur Erzeugung von gnuplot-ausgaben Matthias Runge Stud.IP Performance Testing / 30

14 Ausführung Optionen Nutzer anlegen/löschen (direkt in DB) mit... Nutzern testen, Dauerlast erzeugen Ergebnis in Datenbank speichern (mit Bemerkung) Anmerkungen Jeder Nutzer entspricht einem Prozess zum Laden eines Bildes wird ein Thread erzeugt mit/ohne Verschlüsselung: ca 30% Unterschied Matthias Runge Stud.IP Performance Testing / 30

15 Übersicht 1 Einleitung 2 Reproduzieren von Hochlast 3 Datenbank 4 Webserver 5 Architektur Matthias Runge Stud.IP Performance Testing / 30

16 Kenne Deine Konfig wichtige Variablen key_buffer_size (1GB) query_cache_size (1 GB) thread_cache_size (8 256) Matthias Runge Stud.IP Performance Testing / 30

17 MyISAM oder InnoDB MyISAM vs. InnoDB Tabellenweises Locking keine (referenzielle) Integrität Kein Threading TEXT-Spalten können indiziert werden Volltext-Suche Zeilenweises Locking kennt Transaktionen Beschränkungen für Varchar und Text-Spalten (768 Byte) Standardgröße Datenbankseite: 16kb vgl. seminare Matthias Runge Stud.IP Performance Testing / 30

18 MyISAM oder InnoDB Messungen MyISAM und InnoDB Messungen Matthias Runge Stud.IP Performance Testing / 30

19 MySQL Performance Tips Top 1000 Performance Tips Kein select.. from... where in select text vom Rest trennen, nicht abfragen, wenn nicht unbedingt benötigt Don t use SELECT * (511 Stellen gefunden) Matthias Runge Stud.IP Performance Testing / 30

20 Übersicht 1 Einleitung 2 Reproduzieren von Hochlast 3 Datenbank 4 Webserver 5 Architektur Matthias Runge Stud.IP Performance Testing / 30

21 Webserver? Watt denn fürn Webserver? Matthias Runge Stud.IP Performance Testing / 30

22 Kenne Deine Config httpd.conf - mod_php, prefork MaxClients, ServerLimit KeepAlive, KeepAliveTimeout MaxKeepAliveRequests MaxRequestsPerChild php.ini memory_limit Matthias Runge Stud.IP Performance Testing / 30

23 fastcgi vs. mod_php Idee Httpd liefert Dateien aus Es wird nicht für jeden PHP-Prozess eine neue Ausführumgebung aufgebaut kein Threading bei mod_php Security Policy per application Beobachtung: apache mit fastcgi braucht mehr Speicher als mod_php Matthias Runge Stud.IP Performance Testing / 30

24 Stud.IP 2.0, 2.2 beide mit fastcgi Matthias Runge Stud.IP Performance Testing / 30

25 Monitoring Monitoring Server beobachten munin, cacti, rrdtool,... Wissen, was diese Werkzeuge anzeigen Matthias Runge Stud.IP Performance Testing / 30

26 Übersicht 1 Einleitung 2 Reproduzieren von Hochlast 3 Datenbank 4 Webserver 5 Architektur Matthias Runge Stud.IP Performance Testing / 30

27 Architektur Anbindung, Bandbreite, Latenz DB-Traffic etwa 10x soviel wie Webserver-Traffic Matthias Runge Stud.IP Performance Testing / 30

28 Andere Architektur Einfacher/Komplizierter? Matthias Runge Stud.IP Performance Testing / 30

29 Diskussion Fragen, Anregungen, Wünsche? Bitte direkt hier stellen oder per an: Matthias Runge Stud.IP Performance Testing / 30

30 Vielen Dank... für die Aufmerksamkeit Matthias Runge Stud.IP Performance Testing / 30