Server Performance Evaluation im Betrieblichen Umfeld

Transkript

1 Server Performance Evaluation im Betrieblichen Umfeld Helmut Hlavacs Universität Wien Institut für Verteilte und Multimediale Systeme

2 Auswirkungen schlechter Performance Empirische Erkenntnis: Bei zu hoher Wartezeit verlassen die Benutzer eine Webseite (Zona Research 1999, 2001) Kostet $4.35 Billionen jährlich (Zona Research 2000) Reduktion der Ladezeit um eine Sekunde könnte die Abbruchrate um 30% - 60% senken (Zona Research 2001) Verluste durch Ausfallszeiten: % des jährlichen Einkommen pro Stunde (Zona Research 2001)

3 Betriebliche IT Beobachtungen Historisch gewachsene Systeme Komplexe Topologien Dutzende unterschiedliche Technolgien Dynamische Datenerzeugung Probleme: Flaschenhälse, komplexe Abhängigkeiten Zurück zur Zentralisierung Billige Thin Clients Einfach zu installieren, geringe Wartungskosten Voraussetzung: gute Netzwerkverbindungen verfügbar Problem: Zentralisierte Systeme skalieren schlecht z.b. nächtliche Batchjobs, Abrechungen

4 Was ist Performance Evaluierung? Teil von ISO/IEC 9126 Qualität des Produktes Software Funktionalität, Benutzbarkeit, Änderbarkeit, Übertragbarkeit Effizienz, Zuverlässigkeit Performance Evaluierung Performance Test Kapazitätsplanung Benchmarking Quality of Experience

5 Performance Test Welche Performance hat mein System under Test (SUT)? Gegeben System Typische individuelle Arbeitslast Gesucht Systemverhalten Performance Metriken Werden SLAs eingehalten?

6 Metriken Performance Antwortszeit Durchsatz Auslastung Ressourcenbelastung Stabilität Reliability(Zuverlässigkeit), Availability(Verfügbarkeit) Mean-Time-To-Failure Mean-Time-To-Repair Mean-Time-Between-Failure

7 Performance Test und Überwachung Offline Testumgebung Load Testing: typische Workload Stress Testing: Worst Case Workload Spike Testing: Extreme Überschreitung Wichtig: Testumgebung ähnlich zu Produktion Online Produktionsumgebung Individuell: Logfiles End-to-end: Messagenten Wichtig: Test darf Produktion nicht beeinflussen

8 Kapazitätsplanung Service-Level Agreement (SLA) Vom Management vorgegeben Ausgedrückt durch Zielmetriken 95% der Anfragen sollten innerhalb von 4 Sekunden beantwortet sein

9 Kapazitätsplanung Zu erzeugende Modelle Workload Performance und Availability Prediction Cost Mit welcher Plattform/Konfiguration können bei gegebener Kostenobergrenze und Workload die SLAs eingehalten werden?

10 Benchmarking Machen unterschiedliche Systeme bzgl. Performance vergleichbar Orientierungshilfe für Kauf Ablauf Normierte Programme/Arbeitslast wird erzeugt Workload: Real, Synthetisch, Künstlich Performance Metriken werden gesammelt Verdichtung auf eine Performance-Kennzahl

11 Benchmarks SPEC CPU (Integer, FP) Grafik Java Client/Server Mail / Webserver Network File System Power and Performance Virtualisierung MPI, OpenMP SIP BABCo SysMark WebMark MobileMark 3DMark TPC Linpack (Top500) WEBstone SIPstone

12 Quality of Experience Wie erlebt ein Mensch die subjektive Qualität des Services? Subjective/perceived QoS (PQoS) Subjektiv erlebte Qualität eines Einzelservices zb: Sprachqualität eines Telefonats, IPTV Bildqualität Metrik: Mean Opinion Score (MOS) Quality of (User) Experience (QoE) Subjektiv erlebte Qualität des Anbieters/Gesamtservices Bewertung des Angebotes (welche Services gibt es?) Bewertung der PQoS der einzelnen Services

13 PQoS Beispiele Wartezeit Zona 8-Second Rule: Nach 8 Sekunden brechen 70% der Besucher die Transaktion ab Sprache ITU E-Model, PESQ, 3SQM, Video PSNR, DVQ, SSIM, VQM, JND,

14 PQoS Beispiele Bouch, Kuchinsky, Bhatti 2000 High Average Low No. of users Latency Firefox Plugin Fasterfox

15 Weitere Methoden der Performance Evaluation Analytische Modellierung Warteschlangentheorie Petri-Netze Markov-Ketten Fluid-Modelle Discrete Event Simulation Modell als Programm Modellbestandteile in Datenstrukturen

16 Was kann die Wissenschaft beisteuern? Grundlagenforschung Weiterentwicklung der Methodik Modellentwicklung Angewandte Forschung Als Projekt-Partner Auswahl von Methoden, Tools zur Performance Messung Durchführung von Messungen, Performance Studien Perceived QoS/QoE Studien

17 Frühere und laufende Projekte Modellierung von Anwenderverhalten Satellitenkommunikation Mobilfunk (Zellen) Webserver IP Broadcasting PQoS von Mobile Video Mobile Computing und Mobile Applikationen Mobile Community Support Systeme Heimnetzwerke und Applikationen Energieffizienz Ad-hoc Vehicle Communikation

18 Unsere Arbeiten in Softnet Availability und Reliability Performance Evaluation und Benchmarking Security

19 Voice over IP Szenario SIP Proxy SIP Proxy 1. REGISTER 2. INVITE OK 2. INVITE OK OK 1. REGISTER 2. INVITE 4. ACK 5. Gesprächsdaten 6. BYE OK

20 Voice over IP Problem Clients und Proxies von unterschiedlichen Quellen SIP lässt manche Fragen offen Manchmal verstehen einander Proxy und Client nicht Internet ist ein offenes globales Netzwerk Nicht standard-konforme SIP-Nachrichten Clients, Proxies könnten abstürzen Angriffsmöglichkeit, Denial of Service

21 Voice over IP Schutzschild INVITE

22 Voice over IP Schutzschild Selbst-lernend Welche SIP-Nachrichten waren erfolgreich? Welche SIP-Nachrichten führten zu Fehlern? Klassifikation Enthält Header-Teile die problematisch sind? SIP-Nachricht (Header) wird durch eine möglichst ähnliche ersetzt Minimale Distanz

23 C4.5 Decision Tree for SIP Register Messages - critical header parameters identified by the decision tree:

24 Voice over IP Weitere Einsatzgebiete DoS Angriff erkennen Voice SPAM / SPIT-Detection

25 SIP Proxy Performance Benchmarks SIPstone IMS/NGN Performance Benchmark SPEC SIP Subgroup

26 SIP Security ZRTP Secure RTP (SRTP) Verschlüsselung des Medienkanals Schlüsselaustausch nicht definiert PKI, SIP basiert ZRTP ZRTP Keine PKI notwendig Diffie-Hellman Verifizieren der Schlüssel: Vorlesen von Wörtern

27 SIP Security ZRTP Man-In-The-Middle Angriff Analyse Implementation Durchführung Implementierungsangriff Erweiterungen Challenge-Response Random Call Delay

28 Danke für ihre Aufmerksamkeit!