Warum Anwendungen nicht skalieren Wie man Performance- und Skalierbarkeitsprobleme findet und eliminiert

Transkript

1 Warum Anwendungen nicht skalieren Wie man Performance- und Skalierbarkeitsprobleme findet und eliminiert Alois Reitbauer, dynatrace Software Mirko Novakovic, codecentric GmbH

2 Agenda Skalierbarkeit Das Problem verstehen Die Probleme finden Lösungsansätze 2

3 Skalierbarkeit A service is said to be scalable if when we increase the resources in a system, it results in increased performance in a manner proportional to resources added [Werner Vogels, CTO, Amazoncom] 3

4 Skalierbarkeit Definition und Abgrenzung zu Performance Skalierbarkeit und Performance werden häufig als Synonym benutzt, obwohl es unterschiedlichen Anforderungen sind Performance misst die Geschwindigkeit in der eine Anfrage abgearbeitet wird Skalierbarkeit misst die Fähigkeit einer Anfrage die Geschwindigkeit bei ansteigender Last beizubehalten 4

5 Skalierbarkeit Unterschiedliche Anforderungen an Skalierbarkeit Steigende Anzahl paralleler Anfragen Steigende Anzahl paralleler Benutzer Steigende Anzahl Datensätze Höhere Verfügbarkeit bei gleicher Performance 5

6 Varianten von Skalierbarkeit Scale up und Scale out Vertikale Skalierbarkeit (scale up) Ein physischer Knoten bekommt mehr Ressourcen, idr mehr CPU oder Arbeitsspeicher Gerade bei virtualisierten Instanzen immer einfacher und on demand Horizontale Skalierbarkeit (Scale out) Es werden physikalische Knoten hinzugefügt Trend zu immer mehr Servern, weil kostengünstig und leistungsstark zb mit Blade-Systemen Scale out bedeutet, dass man ein verteiltes System hat! 6

7 Die Performance/Skalierbarkeitssicht auf Software Queueing Theory Modellierung der Engpassressourcen einer Softwareanwendung Ressourcen werden abgebildet und Anfragen über Queues modelliert Beispiel: CPU und aktuelle Requests Queueing Networks Modellierung eines Computersystem als Netzwerk von Ressourcen Verbinden mehrerer Queues miteinander Beispiel: CPU, Netzwerk, Connection Pools, Servlet Threads, 7

8 Eine Web-Anwendung als Queue Network Server Netzwerk Datenbank 1 n Servlet Threads CPU Network DB Conn 1 n 8

9 Vertikale und Horizontale Skalierung aus Sicht von Queues Vertikale Skalierung Horizontale Skalierung DB Conn 1 n 1 n Servlet Threads CPU 1 n DB Conn 1 n Servlet 1 Threads Servlet 1 CPUn Threads DB Conn 1 n Servlet 1 CPUn Threads DB Conn 1 n CPUn DB Conn 1 n Servlet Threads CPU 9

10 Das Problem verstehen If the system is fast in singleuser mode, but slow under heavy load, then the problemis scalability, not performance [Cameron Purdy, VP Development, Oracle] 11

11 Die Wahrheit über Skalierbarkeit Was man unbedingt beachten muss Skalierbarkeit verbessert nicht die Performance Skalierbarkeit erhöht die Komplexität und verringert die Performance Ein skalierbares System ist im Single-User Modus langsamer Auch wenn ein System skalierbar ist, muss man auf Performance achten Skalierbarkeit kann die Verfügbarkeit und Ausfallsicherheit verbessern Scale-out die einzige Möglichkeit Status Informationen müssen synchronisiert werden 12

12 Limitierende Faktoren bei Software CPU Zeit Über Hardware skalierbar Speicherverbrauch Über Hardware skalierbar I/O und Netzwerk Limitiert und schwerer zu skalieren Architekturänderungen Zugriff auf Shared Ressources Nicht oder schwer skalierbar Architekturänderungen 13

13 Klassische Kennzahlen Durchsatz Anzahl der Abfragen die abgearbeitet werden können Antwortzeiten Min/Max/Avg oder Percentile der Antwortzeiten einer Abfrage Systemmetriken CPU Verbrauch Speicherverbrauch Applikationsmetriken ConnectionPools Auslastung Thread idle/busy count Queuelängen und Zugriffspattern 14

14 Eine Standardmesskurve und wie sie zu lesen ist Antwortzeit Durchsatz CPU Verbrauch 15

15 Die Probleme finden Skalierbarkeitsprobleme sollten so früh wie möglich Behebung häufig Änderungen der Architektur erfordert aufgedeckt werden, weil die 16

16 Überblick Performance- und Skalierungsprobleme Synchronization Heap Sizing GC Tuning Caching 17

17 Datenbankzugriffe Falsche Verwendung von O/R Mapping Frameworks Konfiguration/Ladeverhalten Schlechtes Transaktionsdesign Verbindungen werden zu lange gehalten Isolationlevels schlecht definiert (oder gar nicht) Ineffeziente Logik zum Laden der Daten 18

18 Verteiltung/Kommunikation Schlechtes Schnittstellendesign Schnittstellen zu generisch Aufrufe nicht oder zu wenig serviceorientiert Falsches Kommunikationsprotokoll SOAP Services in homogenen Landschaften Synchrone statt asynchroner Kommunikation Aufwändige Serialisierung Deployment ohne Betrachtung der Anwendung 19

19 Synchronisation und serieller Zugriff Synchronisation Locks werden zu lange gehalten Granularität bei Locks falsch gewählt Locking auf Datenbankebene oft übersehen Serieller Datenzugriff Zugriff muss in Serie abgearbeitet werden Skalierbarkeit logisch begrenzt sync 20

20 Zu viel synchrone Programmlogik Entwickler denken oft prozedural synchron Synchrone Abarbeitung in verteilten System problematisch Sehr hoher Resourcenaufwand Typisches Anzeichen: Niedrige CPU Last bei Auslastung anderer Resourcen Klassisches Beispiel: Webanwendungen Client longrunningmethod() Server Client longrunningmethod() Server 21

21 Speichermanagement Schlechte Konfiguration des Garbage Collectors Generation Sizes Collection Strategie Unnötiges Erzeugung von Objekten Serialisierung O/R Mapping Frameworks Memory Leaks Schlechte Freigabelogik 22

22 Probleme in der Entwicklung Mangelndes Verständnis für dynamisches Anwendungsverhalten Es fehlen Tools und entsprechendes Training Oft Fokus auf Funktionalität und nicht Skalierbarkeit und Performance Bei Projektdruck werden Performancetests gerne gestrichen Warten auf Symptome Wenig proaktives Analysieren von Skalierbarkeit Echte Probleme treten erst unter hoher Last auf In der Entwicklungsumgebung idr nur ein Benutzer 23

23 Lösungsansätze 24

24 Lösungsansätze Definition von Skalierbarkeitskriterien Definition nach relevanten Performancekriterien Stateless Services Zustand muss sonst synchronisiert werden => Netzwerkbelastung Herstellen von Lokalität Änderung des Deployments Monitoring und Diagnose Testen im CI Umfeld Last- und Stresstests Trending in der Produktionsumgebung 25

25 Lösungsansätze Caching Vermeidung unnötiger Datenbank- und Remotinginteraktionen Delayed writing (Secure vs Immediate Delivery) Optimierung der Anwendungslogik Interaktionsmuster, Serialisierungsstragie, Transaktionsverhalten, Reduktion von Abhängigkeiten Optimieren von Anwendungen für Parallelisierung Fein granulares Locking, Verwendung gemeinsamer Ressourcen minimieren Verteilte Systeme asynchron und lose gekoppelt bauen Message Queuing, Worker Thread Models 26

26 Quellen InfoQ Performance: TheServerSidecom: dynatrace Blog: codecentric Blog: 27