Skalierbare Webanwendungen

Transkript

1 Skalierbare Webanwendungen Thomas Bachmann Lead Software Architect & CIO Mambu GmbH

2

3 Anwendungsbeispiel Hohe Nichtfunktionale Anforderungen Sicherheit Vertraulichkeit Integrität Verfügbarkeit (auch während Upgrades) Skalierbarkeit große Datenmengen Performance Transaktionen / Sekunde Reporting Isolation

4 Traditioneller Monolith

5 Status Quo download distribution Herausforderungen konstante Antwortzeiten unabhängig von aktueller Last und Datenmenge Verfügbarkeit während Upgrades Load Balancer hoher Datendurchsatz bei OLTP kurze Antwortzeiten bei OLAP Horizontal Scaling Application Servers Auto Scaling Group Horizontal Scaling cache node Read Query Caching bucket with objects SQL master Vertical Scaling SQL slave RDS DB instance read replica

6 Skalierbarkeit und Verfügbarkeit der Persistenzschicht Horizontal Scaling Horizontal Scaling cache node Read Query Caching bucket with objects SQL master Vertical Scaling SQL slave RDS DB instance read replica

7 Skalierbarkeit und Verfügbarkeit der Persistenzschicht Lösungsalternativen Horizontale und vertikale Skalierung (Cloud Computing) Infrastruktur Automatisierung zur Performance Isolation (Cloud Computing) Caching Cluster / Read-Replicas für Leseanfragen NoSQL vs RDBMS Column Stores vs. Row Stores Polyglot Persistence & CQRS vs. CRUD & REST

8 Skalierbarkeit und Verfügbarkeit der Persistenzschicht NoSQL (Document & Key-Value Stores) vs RDBMS z.b. MongoDB vs MySQL NoSQL: Horizontale Skalierbarkeit / Sharding, kein Schema, Managed Service ohne Downtime Image Sources:

9 Skalierbarkeit und Verfügbarkeit der Persistenzschicht NoSQL (Document & Key-Value Stores) vs RDBMS z.b. MongoDB vs MySQL Image Sources:

10 Skalierbarkeit und Verfügbarkeit der Persistenzschicht Column Stores vs Row Stores z.b. Apache Cassandra vs MySQL Column Stores: schneller lesen, (langsamer schreiben), schnelle Schema Änderungen Image Sources:

11 Skalierbarkeit und Verfügbarkeit der Persistenzschicht In-Memory Computing und Key-Value Stores (NoSQL) z.b. SAP HANA und Redis Schnelle Zugriffszeiten (Latenz) Image Source:

12 Skalierbarkeit und Verfügbarkeit der Persistenzschicht Polyglot Persistence & CQRS vs. CRUD & REST Best of breed für jeden Anfragetyp Image Source:

13 Skalierbarkeit und Verfügbarkeit der Anwendungslogik Application Servers Auto Scaling Group

14 Skalierbarkeit und Verfügbarkeit der Anwendungslogik Anforderungen Last hoher Datendurchsatz bei OLTP Datenmenge schnelle Antworten bei OLAP Performance Isolation bei Mandantenfähigkeit Last eines Kunden beeinträchtigt andere Kunden nicht Verfügbarkeit während Upgrades/Updates Infrastruktur (Hardware, Betriebssystem) Datenspeicher Version Datenbank Schemas

15 Skalierbarkeit und Verfügbarkeit der Anwendungslogik Lösungsalternativen Horizontale und vertikale Skalierung (Cloud Computing) Managed Services (Cloud Computing) Blue/Green Deployments Serverless Computing Asynchrone Verarbeitung Streaming / Batch Processing / MapReduce Messaging Microservices, Self-Contained Systems (SCS)

16 Skalierbarkeit und Verfügbarkeit der Anwendungslogik Asynchrone Verarbeitung: Streaming / Batch Processing / MapReduce z.b. Apache Hadoop / Spark Schnelle (Live) Analysen auf großen Datenmengen (Latenz) Image Source:

17 Skalierbarkeit und Verfügbarkeit der Anwendungslogik Asynchrone Verarbeitung: Messaging z.b. JMS Hoher Datendurchsatz in Peak Zeiten, kurze Antwortzeiten, Nichtverfügbarkeit der Consumer kein Problem Image Source:

18 Skalierbarkeit und Verfügbarkeit der Anwendungslogik Microservices & Self-Contained Systems (SCS) Skalierung auf Serviceebene Image Source:

19 Zusammenfassung

20 Zusammenfassung Überblick über Architektur Patterns zur Skalierbarkeit und Verfügbarkeit von Webanwendungen Überblick über Technologien zur Skalierbarkeit und Verfügbarkeit von Webanwendungen Architekturevolution am Beispiel einer Enterprise Java Anwendung aus dem Finanzsektor

21 Status Quo download distribution Anforderungen konstante Antwortzeiten unabhängig von aktueller Last und Datenmenge Verfügbarkeit während Upgrades Load Balancer hoher Datendurchsatz bei OLTP kurze Antwortzeiten bei OLAP Application Servers Auto Scaling Group Horizontal Scaling cache node bucket with objects SQL master Vertical Scaling SQL slave RDS DB instance read replica

22 Zielarchitektur download distribution Lösungen Microservices Key-Value Store: Redis Monolith Load Balancer sync API API Gateway Load Balancer Authentication Load Balancer Savings Transactions Load Balancer Asynchrone Verarbeitung ROLAP Application Servers message queue Application Servers Application Servers Application Servers Auto Scaling Group Horizontal Scaling Auto Scaling Group Auto Scaling Group Auto Scaling Group cache node bucket with objects SQL master SQL slave RDS DB instance read replica cache cluster cache cluster cache cluster

23 Fragen und Feedback

24 Danke

25 Backup Folien

26 Betrieb

27 Betrieb Monitoring Logging Alerting Fehlertoleranz Redundanz

28 Redundanz und Fehlertoleranz Redundanz kritischer Komponenten oder Nutzung redundanter Dienste Virtuelle Maschine - Physikalischer Rechner - Rechenzentrum - Region Fehlertoleranz des Gesamtsystems ohne menschliches Eingreifen Fehler erkennen Fehlerhafte Komponente entfernen (Betrieb aufrecht erhalten dank Redundanz)

29 Verfügbarkeit während Upgrades Application Servers Auto Scaling Group Horizontal Scaling cache node Read Query Caching bucket with objects SQL master Vertical Scaling SQL slave RDS DB instance read replica

30 Verfügbarkeit während Upgrades Anforderungen Verfügbarkeit während Upgrades/Updates Infrastruktur (Hardware, Betriebssystem) Anwendung Datenbank Schemas Abhängigkeiten (Datenbank, Cache)

31 Verfügbarkeit während Upgrades Lösungsalternativen Managed Services (Cloud Computing) Blue/Green Deployments Column Stores NoSQL RDBMS Asynchrone Verarbeitung & Caching Microservices & Self-Contained Systems (SCS)

32 Verfügbarkeit während Upgrades Lösungen bei Nicht-Verfügbarkeit des (No)SQL Master SCS Queries: Caching Cluster / Read-Replicas Commands: Asynchrone Verarbeitung via Messaging Load Balancer Commands mit Validierung & Berechnung: Caching + Asynchrone Verarbeitung via Messaging message queue Application Servers Auto Scaling Group Horizontal Scaling (No)SQL master cache cluster RDS DB instance read replica

33 Skalierbarkeit und Verfügbarkeit der Persistenzschicht Anforderungen Last hoher Datendurchsatz bei OLTP Datenmenge schnelle Antworten bei OLAP Performance Isolation bei Mandantenfähigkeit Last eines Kunden beeinträchtigt andere Kunden nicht Verfügbarkeit während Upgrades/Updates Infrastruktur (Hardware, Betriebssystem) Datenspeicher Version Datenbank Schemas