Tobias Joch inovex. Ready to start (up)? Skalierende Architekturen für Web-2.0-Start-ups

Größe: px

Ab Seite anzeigen:

Download "Tobias Joch inovex. Ready to start (up)? Skalierende Architekturen für Web-2.0-Start-ups"

Julia Schulze
vor 8 Jahren
Abrufe

1 Konferenz Tobias Joch inovex Ready to start (up)? Skalierende Architekturen für Web-2.0-Start-ups

2 Pattern #2: KISS

3 Pattern #2: KISS Keep it simple, stupid Keep it small and simple Keep it sweet and simple Keep it simple and straightforward Keep it short and simple Keep it simple and smart Keep it strictly simple Keep it speckless and sane Keep it sober and significant Keep it simple and stupid Keep it safe and sound

simple Keep it simple and smart Keep it strictly simple Keep it speckless

4 Pattern #2: KISS Anforderungen hinterfragen und genau verstehen effiziente Lösungen forcieren Golden Hammer -Methode vermeiden Rad nicht neu erfinden OSS einsetzen wenn möglich DRY Klare Schichten Design / Architektur

-Methode vermeiden Rad nicht neu erfinden OSS

5 Pattern #3: Stateless

6 Pattern #3: Stateless State wenn möglich vermeiden oder auslagern Vorteile einfacheres Loadbalancing unkompliziertes Failover / HA Deployment / Update Prozess Scale out weniger Ressourcen

7 Pattern #3: Stateless am Beispiel Session Handling Server side einfach realisierbar OOTB bei vielen Frameworks, Specs sticky Loadbalancing (aufwändiger) HA SPoF Replikation / Session Server komplexere Rollout-Strategien komplexere Prozesse

sticky Loadbalancing (aufwändiger) HA SPoF Replikation /

8 Pattern #3: Stateless am Beispiel Session Handling Client side Stateful auf dem Client (Cookie) Stateless auf dem Server Client Sessions überleben einen Server-Crash (HA) einfaches Loadbalancing / Failover bessere, dynamischere Lastverteilung einfachere Rollout-Strategien SPoF = Client = Single User

einen Server-Crash (HA) einfaches Loadbalancing / Failover bessere,

9 Pattern #3: Stateless am Beispiel Session Handling Zu beachten! keine volatilen Werte potentiell mehrere Cookies / alte Werte Cookies sind (laut Spec) limitiert auf 4kB Security TLS/SSL und Kryptographie verwenden (HMAC/SHA1) vertraulich Daten Integrität Echtheit Timeout / Invalidierung Bandbreite

(laut Spec) limitiert auf 4kB Security TLS/SSL und Kryptographie verwenden

10 Pattern #4: Dynamische Anpassbarkeit

11 Pattern #4: Dynamische Anpassbarkeit zur Laufzeit! Scale out (Horizontal) Commodity Hardware Data Center Cloud Geo-Redundanz Gewichtete Verteilung FE, MW, DB, Cache,... zur Laufzeit erweiterbar Shards, Service-Instanzen aller Schichten

Cloud Geo-Redundanz Gewichtete Verteilung FE, MW, DB,

12 Pattern #4: Dynamische Anpassbarkeit zur Laufzeit! Zuordnung von User zu Service pro Request (Stateless) pro Session (z.b. Cache) längerfristig, aber nicht zwangsläufig für immer (z.b. Shard)

13 Pattern #5: Content Delivery

14 Pattern #5: Content Delivery Static Content Header Date Cache-Control ETag Expires Conditional Get If-None-Match If-Modified-Since YSlow

15 Pattern #5: Content Delivery Static Content sendfile / X-Sendfile Optimierung wie Caching Header, Resume, etc. direkt vom Server static.foo.bar Zugriffe minimieren Sprites CSS und JS packing Compression Content Delivery Networks Geo-Scaling / Geo-DNS

16 Pattern #5: Content Delivery Dynamic Content Cache-Control private vs. public Berechnungen wiederverwenden Nur neu berechnen, wenn sich Parameter geändert haben Architektur volatile Aspekte in separate Schichten geeignete / billige Indikatoren ob geändert

17 Pattern #6: Caching

18 Pattern #6: Caching Caching ist wie Aspirin gegen Kopfschmerzen Facebook muss große Kopfschmerzen gehabt haben 805 memcached Server bei 10k Web Server und MySQL Server 99% Cache hit rate!

19 Pattern #6: Caching In allen Schichten cachen Client, Proxy, Server, Services,... Page, View, Action, Object, Entity,... Intelligentes Cache Management Partial updates Pre-fetch Lazy initializing Dog Pile -Effekt vermeiden No Expire Stale Date

.. Intelligentes Cache Management Partial updates Pre-fetch

20 Pattern #6: Caching Beispiele für den Client Browser Cache Conditional Get Cookie als Cache User Profil User Privilegien häufig benötigte Daten vom Backend Page-Flow Zustand CSRF Prevention Token Beispiele für den Proxy Cache-Control: public

Privilegien häufig benötigte Daten vom Backend Page-Flow

21 Pattern #6: Caching Beispiele für den Server Page View Action Objekte (z.b. Hibernate 1st und 2nd Level Cache) z.b. in Filesystem Memory (z.b. memcached) DB,...

22 Pattern #7: Datamanagement

23 Pattern #7: Datamanagement File-Storage HA Storage (z.b. DRBD) Cluster Filesysteme (z.b. GlusterFS)..., aber kein NFS SQL RDBMS NoSQL MongoDB, Casandra, CouchDB,... NewSQL NimbusDB, ScaleBase,... Transparent Sharding

24 Pattern #8: Evented

25 Pattern #8: Evented Hollywood-Prinzip Don t call us, we ll call you Polling vermeiden Event Erzeugung an der Quelle Bus / Queue für Interessenten Non-Blocking Asynchron

26 Pattern #9: Monitoring & Profiling

27 Pattern #9: Monitoring & Profiling Monitoring!= Monitoring Availability Monitoring (z.b. Zabbix, Nagios) Performance Monitoring (z.b. Cacti, Zabbix) Netzwerk IO, Anzahl Verbindungen System CPU, Memory, Prozesse Applikationen KPI s

28 Pattern #9: Monitoring & Profiling Profiling / Performance Messung Bottlenecks Langzeit Archivierung Vergleichsmöglichkeiten post mortem Analysen

29 Beispiel aus der Praxis Diskussion der Patterns anhand einer konkreten System-Architektur

30 Public IP range lb01 xx.xx.xx.xx lb-web eth1: xx.xx.xx.xx ha-lb-fehttp Port(s): 80/(443) lb02 eth1: xx.xx.xx.xx HTTP/HTTPS Public IP's: xx.xx.xx.xx/26 fe01 fe02 fe03 fe04 fe05 fe06 fe07 fe08 fe09 fe11 fe12 fe13 fe14 Private IP range Cache ha-lb-inthttp lb05 lb06 mc01 mc03 mc02 mc04 Cache

31 mw01 mw02 mw03 mw04 mw05 ha-lb-intdbs mw06 mw07 mw08 mw09 mw10 lb05 lb06 mw11 mw12 mw13 mw14 SQL Lookup store01 store02 store03 store04 store05 store06 store07 store08 store09 store10 store11 store12 store13 store14 store15 store16 SQL Writes store17 store18 store19 store20 store21 store22 store23 store24 store25 store26 store27 store28 store29 store30 store31 store32 SQL Writes SQL Read

32 Reads MySQL Slave dbs02 MySQL Slave dbs03 MySQL Slave dbs01 MySQL Slave dbs04 Writes MySQL Master. dbm01 MySQL Master. dbm02 BinLog Sync MySQL Slave dbb01 MySQL Slave dbb02 Repl Repl shard0 MySQL Master. dbm01 MySQL Master. dbm02 shard1 MySQL Master. dbm01 MySQL Master. dbm02 mgmt01 PXE SSH puppet NTP mgmt02 zabbix test01 DEV/TEST test02 DEV/TEST mgmt02 zabbix mgmt02 PXE SSH puppet NTP logstore01 logstore02

33 Literatur-Tipps und Links SCALABILITY RULES 50 Principles for Scaling Web Sites 6 Ways Not To Scale That Will Make You Hip, Popular And Loved By VC

34 Vielen Dank!

Ähnliche Dokumente

Softwareentwicklung in der industriellen Praxis

Softwareentwicklung in der industriellen Praxis Cloud-Systeme: Besonderheiten bei Programmierung und Betrieb Steffen Gemkow / Paul Fritsche - ObjectFab GmbH 26.11.2012 Simple is beautiful Don t repeat