Caching-Lösungen für Plone

Transkript

1 Caching-Lösungen für Plone Oberseminar Content Management mit Plone/Zope Hochschule für Technik, Wirtschaft und Kultur Leipzig Fakultät Informatik, Mathematik und Naturwissenschaften 30. November 2010

2 Caching allgemein Motivation Oft benötigte Inhalte für einen schnelleren / leichteren Zugriff bereitstellen Ressourcen zur Bereitstellung von Inhalten einsparen Inhalte dezentralisieren

3 Caching allgemein Probleme Aktualität der Caches Effizienzoptimierung durch geschickte Verdrängungsstrategien Aufwärmen des Caches Größe Schnelligkeit des Caches

4 Caching auf Plone bezogen Besonderheiten Konstruktion der ausgelieferten Seiten ggf. aufwändig Möglichst seltene Generierung der auszuliefernden Seiten Von Vorteil: bausteinbasiertes Caching

5 Arbeitsweise von Caches Cache Hits und Cache Misses Bewertung von Anfragen als Cache Hit oder Cache Miss Cache Hit = Die Anfrage konnte aus dem Cache beantwortet werden Cache Miss = Die Anfrage konnte nicht aus dem Cache beantwortet werden Mögliches Qualitätskriterium für die Wirksamkeit eines Caches Hit Rate r h = n n h h... Anzahl Cache Hits n h +n m n m... Anzahl Cache Misses

6 Arbeitsweise von Caches Verdrängungsstrategien Behandlung der Frage, welcher alte Cache-Eintrag von einem neuen verdrängt werden soll FIFO (First In First Out) = Der älteste Eintrag wird verdrängt LRU (Last Recently Used) = Der Eintrag, welcher am längsten nicht gelesen wurde, wird verdrängt Random = Ein zufälliger Eintrag wird verdrängt Optimal = Es wird immer der Eintrag verdrängt, auf den danach am längsten nicht zugegriffen werden wird (setzt Kenntnis des weiteren Zugriffsverlaufs voraus) Weitere...

7 Produkte zur Caching-Konfiguration plone.app.caching Tools zum Verwalten des Cachingverhaltens CacheFU Plone 2.x, 3 plone.app.caching Plone 4 zahlreiche Konfigurationsmöglichkeiten zentrale Steuerung der Cache-Parameter Einbindung Caching-bezogener HTTP Header in die ausgelieferten Dokumente Wirkung auf externen Cache Einbindung von Proxies (Squid, Varnish, Pound, etc.)

8 Produkte zur Caching-Konfiguration Installation plone.app.caching 1 eggs = 2 plone. app. caching extends = buildout.conf 5 http :// good -py. appspot. com / release / plone. app. caching /1.0 b1 /bin/buildout ausführen Aktivierung in Add-Ons/Erweiterungen im Plone-Setup Neuer Unterpunkt Caching im Konfigurationsmenü

9 Caching-Einstellungen in Plone Konfiguration Global settings Abbildung: Global settings

10 Caching-Einstellungen in Plone Konfiguration Caching proxies Abbildung: Caching proxies

11 Caching-Einstellungen in Plone Konfiguration In-memory cache Abbildung: In-memory cache

12 Caching-Einstellungen in Plone Konfiguration Caching operations Abbildung: Caching operations

13 Weiterführende Möglichkeiten Bereinigung von in einem Proxy gespeicherten Inhalten Abbildung: Purge caching proxy

14 Weiterführende Möglichkeiten RAM-Cache Statistiken Abbildung: RAM cache statistics

15 Allgemeines Allgemeines über Varnish Caching-Proxy für 64 bit Systeme mit Linux, FreeBSD oder Solaris Arbeitet auf dem virtuellen Speicher eines Systems Nutzt systemeigene Speicherverwaltung (malloc oder Filesystem) Freie Software, lizensiert unter einer 2-Klausel BSD-Lizenz Bevorzugter HTTP Cache von Facebook 1 1

16 Inbetriebnahme Varnish installieren und starten Installationsmöglichkeiten Über den Paketmanager des jeweiligen Systems einfach und sollte bevorzugt werden, wenn möglich Über das Buildout-System von Plone ebenfalls einfach, verstrickt die Komponenten aber unnötig Selbst kompilieren aus dem Quelltext Abhängigkeiten müssen selbst bereitgestellt werden Installation über Paketmanager und Start unter Ubuntu sudo apt-get install varnish 2 sudo varnishd -f /etc/varnish/default.vcl -s malloc,1g -T :2000 -a :8080

17 Inbetriebnahme Varnish installieren und starten Installationsmöglichkeiten Über den Paketmanager des jeweiligen Systems einfach und sollte bevorzugt werden, wenn möglich Über das Buildout-System von Plone ebenfalls einfach, verstrickt die Komponenten aber unnötig Selbst kompilieren aus dem Quelltext Abhängigkeiten müssen selbst bereitgestellt werden Installation über Paketmanager und Start unter Ubuntu sudo apt-get install varnish 2 sudo varnishd -f /etc/varnish/default.vcl -s malloc,1g -T :2000 -a :8080

18 Inbetriebnahme Varnish über Buildout installieren deployment.cfg 1 parts = varnish - build 4 varnish - instance [ varnish - build ] 7 recipe = zc. recipe. cmmi 8 url = ${ varnish - instance : download - url } 9 10 [ varnish - instance ] 11 recipe = plone. recipe. varnish 12 daemon = ${ buildout : parts - directory }/ varnish - build / sbin / varnishd 13 bind = cache - size = 1G 15 config = ${ buildout : directory }/ etc / plone. vcl

19 Administration Konfigurationsbeispiel (1) default.vcl 1 backend www { 2. host = " www. example. com "; 3. port = "80"; 4 } 5 6 backend images { 7. host = " images. example. com "; 8. port = "80"; 9 }

20 Administration Konfigurationsbeispiel (2) 11 sub vcl_ recv { default.vcl 12 if ( req. http. host ~ "^( example. com$ ") { 13 set req. http. host = " www. example. com "; 14 set req. backend = www ; 15 } elsif ( req. http. host ~ "^ images. example. com$ ") { 16 set req. backend = images ; 17 } else { 18 error 404 " Unknown virtual host "; 19 } 20 }

21 Administration Das textuelle Administrationsinterface varnishadm Benutzung des Administrationsinterfaces 1 root@cache :~# varnishd -f / etc / varnish / default. vcl -s malloc,1g -T :2000 -a : storage_malloc : max size 1024 MB. 3 Using old SHMFILE 4 root@cache :~# varnishadm -T : Varnish HTTP accelerator CLI purge. url.* quit Closing CLI connection

22 Squid Squid - ein HTTP-Cache-Proxy

23 Grundlagen Eckdaten OpenSource HTTP, FTP, SSL (HTTPS) Unterstützung transparentes Caching (WCCP) Loadbalancing differenzierte Rechtevergabe und Zugriffssteuerung (ACLs) Authentifizierung (LDAP, etc.) umfangreiche Protokollierung Bandbreitensteuerung (Delay Pools) für zahlreiche Plattformen verfügbar

24 Grundlagen Wikipedia

25 Grundlagen Wikipedia

26 Grundlagen Installation Installation über Buildout 1 [ squid - build ] 2 recipe = plone. recipe. squid : build 3 url = http :// www. squid - cache. org / Versions /v2 /2.7/ squid STABLE9. tar.gz 4 5 [ squid - instance ] 6 recipe = plone. recipe. squid : instance 7 bind = : backends = : cache - size = 1000

27 Grundlagen Installation /bin/buildout ausführen Anlegen des Caches: /bin/squid -z cache-effective-user: nobody chown -R nobody pfad Start über /bin/squid auf Port 3128

28 Architekturen Squid als Reverse Cache Nutzung existierender Ressourcen Mehr Anfragen für Inhalte realisierbar Beschleunigung von Zugriffszeiten Transparent bei Nutzung auf Port 80 Inhalte sollten cache aware sein

29 Architekturen Konfiguration als Reverse Cache 1 # Squid Socket 2 http_ port 3128 accel defaultsite = websitename 3 4 # Squid Instanz + Cache Directory 5 pid_filename / usr / local / Plone / zinstance / var / squid. pid 6 cache_dir ufs / usr / local / Plone / zinstance / var / cache # Plone 9 cache_ peer webserver - ip 80 0 no - query originserver name = server_0 11 # ACL 12 acl all src / http_ access allow all 14 # acl our_sites / # http_ access allow our_ sites 16 # http_ access deny all

30 Architekturen Multipler Cache mit ICP Loadbalancing nutzbar Kommunikation über ICP Vorteile für Caches analog zu Client Cache-Proxy

31 Cacheverhalten Cacheverhalten Aktualität eines Objekts kann 2 Zustände haben aktuell = fresh nicht mehr aktuell = stale Wie errechnet sich die Aktualität? Einflussfaktoren: Last Modified (LM) Datum der Speicherung im Cache (OBJ Date) Objektalter beim Abspeicherns (LM Age = OBJ Date - LM) Haltbarkeitsfaktor (Percentage) X = OBJ Date + (LM Age*Percentage)

32 Cacheverhalten Cacheverhalten - HTTP-Header

33 Benchmarks Benchmarks - Apache Benchmark

34 Benchmarks Benchmarks - Apache Benchmark

35 Benchmarks Benchmarks - Siege Belastungstest mit Siege 2 10 min. lang randomisierte Anfragen, parallel 50 User Plone Ressourcen: ca. 100 Images, Public Folder Proxy Transaktionen Daten Rate (Trans./s) Squid hits MB trans/sec Varnish hits MB 2.79 trans/sec hits MB 1.31 trans/sec 2 Http-Load Tester,

36 Vor- und Nachteile von Varnish und Squid Varnish Vorteile schnell Nachteile leichte Installation Performance skaliert mit OS-Weiterentwicklungen Performance abhängig vom OS (keine eigene Speicherimplementierung) keine Cache-Hierarchien möglich

37 Vor- und Nachteile von Varnish und Squid Squid Vorteile große Community umfangreich dokumentiert flexibel einsetzbar Verbund aus benachbarten Proxys über ICP Nachteile umfangreich dokumentiert je nach Version Syntaxänderungen

38 Probleme Buildout führte öfters zu Problemen Produkte selten ausgereift Schwierigkeiten beim Aufbau der Testumgebung (Dummysite) Finden eines realistischen Belastungszenarios nicht trivial Konfiguration der Proxys Schwierig (Fülle an Optionen)

39 Danke Vielen Danke für die Aufmerksamkeit!!! Fragen?