Planung und Einsatz lokaler Cache-Server C. Grimm Lehrgebiet Rechnernetze und erteilte Systeme Universität Hannover 2001 Lehrgebiet Rechnernetze und erteilte Systeme Planung lokaler Cache-Server Kalkulation Aufwand vs. Nutzen Konzept für die Nutzung Dimensionierung 2001 Lehrgebiet Rechnernetze und erteilte Systeme 22. November 2001 Folie 2
Nutzung lokaler Cache-Server Freiwillige Nutzung Nutzer können WWW-Browser entsprechend konfigurieren stark abhängig von der Qualität des Cache-Service Erzwungene Nutzung Access-Router sperrt ausgehenden HTTP-erkehr möglich durch einfache Konfiguration des Access-Routers Nutzer müssen WWW-Browser entsprechend konfigurieren Transparente Nutzung Access-Router leitet HTTP-erkehr automatisch an Cache-Server zusätzliche erfahren notwendig Nutzern bleibt Übergang über Cache-Server verborgen Nutzer brauchen WWW-Browser nicht zu konfigurieren 2001 Lehrgebiet Rechnernetze und erteilte Systeme 22. November 2001 Folie 3 Transparentes Caching Netzkomponente für Umleitung der HTTP-Requests Router Layer 4/7 Switch Protokolle für Umleitung Ebene 2 (Layer 2 Rewrite) Ebene 3 (Generic Routing Encapsulation, RFC 2784) Monitoring des Cache-Servers Messung der Antwortzeiten (ARP, ICMP echo, TCP, HTTP) Austausch von Kontroll- und Zustandsinformationen über eigene Protokolle Lastverteilung auf mehrere Cache-Server Round Robin, Anzahl erbindungen, Antwortzeiten, Anzahl IP-Pakete IP-Adress Hashing, URL Hashing 2001 Lehrgebiet Rechnernetze und erteilte Systeme 22. November 2001 Folie 4
Transparentes Caching über Router WWW-Browser Access-Router Cache-Server WWW-Server zusätzliche Last auf Router Web Cache Communication Protocol (WCCP) Router: nur Cisco, WCCP ersion 2.0 ab IOS 12.0 Cache-Server: alle gängigen Hersteller 2001 Lehrgebiet Rechnernetze und erteilte Systeme 22. November 2001 Folie 5 Transparentes Caching über Layer 4/7 Switch Layer 4 Switch Access-Router WWW-Browser WWW-Server Cache-Server zusätzliche Komponente im Netz bessere Performance als Router mit WCCP URL Hashing möglich 2001 Lehrgebiet Rechnernetze und erteilte Systeme 22. November 2001 Folie 6
Kalkulation der erforderlichen olumen-trefferrate in = in + other olumen-trefferrate H 1 in out Anteil WWW-erkehr Cache- Server HTTP other k WWW out total out total = out + other Einrichtung H k 1 WWW 1 total 2001 Lehrgebiet Rechnernetze und erteilte Systeme 22. November 2001 Folie 7 Beispiel für Berechnung der erforderlichen olumen-trefferrate H 1 k WWW 1 total 6 TByte / Monat 1.0 0.8 k WWW = 0.6 k WWW = 0.7 k WWW = 0.8 0.6 H in out Cache- Server other total 0.4 0.2 Einrichtung 0.0 6 7 8 9 10 11 12 total [TByte/Monat] 2001 Lehrgebiet Rechnernetze und erteilte Systeme 22. November 2001 Folie 8
H 1 k Allgemeine Berechnung der erforderlichen olumen-trefferrate WWW 1 total H 1.0 0.8 0.6 k WWW = 0.6 k WWW = 0.7 k WWW = 0.8 in 0.4 out Cache- Server other total 0.2 Einrichtung 0.0 0.5 0.55 0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 1 / total 2001 Lehrgebiet Rechnernetze und erteilte Systeme 22. November 2001 Folie 9 Dimensionierung von Cache-Servern Ausstattung Festplatte, Hauptspeicher, Netzinterface Leistungsdaten Durchsatz bezogen auf olumen und HTTP-erbindungen ergleich der Antwortzeiten für Cache-Hit und Cache-Miss Ermittlung der Leistungsdaten Herstellerangaben vertrauen Benchmark mit Web-Polygraph (s. u.) Tests im Produktionsnetz Cache-Off Hersteller-unabhängiger Benchmark von Cache-Servern mit Web-Polygraph ergleich Squid mit hardware-basierten Cache-Server 4. Cache-Off: Beginn am 12. November 2001, Ergebnisse??? http://www.measurement-factory.com/ 2001 Lehrgebiet Rechnernetze und erteilte Systeme 22. November 2001 Folie 10
Dimensionierung olumen der Festplatten Datenvolumen Wochentag Anteil WWW-erkehr Cache-Miss Anteil cacheable x 60% x 70% x 80% 250 GByte/Tag 150 GByte/Tag 105 GByte/Tag 84 GByte/Tag Zeitraum 3 Tage x 3 Tage 252 GByte Empfehlung für Squid lautet 32 MByte RAM pro 1 GByte Disk: 8 GByte RAM 2001 Lehrgebiet Rechnernetze und erteilte Systeme 22. November 2001 Folie 11 Mittlere Ankunftsrate HTTP-Requests Datenvolumen Wochentag (CNM) 250 GByte/Tag Anteil WWW-erkehr x 60% 150 GByte/Tag in KByte pro Sekunde x 12,1363 1.820 KByte/Sekunde mittlere Objektgröße / 10 KByte/Objekt 182 Objekte/Sekunde mittlere Ankunftsrate 182 Requests/Sekunde Ankunftsrate in Stoßzeiten x 5 910 Requests/Sekunde Durchsatz = Ankunftsrate Bedienzeit 2001 Lehrgebiet Rechnernetze und erteilte Systeme 22. November 2001 Folie 12
Einsatz: Umgang mit Log-Daten Cache-Server stellen einen TK-Dienst dar, es gilt die Telekommunikations-Datenschutzverordnung (TDS) Cache-Server protokollieren erbindungsdaten, die grundsätzlich nach Abbau der erbindung zu löschen sind Ausnahmen Log-Daten sind für den Aufbau weiterer erbindungen notwendig trifft nicht zu Anhand der Log-Daten kann kein Personenbezug hergestellt werden trifft zu, wenn IP-Adressen der Klienten nicht protokolliert werden Einwilligung der Nutzer liegt vor Benutzungsordnung 2001 Lehrgebiet Rechnernetze und erteilte Systeme 22. November 2001 Folie 13 Einsatz: Erfahrungsbericht Transparenter Cache-Server an der Universität Hannover Network Appliance NetApp C720 und C1100 C720 für HTTP (80 GByte) in Produktion C1100 für Streaming (9 GByte) noch im Test Umleitung bisher nur für Mitarbeiter RRZN/RS aktiviert (ca. 100 Personen) Einsatz von WCCP Problemloser Betrieb der Hardware keine Ausfälle Cache-Server arbeiten nicht an Lastgrenze Abschaltungen der Cache-Server werden von Nutzern nicht bemerkt Betreuung des Cache-Servers erfordert Personal Blacklist von WWW-Servern, die Probleme bereiten Feedback von Nutzern notwendig Cache-Server ist bei Problemen im Netz stets unter erdacht 2001 Lehrgebiet Rechnernetze und erteilte Systeme 22. November 2001 Folie 14
Weitere Hinweise Forum IP / IP über, Freitag, 23.11. ortrag Dimension Data Produkte Erfahrungsbericht Universität Rostock Literatur D. Wessels, Web Caching, O Reilly, 2001 Kapitel 5: Interception Proxying and Caching http://www.oreilly.com/catalog/webcaching/chapter/ch05.html D. A. Menascé,. A. F. Almeida, Capacity Planning for Web Performance, Prentice Hall, 1998 B. Krishnamurty, J. Rexford, Web Protocols & Practice, Addison-Wesley, 2001 2001 Lehrgebiet Rechnernetze und erteilte Systeme 22. November 2001 Folie 15