The Technology and Market of Content Distribution Networks

Transkript

1 The Technology and Market of Content Distribution Networks Seminarvortrag vom Communication Systems Group Daniel Heuberger Ronny Kallupurackal Martin Hochstrasser Fotos:

2 /CDN/ Übersicht Einleitung Was sind CDNs Verwendete Techniken Marktanalyse Zusammenfassung und Ausblick Diskussion The Technology and Market of Content Distribution Networks 2

3 /CDN/Einleitung Grundproblematik Viele User Viel Content Schnelle Übertragung Schnelle Antwortzeit Internet Limitierte Ressourcen Server Netzwerk The Technology and Market of Content Distribution Networks 3

4 /CDN/Einleitung/ Server Farm Internet L4-L7 Switch The Technology and Market of Content Distribution Networks 4

5 /CDN/Einleitung/ Caching Proxy Internet Caching proxy ISP The Technology and Market of Content Distribution Networks 5

6 /CDN/Was sind CDNs/ Content Distribution Networks Internet best of both worlds The Technology and Market of Content Distribution Networks 6

7 /CDN/Was sind CDNs/ Funktionsweise 1. Der Client stellt eine Anfrage für Content 2. Das request routing system antwortet mit einer Umleitung Request routing system 2 1 Internet 3. Der Client verbindet zu einem guten Server 3 nach M. Day, B. Cain, G. Tomlinson, P. Rzewski, A Model for Content Internetworking (CDI), IETF RFC 3466, February The Technology and Market of Content Distribution Networks 7

8 /CDN/Was sind CDNs/ Eigenschaften Relativ Komplex und Teuer In der Regel von Drittfirmen betrieben Offerient Content Distribution an Content Provider The Technology and Market of Content Distribution Networks 8

9 /CDN/Verwendete Techniken Verwendete Techniken Request Routing Content Services The Technology and Market of Content Distribution Networks 9

10 /CDN/Verwendete Techniken/Request Routing Request Routing DNS basiertes Request Routing Transport Layer Request Routing Applicaiton Layer Request Routing Header Inspeciton The Technology and Market of Content Distribution Networks 10

11 /CDN/Verwendete Techniken/Request Routing/DNS basiert DNS basiert Client Anfragen basieren auf URLs mit Domainnamen Zuständiger DNS Server liefert verschiedene Adressen für einen Domain Namen Verteilung der Anfragen auf verschiedene Server The Technology and Market of Content Distribution Networks 11

12 /CDN/Verwendete Techniken/Request Routing/DNS basiert DNS basiert Vorteile: Einfach und transparent Nachteile: Verteilung der Anfragen nur Grob Time-to-Live Problem The Technology and Market of Content Distribution Networks 12

13 /CDN/Verwendete Techniken/Request Routing/Transport-Layer Routing Transport-Layer Routing Basiert auf IP-Adresse, Port, Protokoll Transport der Anfragen über Request Router, Antworten direkt Kann in Kombination mit DNS basiertem Request Routing angewendet werden The Technology and Market of Content Distribution Networks 13

14 /CDN/Verwendete Techniken/Request Routing/Transport-Layer Routing Transport-Layer Routing Vorteile: Bessere Differenzierung als DNS basiertes Request Routing Ermöglicht topologische Optimierung Nachteile: Nicht mehr ganz transparent Keine per-objekt Umleitung The Technology and Market of Content Distribution Networks 14

15 /CDN/Verwendete Techniken/Request Routing/Application-Layer Application-Layer Request Routing Basiert auf Protokollen der Applikationsschicht HTTP RTSP SSL The Technology and Market of Content Distribution Networks 15

16 /CDN/Verwendete Techniken/Request Routing/Application-Layer Header Inspection Daten im Protokoll-Header werden Angeschaut Entweder Routing als In-Path- Element oder durch HTTP-302 Umleitung The Technology and Market of Content Distribution Networks 16

17 /CDN/Verwendete Techniken/Request Routing/Application-Layer Header Inspection Vorteile: Sehr hohe Granularität Viele Möglichkeiten Nachteile: Komplex, hoher Aufwand Längere Antwortzeiten (bei HTTP-302 Umleitung) The Technology and Market of Content Distribution Networks 17

18 /CDN/Verwendete Techniken/ Content Services Was sind Content Services? Generische Architektur Anwendungsfelder Internet Content Adaptation Protocol Open Pluggable Edge Services The Technology and Market of Content Distribution Networks 18

19 /CDN/Verwendete Techniken/Content Services Was sind Content Services? Funktionale Komponenten eines Content Networks, welche Content, Content- Requests und/oder Content-Responses erzeugen, modifizieren, filtern und/oder konvertieren. [1] basierend auf M. Hofmann, L. Beaumont, Content Networking: Architecture, Protocols and Practice, ISBN , Elsevier/Morgan Kaufmann Publishing, May Idee: Trennung der Contentverarbeitungsund Adaptionlogik von der Contentauslieferungs- und speicherungslogik. The Technology and Market of Content Distribution Networks 19

20 /CDN/Verwendete Techniken/Content Services Generische Architektur Callout Server Service Engine - Paketanalyse - Anwenden von Filterregeln - Aufruf der Service Engine Callout Protocol Data Dispatcher Request Response Client Service Activation Point 1] basierend auf M. Hofmann, L. Beaumont, Content Networking: Architecture, Protocols and Practice, ISBN , Elsevier/Morgan Kaufmann Publishing, May Origin Contentserver The Technology and Market of Content Distribution Networks 20

21 /CDN/Verwendete Techniken/Content Services Anwendungsfelder Content Filter Parental Control Binary Filter Zugangsbeschränkung Modulbuchung Anonymisierung Umfragen Content Adaption Gerätespezifisch Userspezifisch Anbieterspezifisch The Technology and Market of Content Distribution Networks 21

22 /CDN/Verwendete Techniken/Content Services Internet Content Adaptation Protocol Callout Server Service Engine Callout Protocol Data Dispatcher Client Service Activation Point 1] basierend auf M. Hofmann, L. Beaumont, Content Networking: Architecture, Protocols and Practice, ISBN , Elsevier/Morgan Kaufmann Publishing, May Origin Contentserver The Technology and Market of Content Distribution Networks 22

23 /CDN/Verwendete Techniken/Content Services Internet Content Adaptation Protocol ICAP Server ICAP Ressource ICAP HTTP Data Dispatcher HTTP Client ICAP Client Origin Contentserver 1] basierend auf M. Hofmann, L. Beaumont, Content Networking: Architecture, Protocols and Practice, ISBN , Elsevier/Morgan Kaufmann Publishing, May The Technology and Market of Content Distribution Networks 23

24 /CDN/Verwendete Techniken/Content Services Internet Content Adaptation Protocol REQMOD icap://i-cap.org/res1 ICAP/1.0 Host: i-cap.org Encapsulated: req-hdr=0, null-body= GET /movies/ HTTP/1.1 Host: Cookie: GET /movies/ HTTP/1.1 Host: Cookie: i-cap.org res1 res2 ICAP ICAP/ OK Date: Mon, 10 Jan :28:21 GMT Server: ICAP-Server-Software/1.0 ISTag: " c02798" Encapsulated: req-hdr=0, null-body= GET /movies/ HTTP/1.1 Host: GET /movies/ HTTP/1.1 Host: Data Dispatcher Client 1] basierend auf M. Hofmann, L. Beaumont, Content Networking: Architecture, Protocols and Practice, ISBN , Elsevier/Morgan Kaufmann Publishing, May The Technology and Market of Content Distribution Networks 24

25 ICAP/ OK Date: Mon, 10 Jan 2007 Server: ICAP-Server-Software/1.0 Connection: close ISTag: "W3E4R7U9-L2E4-2" Encapsulated: res-hdr=0, res-body= HTTP/ OK Date: Mon, 10 Jan :52:22 GMT Server: Apache/1.3.6 (Unix) Content-Type: text/html Content-Length: 2135 <html> <a href=movie1.mpg>... <img src= banner.gif > /CDN/Verwendete Techniken/Content Services Internet Content Adaptation Protocol i-cap.org RESPMOD icap://i-cap.org/res2 ICAP/1.0 Host: i-cap.org Encapsulated: req-hdr=0, null-body= HTTP/ OK Date: Mon, 10 Jan :52:22 GMT Server: Apache/1.3.6 (Unix) Content-Type: text/html Content-Length: 2135 <html> <a href=movie1.mpg>... HTTP/ OK Date: Mon, 10 Jan :52:22 GMT Server: Apache/1.3.6 (Unix) Content-Type: text/html Content-Length: 2135 <html> <a href=movie1.mpg>... <img src= banner.gif > res1 ICAP res2 HTTP/ OK Date: Mon, 10 Jan :52:22 GMT Server: Apache/1.3.6 (Unix) Content-Type: text/html Content-Length: 2135 <html> <a href=movie1.mpg>... Data Dispatcher Client 1] basierend auf M. Hofmann, L. Beaumont, Content Networking: Architecture, Protocols and Practice, ISBN , Elsevier/Morgan Kaufmann Publishing, May The Technology and Market of Content Distribution Networks 25

26 /CDN/Verwendete Techniken/Content Services Internet Content Adaptation Protocol Erarbeitet von einer Gruppe bestehend aus Vertretern mehrerer grosser Firmen Nur HTTP Nachrichten können verarbeitet werden Unterstützt keine Streamingprotokolle Data Dispatcher sehr limitiert, kann keine komplexen Rules verarbeiten Protokoll bietet keine eigenen Sicherheitsmechanismen IETF: Auftrag an OPES Working Group ein neues Protokoll zu entwickeln The Technology and Market of Content Distribution Networks 26

27 /CDN/Verwendete Techniken/Content Services Open Pluggable Edge Services Callout Server Service Engine Callout Protocol Data Dispatcher Client Service Activation Point 1] basierend auf M. Hofmann, L. Beaumont, Content Networking: Architecture, Protocols and Practice, ISBN , Elsevier/Morgan Kaufmann Publishing, May Origin Contentserver The Technology and Market of Content Distribution Networks 27

28 /CDN/Verwendete Techniken/Content Services Open Pluggable Edge Services OPES Callout Server OSA OCP OSA OCP HTTP FTP SMTP Profile Profile Profile OCP Core TCP/IP Data Dispatcher z.b. HTTP OCP TCP/IP TCP/IP Client OPES Processor 1] basierend auf M. Hofmann, L. Beaumont, Content Networking: Architecture, Protocols and Practice, ISBN , Elsevier/Morgan Kaufmann Publishing, May Origin Contentserver The Technology and Market of Content Distribution Networks 28

29 /CDN/ Marktanalyse CDN-Marktentwicklung Marktführer Preissetzung Performancemessung The Technology and Market of Content Distribution Networks 29

30 /CDN/Marktanalyse CDN-Marktentwicklung Betrachtung des amerikanischen CDN-Marktes 1998 Die ersten CDN Anbieter tauchen auf. Firmen bemerken, dass sie Kosten sparen und die Verfügbarkeit ihrer Homepage steigern können, wenn sie Teile ihrer Homepage an die CDN Anbieter auslagern Firmen wie Akamai oder Mirror Image spezialisieren sich auf dem Gebiet des Content deliverys und fahren grosse Gewinne ein Der CDN Markt in den USA wird auf 905 Millionen Dollar geschätzt. Analysten sagen voraus, dass der Markt Ende Billionen US Dollar erreicht Die Terroranschläge in den USA bewirken, dass sich viele Menschen via den Homepages der Nachrichtensender über die Sachlage informieren. Die Homepages sind zum Teil durch die vielen Anfragen nicht mehr erreichbar und fallen aus (flash crowd event). Firmen erkennen, dass CDN Anbieter einen guten Schutz vor Homepageausfällen durch flash crowd events bieten Grosse ISP (AT&T) erkennen das Potential des CDN Marktes und steigen auch in das Geschäft ein 2004 Rund 3000 Firmen in den USA machen von den Diensten der CDN Anbieter gebrauch und geben monatlich 20 Millionen US Dollar dafür aus. Eine Marktanalyse hat ergeben, dass sich der Gewinn in der Sparte Streaming Medien von 2003 auf 2004 sich verdoppelt hat Marktanalysten sagen voraus, dass Kunden bereit sind 450 Millionen US Dollar auszugeben, um Streaming Medien verwenden zu können. The Technology and Market of Content Distribution Networks 30

31 /CDN/Marktanalyse Marktführer 1/3 Akamai Wurde im MIT Forschungslabor entwickelt, um das flash crowd event Problem zu lösen Die Firma besitzt über Servers und 1000 Netze in über 70 Ländern Bietet Dienste im Bereich Streaming Audio & Video und dynamischem Content an Monitoring The Technology and Market of Content Distribution Networks 31

32 /CDN/Marktanalyse Marktführer 2/3 Limelight Networks Ist in über 70 Ländern vertreten Bietet Services im Bereich Streaming Video & Audio, Games und Content an Erstellt auch ein CDN nach Kundenwunsch The Technology and Market of Content Distribution Networks 32

33 /CDN/Marktanalyse Marktführer 3/3 Mirror Image Ist in über 22 Ländern vertreten Spezialisierung auf Content und Applikationen The Technology and Market of Content Distribution Networks 33

34 /CDN/Marktanalyse Preissetzung Marktinformationen sind eine rare Ware. Es gibt Marktforschungsinstitute, die ihre Reports für viel Geld verkaufen. Grundlage der Preissetzung ist der verursachtetraffic. Wie stark wurden die CDN Server von den Usern beansprucht? Aus einem Report aus dem Jahre 2004: Gigabyte Streaming Video 1.75$ Gigabyte Internet Radio 1$ Andere Faktoren Bandbreitenkosten Variation im verursachtem Traffic Contentgrösse, welches repliziert werden muss Zuverlässigkeit und Stabilität des angebotenen Netzes Anzahl verwendeter Server The Technology and Market of Content Distribution Networks 34

35 /CDN/Marktanalyse Performancemessung 1/3 Eine Untersuchung über die Performance der CDN Anbieter wurde im Jahre 2001 durchgeführt. Wie kann man Performance messen? Messen wie viele Anfragen an den Origin Server gesendet wird Messen wie gross die Latenz beim Downloaden von Webinhalten ist Messen wie gut die Last auf die Surrogate Server verteilt wird (Load Balancing) Man hat sich entschieden die Latenz beim Downloaden von Webinhalten zu messen. Vorgehen: Empirische Untersuchung hat gezeigt, dass sich durchschnittlich 18 Bilder auf einer Homepage befinden. Pro CDN Anbieter hat man eine Homepage mit 18 Bildern genommen und die Downloadzeit mit Origin Servern verglichen. IP-Adresse finden Alle Bilder abfragen Alle Bilder downloaden Zeit messen + Zeit messen The Technology and Market of Content Distribution Networks 35

36 /CDN/Marktanalyse Performancemessung 2/3 Ausgang der Untersuchung: CDN Anbieter waren immer schneller als die Origin Server DNS Load Balancing: Viele CDN Anbieter verwenden Load Balancing. Der DNS vergibt den einzelnen IP- Adressen eine kurze TTL ( s), damit sie eine grössere Kontrolle über das Netz haben. Andere DNS, die in keinem CDN sind haben meist TTL von 15 min bis zu mehreren Stunden. In der zweiten Untersuchung will man herausfinden, wie Effektiv CDNs mit Load Balancing sind. Vorgehen: Sie behalten die IP-Adresse eines Servers fix und speichern ihn für 8 Stunden. Jede halbe Stunde wird geprüft, ob der gleiche Server verwendet wird. Falls nicht, wird die Downloadzeit gemessen. The Technology and Market of Content Distribution Networks 36

37 /CDN/Marktanalyse Performancemessung 3/3 Pro CDN Anbieter haben wir 2 Türme. Der rechte Turm zeigt die Performanceverbesserung durch Load Balancing Fälle bei denen die Performance gleich geblieben ist oder schlechter wurde und somit zu keiner Performanceverbesserung geführt haben, sind durch den linken Balken dargestellt. Schlussfolgerung: Durch eine kurze TTL wird die Performance nicht beträchtlich gesteigert The Technology and Market of Content Distribution Networks 37

38 /CDN/ Diskussionsfragen 1/3 Wir haben gehört, dass der Preis für die CDN Dienste von den folgenden Faktoren abhängt: Bandbreitenkosten Variation im verursachtem Traffic Contentgrösse, welches repliziert werden muss Zuverlässigkeit und Stabilität des angebotenen Netzes Anzahl verwendeter Server Werden eurer Meinung nach die Preise gesenkt, wenn man die Bandbreitenkosten senken würde? The Technology and Market of Content Distribution Networks 38

39 /CDN/ Diskussionsfragen 2/3 Nehmen wir an es gebe ein Unternehmen, welches das OPES Callout Protokoll (OCP) benutzt, um gratis anonymes Mailen (SMTP) und anonymes Surfen im Netz (HTTP) anzubieten. Als Gegenleistung darf das Unternehmen aber beliebig Werbung in jedes versendete und jede aufgerufene Webseite einbinden! Würdet ihr die Dienste eines solchen Anbieters in Anspruch nehmen? The Technology and Market of Content Distribution Networks 39

40 /CDN/ Diskussionsfragen 3/3 Stellt euch vor ihr währt der CIO von YouTube. Würdet ihr ein eigenes CDN aufbauen oder würdet ihr einen Anbieter wie bspw. Akamai vorziehen? The Technology and Market of Content Distribution Networks 40