P2P Systeme und Mobile Ad-Hoc-Netze (1) P2P-Systeme im Internet: Napster, Gnutella, KaZaA

Transkript

1 Vorlesung Rechnernetze II Sommersemester 2007 P2P Systeme und Mobile Ad-Hoc-Netze (1) P2P-Systeme im Internet: Napster, Gnutella, KaZaA Christoph Lindemann

2 Fahrplan Nr Datum Thema Sicherungsschicht (1) Sicherungsschicht (2) Leistungsbewertung von Rechnernetzen mit NS2 (1) Leistungsbewertung von Rechnernetzen mit NS2 (2) Netzsicherheit (1) Netzsicherheit (2) Drahtlose und mobile Netzwerke (1) Drahtlose und mobile Netzwerke (2) P2P Systeme und Mobile Ad-Hoc-Netze (1) P2P Systeme und Mobile Ad-Hoc-Netze (2) P2P Systeme und Mobile Ad-Hoc-Netze (3) P2P Systeme und Mobile Ad-Hoc-Netze (4) P2P Systeme und Mobile Ad-Hoc-Netze 1-2

3 Überblick Evolution des Internet Definition P2P Overlay-Netze Anwendung: Unstrukturierte Overlay- Netze für Dateientausch Napster, Gnutella, KaZaA P2P Systeme und Mobile Ad-Hoc-Netze 1-3

4 Evolution des Internets 1. Generation (seit 1980): World Wide Access Permanente IP-Adressen Statisches Domain Name System (DNS) Begrenzte Anzahl von Anwendungen: telnet, FTP, , Generation (seit 1990): World Wide Web dynamische IP-Adresseen - Network Address Translation (NAT*) Mobile IP: Unterstützung von mobilen Nutzern Eine Vielzahl von Anwendungen wurde nach asymmetrischem Client-Server Ansatz implementiert Anschluss der Privathaushalte über PCs und DSL 3. Generation (seit 2000): World Wide Peering Immer mehr kooperierende und personifizierte Anwendungen Kommerzieller Erfolg von P2P Dateientausch: KaZaA, Morpheus,... Andere P2P-Anwendungen: Groove, Skype, Mercora, Leistungsfähige mobile Endgeräte wie Laptops, PDAs, Smart Phones,... P2P Systeme und Mobile Ad-Hoc-Netze 1-4

5 Definition von P2P 1) Deutliche Autonomie von zentralen Servern 2) Nutzt Ressourcen an der Peripherie des Internets Speicher CPU-Zyklen Anwesenheit des Nutzers Inhalte 3) Endgeräte verfügen nicht immer über permanente Internetverbindungen 4) Endgeräte können hinzukommen oder abwandern P2P Systeme und Mobile Ad-Hoc-Netze 1-5

6 Verschiedene Anwendungen: P2P Dateientausch Napster, Gnutella, KaZaA, etc Entwicklung von Overlays P2P Kommunikation für P2P-Anwendungen noch Instant Messaging im Gange P2P für rechenintensive PlanetLab Anwendungen DHTs & ihre Anwendungen Chord, CAN, Pastry, Tapestry Drahtlose Ad-Hoc-Netze werden in dieser Vorlesung nicht betrachtet P2P Systeme und Mobile Ad-Hoc-Netze 1-6

7 Vergleich: Client/Server vs. P2P Client/Server-Systeme Zentralisiert Single Point of Failure Server können zum Flaschenhals werden P2P-Systeme Dezentral Netzperipherie Keine Abhängigkeit von Server P2P Systeme und Mobile Ad-Hoc-Netze 1-7

8 Illustration: Overlay-Netz im Internet Physikalische Kommunikation auf der IP- Schicht Hierarchisches Routing Logische Kommunikation auf der Anwendungsschicht Strukturierte und unstrukturierte Overlays Dynamisch und selbstorganisierend P2P Systeme und Mobile Ad-Hoc-Netze 1-8

9 Overlay-Netze

10 Overlay-Netze Overlay-Kante P2P Systeme und Mobile Ad-Hoc-Netze 1-10

11 Overlay-Graph Virtuelle Kante TCP-Verbindung Alternativ: Zeiger auf eine IP-Adresse Verwaltung des Overlay-Netzes Periodischer Ping, um zu prüfen, ob Nachbarn noch erreichbar sind Alternativ: Prüfung während der Nachrichtenübertragung Ist ein Nachbar nicht erreichbar, muss eine neue Verbindung aufgebaut werden Neuer Knoten muss ins Overlay-Netz eingebunden werden (Bootstraping) P2P Systeme und Mobile Ad-Hoc-Netze 1-11

12 Mehr über Overlay-Netze Unstrukturierte Overlays Bsp.: neuer Knoten wählt zufällig drei existierende Knoten als Nachbarn Strukturierte Overlays Bsp.: Knoten sind in Overlay entsprechend einer bestimmten Ordnung organsiert (Räumliche) Nähe Muss nicht in Betracht gezogen werden P2P Systeme und Mobile Ad-Hoc-Netze 1-12

13 Overlay entsteht auf Anwendungsschicht Hohe Flexibilität beim Entwurf Topologie, Pflege Nachrichtentypen Protokoll Nachrichten über TCP oder UDP Darunter liegendes Netzstruktur wird verborgen Manche Overlay-Netze nutzen jedoch (räumliche) Nähe aus Anwendung Transport Netzwerk Sicherung Bitübertr. Anwendung Transport Netzwerk Sicherung Bitübertr. Anwendung Transport Netzwerk Sicherung Bitübertr. P2P Systeme und Mobile Ad-Hoc-Netze 1-13

14 Beispiele für Overlays DNS BGP Router und ihre Peering-Beziehungen Content Distribution Networks (CDNs) Multicast auf Anwendungsebene Kostengünstiger Weg, um Defizite von IP- Multicast zu umgehen P2P Anwendungen! P2P Systeme und Mobile Ad-Hoc-Netze 1-14

15 P2P-Anwendungen P2P Systeme und Mobile Ad-Hoc-Netze 1-15

16 Millionenfach Rechner mit Inhalten vorhanden Bob ER RN2 Skript Hey Jude Zauberflöte Star Wars Alice P2P Systeme und Mobile Ad-Hoc-Netze 1-16

17 Killeranwendungen Napster Zerschlagen; Erstes funktionierendes System; weltweiter Erfolg Gnutella Open Source KaZaA/FastTrack Heute bereits mehr KaZaA-Datenverkehr als HTTP-Datenverkehr! Ist Erfolg an eine große Zahl von Servern gebunden oder reicht einfach kostenloser Inhalt? P2P Systeme und Mobile Ad-Hoc-Netze 1-17

18 Software für P2P-Dateientausch Ermöglicht Alice Verzeichnis auf ihrem Computer freizugeben Jeder kann eine Datei aus diesem Verzeichnis laden Wie bei einem Webserver Alice kann Dateien von offenen Verzeichnissen anderer Nutzer kopieren: Wie ein Webclient Nutzer können die freige-gebenen Verzeichnisse nach Schlüsselwörtern durch-suchen: Wie bei Google P2P Systeme und Mobile Ad-Hoc-Netze 1-18

19 Unstrukturierte Overlay-Netze für Dateientausch: Napster, Gnutella, KaZaA

20 Napster Berühmt und berüchtigt Nicht das Erste (vgl. Eternity, von Ross Anderson in Cambridge) Lehreiches Beispiel, welche Aspekte bei Entwurf und Implementierung einer P2P- Anwendung von Bedeutung sind Hatte auch auf politischer, wirtschaftlicher und juristischer Seite Auswirkungen P2P Systeme und Mobile Ad-Hoc-Netze 1-20

21 Napster Program zum Dateientausch über das Internet Geschichte: 5/99: Shawn Fanning (1. Semester, Northeasten U.) gründet Napster, einen Online Music Service 12/99: erster Prozess 3/00: 25% des Datenverkehrs an Wisconsin-University geht auf Napster zurück 2/01: US Berufungsgericht befindet: Napster wußte, dass die Nutzer Urheberrechte verletzen 7/01: Anzahl gleichzeitiger Onlinenutzer: Napster 160K, Gnutella: 40K, Morpheus (KaZaA): 300K Napster P2P Systeme und Mobile Ad-Hoc-Netze 1-21

22 Napster Im Juli 2001 zwingt ein Urteil Napster offline zu gehen Andere Anwendungen zum Dateientausch nehmen an Bedeutung zu! 8M gnutella napster fastrack (KaZaA) bits per sec 6M 4M 2M 0.0 P2P Systeme und Mobile Ad-Hoc-Netze 1-22

23 Napster: Funktionsweise Anwendungsschicht, Client/Server Protokoll über TCP Zentraler Verzeichnisserver Schritte: Verbindung zum Napster-Server Upload eigener Dateiliste zum Server Eingabe von Schlüsselwörtern, um die gesamte Liste des Servers zu durchsuchen Auswahl der besten der korrekten Antworten (pings) P2P Systeme und Mobile Ad-Hoc-Netze 1-23

24 Napster 1. Eigene Dateiliste und IP-Adresse an Server übertragen Zentraler Server Bob Peers 1 Alice P2P Systeme und Mobile Ad-Hoc-Netze 1-24

25 Napster 2. User sucht nach Schlüsselwort auf Server und erhält Liste mit passenden Peers Zentraler Server 2 Bob Peers Alice P2P Systeme und Mobile Ad-Hoc-Netze 1-25

26 Napster 3. User sendet Pings an Hosts, die (lt. Serverantwort) die Daten haben Zentraler Server Ping Ping Bob Peers Sucht nach Hosts mit bester Transferrate 3 Ping Alice P2P Systeme und Mobile Ad-Hoc-Netze 1-26

27 Napster 4. User wählt Host Zentraler Server Bob Peers Zentralisierte Serverfarm von Napster hatte zeitweise Schwierigkeiten, mit dem Datenverkehr fertig zu werden 4 Alice P2P Systeme und Mobile Ad-Hoc-Netze 1-27

28 Gnutella

29 Verteilte Suche/Fluten: Anfrage P2P Systeme und Mobile Ad-Hoc-Netze 1-29

30 Verteilte Suche/Fluten: Antwort P2P Systeme und Mobile Ad-Hoc-Netze 1-30

31 Gnutella Schwerpunkt: Dezentrales Verfahren zur Suche nach Dateien zentraler Verzeichnisserver ist nicht länger Flaschenhals Schwieriger zu verbieten /abzuschalten Jede Anwendung instanziiert Dienste um: Ausgewählte Dateien zu speichern Anfragen von und zu den Nachbarknoten zu routen Auf Anfragen nach lokalen Dateien zu antworten Dateien auszuliefern/übertragen P2P Systeme und Mobile Ad-Hoc-Netze 1-31

32 Gnutella Geschichte: 3/14/00: Release von AOL: sofort wieder zurückgezogen Wurde Open Source Viele Iterationen, um Fehler am ursprünglichen Entwurf zu beheben Fragen: Wieviel Datenverkehr erzeugt eine Anfrage? Wieviele Hosts werden gleichzeitig unterstützt? Wie hoch ist die Latenzzeit bei Anfragen? Gibt es einen Flaschenhals? P2P Systeme und Mobile Ad-Hoc-Netze 1-32

33 Gnutella: Begrenztes Fluten Suche mit Fluten: Ist gewünschte Datei nicht lokal vorhanden, fragt man 7 Nachbarknoten Sofern die Datei dort nicht vorhanden ist, fragen die Nachbarknoten wiederum 7 ihrer Nachbarnknoten (max. 10 Stufen) Reverse-Path-Forwarding für die Antwort (nicht die Dateien) Hinweis: Gnutella-Animation auf: P2P Systeme und Mobile Ad-Hoc-Netze 1-33

34 Gnutella: Verwaltung Overlay Neu eintretender Knoten nutzt Bootstrap Knoten, um an die IP-Adressen von existierenden Gnutella-Knoten zu gelangen Neuer Knoten sendet Join-Messages und baut so Verbindungen zu den Nachbarn auf join P2P Systeme und Mobile Ad-Hoc-Netze 1-34

35 Gnutella in der Praxis Gnutella Datenverkehr viel geringer als KaZaA Datenverkehr Erweiterungen: ähnliche Funktionen wie bei KaZaA: Hierarchie, Intelligente Warteschlange, parallele Downloads, P2P Systeme und Mobile Ad-Hoc-Netze 1-35

36 Gnutella Diskussion: In der Forschung beliebt, da Quellcode verfügbar ist Aber ist Gnutella wirklich repräsentativ? Gute Quelle für technische Information und offene Fragen: ers P2P Systeme und Mobile Ad-Hoc-Netze 1-36

37 KaZaA

38 KaZaA: Der Dienst (1) Mehr als 3 Millionen Knoten mit mehr als 3000 Terabyte an Daten Populärer als Napster MP3s, Alben, Videos, Spiele Paralleler Download von Dateien möglich Automatischer Wechsel zu einem neuen Downloadserver, wenn der aktuelle nicht mehr erreichbar ist Schätzung Downloadzeiten P2P Systeme und Mobile Ad-Hoc-Netze 1-38

39 KaZaA: Der Dienst (2) Nutzer kann maximale Anzahl von gleichzeitigen Uploads und Downloads steuern Intelligente Warteschlange beim Server und beim Client Häufige Uploader können eine Priorität in der Warteschlange bekommen, Anreizsystem Suche nach Schlüsswörter User kann maximale Zahl an gewünschten Antworten einstellen Aus der Anwenderperspektive: Dienst ähnelt Google, aber bietet Links zu MP3-Files und Videos anstatt Links zu Webseiten P2P Systeme und Mobile Ad-Hoc-Netze 1-39

40 KaZaA: Technologie Software Proprietär Dateien und Steuerdaten sind verschlüsselt Funktionsprinzip: KaZaA Website erläutert Grundprinzip Einige Reverse-Engineering-Versuche sind im Web beschrieben Alles in HTTP-Request und Response-Nachricht enthalten Architektur hierarchisch Verbindung aus Napster und Gnutella P2P Systeme und Mobile Ad-Hoc-Netze 1-40

41 KaZaA: Architektur Jeder Peer ist entweder ein Supernode oder einem Supernode zugeordnet Jeder Supernode kennt viele andere Supernode (Supernodes quasi vermascht) Peer Supernode Nachbarn im Overlay P2P Systeme und Mobile Ad-Hoc-Netze 1-41

42 KaZaA: Architektur (2) Supernodes haben mehr Bandbreite und höhere Verfügbarkeit Jeder Supernode verhält sich als Mini-Napster- Hub, trackt den Inhalt und die IP-Adressen seiner Unterknoten Schätzung: ein Superknoten hat (im Schnitt) Unterknoten; ex. ca. 10,000 Supernodes Es gibt auch einen dedizierten Server zur Authentifierung von Nutzern, und einen Server, der die Liste aller Supernodes verwaltet P2P Systeme und Mobile Ad-Hoc-Netze 1-42

43 KaZaA: Overlay Verwaltung In Software-Distribution ist bereits eine Liste potientieller Supernodes enthalten Neuer Peer durchsucht diese Liste, bis er einen verfügbaren Supernode findet Baut Verbindung auf, erhält aktuellere Version der Liste Knoten sendet Ping an 5 Knoten der Liste und wählt den, mit der kleinsten RTT Geht der Supernode außer Betrieb, erfragt der Knoten eine aktualisierte Liste und wählt einen neuen Supernode P2P Systeme und Mobile Ad-Hoc-Netze 1-43

44 KaZaA Anfragen Knoten sendet zuerst an Anfrage an Supernode Supernode antwortet mit Treffern Bei x Treffern: fertig Sonst: Supernode leitet die Anfrage an eine Teilmenge von Supernodes weiter Bei x Gesamttreffern: fertig Sonst: Anfrage wird wieder weitergeleitet Vermutlich vom ursprünglichen Supernode und nicht rekursiv P2P Systeme und Mobile Ad-Hoc-Netze 1-44

45 Paralleler Download, Recovery Wird ein File auf mehreren Knoten gefunden, kann der Nutzer parallelen Download verwenden Vermutlich wird der HTTP Byte-Range Header genutzt, um verschiedene Teile einer Datei abzufragen Automatisches Recovery, wenn Gegenstelle keine Daten mehr sendet P2P Systeme und Mobile Ad-Hoc-Netze 1-45

46 Lehren aus KaZaA KaZaA bietet mächtigen Such- und Transferdienst ohne Serverinfrastruktur Nutzung von Heterogenität Automatische Recovery bei unterbrochenen Downloads Mächtige, intuitive Benutzerschnittstelle Umgang mit Urheberrechtsverletzungen: Internationales Katz-und- Maus-Spiel Kann eine verteilte, serverlose Architektur überhaupt abgeschaltet werden? Verfolgung der Nutzer? DoS-Attacken auf Supernodes? Verschmutzung? P2P Systeme und Mobile Ad-Hoc-Netze 1-46

47 Weitere Literatur Y. Chawathe, S. Ratnasamy, L. Breslau, N. Lanham, and S. Shenker, Making Gnutella-like P2P Systems Scalable, Proc. ACM SIGCOMM, Karlsruhe, Germany, 2003 Gnutella Developer Forum, Gnutella A Protocol for a Revolution, E. Keong Lua, J. Crowcroft, M. Pias, R. Sharma, and S. Lim, A Survey and Comparison of Peerto- Peer Overlay Network Schemes, IEEE Comm. Surveys and Tutorials, 7, October 2005 Sharman Networks Ltd., P2P Systeme und Mobile Ad-Hoc-Netze 1-47