Überblick. Peer-to-Peer-Systeme. Überblick. Überblick. Überblick, Geschichte. Grundform des Internet ( ) Hybride P2P-Systeme

Transkript

1 -to--systeme, Geschichte Grundform des Internet ( ) Hybride P2P-Systeme, Emule Unstrukturierte P2P-Systeme, Freenet, FastTrack/Kazaa, Overnet Strukturierte P2P-Systeme Chord, CAN, Pastry, Kademlia Infrastrukturen für P2P-Systeme Informationsanbieter Informationskonsument JXTA Algorithmen für Verteilte Systeme (AVS), WS 2004/05 1 Algorithmen für Verteilte Systeme (AVS), WS 2004/05 2 WWW-dominiertes Internet ( ) -to- Internet (ab 1999) Algorithmen für Verteilte Systeme (AVS), WS 2004/05 3 Informationsanbieter Informationskonsument Algorithmen für Verteilte Systeme (AVS), WS 2004/05 4 Informationsanbieter Informationskonsument

2 Nachteile der Client-Server-Architektur Verkehrsaufkommen Konzentration beim Server, Unterlast in anderen Netzteilen Asymmetrischer Verkehr Schwache Definition: -to- computing is a network-based computing model for applications where computers share resources via direct exchange between the participating computers (David Barkai) Skalierbarkeit Ungenutzte Ressourcen in Clients Speicherplatz, Rechenleistung, Informationen Server oft Single Point of Failure Algorithmen für Verteilte Systeme (AVS), WS 2004/05 5 Algorithmen für Verteilte Systeme (AVS), WS 2004/05 6 Ein System kann als -to- bezeichnet werden, wenn Bessere Definition (vgl. Tutorial KIVS 2003) eine gemeinsame Nutzung von Ressourcen stattfindet Jedes Teilsystem kann sowohl Informationsanbieter als auch Informationskonsument sein Selbstorganisierendes System gleichberechtigter, autonomer Systeme ohne Nutzung zentraler Dienste auf der Basis eines unzuverlässigen Netzwerks jedes Teilsystem einen gewissen Grad an Autonomie besitzt Keine zentrale Kontrolle oder Nutzung von zentralen Diensten die einzelnen Teilsysteme nicht permanent mit dem Gesamtsystem verbunden sein müssen Selbstorganisation des Systems die einzelnen Teilsysteme keine permanente Netzadresse benötigen Von der Netzschicht unabhängige Adressierung Algorithmen für Verteilte Systeme (AVS), WS 2004/05 7 Algorithmen für Verteilte Systeme (AVS), WS 2004/05 8

3 Anforderungen an P2P-Systeme Was wird alles als P2P-System bezeichnet Skaliert in einem globalen Rahmen File Sharing Einfaches publizieren von Informationen für eine beliebige Anzahl von Informationskonsumenten,, FastTrack... Verteilte Dateisysteme Schnelles und effizientes Finden von Informationen Freenet, PAST, Oceanstore Teilnehmende s können zu beliebigen Zeitpunkten dem Gesamtsystem beitreten und es wieder verlassen Instant Messaging ICQ, AIM (AOL Instant Messenger), Jabber Verteiltes Rechnen GRID Computing, SETI@home, Popular Power Collaboration Konferenzanwendungen, Groupware Algorithmen für Verteilte Systeme (AVS), WS 2004/05 9 Algorithmen für Verteilte Systeme (AVS), WS 2004/05 10 Klassifikation Klassifikation von reinen P2P-Systemen Client-Server: WWW, Seti@Home Unstrukturierte P2P-Systeme Klassische Rollenverteilung Keine Interaktion zwischen Clients Es gibt keine vorgegebene Organisationsstruktur Beispiele:, Freenet Hybride P2P-Systeme:, ICQ, AIM Strukturierte P2P-Systeme Gemeinsame Nutzung von verteilten Ressourcen Interaktion zwischen s Koordination durch zentrale Server Reine P2P-Systeme:, Freenet, Chord,... Bilden eine verteilte Hashtabelle (DHT) Jeder Knoten besitzt einen eindeutigen Identfikator Es existiert ein Modell, das die Topologie des Systems bestimmt Beispiele: Chord, Can, Past, Kademlia Vollständige dezentale Organisation und Nutzung der Ressourcen Algorithmen für Verteilte Systeme (AVS), WS 2004/05 11 Algorithmen für Verteilte Systeme (AVS), WS 2004/05 12

4 Informationen über P2P-Systeme und Applikationen Erstes populäres P2P-System ( ) Allgemeine Informationen über P2P-Systeme Austausch von Musikdateien International Workshop on -to- Systems Hauptseminare in Erlangen Dateitransfer -Server Dateitransfer Bücher Zentraler Verzeichnisserver -to- : Harnessing the Benefits of Disruptive Technology, O Reilly & Associates, 2001 Algorithmen für Verteilte Systeme (AVS), WS 2004/05 13 Verwaltet Adressen und Dateilisten der s Algorithmen für Verteilte Systeme (AVS), WS 2004/05 14 Verbindungsaufbau zum Verzeichnisserver Dateisuche s geben eine Liste der gespeicherten Dateien und ihre IP-Adresse an den Server bekannt IP-Adresse, Dateiliste -Server Anfrage an den Verzeichnisserver Verzeichnisserver sucht im Datenbestand und liefert eine Liste von IP-Adressen Suchanfrage Ergebnisse -Server Algorithmen für Verteilte Systeme (AVS), WS 2004/05 15 Algorithmen für Verteilte Systeme (AVS), WS 2004/05 16

5 Testen der potentiellen Zielrechner Durch Ping-Nachrichten wird die Verbindungsqualität der Zielrechner getestet Ping Pong Ping Übertragung der gesuchten Dateien Benutzer baut direkte Verbindung zu dem mit der besten Verbindung auf Ping Pong -Server Transfer der Datei -Server Algorithmen für Verteilte Systeme (AVS), WS 2004/05 17 Algorithmen für Verteilte Systeme (AVS), WS 2004/05 18 Eigenschaften Ein Protokoll zur verteilten Suche nach Dateien Skalierbarkeit ist eingeschränkt durch zentralen Verzeichnisserver Verzeichnisserver ist Single Point of Failure Hybrides P2P-System Erweiterungen Ursprünglich von Nullsoft als eine Art freies entwickelt Literatur: The Protocol Specification v0.4 Mehrere vernetzte Verzeichnisserver (OpenNap-Netz) Unterstützung für beliebige Dateiformate Host Cache Host Cache Algorithmen für Verteilte Systeme (AVS), WS 2004/05 19 Algorithmen für Verteilte Systeme (AVS), WS 2004/05 20

6 Rahmenbedingungen: Verbindungsaufbau Zur Teilnahme an einem -Netz benötigt ein mindestens eine IP-Adresse eines bereits teilnehmenden Knotens Nachrichten werden über TCP-Verbindungen ausgetauscht In der Regel verfügt jeder über mehrere ständige Verbindungen Jeder Teilnehmer kann frei entscheiden, welche Dateien er dem Netz zur Verfügung stellt Ermittlung der IP-Adresse eines aktiven Knotens zum Beispiel durch einen Host Cache Der Verbindungsaufbau erfolgt über eine Connect-Nachricht, welche der kontaktierte Knoten mit einer Ok-Nachricht beantwortet Im Folgenden werden dann die eigentlichen Basisnachrichten über die permanente Verbindung ausgetauscht Das -Protokoll dient zur Suche von Dateien; der eigentliche Transfer von Dateien wird über HTTP abgewickelt Algorithmen für Verteilte Systeme (AVS), WS 2004/05 21 Algorithmen für Verteilte Systeme (AVS), WS 2004/05 22 Es gibt verschiedene Arten von Nachrichten, die alle einen einheitlichen Header besitzen Message ID besteht z. B. aus Zeitstempel, Zufallszahl und MAC-Adresse Nachrichten zur Erhaltung der Netzstruktur: Ping - wird verwendet, um neue aktive s kennen zu lernen. Eine solche Nachricht kann zu einem beliebigen Zeitpunkt an andere s versendet werden. Payload Descriptor bestimmt den Nachrichtentyp Time to Live (TTL) zur Begrenzung der Suchtiefe Hops bestimmt, wie oft die Nachricht bereits weitergeleitet wurde Pong - Anwort auf eine Ping-Nachricht; enthält als Payload Informationen über einen aktiven Knoten IP-Adresse und Port des Rechners Anzahl der bereitgestellten Dateien Größe der bereitgestellten Daten Message ID Payload Descriptor TTL Hops Payload Lenght Byte offset Algorithmen für Verteilte Systeme (AVS), WS 2004/05 23 Algorithmen für Verteilte Systeme (AVS), WS 2004/05 24

7 Nachrichten für die Suche nach Dateien: Optionale zusätzliche Nachricht Push: Query - Eine Suchanfrage nach Dateien Gesuchte Zeichenkette Mindestanforderungen an die Übertragungsgeschwindigkeit an den bereitstellenden QueryHit - Antwort auf eine Suchanfrage, falls ein Dateien mit passenden Namen bereitstellt Port und IP-Adresse des antwortenden s Übertragungsrate, mit der Dateien angeboten werden Liste von Dateinamen, sowie einer eindeutigen ID pro Datei und ihrer jeweiligen Größe Eine eindeutige ID, die den bereitstellenden identifiziert. Diese wird durch eine Funktion über die IP-Adresse gebildet. Diese Nachricht ermöglicht das Laden von Dateien, falls der bereitstellende hinter einer Firewall liegt und nur aktiv Verbindungen aufbauen kann. Sollte sowohl das suchende als auch das bereitstellende hinter einer Firewall liegen, können keine Dateien ausgetauscht werden. Zusammensetzung des Payload der Nachricht: ID des Zielpeers ID der zu übertragenden Datei Port und IP-Adresse des anfragenden s Algorithmen für Verteilte Systeme (AVS), WS 2004/05 25 Algorithmen für Verteilte Systeme (AVS), WS 2004/05 26 Transfer von Dateien Das eigentliche Laden von Dateien erfolgt nicht über das -Netz sondern über HTTP. Hierbei wird der Dateiname und die ID der zu übertragenden Datei über eine HTTP-Get-Nachricht an den bereitstellenden übermittelt welcher als Antwort die Datei liefert Routing der Nachrichten zur Erhaltung der Netzstruktur: Ping (2) Ping (2) Ping (2) Ping (1) Pong (2) Empfängt ein eine Ping-Nachricht, wird diese an alle verbundenen s weitergeleitet (vgl. Wahlalgorithmen) Jeder der eine Ping-Nachricht erhält kann mit einer Pong-Nachricht antworten. Diese wird dann zurück an den Initiator geroutet. Algorithmen für Verteilte Systeme (AVS), WS 2004/05 27 Erhält ein eine bereits beantwortete Ping-Nachricht, wird sie verworfen. Dies wird durch einen Message-Cache ermöglicht, der die Nachrichten kurzzeitig zwischenspeichert. Algorithmen für Verteilte Systeme (AVS), WS 2004/05 28

8 Routing der Nachrichten zur Erhaltung der Netzstruktur: Jede Nachricht verfügt über die Felder Hops und TTL. Ein, der eine Nachricht weiterleitet, inkrementiert das Feld Hops und dekrementiert das Feld TTL. Sinkt das Feld TTL auf den Wert 0 wird die Nachricht nicht mehr weitergeleitet. Routing der Nachrichten zur Suche nach Dateien: Query (2) Query (2) Hit (3) Query (2) Query (1) Hit (4) Ping (TTL:4 Hops:1) Ping (TTL:5, Hops:0) Empfängt ein eine Query-Nachricht, wird diese wie eine Ping-Nachricht an alle verbundenen s weitergeleitet Jeder, der eine Query-Nachricht erhält, kann mit einer Query-Hit Nachricht antworten. Diese wird dann zurück an den Initiator geroutet. Algorithmen für Verteilte Systeme (AVS), WS 2004/05 29 Erhält ein eine bereits beantwortete Query-Nachricht, wird sie verworfen. Jeder, der eine Nachricht weiterleitet, inkrementiert Hops und dekrementiert TTL. Algorithmen für Verteilte Systeme (AVS), WS 2004/05 30 Sonderfall die Push-Nachricht Problem der Push-Nachricht: Ausnutzung für DDos-Angriffe Push (6) Hit (3) Push (5) Hit (4) Push File Kann eine gefundene Datei nicht geladen werden, da der bereitstellende hinter einer Firewall liegt, wird eine Push-Nachricht versendet Diese wird über den Pfad der Query-Hit-Nachricht an den bereitstellenden zugestellt Fälschen der Quelladresse in Push-Nachrichten mit der Adresse des Angriffsziels Versenden vieler solcher Nachrichten an mehrere s Benachrichtigte s versuchen nun eine Datenverbindung zum Angriffsziel aufzubauen Die Ermittlung des Angreifers gestaltet sich durch das -Protokoll sehr schwierig Push (6) Hit (3) Push (5) Hit (4) Push File Algorithmen für Verteilte Systeme (AVS), WS 2004/05 31 Algorithmen für Verteilte Systeme (AVS), WS 2004/05 32

9 Evolution des -Protokolls 2. -Generation 1. -Generation Alle Knoten besitzen die gleiche Anzahl an Verbindungen Folge: Knoten, die nur über eine schmalbandige Verbindung verfügen, werden überlastet. (Bei einer Modemverbindung ist dies meist bereits bei einer Netzgröße von 1000 Knoten der Fall.) Konsequenz: Kollaps und Fragmentierung des Netzes Anzahl der Verbindungen werden entsprechend der zur Verfügung stehenden Bandbreite variiert Verbindungen zu überlasteten Knoten werden abgebrochen Skalierungsproblem abgeschwächt, aber bleibt bestehen 3. -Generation: Einführung von Hierarchien Verbindung der Vorteile von hybriden und reinen -to- -Sytemen Dynamsich ermittelte Ultrapeers übernehmen die Netzlast für s mit schlechter Netzanbindung Architektur ähnlich der von FastTrack Algorithmen für Verteilte Systeme (AVS), WS 2004/05 33 Algorithmen für Verteilte Systeme (AVS), WS 2004/ to--systeme: Rückblick P2P-Systeme: und Definition und Eigenschaften Wesentlich Eigenschaften: Nutzung von clientseitigen Ressourcen; direkter Austausch zwischen s; Autonomie von s; Selbstorganisation und von Netzschicht unabhängige Adressierung 1. Suche (orig.) 1. Suche Klassifizierung Hybride -to--systeme 2. Transfer 2. Transfer Reine -to--systeme Unstrukturierte P2P-Systeme Strukturierte P2P-Systeme Bisher betrachtete Systeme: und +: Suche sehr effizient - : Abhängigkeit vom zentralen Server +: dezentral - : Suche ineffizient, skaliert schlecht Algorithmen für Verteilte Systeme (AVS), WS 2004/05 35 Algorithmen für Verteilte Systeme (AVS), WS 2004/05 36