Inhalte der Vorlesung (vorläufig)

Transkript

1 Vorlesung P2P Netzwerke 5: Pastry Dr. Dominic Battré Complex and Distributed IT Systems berlin.de berlin de Inhalte der Vorlesung (vorläufig) Einleitung Was ist P2P? Definition Einsatzgebiete Unstrukturierte Netze Napster Gnutella Super Peer Netzwerke Small World Netzwerke etc. Fortgeschrittenes Sicherheit Strukturierte Netze Verteilte Hash Tabellen Grundlagen Chord, CAN, Pastry, Kademlia Programmieren von DHTs Gradoptimierte Netzwerke SkipNet, P Grid Lastverteilung in strukturierten Netzen Anwendungen OceanStore BabelPeers Amazon Multicast Dominic Battré P2P Netzwerke 2

2 Pastry und Tapestry Pastry Antony Rowstron and Peter Druschel: "Pastry: Scalable, decentralized objectlocationandroutingforlarge scale peer to peer systems", IFIP/ACMInternationalConference International Conference on Distributed Systems Platforms (Middleware), 2001 Tapestry Kirsten Hildrum, John Kubiatowicz, Satish Rao, Ben Y. Zhao, "Distributed object location in a dynamic network.", SPAA, 2002, pp Grundlage: Routing nachplaxton/rajaraman/richa C. Greg Plaxton, Rj Rajmohan Rj Rajaraman, A. W. Richa, "Accessing Nearby Copies of Replicated Objects in a Distributed Environment", SPAA, 1997, pp Dominic Battré P2P Netzwerke 3 Grundidee: Präfix Routing ID wird zur Basis 2 b dargestellt, z.b. b=4 bedeutet Hexadezimaldarstellung bei 160 Bit sind das 40 Ziffern Grundidee: Sende die Nachricht an den Knoten aus der Routing Tabelle, dessen gemeinsamer Präfix mit der Ziel ID maximale Länge hat. Was für Einträge braucht man in der Routing Tabelle? Dominic Battré P2P Netzwerke 4

3 Routing Tabelle Knoten , Knoten b=3, d.h. Oktalziffern ID Länge 8 Ziffern, d.h. 3*8 = 24 Bit Präfix Dominic Battré P2P Netzwerke 5 Beispiel: Graphische Darstellung eines Teils der Routing Tabelle eines Knotens mit der ID 021xxxx Jeweils ein Zeiger in den Sektor 1xxx, 2xxx, 3xxx Dann je ein Zeiger in die Sektoren 00xxx, 01xxx, 03xxx Dann je ein Zeiger in die Sektoren 020xxx, 022xxx, 023xxx etc. Routing Tabelle Dominic Battré P2P Netzwerke 6

4 Probleme Wie geht das Routing weiter, wenn man auf einen leeren Eintrag in der Routing Tabelle trifft? Hier unterscheiden sich Pastry und Tapestry Frage: Sind die Routing Tabellen konsistent? d.h., gibt es für einen leeren Eintrag niemals einen passenden Knoten? Antwort von Pastry: Nicht konsistent Antwort von Tapestry: Konsistent Entsprechend dieser Annahme unterscheidet sich das weitere Vorgehen Dominic Battré P2P Netzwerke 7 Pastry Zuordnung von Bereichen: Root Knoten ist der numerisch dichteste Aufpassen: der numerisch dichteste Knoten kann ein ganz anderes Präfix haben! Beispiel: Knoten 2700, Ziel 2777, nächster Knoten 3000 (Oktal) Dh Daher: Pastry wechselt am Ende auf ein anderes Routing Verfahren Dazu wird ein Leaf Set verwendet, das die L dichtesten Knoten beinhaltet Also: Mit Präfix Routing wird in die Nähe des Ziels gesprungen Die genaue Positionierung geht dann über das Leaf Set Dominic Battré P2P Netzwerke 8

5 Vergleich mit Chord In beide Richtungen routen (statt nur im Uhrzeigersinn) Restdistanz pro Schritt durch 2 b teilen (statt halbieren) Routing Einträge werden jeweils aus einem Intervall ausgesucht (statt deterministisch einen zu nehmen) Verantwortlichkeiten werden anders definiert Dominic Battré P2P Netzwerke 9 Pastry: Routing Algorithmus 1 // Knoten A: Route Schlüssel D 2 if LeafSet[ L/2] <= D <= LeafSet[L/2] // im Leafset? 3 weiterleiten an LeafSet[i] s.d. D LeafSet[i] minimal 4 else 5 l = Länge des gemeins. Präfixes von A und D 6 if R[l, D[l]] <> nil 7 weiterleiten an R[l, D[l]] 8 else 9 // seltener Fall (Eintrag leer/knoten nicht erreichbar) 10 suche Knoten T in R und L so dass 11 Länge des gemeins. Präfixes von T und D >= l 12 T D < A D 13 weiterleiten and T Solch ein Knoten existiert zumindest im Leaf Set Dominic Battré P2P Netzwerke 10

6 Pastry: Performance Anzahl Einträge in der Routing Tabelle: O(log 2 b N ) Routing Performance: O (log 2 N) b Wenn Routing Tabellen leer: O ( N / L ) Dominic Battré P2P Netzwerke 11 Lokalität Einträge in der Routing Tabelle können frei gewählt werden (entsprechend den Constraints) Tabellen werden mit "nahen" Knoten befüllt Art der Distanzbestimmung ist dabei offen gelassen Anforderung: es muss eine Metrik sein Die Befüllung der Routing Tabellen mit "nahen" Knoten wird durch den Join Algorithmus gewährleistet: Annahme dabei: neuer Knoten ist "nahe" zu seinem Bootstrap Knoten A Also sind die Knoten B, C, auf dem Pfad auch "nahe" Daher ist die so konstruierte Tabelle schon relativ gut Dominic Battré P2P Netzwerke 12

7 Ankunft eines Knoten Route Nachricht an eigene ID id über bekannten Knoten A Die Nachricht wird über Knoten B, C, an Knoten Z geroutet Jeder Knoten auf der Route schickt seine Routing Tabelle zurück Daraus baue ich meine eigene Tabelle auf: Zeile 0 wird von Knoten A genommen Zeile 1 wird von Knoten B genommen Leaf Set wird von Knoten Z genommen Alle jetzt bekannten Knoten werden informiert Dominic Battré P2P Netzwerke 13 Varianten beim Einfügen Einfache Variante SL (von vorheriger Folie): Jeweils eine Zeile auf dem Weg vom Join Knoten zum Ziel nehmen Variante WT: Gesamten Status von jedem Knoten auf dem Weg zum Ziel nehmen Variante WTF (in FreePastry implementiert): Eine Ebene weiter gehen, von allen so bekannten Knoten den Status holen In den Varianten WT und WTF wird idjeweils die Lokalität geprüft (RTT Messungen) Beimehreren Möglichkeiten, eine Zelle zu füllen, wirdjeweils der dichteste Knoten genommen Dominic Battré P2P Netzwerke 14

8 Probleme beim Einfügen Ich bin der erste Peer mit einem bestimmten Präfix Dann müssen potentiell alle Knoten im Netz mich kennenlernen Es lernen mich aber nur Teile des Netzwerkes kennen Der Rest wird überdenreparaturmechanismus erledigt, korrektes Leaf Set erlaubt langsames aber korrektes Routing. Für korrektes Routing wird nur ein korrektes Leaf Set benötigt. Nur beim Leaf Set wird aktiv geprüft, ob Peers noch anwesend sind Dominic Battré P2P Netzwerke 15 Auffüllen der Routing Tabelle: Ausfall eines Knoten Um einen Eintrag R[l, d] zu ersetzen, wird zunächst ein Knoten R[l, i], i!= d, gefragt. g Wenn dieser einen passenden Eintrag hat, wird er genommen. Wenn nicht, wird ein Knoten R[l+1, i], gefragt, g etc. Mit hoher Wahrscheinlichkeit wird so ein Knoten gefunden, der die Tabelle auffüllen kann Dominic Battré P2P Netzwerke 16

9 Ausfall eines Knotens Wenn ein toter Knoten im LeafSet bemerkt wird: Kontaktiere den äußersten lebendigen Knoten im LeafSet, um das LeafSet wieder aufzufüllen Mein LeafSet Dieser Knoten füllt mein LeafSet auf LeafSet von Knoten Dominic Battré P2P Netzwerke 17 Hop Anzahl: Messungen Parameter b=4, L=16 also log(n) = log 16 (N) Gute Übereinstimmung Analyse / Messungen Quelle: Antony Rowstron and Peter Druschel: Pastry: Scalable, decentralized object location and routing for large scale peer to peer systems Dominic Battré P2P Netzwerke 18

10 Messungen Abweichung von der Hop Distanz: Quelle: Antony Rowstron and Peter Druschel: Pastry: Scalable, decentralized object location and routing for large scale peerto peer systems Geringe Abweichung von erwarteter Hop Distanz Dominic Battré P2P Netzwerke 19 Messungen Messung des sog. Stretch: Verhältnis zum optimalen Routing Quelle: Antony Rowstron and Peter Druschel: Pastry: Scalable, decentralized object location and routing for large scale peerto peer systems Latenz nur ca. 40%langsameralsdirektes als Internet Routing Dominic Battré P2P Netzwerke 20

11 Routing Geschwindigkeit Für die Reihe 0 gibt es pro Feld N/2 b Möglichkeiten D.h. die Wahrscheinlichkeit, einen nahen Knoten zu finden, ist hoch Für Reihe 1 gibt es pro Feld N/2 2b Möglichkeiten Für Reihe 2 gibt es pro Feld N/2 3b Möglichkeiten Für den Nachbarn im LeafSet gibt es nur eine Möglichkeit sehr weit entfernt Daraus folgt: Die ersten Schritte Shitt sind dbillig Die letzten Schritte sind teuer Mehr Schritte sind nicht viel teurer, da die teuren Schritte immer anfallen! Dominic Battré P2P Netzwerke 21 Qualität der Routing Tabellen Messungen Quelle: Antony Rowstron and Peter Druschel: Pastry: Scalable, decentralized objectlocation androuting forlarge scale peer to peer systems b=4, L=16, Knoten Dominic Battré P2P Netzwerke 22

12 Messungen Knotenausfall: von 5000 Knoten fallen 500 aus Quelle: Antony Rowstron and Peter Druschel: Pastry: Scalable, decentralized objectlocation androuting forlarge scale peer to peer systems Dominic Battré P2P Netzwerke 23 Basieren beide auf Prefix Routing Pastry Vergleich Tapestry/Pastry "Lockeres Verfahren": Routing Tabellen müssen nicht korrekt sein Leaf Set reicht zum korrekten Routing Tabellen nur zur Beschleunigung In der Praxis besser einsetzbar Tapestry Routing Tabellen werden immerkorrekt gehalten Dadurch beweisbare Eigenschaften Dahertheoretisch interessant Dominic Battré P2P Netzwerke 24