Next Generation Internet

Transkript

1 Next Generation Internet Peer-to-Peer Netze Thomas Zahn Freie Universität Berlin Institut für Informatik Next Generation Internet SoSe03 1

2 Peer-to-Peer Netze - Ausblick letzte Vorlesung: heute: Grundlagen von Peer-to-Peer First-Generation P2P-Systeme Napster Gnutella Freenet Distributed Hash Tables Konzept Case Study I: Chord Case Study II: Pastry aktuelle / offene Fragen Load Balancing Range Queries Physikalische vs. Overlay-Topologie Next Generation Internet SoSe03 2

3 Load Balancing In Peer-to-Peer Netzen gibt es grundsätzlich zwei Arten von Lasten für die Peers Request-Rate hot spots Storage Load load balancing Hot Spots: Objekte werden gleichmäßig auf die Peers im Netz verteilt Einige Objekt sind aber besonders populär, d.h. diese Objekte werden besonders oft angefordert zuständige Peers müssen besonders viele Requests verarbeiten Hot Spots gängigstes Verfahren: Caching Next Generation Internet SoSe03 3

4 Load Balancing Storage Load: Objekte werden gleichmäßig auf die Peers im Netz verteilt Problem: Peers in Peer-to-Peer Netzen in der Regel sehr heterogen (vom PDA bis zum State-of-the-Art Desktop) "some peers are more equal than others" Peers haben oft sehr unterschiedliche Speicherkapazitäten man benötigt Load-Balancing Strategien Virtual Server "Power-of-Two"-Strategie Next Generation Internet SoSe03 4

5 Load Balancing Virtual Server (1) Storage Load: ein virtueller Server verhält sich wie ein einzelner Peer in der DHT ABER: ein physikalischer Knoten kann für mehrere virtuelle Server verantwortlich sein In Chord/Pastry ist ein virtueller Server zuständig für eine zusammenhängende Region des ID-Raums (d.h. für einen zusammenhängenden Abschnitt des Rings) ein physikalischer Knoten kann mehrere nichtzusammenhängende Regionen besitzen, indem er mehrere virtuelle Server hat Next Generation Internet SoSe03 5

6 Load Balancing Virtual Server (2) Wird die Last für einen Knoten zu hoch, splittet er diese auf virtuelle Server ein virtueller Server kann nun zu einem anderen Knoten verschoben werden alle entsprechenden Dokumente müssen auch verschoben werden Diese Operation erscheint wie ein leave gefolgt von einem join für die DHT Next Generation Internet SoSe03 6

7 Load Balancing Virtual Server (3) Peer 7 zuständig für zu viele Objekte überladen Next Generation Internet SoSe03 7

8 Load Balancing Virtual Server (4) kontaktiert anderen Knoten 3. Knoten 15 übernimmt virtual server splitte Region Next Generation Internet SoSe03 8

9 Load Balancing Virtual Server (5) Jeder Knoten i hat eine aktuelle Last L i (L i ist die Summe der Lasten aller virtuellen Server, für die i zuständig ist) Jeder Knoten hat eine Ziellast (target load) T i T i > L i heavy node T i L i light node Ziel: Reduzierung der heavy nodes, indem Lasten (d.h. virtuelle Server) auf light nodes verschoben werden Next Generation Internet SoSe03 9

10 Virtual Server Transfer Der beste virtuelle Server v, der von einem heavy node h zu einem light node l transferiert wird, muss die folgenden Bedingungen erfüllen: 1. Indem v von h nach l transferiert wird, wird l nicht schwer (heavy) 2. v ist der leichteste virtuelle Server, der h leicht (light) macht 3. Falls kein virtueller Server zum transferieren existiert, der h leicht machen kann, transferiere den schwersten virtuellen Server v von h nach l Intuition: transferiere minimale Last, die h leicht macht und l leicht bleiben lässt. Falls nicht möglich, transferiere schwerste Last, die l's Status nicht ändert, damit die Chancen von h erhöht werden einen passenden virtuellen Server zu finden. Next Generation Internet SoSe03 10

11 Virtual Server One-to-One Schema zwei Knoten werden zufällig gewählt ein Transfer wird ausgeführt, falls der eine Knoten leicht und der andere schwer ist einfach zu implementieren nur leichte Knoten wählen andere Knoten aus, DENN: schwere Knoten nicht zusätzlich belasten (mit Probing) Falls sehr viele Knoten schwer sind, Gefahr der Netzüberlastung mit Probing bzw. Thrashing ein leichter Knoten findet mit höherer Wahrscheinlihckeit einen schweren Knoten als anders herum, da die Last abhängig ist von der Länge des ID-Raums (d.h. Ring-Abschnitt), für den ein Knoten zuständig ist Next Generation Internet SoSe03 11

12 Virtual Server One-to-Many & Many-to-Many Schema Ein schwerer Knoten wird verglichen mit mehreren leichten Knoten (one-to-many) von den möglichen virtuellen Servern, die transferiert werden könnten (zu den jeweiligen leichten Knoten), wird der leichteste gewählt Mehrere schwere Knoten werden verglichen mit mehreren leichten Knoten (many-to-many) Höherer Aufwand In der DHT werden Directories mit leichten Knoten verwaltet Next Generation Internet SoSe03 12

13 Load Balancing "Power-of-2" Strategie (1) Knoten werden in der DHT mittels einer Hash-Funktion h 0 verteilt Zusätzlich zur Hash-Funktion h 0 gibt es d 2 Hash-Funktionen h 1, h 2,, h d Für ein einzufügendes Objekt x werden die Keys h 1 (x), h 2 (x),, h d (x) berechnet Nun werden parallel d lookups gestartet, um die Peers p 1, p 2,, p d zu finden, die für diese Keys zuständig sind (laut h 0 ) Das Objekt x wird nun auf dem Peer p i gespeichert, der die geringste Last hast Die anderen Peers p k, 1 k d, j I, speichern eine Referenz auf p i Zum Suchen wird eine der d Hash-Funktionen zufällig gewählt h n Falls p n das Objekt x nicht hat, leitet er die Suche weiter an p i Next Generation Internet SoSe03 13

14 Load Balancing "Power-of-2" Strategie (2) 2d107a x 2d107a notify d467c4 d467c4 d462ba Einfügen von Objekt X X d4213f h 1 (x) = d467c4 insert x h 2 (x) = a94da3 h 3 (x) = 2d107a notify a94da3 x 2d107a d1a08e 65a1fc a94da3 Next Generation Internet SoSe03 14

15 Load Balancing "Power-of-2" Strategie (3) 2d107a X Referenz x 2d107a d467c4 d462ba d4213f Knoten 65a1fc sucht Objekt X wähle beliebige Hash-Funktion z.b. h1(x)=d467c4 Route(d467c4) d1a08e 65a1fc a94da3 Next Generation Internet SoSe03 15

16 Load Balancing "Power-of-2" Strategie (4) Geringerer Overhead als Virtual Server kein Verschieben von Objekten nötig Nicht adaptiv Platzierungsentscheidung wird einmal beim Insert getroffen sehr heuristisch wie viele Hash-Funktionen? 2,3,4,5,? ABER: auch für Hot Spot Avoidance geeignet: Objekt wird stets bei allen d Peers gespeichert Replikation / Caching Next Generation Internet SoSe03 16

17 Range Queries Motivation Z.B. finde alle Objekte deren Attributwerte (NICHT Hash-Keys!!) zwischen 100 und 200 liegen DHTs unterstützen Range Queries (Bereichsanfragen) SEHR schlecht Durch das Hashen, können semantisch aufeinander folgende Objekte an "entgegen gesetzten" Enden des Overlays gespeichert sein für jeden Wert des Bereichs müsste ein seperater Lookup gestartet werden Problem: (allenfalls) theoretisch möglich für diskrete Bereiche (z.b. [10,11,12,..,50]) unmöglich für unendliche Bereiche (z.b. [10.0, 50.0]) Next Generation Internet SoSe03 17

18 Overlay Objekt-Plazierung h(15) = d1a08e h(16) = 3102ab h(17) = d46a1c d46a1c d1a08e 3102ab Next Generation Internet SoSe03 18

19 Ansatz UC Santa Barbara Allgemeines Konzept (1) benutzt 2-dimensionales virtuelles Koordinatensystem in CAN Virtueller Raum wird aufgeteilt in rechteckige Zonen Jede Zone wird von einem aktiven Knoten verwaltet Jeder Knoten verwaltet Routing-Tabelle mit seinen angrenzenden Nachbarn (20,80) (80,80) (20,20) (80,20) Next Generation Internet SoSe03 19

20 Allgemeines Konzept (2) Ein Knoten speichert das Result der Anfragen, deren Bereiche in seine Zone gehasht werden Bereichsanfrage <a,b> wird gehasht auf den Zielpunkt (a,b) Zielzone, Zielknoten Resultat der Bereichsanfrage wird im Zielknoten gespeichert (20,80) (80,80) z.b. Range Query <55,70> (20,20) (80,20) Next Generation Internet SoSe03 20

21 Allgemeines Konzept (3) gegeben seien zwei Bereichsanfragen r1:<a1,b1> und r2:<a2,b2> zwei Zielpunkte t1 (r1) und t2 (r2) 1. Falls a1 < a2 t1 liegt links von t2 2. Falls b1 < b2 t2 liegt unterhalb von t2 3. t1 liegt links-oberhalb von t2, gdw der Bereich r1 den Bereich r2 enthält Next Generation Internet SoSe03 21

22 Allgemeines Konzept (4) Bereichsanfrage <x,y> wird in Zone A gehasht Falls ein Bereichsanfragen-Resultat bereits existiert, das <x,y> enthält muss es auf einen Punkt in der schattierten Region gehasht worden sein Jede überschneidende Zone kann ein Resultat enthalten B D C (x,y) A Next Generation Internet SoSe03 22

23 Allgemeines Konzept (5) zwei Zielpunkte t1 (r1) und t2 (r2) t1 liegt links-oberhalb von t2, gdw. der Bereich r1 den Bereich r2 enthält Diagonale Zone: Zone z (x1,y1),(x2,y2), Zone z' (a1,b1),(a2,b2) z' ist eine diagonale Zone von z, falls a2 x1 und b1 y2 Intuitiv: z' ist diagonal oberhalb der linken-oberen Ecke von z z' B es existieren nur nicht-leere Zonen eine diagonale Zone von z kann alle Bereichsanfragen beantworten, die nach z gehasht werden C z Next Generation Internet SoSe03 23

24 Zonenverwaltung Zunächst ist der gesamte Hash-Space eine Zone, die einem aktiven Knoten zugeordnet ist Jeder aktive verwaltet Routing-Tabelle mit seinen aktiven Nachbarn und deren Zonen-Koordinaten Eine Zone wird gesplittet, wenn die Last für den Knoten zu hoch wird Besitzer kontaktiert einen passiven Knoten und weist ihm einen Teil seiner Zone zu die entsprechenden (gecachten) Resultate und Nachbarlisten werden transferiert Next Generation Internet SoSe03 24

25 Query Routing Resultat wahrscheinlich in der Zielzone gecacht Bereichsanfrage wird durch den virtuellen Raum zur Zielzone geroutet Beginnend bei der anfragenden Zone, wird die Anfrage an Nachbarzonen weitergeleitet Jede Zone wählt eine Nachbarzone, deren Koordinaten näher am Zielpunkt liegen Prozess wird wiederholt bis die Zielzone erreicht ist Next Generation Internet SoSe03 25

26 Forwarding (1) Anfrage erreicht Zielzone überprüfe lokalen Cache Falls kein Resultat für die Anfrage gefunden wurde leite Anfrage weiter Nur Zonen links-oberhalb des Zielpunktes können ein Resultat, das den geg. Bereich enthält, haben ähnlich dem Fluten Next Generation Internet SoSe03 26

27 Forwarding (2) Diagonale Zonen sind besonders interessant, DENN: müssen ein Resultat haben, das den geg. Bereich enthält DENN: jeder Punkt in der diagonalen Zone enthält den geg. Bereich jeder Punkt liegt links-oberhalb des Zielpunktes ABER: eine Zone hat eventuell keine diagonale Zone Next Generation Internet SoSe03 27

28 Updates & Auswertung Tuple t mit Attribut A=k wird upgedatet Schicke Update-Nachricht an Zielzone, die (k,k) enthält Tuple t enthalten in allen Bereichen <a,b> mit a k b leite Nachricht weiter an alle Zonen, die links-oberhalb der Zielzone liegen Auswertung Effiziente durchschnittliche Pfadlänge O( ) ABER: Hot-Spot-Knoten in der linken-oberen Ecke viele Splits starke Partitionierung längere Pfade Resultate im Cache können veraltet sein Updates / Deletes sehr aufwänding n Next Generation Internet SoSe03 28

29 Physikalische vs. Overlay-Topologie DHTs gehen von Overlay-Hops aus Jeder Knoten bekommt einen Hash-Key Jedes Objekt bekommt ebenfalls eine Hash-ID Ein Objekt wird auf dem Knoten gespeichert, dessen Schlüssel dem Objekt- Schlüssel am nächsten ist Key-Lookup in O(log n) Overlay-Hops Einträge in der Overlay-Routing-Tabelle eines Knotens können als virtuelle Links betrachtet werden ABER: Overlay-Nachbarn können weit im tatsächlichen, physikalischen Netz entfernt sein Next Generation Internet SoSe03 29

30 Overlay Routing (Pastry) d471f1 d46a01 d462ba d46a1c d4213f d1a08e Route(d46a1c) 65a1fc Next Generation Internet SoSe03 30

31 Physikalisches Routing vs. Overlay-Routing d46a01 d462ba d4213f d1a08e 65a1fc Next Generation Internet SoSe03 31

32 Heuristik in Pastry (1) simplistischer und heuristischer Ansatz in Pastry von allen Kandidaten, die für einen RT-Eintrag in Frage kommen, wählen einen möglichst (physikalisch) nahen aus hängt stark vom Zustand der RTs der Knoten ab, die für die RT-Initialisierung des neuen Knotens ausgewählt wurden periodisches Überprüfen, ob es "bessere" RT-Einträge gibt Next Generation Internet SoSe03 32

33 Heuristik in Pastry (2) einfach, straight-forward keine Garantie, dass RT-Einträge tatsächlich auf nahe Knoten verweisen Falls die RT eines Knotens, der zur RT-Initialisierung eines anderen Knotens benutzt wird, "schlecht" ist, kaskadiert der Fehler Für jede Zeile in der RT exponentiell weniger Kandidaten als in der vorh. Zeile (Matching Prefix wird um eine Stelle länger) Physikalische Distanz zwischen Knoten und RT-Eintrag nimmt exponentiell zu von Zeile zu Zeile (d.h. bei jedem Routing-Schritt) der letzte Routing Schritt ist der kürzeste im Overlay, aber wahrscheinlich der längste und dominierende Schritt im physikalischen Netz Next Generation Internet SoSe03 33

34 Landmark Binning (1) Knoten messen RTT zu einer kleinen Anzahl fixer Landmark-Knoten Knoten mit der gleichen Landmark-Ordnung fallen in die selbe Bin Knoten in der selben Bin werden in die gleiche Region gemappt Knoten in der selben Bin sind für benachbarte CAN-Zonen zuständig In jedem Routing-Schritt wird die Nachricht an einen wahrscheinlich nahen Knoten weitergeleitet Next Generation Internet SoSe03 34

35 Landmark Binning (2) wenig Maintenance erforderlich nur anfangs Landmark-RTT-Messungen Landmark Binning ist coarse-grained komplett ungeeignet für instabile Netze (z.b. ad-hoc) Verbesserung: Fine-Tuning dieses Ansatzes landmark + RTT um den nächsten Knoten zu finden Für jede Region verwaltet das System eine Map mit Informationen zu den Knoten in dieser Region Heftiger Overhead im kompletten Zustand: 2 m 1 Regionen in Pastry (mit SHA-1: Regionen!!) Next Generation Internet SoSe03 35