Software ubiquitärer Systeme

Transkript

1 Software ubiquitärer Systeme 13. Übung Constantin Timm Arbeitsgruppe Entwurfsautomatisierung für Eingebettete Systeme Lehrstuhl für Informatik 12 TU Dortmund Autor der Folien Verteilte Datenstrukturen : Christian Schindelhauer,

2 Inhalt Wiederholung P2P Verteilte Datenstrukturen allgemein DHT CAN CHORD 13. Übung 2

3 Napster - Hybrides P2P-System Erstes populäres P2P-System ( ) Austausch von Musik-Dateien Zentraler Verzeichnisserver Verwaltet Adressen und Dateilisten der Peers Eigenschaften Skalierbarkeit ist eingeschränkt durch zentralen Verzeichnisserver Verzeichnisserver ist single point of failure 13. Übung 3

4 Napster - Verbindungsaufbau Verbindungsaufbau zum Verzeichnisserver Peers geben eine Liste der gespeicherten Dateien und ihre IP- Adresse an den Server bekannt 13. Übung 4

5 Napster - Dateisuche Anfrage an den Verzeichnisserver Verzeichnisserver sucht im Datenbestand und liefert eine Liste von IP-Adressen 13. Übung 5

6 Napster Dateitransfer Testen der potentiellen Zielrechner Durch Ping-Nachrichten wird die Verbindungsqualität der Zielrechner getestet 13. Übung 6

7 Napster Dateitransfer Übertragung der gesuchten Dateien Benutzer baut direkte Verbindung zu dem Peer mit der besten Verbindung auf 13. Übung 7

8 Gnutella - Unstrukturiertes P2P-System Protokoll zur verteilten Suche nach Dateien Suchanfragen und Nachrichten zur Erhaltung der Netzwerkstruktur werden als Broadcast-Nachrichten versendet Eigenschaften Einfach zu implementieren Verträgt hohe Fluktuation von Teilnehmern Skalierungsprobleme durch Nachrichtenflut 13. Übung 8

9 Gnutella - Unstrukturiertes P2P-System Verbindungsaufbau Ermittlung der IP-Adresse eines aktiven Knotens zum Beispiel durch einen Host Cache Nachrichten - Erhaltung der Netzwerkstruktur Ping - wird verwendet, um neue aktive Peers kennen zu lernen. Eine solche Nachricht kann zu einem beliebigen Zeitpunkt an andere Peers versendet werden. Pong - Antwort auf eine Ping-Nachricht, die als Payload Informationen über einen aktiven Knoten enthält 13. Übung 9

10 Gnutella - Unstrukturiertes P2P-System Nachrichten - Suche nach Dateien Query - Eine Suchanfrage nach Dateien QueryHit - Antwort auf eine Suchanfrage, falls ein Peer Dateien mit passenden Namen bereitstellt Dateitransfer erfolgt nicht über das Gnutella-Netzwerk, sondern via HTTP 13. Übung 10

11 Verteilte Datenstrukturen allgemein 13. Übung 11

12 Verteilte Datenstrukturen allgemein Grundidee Verteilung von Daten über alle Knoten nach einem Algorithmus, der eine Topologie erzeugt Anforderung der Daten durch eine Anfrage beim verantwortlichen Knoten Zielsetzungen Gleichmäßige Verteilung der Daten auf alle Knoten Ständige Anpassung bei Ausfall, Beitritt und Austritt von Knoten Vergabe von Zuständigkeiten an neue Knoten Übernahme und Neuverteilung von Zuständigkeiten bei Austritt und Ausfall 13. Übung 12

13 DHT 13. Übung 13

14 Eine Hash-Tabelle als Peer-to-Peer-Netzwerk Jeder Peer steht für eine Speicherstelle 0,1,2,..,n-1 Eine allen Peers bekannte Hash-Funktion, z.b. für n = 7 f(x) = (3x+1 mod 23) mod 7 Peers sind als Kette verbunden Peers f(23)=1 Indexdaten f(1)=4 Suche Berechne f(x) Gehe zu Peer mit Adresse f(x) entlang der Linie

15 Distributed Hash-Table (DHT) Hash-Tabellen Vorteile Nachteile Suche einfach Ein neuer Peer verursacht neue Wahl der Hash-Funktion Lange Wege Peers f(23)=1 Indexdaten f(1)=4 Distributed Hash-Table Peers werden an eine Stelle ge hash t und erhalten Bereiche des Wertebereichs der Hashfunktion zugeteilt Daten werden auch ge hash t Je nach Bereich den Peers zugeordnet

16 Einfügen in die Distributed Hash-Table (DHT) Distributed Hash-Table Peers werden an eine Stelle ge hash t Dokumente ebenso Jeder ist für einen Bereich verantwortlich Kommt ein neuer Knoten hinzu müssen die Nachbarn teilen Verlässt ein Knoten das Netzwerk übernehmen die Nachbarn sein Gebiet

17 Eigenschaften DHT Vorteile Jedes Datum kann einem bestimmten Peer zugewiesen werden Einfügen und Entfernen von Peers erzeugt nur Veränderungen in den benachbarten Peers Peers f(23)=1 Indexdaten f(1)=4 DHTs werden von vielen P2P- Netzwerken benutzt

18 CAN 13. Übung 18

19 Content Addressable Network (CAN) Dateien werden in durch (zweiwertige)-hash-funktion in das Quadrat abgebildet Am Anfang ist ein leeres Quadrat mit nur einem Peer als Besitzer

20 Content Addressable Network (CAN) Dateien werden in durch (zweiwertige)-hash-funktion in das Quadrat abgebildet Am Anfang ist ein leeres Quadrat mit nur einem Peer als Besitzer Der Besitzer einer Fläche speichert alle Einträge in der Fläche Ein Peer wählt einen zufälligen Punkt in der Ebene

21 Content Addressable Network (CAN) Dateien werden in durch (zweiwertige)-hash-funktion in das Quadrat abgebildet Am Anfang ist ein leeres Quadrat mit nur einem Peer als Besitzer Der Besitzer einer Fläche speichert alle Einträge in der Fläche Ein Peer wählt einen zufälligen Punkt in der Ebene Der Besitzer des entsprechenden Quadrats teilt seine Fläche und übergibt die Hälfte dem neuen Peer

22 Content Addressable Network (CAN) Dateien werden in durch (zweiwertige)-hash-funktion in das Quadrat abgebildet Am Anfang ist ein leeres Quadrat mit nur einem Peer als Besitzer Der Besitzer einer Fläche speichert alle Einträge in der Fläche Ein Peer wählt einen zufälligen Punkt in der Ebene Der Besitzer des entsprechenden Quadrats teilt seine Fläche und übergibt die Hälfte dem neuen Peer

23 Content Addressable Network (CAN) Dateien werden in durch (zweiwertige)-hash-funktion in das Quadrat abgebildet Am Anfang ist ein leeres Quadrat mit nur einem Peer als Besitzer Der Besitzer einer Fläche speichert alle Einträge in der Fläche Ein Peer wählt einen zufälligen Punkt in der Ebene Der Besitzer des entsprechenden Quadrats teilt seine Fläche und übergibt die Hälfte dem neuen Peer

24 Lookup in CAN Zuerst wird Ort des Indexes durch Berechnung der Hash-Funktion bestimmt Zwischen den Besitzer benachbarter Rechtecke bestehen Kanten Anfrage wird in Richtung des Index weitergeleitet d Dimension des Quadrats 1: Linie 2: Quadrat 3: Würfel 4:...

25 Einfügen in CAN = Random Tree Random Tree Neue Blätter werden zufällig eingefügt Falls Wurzel interner Knoten, gehe zufällig in linken oder rechten Teilbaum Falls Wurzel ist Blatt, füge zwei Blätter an diese Wurzel an Beobachtung CAN fügt neue Peers ein wie neue Blätter beim Random Tree eingefügt werden

26 Entfernen von Peers in CAN Verschwindet ein Peer, meldet er das nicht vorher an Daher Nachbarn testen regelmäßig Anwesenheit übernimmt der erste Nachbar der das merkt das Gebiet des verschwundenen Peers Peers können mehrere Gebiete verwalten Häufiges Einfügen und Entfernen führt zur Kleinstaaterei (Fragmentierung)

27 Defragmentierung - der einfache Fall Um die Fragmentierung zu beseitigen, wird von Zeit zu Zeit eine Zonenneuzuweisung durchgeführt Für jeden Peer, der mindestens zwei Zonen hat, Lösche kleinste Zone des Peers und finde Ersatzpeer für dieses Gebiet 1. Fall: Nachbarzone im Baum ist ungeteilt Dann sind beide Peers Blätter im CAN- Baum Übertrage Zone dem Nachbarknoten

28 Defragmentierung - der schwierige Fall Für jeden Peer, der mindestens zwei Zonen hat, Lösche kleinste Zone des Peers und finde Ersatzpeer für dieses Gebiet 2. Fall: Nachbarzone im Baum ist weiter unterteilt Führe Tiefensuche in Nachbarbaum durch, bis zwei benachbarte Blätter gefunden worden sind Übertrage einem Blatt (Peer) die Zonen beider Blätter und wähle das andere Blatt (Peer) als Ersatzpeer

29 Systemverbesserungen für CAN 1.Mehrdimensionale Räume 2.Verschiedene Realitäten 3.Abstandsmetrik für Routing 4.Überladen der Zonen 5.Mehrfaches Hashing 6.Topologie-angepasste Netzwerkkonstruktion 7.Gleichmäßigere Partitionierung 8.Caching, Replikation und Hot-Spot-Management

30 Realitäten versus Dimensionen Dimensionen verkürzen die Wege besser Realitäten erzeugen robustere Netzwerke

31 Mehrere Realitäten Simultan werden r CAN-Netzwerke aufgebaut Jedes CAN-Netzwerk wird Realität genannt Auf der Suche nach einem Feld springt man zwischen den Realitäten wählt man die Realität, in welcher der Abstand zum Ziel am geringsten ist Vorteile Hohe Robustheit Kürzere Wege

32 Überladen von Zonen In jede Zone werden bis zu MAXPEERS (z.b. 10) Peers abgelegt Jeder Peer kennt alle Peers seiner Zone und jeweils einen der Nachbarzone Dadurch werden Routen nicht verlängert Latenzzeit kann verkürzt werden indem jeder Peer den nächsten Peer der Nachbarzone wählt Verbesserte Fehlertoleranz

33 CHORD 13. Übung 33

34 Chord von Ion Stoica, Robert Morris, David Karger, M. Frans Kaashoek und Hari Balakrishnan (2001) DHT mit Hash-Bildbereich {0,..,2 m -1} für genügend großes m Ring-Verknüpfung der Peers Abkürzungen im Ring durch exponentiell gestaffelte Zeiger auf Nachfolger

35 Chord als DHT n: Knotenanzahl, Knotenmenge V k: Anzahl Schlüssel, Schlüsselmenge K m: Hashwertlänge Zwei Hash-Funktionen bilden auf {0,..,2 m -1} ab r V (b): bildet Peer b zufällig auf {0,..,2 m -1} ab r K (i): bildet Index i zufällig auf {0,..,2 m -1} ab

36 Die Datenstruktur von Chord Für jeden Knoten b: successor: Nachfolger predecessor: Vorgänger Für i {0,..m-1} Finger[i] := Der Knoten der dem Wert r V (b+2 i ) folgt Für kleine i werden die Finger- Einträge immer gleich Nur unterschiedliche Fingereinträge werden gespeichert

37 Suchen in Chord Suchalgorithmus für Element s: Abbruch(b,s): Knoten b,b =b.succ gefunden, mit r K (s) [r V (b),r V (b ) Hauptroutine: Starte mit irgendeinem Knoten b while not Abbruch(b,s) do for i=m-1 downto 0 do if r K (s) [r V (b.finger[i]),r V (finger[i+1])] then fi * b b.finger[i] * break b.finger[m] b c b.finger[m-1] x s y

38 Referenzen Christian Schindelhauer, FU Berlin, P2P-Netzwerke Hans P. Reiser, Rüdiger Kapitza, Universität Erlangen- Nürnberg, Informatik 4, Vorlesung Middleware 04.1 Mobile Ad-hoc Networks (MANET) 38