Seminar Datenkommunikation und verteilte Systeme WS 2003/04

Transkript

1 Rheinisch-Westfälische Technische Hochschule Aachen Lehrstuhl für Informatik IV Prof. Dr. rer. nat. Otto Spaniol Skalierbar oder nicht? Die Topologie des Gnutella Netzwerks Seminar Datenkommunikation und verteilte Systeme WS 2003/04 Sebastian Ley Matrikelnummer: Betreuung: Stefan Diepolder Lehrstuhl für Informatik IV, RWTH Aachen

2 Zusammenfassung Peer-to-Peer Netzwerke und vor allem der bequeme Datenaustausch über diese Netze sind seit einigen Jahren immer populärer unter den Internet-Nutzern geworden. Erste Untersuchungen zur Skalierbarkeit der verwendeten Protokolle resultierten in schlechten Noten: Insbesondere die reinen Peer-to-Peer Protokolle sollen schlecht skalieren und eine hohe Belastung für die unterliegenden Netzwerke darstellen. In dieser Arbeit werden zwei Artikel vorgestellt, die die Topologie des Gnutella Netzwerks untersuchen, um diese Daten für eine Skalierbarkeitsaussage zu verwenden. 2

3 Inhaltsverzeichnis 1 Einleitung 4 2 Peer-to-Peer Netzwerke Das Gnutella Protokoll Bisherige Ergebnisse 8 4 Ein neuer Ansatz Die Baum-Wahrscheinlichkeit Kartografierung des Gnutella Netzwerks 16 6 Zusammenfassung, Bewertung und Ausblick 19 Abbildungsverzeichnis 1 Kommunikation im Napster Netzwerk Routing im Gnutella Netzwerk Anzahl der Pings nach Gleichung (2) Obere und untere Schranken für die Baum-Wahrscheinlichkeit für n c = Obere und untere Schranken für die Baum-Wahrscheinlichkeit für n c = Algorithmus zur Kartographierung des Gnutella Netzwerks Momentaufnahme eines Teils des Gnutella Netzwerks Tabellenverzeichnis 1 Clustering Koeffizienten und kürzeste Pfadlängen im Gnutella Netzwerk

4 1 Einleitung Peer-to-Peer Netzwerke erfreuen sich in letzter Zeit bei Internet-Nutzern großer Beliebtheit bei Internet Benutzern. Der einfache und bequeme Zugriff auf die freigegebenen Daten von mehreren Tausend angeschlossenen Clients ist verantwortlich für die Erfolgsgeschichte von Napster & Co. Doch des einen Freud ist des anderen Leid. Peer-to-Peer Netzwerke haben den schlechten Ruf, dass über sie urheberrechtlich geschütztes Material illegal verbreitet wird. Musik, Filme, Software und vieles mehr werden dort widerrechtlich angeboten. Doch nicht nur der Musik- und Filmeindustrie sind Peer-to-Peer Netzwerke ein Dorn im Auge. Einige Studien belegen, dass gerade die reinen Peer-to- Peer Netzwerke 1 schlecht skalieren und eine hohe Belastung für die darunterliegenden Transportnetzwerke darstellen [Rit00], [Abe02]. Die Kritiker von Peer-to-Peer Netzwerken prognostizieren ein exponentielles Wachstum des Signalverkehrs und damit eine unwirtschaftliche Ausnutzung der Datennetze. Einen groben Überblick über diese Arbeiten bietet Abschnitt 3. Der in dieser Arbeit vorgestellte Beitrag [Sch02] versucht das Gegenteil zu beweisen. Mit Hilfe eines realistischeren Modells vom Aufbau der Peer-to-Peer und Transportnetzwerke wird gezeigt, dass das exponentielle Wachstum eine zu pessimistische Schätzung ist (Abschnitt 4). Einen praktischen Ansatz verfolgen Jovanovic et al in [Jov01]. Die Arbeit präsentiert die Ergebnisse eines Programms, mit dem die Topologie des Gnutella Netzwerkes untersucht wurde. Diese Ergebnisse werden in Abschnitt 5 vorgestellt. 2 Peer-to-Peer Netzwerke Peer-to-Peer Netzwerke werden in erster Linie für Filesharing-Dienste verwendet, die meisten Definitionen sind jedoch nicht darauf beschränkt, wie in [Ora01]: Peer-to-peer is a class of applications that take advantage of resources storage, cycles, content, human presence available at the edges of the Internet. Because accessing these decentralized resources means operating in an environment of unstable connectivity and unpredictable IP addresses, peer-to-peer nodes must operate 1 Definition, siehe Abschnitt 2 4

5 outside the DNS and have significant or total autonomy of central servers. Im Fall des Filesharings bedeutet dies also, dass sich die Peer-to-Peer Protokolle von klassischen Protokollen wie FTP und HTTP dadurch unterscheiden, dass die Inhalte nicht von einem zentralen, bekannten Server angeboten werden, sondern von jedem Benutzer des Netzwerks. Ein Peer-to-Peer Protokoll regelt die An- und Abmeldung am Netzwerk, Suchfunktionalität über alle angebotenen Inhalte 2, sowie die Herstellung einer Verbindung zwischen zwei Netzwerkteilnehmern, um den eigentlichen Datenaustausch anzustoßen. Eine Einführung und Übersicht über Peer-to-Peer Netzwerke bietet [Abe02]. Um die Skalierbarkeit eines Peer-to-Peer Protokolls zu untersuchen, beschränkt man sich sinnvollerweise auf die Untersuchung des Signalverkehrs, während man die eigentliche Dateiübertragung außen vorlässt. Zu untersuchen ist also der durch einen Suchvorgang oder eine Netzwerkanmeldung ausgelöste Verkehr. Gnutella ist gerade durch Vergleiche mit dem Napster Protokoll Gegenstand einiger Veröffentlichungen geworden. Erörtert werden dabei die Unterschiede zwischen Napster als so genanntem Hybrid Protokoll und Gnutella als reinem Peer-to-Peer Protokoll. Ein Hybrid Peer-to-Peer Protokoll zeichnet sich durch die Existenz einer zentralen Instanz aus, über die der Signalverkehr abgewickelt wird. Im Gegensatz dazu sieht ein reines Peer-to-Peer Protokoll eine solche Instanz nicht vor, sämtliche Protokollfunktionen müssen von den Netzwerkteilnehmern verteilt durchgeführt werden. Ein Beispiel für Kommunikation im Napster-Netzwerk ist in Abbildung 1 zu sehen. Die Kommunikation im Gnutella Netzwerk wird in Abschnitt 2.1 näher erläutert. Selbst ohne detaillierte Kenntnisse über den Protokollaufbau liegt die Vermutung nahe, dass der Signalverkehr bei den reinen Protokollen größer ist als bei den Hybrid-Protokollen. Dem gegenüber stehen allerdings andere Vorteile eines reinen Protokolls. Ein zentraler Server muss leistungsfähig sein und über eine gute Netzwerkanbindung verfügen. Damit ist der Betrieb eines solchen Server mit hohen Anschaffungs- und Unterhaltungskosten verbunden. Weiterhin ist ein zentraler Server ein so genannter single point of failure. Ein Ausfall bedeutet einen sofortigen Zusammenbruch des gesamten Netzwerks. 2 gegebenenfalls mit einer Indizierung 5

6 Server Wer hat Datei foo? Registrierung der Dateien A B Benutzer A hat foo. C Anfrage an Server Antwort vom Server Dateitransfer Abbildung 1: Kommunikation im Napster Netzwerk Im Nachfolgenden soll nun gezeigt werden, dass diese Vorteile der reinen Peerto-Peer Netzwerke nicht durch einen inakzeptablen Anstieg des Signalverkehrs erkauft werden. 2.1 Das Gnutella Protokoll Die Untersuchungen in [Sch02] beziehen sich sehr detailliert auf das Gnutella Protokoll ([Cli01]), weshalb im Folgenden eine kurze Einführung in die wichtigsten Spezifikationen gegeben wird. Um anzudeuten, dass jeder dem Gnutella Netz zugehörige Knoten gleichzeitig Server und Client ist, werden diese Knoten in der Gnutella Terminologie Servents genannt. Ein Servent versucht eine einstellbare Anzahl von Verbindungen zu anderen Servents im Netzwerk aufzubauen. Die Auffindung eines ersten Knotens des Netzwerks liegt dabei außerhalb der Protokoll Spezifikation 3. Wenn ein Servent nun wenigstens eine Verbindung zum Netzwerk aufgebaut hat, kann er Deskriptoren versenden, um weitere Servents zu finden oder eine Suchanfrage zu starten. Ein Deskriptor enthält im Wesentlichen die folgenden Informationen: 3 Die meisten Implementierungen verwenden dazu einen Cache-Server, der die Adressen von Netzwerkteilnehmern speichert und auf Anfrage ausgibt. 6

7 Deskriptor ID: Eine Zeichenkette, die den Deskriptor im Netzwerk eindeutig identifiziert. Deskriptor Typ: Beschreibt den Typ des Deskriptors, d.h. ob es sich z.b. um eine Suchanfrage oder eine Suchergebnisübermittlung handelt. TTL: Gibt an, wie oft der Deskriptor im Netzwerk weitergeschickt wird, bis er verworfen wird. Typspezifische Daten: Z.B. die zu suchende Zeichenkette bei einer Suchanfrage oder die Ergebnismenge bei einer Suchergebnisübermittlung. Folgende Deskriptortypen sind für die weitere Untersuchung relevant: Ping: Wird benutzt, um aktiv weitere Servents im Netzwerk zu aufzufinden. Pong: Ein Servent kann mit einem Pong auf einen Ping antworten. Mit dem Pong wird die Adresse des antwortenden Servents übertragen, so dass der Servent, der den Ping ausgesendet hat eine Verbindung zu dem antwortenden Servent aufbauen kann. Query: Deskriptor, um eine Suchanfrage zu starten. QueryHit: Die Antwort auf einen Query-Deskriptor, zusammen mit einer Ergebnismenge und der Adresse des antwortenden Servents. Das Routing der Deskriptoren im Netzwerk erfolgt nach einfachen Regeln. Ping- und Query-Deskriptoren werden dabei gleich behandelt, genauso wie Pong- und QueryHit-Deskriptoren als Antworten auf die beiden erstgenannten: 1. Ein Ping- oder ein Query-Deskriptor wird an alle direkt verbundenen Servents verschickt, mit Ausnahme des Servents, von dem der Deskriptor erhalten wurde. 2. Ein Pong-Deskriptor darf nur auf dem gleichen Pfad weitergeleitet werden, wie ein vorhergegangener zugehöriger Ping-Deskriptor. Ein Servent, der einen Pong-Deskriptor erhält ohne den dazugehörigen Ping- Deskriptor gesehen zu haben soll den Pong-Deskriptor verwerfen. Gleiches gilt für Query- und QueryHit-Deskriptoren. 3. Bevor ein Deskriptor weiter verschickt wird, muss ein Servent die TTL um eins erniedrigen und das Paket verwerfen, wenn die TTL dabei kleiner als Null wird. 7

8 4. Empfängt ein Servent einen Deskriptor mit einer Deskriptor ID und einem Deskriptor Typen, den er bereits gesehen hat, so verwirft er diesen. Dies verhindert das mehrfache Routing eines Deskriptors. Abbildung 2 zeigt ein Beispiel, wie ein Ping-Deskriptor ausgehend vom Servent A geroutet wird und ein zugehöriger Pong-Deskriptor als Antwort darauf von B versandt wird. Mit der Adresse, die mit dem Pong-Deskriptor verschickt wird, kann A nun eine neue Verbindung zu B aufbauen. A n n ter Hop des Ping Deskriptors n n ter Hop des Pong Deskriptors B Abbildung 2: Routing im Gnutella Netzwerk Da sich die Query- und QueryHit-Deskriptoren genauso wie die Ping- und Pong-Deskriptoren verhalten, genügt es den Signalverkehr, der durch die letzteren beiden erzeugt wird, zu betrachten. 3 Bisherige Ergebnisse Der folgende naive Ansatz zur Analyse der verschickten Deskriptoren zeigt, dass ein zu einfaches Modell des Netzwerks schnell zu schlechten Ergebnissen bezüglich der Skalierbarkeit führen können. Es sei n c die Anzahl der Verbindungen, die ein Servent zu anderen Servents unterhält und h die Anzahl der Hops, die ein Deskriptor weitergeleitet wird 4. 4 h entspricht also dem anfänglichen TTL Wert des Deskriptors. 8

9 Diese Werte sind zwar normalerweise pro Servent konfigurierbar, werden aber zur leichteren Verarbeitung als konstant angenommen. Ein Servent verschicke nun einen Ping-Deskriptor. Er selbst verschickt ihn an seine n c verbundenen Servents. Diese wiederum verschicken ihn an n c 1 Servents, nämlich an alle verbundenen Servents abzüglich dem, von dem sie den Ping-Deskriptor erhalten haben. Es ergibt sich folgende Summenformel für die Anzahl n ping_cum von insgesamt im Netzwerk verschickten Ping- Deskriptoren: n ping_sum = n c h (n c 1) i. (1) i=1 Mit der Summenformel für die geometrische Reihe ergibt sich: (n c 1) h 1 n ping_sum = n c. (2) n c 2 Gleichung (2) ist für einige n c in Abbildung 3 dargestellt und zeigt für h > 2 eine exponentielle Explosion der verschickten Ping-Deskriptoren im Netzwerk auf. Mit einer vergleichbaren Herangehensweise kommt Jordan Ritter in [Rit00] auf ganz ähnliche Ergebnisse. Er untersucht den Signalverkehr, der durch das Versenden eines einzigen Query-Deskriptors im Netzwerk entsteht. Für n c = 4 und eine TTL von 7 prognostiziert Ritter ca. 3 MB an verschickten Daten. 5 Für größere Werte von n c und TTL wächst die Datenmenge jedoch sehr schnell an. So betrage die Datenmenge für n c = 8 und einer TTL von 7 bereits ca. 800 MB für eine einzige Suche. 4 Ein neuer Ansatz Die in Abschnitt 3 beschriebenen Ergebnisse bilden den Ausgangspunkt für das Veröffentlichung von Schollmeier und Schollmeier. Der Gleichung (1) liegt die Annahme zugrunde, dass das Gnutella Netzwerk als unendlicher Baum aufgebaut ist. Damit sich die Ping-Deskriptoren wie angegeben ausbreiten können, muss wegen der Routing Regel 4 in Abschnitt 2.1 jeder weitergeleitete Ping 5 n c = 4 und TTL = 7 sind Werte, die viele Clients als Voreinstellung benutzen. 9

10 n_c = 2 n_c = 3 n_c = 4 n_c = Summe der Pings Anzahl der Hops Abbildung 3: Anzahl der Pings nach Gleichung (2) einen Servent erreichen, der den Ping vorher noch nicht gesehen hat. Dies ist aber nur dann möglich, wenn das Netzwerk eine Baumstruktur aufweist, mit dem Initiator des Ping-Deskriptors an der Wurzel. Wie wahrscheinlich es nun ist, dass das Netzwerk diese Gestalt hat 6, ist Gegenstand der nun folgenden Analyse. Zuvor jedoch noch eine weitere Bemerkung: Da jeder Ping potentiell einen Pong-Deskriptor zurückliefert bzw. jeder Query- einen QueryHit-Deskriptor, sprechen Schollmeier und Schollmeier von einer Selbstregulierung der einstellbaren Werte für n c und der TTL. Wenn ein Benutzer die Werte groß wählt, um möglichst viele Netzwerkteilnehmer zu erreichen, so wird er mit einer großen Anzahl Antworten überflutet, die im schlimmsten Fall seine Netzwerkanbindung überlasten. Vor diesem Hintergrund werden viele Benutzer die Werte für die TTL und n c auf den sinnvollen Voreinstellungen belassen. 6 Unendlich groß ist es ja schon einmal mit Sicherheit nicht. 10

11 4.1 Die Baum-Wahrscheinlichkeit Unter Einbeziehung der Annahme, dass das Gnutella Netzwerk aus nur endlich vielen Servents besteht, wird im folgenden nun die Wahrscheinlichkeit abgeschätzt, dass sich das Netzwerk in eine Baumstruktur entwickelt. Es sei n c definiert wie bisher als die Anzahl der erlaubten Verbindungen pro Servent. Weiterhin sei h die Anzahl der Hops, über die der Baum bereits aufgebaut ist. N sei die Gesamtzahl der im Netzwerk verfügbaren Servents. N such (h) sei die Anzahl der benötigten Servents, um im h-ten Schritt einen Baum aufzubauen, gegeben durch: Mit N such (0) = n c ergibt sich N such (h) = N such (h 1)(n c 1). (3) N such (h) = n c (n c 1) h 1. (4) Gesetzt den Fall, dass sich bereits ein Baum bis zum Schritt h entwickelt hat, so ist die Anzahl der bereits verbundenen oder zumindest teilweise verbundenen Servents N besetzt wegen Gleichung (2) (n c 1) h 1 N besetzt = 1 + n c. (5) n c 2 Die Anzahl der freien Servents N frei, die mit noch keinem anderen Servent verbunden sind, ist nun einfach N frei = N N besetzt. (6) Nun betrachten wir die Situation, dass sich ein Baum bereits über h 1 Hops entwickelt hat. Um die Wahrscheinlichkeit zu berechnen, dass alle bisher nur teilweise verbundenen Servents (in unserem Baum also die Blätter) n c 1 weitere Verbindungen mit freien Servents aufbauen können, betrachten wir zunächst die Situation für die erste Verbindung des ersten suchenden Servents. Der erste Servent kann eine Verbindung entweder mit einem der noch gar nicht verbundenen N frei (h) Servents aufbauen oder mit einem der ebenfalls nach Verbindungen suchenden N such (h 1) 1 Servents. Eine Baumstruktur kann jedoch im Hop h nur dann aufgebaut werden, wenn eine Verbindung mit einem noch gar nicht verbundenen Servent aufgebaut wird. Die Wahrscheinlichkeit 11

12 dafür, dass die erste Verbindung des ersten Servents die Baumstruktur erhält, beträgt also P f (h, 1, 1) = N frei (h) N frei (h) + (N such (h 1) 1). (7) Für die zweite Verbindung des ersten Servents ist nun die Anzahl der möglichen Verbindungen um 1 niedriger, da ja jeder Servent nur eine Verbindung mit einem anderen Servent aufbauen kann. Die Erhaltung der Baumstruktur bei der zweiten Verbindung des ersten Servents geschieht also mit einer Wahrscheinlichkeit von P f (h, 1, 2) = N frei (h) 1 N frei (h) 1 + (N such (h 1) 1). (8) Wenn man dies für alle n c 1 Verbindungen des ersten Servents fortsetzt, ergibt sich folgende Wahrscheinlichkeit dafür, dass die Baumstruktur nach vollständiger Verbindung des ersten Servents erhalten bleibt: P b (h, 1) = n c 1 i=0 N frei (h) i N frei (h) i + (N such (h 1) 1). (9) Nun betrachten wir die Wahrscheinlichkeit, dass auch alle Verbindungen des zweiten suchenden Servents die Baumstruktur erhalten. Es gelten die gleichen Überlegungen wie für den ersten Servent, also muss man Gleichung (9) nur dahingehend modifizieren, dass der Laufindex i die bereits mit dem ersten Servent verbundenen Servent berücksichtigt. Weiterhin verringert sich die Gesamtzahl der möglichen Verbindung noch einmal um 1, da ja der erste Servent alle n c Verbindungen bereits aufgebaut hat und somit nicht mehr für weitere Verbindungen zur Verfügung steht. Es ergibt sich eine Wahrscheinlichkeit von P b (h, 2) = 2(n c 1) i=n c 1 N frei (h) i N frei (h) i + (N such (h 1) 2). (10) In Gleichung (10) geht jedoch eine Vereinfachung ein, die dafür sorgt, dass die später berechnete Wahrscheinlichkeit nur eine obere Schranke für die tatsächliche Baum-Wahrscheinlichkeit wird. Die Vereinfachung besteht darin, dass von 12

13 den insgesamt möglichen Verbindungen (also dem Ausdruck im Nenner) immer 1 für jede bereits aufgebaute Verbindung abgezogen wird (ausgedrückt durch den Term i im Nenner). Damit wird nicht berücksichtigt, dass der zweite Servent auch eine Verbindung mit einem Servent aufbauen kann, der vorher bereits mit dem ersten Servent verbunden wurde. Die Anzahl der Möglichkeiten eine Verbindung herzustellen ist also insgesamt größer, die tatsächliche Wahrscheinlichkeit damit kleiner. Da es unmöglich oder zumindest schwierig ist, die genaue Anzahl der Möglichkeiten in geschlossener Form auszudrücken wird zusätzlich zu dieser oberen Schranke noch eine untere Schranke angegeben und die tatsächliche Wahrscheinlichkeit somit auf ein enges Intervall beschränkt. Wenn man die Gleichungen (9) und (10) fortführt, erhält man eine obere Schranke für die Wahrscheinlichkeit, dass nach h Hops eine Baumstruktur gebildet wurde: P baum_o (h) = = N such (h 1) 1 i=0 N such (h 1) 1 i=0 P b (h, i + 1) N frei (h) i [ ( N frei (h) i + N such (h 1) i n c 1 )] + 1 (11) Die untere Gaußklammer sorgt dafür, dass der Nenner immer nur dann um 1 erniedrigt wird, wenn ein Servent alle n c 1 Verbindungen aufgebaut hat und somit nicht mehr für weitere Verbindungen zur Verfügung steht. Eine untere Schranke für die Baum-Wahrscheinlichkeit erhalten wir, wenn wir die Anzahl der freien Servent nicht immer um 1 erniedrigen, sondern um 1/n c. Damit wird berücksichtigt, dass ein freier Servent Verbindungen von mehr als einem suchenden Servent annehmen kann. Allerdings geht nun nicht ein, dass jeder freie Servent maximal n c 1 Verbindungen zu anderen Servents haben kann. Deshalb ist die folgende Gleichung tatsächlich als untere Schranke anzusehen: 13

14 N such (h 1) 1 P baum_u (h) = i=0 N frei (h) i [ N frei (h) i n c + N such (h 1) ( i n c 1 )] + 1 (12) Für eine Gesamtzahl N von Servents von 1000, und und n c = 3 zeigt Abbildung 4 die obere und untere Schranke für die Baum-Wahrscheinlichkeit wie durch die Gleichungen (11) und (12) berechnet. Abbildung 5 zeigt die entsprechenden Graphen für n c = 4. 1 N=1000 N=10000 N= P baum Abbildung 4: Obere und untere Schranken für die Baum-Wahrscheinlichkeit für n c = 3 Die Abbildungen zeigen, dass die Wahrscheinlichkeit, dass sich eine Baumstruktur entwickelt, bei kleiner Anzahl von Hops zunächst nahe 1 ist. Das ist nicht weiter verwunderlich, denn zunächst ist die Anzahl der verbindungssuchenden Servents gegenüber den freien Servents sehr klein, also ist die Wahrscheinlichkeit auf einen bereits teilweise verbundenen Servent zu treffen ebenfalls klein. Da aber mit jedem Hop die Anzahl der verbundenen Servents exponentiell wächst, verringert sich die Anzahl der freien Servents ebenso schnell. Die Wahr- Hops 14

15 1 N=1000 N=10000 N= P baum Hops Abbildung 5: Obere und untere Schranken für die Baum-Wahrscheinlichkeit für n c = 4 scheinlichkeit, dass das sich das Netzwerk in eine Baumstruktur entwickelt, fällt ab einer bestimmten Anzahl Hops steil ab und ist dann nahe bei 0. Je größer n c ist, desto schneller nimmt die Wahrscheinlichkeit mit wachsender Anzahl von Hops ab, da das Netzwerk wesentlich schneller wächst. Weiterhin kann man folgendes beobachten: Für N = und n c = 3 ist P baum bis zum achten Hop nahe bei 1. Das entspricht einer Anzahl von bereits 765 verbundenen Servents, also einem Anteil von 0,15%. Für n c = 4 ist P baum bis zum sechsten Hop nahe bei 1, was 1456 verbundenen Servents und einem Anteil von 0,29% entspricht. Mit der gleichen Rechnung ist die P baum nahe bei 0, sobald circa 2% der Servents verbunden sind. Mit diesen Ergebnissen lässt sich also folgern, dass die Kritik am Gnutella Protokoll, die sich auf Annahmen wie in Abschnitt 3 stützen unberechtigt ist. Die exponentielle Verbreitung von Deskriptoren kann sich nur über Bäume mit großer Tiefe entwickeln. Gerade solche Bäume sind jedoch mit den Ergebnissen aus diesem Abschnitt sehr unwahrscheinlich im Gnutella Netzwerk zu finden. 15

16 5 Kartografierung des Gnutella Netzwerks Jovanovic et al beschreiben in [Jov01] ein anderes Verfahren, um Aufschlüsse über die Topologie des Gnutella Netzwerks zu erhalten. Sie haben ein Programm entwickelt, dass zu einer möglichst kompletten Liste der dem Netzwerk zugehörigen Servents die bestehenden Verbindungen zwischen ihnen ermittelt. Der Grund, bereits eine Liste von Servents vorauszusetzen, liegt in der Schwierigkeit ein so dynamisches Netzwerk wie das Gnutella Netzwerk zu kartographieren. Während der Algorithmus zur Auffindung der Verbindungen zwischen den Servents im Wesentlichen in einem Schritt ausgeführt wird, ist die Auffindung aller Netzwerkteilnehmer wesentlich zeitintensiver. Deshalb beschränken sich Jovanovic et al darauf, die Auffindung der Servents in einem separaten Schritt vorzunehmen 7 und dann den Algorithmus nur auf die in diesem Schritt gefundenen Servents anzuwenden. Es spielt dabei dann keine Rolle mehr, ob Servents das Netzwerk bereits verlassen haben, sie werden einfach nicht mehr berücksichtigt. Neu hinzugekommene Servents werden dynamisch der Liste hinzugefügt. Der Pseudocode in Abbildung 6 beschreibt die Funktionsweise des Programms. Zwar haben Jovanovic et al eine verteilte Version des Algorithmus verwendet 8, aber um die Funktionsweise zu erläutern, soll an dieser Stelle die nicht parallelisierte Version genügen. Der Algorithmus ist simpel: Jedem der Servents aus der vorher generierten Liste wird ein Ping-Deskriptor mit TTL=2 geschickt. Damit werden genau die Nachbarn dieses Servents erreicht, die dann eine Pong-Nachricht zurücksenden. Für jede dieser Pong-Deskriptoren wird eine Kante vom Nachbarn zum ursprünglichen Servent eingerichtet. Falls ein Pong-Deskriptor eine Adresse enthält, die noch nicht in der Liste der Servents existiert, wird dieser Servent der Liste hinzugefügt. Eine Momentaufnahme des Netzwerks, die im Dezember 2000 mit dem beschrieben Programm aufgenommen wurde, ist in Abbildung 7 dargestellt. Die 7 Diese Aufgabe übernimmt das Gnutella Protokoll mit dem bekannten Ping/Pong- Verfahren um Servents aufzufinden. 8 Ein verteilter Algorithmus wird verwendet, da die Anzahl der aufzubauenden Verbindung für einen Rechner zu groß wird. 16

17 procedure buildtopomap(list hosts, Graph map) for (all elements h in hosts) connect to h if (connection established) then send Ping message with TTL=2 for (all Pong messages received) if (Pong host h2!= h) then add edge between h and h2 to map if (h2 is not in hosts) then add h2 to the end of hosts endif endif endfor endif endfor end procedure Abbildung 6: Algorithmus zur Kartographierung des Gnutella Netzwerks Visualisierung erfolgte mit Otto, einem Netzwerkvisualisierungprogramm der Firma Caida 9. Eine Analyse der durch die Kartographierung gesammelten Daten ergab, dass das Gnutella Netzwerk Small-World-Charakteristik aufweist. Dazu zunächst zwei Definitionen: Definition 1. Der Clustering Koeffizient des Knotens v eines Graphen G ist das Verhältnis der Anzahl der Kanten zwischen allen Nachbarn von v und der Anzahl der möglichen Kanten zwischen diesen Nachbarn. Der Clustering Koeffizient eines Graphen G ist das arithmetische Mittel aller Clustering Koeffizienten seiner Knoten. Ein Beispiel für Netzwerke mit hoher Clustering Eigenschaft sind soziale Netzwerke. Ein Graph, bei dem Personen die Knoten sind und eine Kante die ist bekannt mit Relation ausdrückt weist z.b. diese Eigenschaft auf. Definition 2. Die kürzeste Pfadlänge eines Graphen G ist das arithmetische Mittel der kürzesten Pfade zwischen allen möglichen Knotenpaaren von G

18 Abbildung 7: Momentaufnahme eines Teils des Gnutella Netzwerks Nun können wir die Small-World-Eigenschaft definieren: Definition 3. Ein Graph G besitzt die Small-Sworld-Eigenschaft, wenn er einen hohen Clustering Koeffizienten aufweist und eine niedrige kürzeste Pfadlänge gegenüber einem zufälligen Graphen mit gleicher Knotenzahl. Tabelle 1 führt die Ergebnisse der Messungen von Jovanovic et al am Gnutella Netzwerk auf. Weiterhin sind Clustering Koeffizienten und kürzeste Pfadlängen von zufälligen Graphen mit jeweils gleicher Knotenzahl angegeben. Es fällt auf, dass die kürzeste Pfadlänge der Gnutella Netzwerke und der Referenzen sich wenig unterscheiden. Der Clustering Koeffizient ist jedoch ausnahmslos wesentlich höher in den Gnutella Netzwerken. Daraus schließen die Autoren, dass das Gnutella Netzwerk die Small-World-Eigenschaft besitzt. Da Bäume einen Clustering Koeffizienten von 0 besitzen, steht dieses Ergebnis 18

19 Clustering Koeffizient kürzeste Pfadlänge Gnutella zufällig Gnutella zufällig , , , , , , , , , , , , , , , , , , , ,76880 Tabelle 1: Clustering Koeffizienten und kürzeste Pfadlängen im Gnutella Netzwerk mit dem Ergebnis aus Abschnitt 4.1 im Einklang. Die Existenz tiefer Baumstrukturen würde sich in einem kleineren Clustering Koeffizienten niederschlagen. Obwohl [Jov01] keine Bewertung der erhaltenen Ergebnisse liefern will, heißt es in einem Abschnitt: [...] Gnutella s current broadcast routing strategy is clearly not likely to work well on a clustered topology of a small-world network, as it would generate large amounts of duplicate messages. This would result in poor utilization of network bandwidth and hinder scaling a phenomenon recently observed in practice. Ein Versuch diese Folgerung mit der von Schollmeier und Schollmeier in Einklang zubringen unter Berücksichtigung aller Ergebnisse soll im nächsten Abschnitt gewagt werden. 6 Zusammenfassung, Bewertung und Ausblick Sowohl theoretische als auch praktische Analysen haben ergeben, dass Baumstrukturen im Gnutella Netzwerk kleine Höhe haben und das Netzwerk insgesamt eine hohe Clustering Eigenschaft aufweist. Diese Tatsache wird jedoch von Schollmeier und Schollmeier hinsichtlich der Skalierbarkeit unterschiedlich bewertet als von Jovanovic et al. Dazu folgende Überlegung: Bisher wurde immer die Gesamtzahl der verschickten Deskriptoren für eine Skalierbarkeitssaussage herangezogen. Dabei sollte jedoch bedacht werden, dass mit einer steigenden Zahl von verschickten Query-Deskriptoren auch die 19

20 Treffermenge vergrößert wird, es ergibt sich also eine Verbesserung des Service. Was jedoch sicherlich schlecht bewertet werden muss ist die Anzahl der überflüssigerweise verschickten Deskriptoren. Diese Anzahl ist bei dem Modell, welches Gleichung (2) nahelegt in einem stark geclusterten Netzwerk sehr groß. Mit Routing Regel 4 wird diese Zahl jedoch deutlich verringert, als Beispiel betrachte man noch einmal Abbildung 2: Es spielt keine Rolle, wie groß die TTL des von A initiierten Ping-Deskriptors ist, es würden nicht mehr überflüssige Deskriptoren im Netzwerk generiert. Allerdings werden im vierten Schritt dennoch zwei überflüssige Deskriptoren generiert. Die Anzahl der auf diese Weise überflüssigen Deskriptoren wird in einem stark geclusterten Netzwerk höher ausfallen als in einem Netzwerk mit kleinem Clustering Koeffizienten. Um also die Effizienz der Netzwerkauslastung des Gnutella Protokolls zu untersuchen, müsste diese Kenngröße näher betrachtet werden. Abschließend kann man also sagen, dass eine sinnvolle Auslastung der Transportnetze im Wesentlichen von der korrekten Implementierung der Routing Regel 4 und einer vernünftigen Wahl von n c und TTL abhängt. Mit einer sinnvollen Voreinstellung dieser Werte in den Clients und der von Schollmeier und Schollmeier erwähnten Selbstregulierung sollte letzterer Punkt in der Realität gegeben sein. Neben einer Vertiefung der in dieser Arbeit angesprochenen Untersuchungen gibt es noch eine Vielzahl von weiteren Aspekten die im Zusammenhang mit Peer-to-Peer Netzwerken und und insbesondere dem Gnutella Netzwerk von Bedeutung sind. Erwähnt sei das Free Riding Phänomen (z.b. [Ada00]), nach dem im Gnutella Netzwerk fast 70% aller Netzwerkteilnehmer gar keine Dateien anbieten. Peer-to-Peer Netzwerke haben sicherlich zu einem erhöhten Datenaufkommen in den Transportnetzen geführt. Die große Popularität zeigt jedoch dass sie für viele Leute zu einem wichtigen Bestandteil ihres Nutzungsverhaltens geworden sind und in Zukunft nicht mehr wegzudenken sind. 20

21 Literatur [Sch02] Rüdiger Schollmeier, Dr.-Ing. Gero Schollmeier An Analysis of P2P Traffic Patterns, Proceedings of the Second International Conference on Peer-to-Peer Computing [Abe02] Karl Aberer, Manfred Hauswirth An Overview on Peer-to-Peer Information Systems, [Ora01] A. Oram, Hrsg. Peer-to-Peer: Harnessing the Power of Disruptive Technologies O Reilly & Associates, [Cli01] [Rit00] Clip2, The Gnutella Protocol Specification v0.4, Revision 1.2, Jordan Ritter Why Gnutella Can t Scale. No, Really, jpr5/doc/gnutella.html [Jov01] Mihajlo A. Jovanovic, Fred S. Annexstein, Kenneth A. Berman Scalability Issues in Large Peer-to-Peer Networks - A Case Study of Gnutella mjovanov/research/paper.html [Ada00] Eytan Adar, Bernardo A. Huberman Free Riding on Gnutella, 21