SCALABILITY OF LOOKUP AND SEARCH OVERLAYS IN PEER TO-PEER NETWORKS

Transkript

1 Diss. ETH No SCALABILITY OF LOOKUP AND SEARCH OVERLAYS IN PEER TO-PEER NETWORKS A dissertation submitted to the SWISS FEDERAL INSTITUTE OF TECHNOLOGY ZURICH for the degree of Doctor of Seiences presented by JOHANNES MISCHKE Dipl.-Ing., RWTH Aachen born March 28, 1975 citizen of Gerrnany accepted on the recommendation of Prof. Dr. Burkhard Stiller, examiner Prof. Dr.-Ing. Ralf Steinmetz, co-examiner 2004

2 Abstract Peer-to-peer (P2P) networking, the direet interaction of resourees and users at the edge of a network withouteentral servers, has reeently experieneed strong teehnology push and rapid user adoption. Partieularly filesharing services like GnuteIla or KaZaA eommand large user bases. As peers are not only eonsumers, but at the same time sole providers in a P2P system, finding an appropriate peer offering a desired resouree beeomes crucial. However, the size of eurrent and future P2P networks and the eomplexities inherent to their distributed nature lead to severe scalability problems. Therefore, the design of sealable P2P lookup and seareh systems gains particular importanee for the sueeess of P2P networks. In this thesis, a design spaee and design methodology for P2P lookup and seareh as well as both, a sealable lookup and a sealable seareh mechanism, have been developed. The design spaee distinguishes a funetional from a struetural dimension. In the funetional dimension, systems are classified into lookup/name routing, keyword seareh, and keyword routing. For eaeh funetional option, a number of struetural design alternatives regarding topology and informationdistribution have been identified. These include random networks with or without reeursive or non-reeursive knowledge on peer neighbors, and struetured networks like classic or symmetrie redundant hierarehies or ordered spaees like rings. The design spaee has been ereated top-down to be eomplete and exhaustive, but its usefulness has been validated bottom-up by mapping more than 40 systems onto it. It has been used to give general reeommendations on P2P seareh and to identify a blind spot that led to the development of a novel seareh system, SHARK. 111

3 iv A new P2P system for the lookup of unique names or IDs, AGILE, has been designed, specified, and implemented. Like in other distributed hash tables (DHTs), object names and node IP addresses are hashed to a common identifier space. The node numerically closest to an object becomes its indexer and stores a link to that object. To bring together objects and potential requestors, however, AGILE segments the identifier space into semantic clusters. As to the overlay network topology, AGILE constructs a symmetric redundant hierarchy of peer nodes. Hence, queries can efficiently be routed along the hierarchy toward an indexer. At the same time, a symmetric view on the network and sufficient fault tolerance is warranted through the redundancy. The AGILE protocol has been specified through message sequence charts and precise message syntax. An implementation in Java proved the validity and technical feasibility of concept and specification. The protocol evaluation revealed that AGILE achieves significant, double-digit percentage reduction in query traffic compared to DHTs without semantic clustering. It is very well-suited and expected to be used for applications like PGP key lookup. FinaIly, this thesis presents an entirely novel system for P2P keyword search, called SHARK. To the author's knowledge, it is the first system that applies a structured, yet true P2P approach to keyword routing rather than lookup, without requiring nodes to pre-define a complete set of common keywords that search is restricted to. In SHARK, objects are characterized through multi-dimensional hierarchical meta-data and arbitrary keyword strings. SHARK exactly reflects this meta-data structure in the overlay network topology by creating a multi-dimensional symmetric redundant hierarchy according to the meta-data categories. Within each category, nodes form a random network. This structure allows for meta-data and keyword search including wild cards as weil as range searches within or across several categories. Like AGILE, SHARK has been specified in detail, and a proof-ofconcept has been implemented. Compared to random networks like Gnutella, SHARK achieves performance and scalability improvements with respect to query and management traffic of four orders of magnitude. It is particularly well-suited for P2P trading applications but also, e.g., for filesharing.

4 Kurzfassung Peer-to-peer (P2P) Netze zur direkten Interaktion von Rechnern und Nutzern am Rande eines Netzes ohne zentrale Server erfreuen sich seit einiger Zeit hoher Beliebtheit bei den Nutzern und werden von Seiten der Technologie forciert vorangetrieben. Insbesondere Datentauschbörsen wie Gnutella oder KaZaA weisen beeindruckende Nutzerzahlen auf. Durch die duale Rolle von Peers nicht nur als Nutzer sondern auch alleinige Anbieter von Ressourcen im System gewinnt das Auffinden eines Anbieters einer gewünschten Ressource zentrale Bedeutung. Gerade die Größe derzeitiger und zukünftiger P2P Netze wie auch die auf ihrer Verteiltheit beruhende Komplexität werfen jedoch schwerwiegende Skalierbarkeitsprobleme auf. Somit wird die Entwicklung skalierbarer Suchsysteme entscheidend für den Erfolg von P2P Netzen. In dieser Arbeit wird ein strukturierter Designraum und eine Designmethodologie für verteilte Suche vorgestellt; darüberhinaus sowohl ein skalierbarer Schlagwortsuch- wie auch ein skalierbarer Objektlokationsmechanismus. Der Designraum ist gegliedert in eine funktionale und eine strukturelle Dimension. In der funktionalen Dimension wird klassifiziert nach LookuplName Routing, Keyword Search und Keyword Routing. Für jede dieser funktionalen Optionen werden eine Reihe von strukturellen Designalternativen identifiziert: unstrukturierte Netze, in denen Knoten entweder keine, nicht-rekursive oder rekursive Informationen über benachbarte Knoten verwalten, sowie strukturierte Netze wie klassische oder symmetrisch-redundante Hierarchien oder Anordnungen wie Ringe. Der Designraum wird deduktiv abgeleitet, um Vollständigkeit zu gewährleisten; v

5 vi sein Nutzen wird jedoch anhand der Klassifizierung von mehr als 40 existierenden Systemen validiert. Mit seiner Hilfe werden generelle Designempfehlungen hinsichtlich P2P Suche gemacht und bislang unerforschte Designs identifiziert, was zur Entwicklung eines neuartigen Suchsystems, SHARK, führt. Mit AGILE wird ein neues P2P Objektlokationssystem entwickelt sowie spezifiziert und implementiert. Wie in anderen Distributed Hash Tables (DHTs) werden Objektnamen und Peeradressen auf einen gemeinsamen Zahlenraum abgebildet. Jeweils der numerisch nächste Peer speichert einen Verweis auf ein Objekt. AGILE segmentiert jedoch dabei in semantische Gruppen, sodaß Objekte und potentielle Nachfrager nah beieinander liegen. Um Anfragen effizient leiten zu können, jedoch Symmetrie und Fehlertoleranz zu gewährleisten, werden Knoten zudem in einer symmetrisch-redundanten Hierarchie zu einem Overlay Netz verbunden. Für AGILE wird ein Protokoll durch Nachrichtenflußdiagramme und Syntax spezifiziert und mittels Implementation validiert. Die Protokollevaluation zeigt eine Reduktion des Suchverkehrsaufkommens im zweistelligen Prozentbereich gegenüber DHTs ohne semantische Gruppierung. AGILE eignet sich damit hervorragend für Anwendungen wie PGP Schlüsselsuche. Schließlich wird mit SHARK ein neuartiges P2P Schlagwortsuchsystem erstellt, spezifiziert und implementiert. Es ist wohl das erste und einzige System, das einen strukturierten Ansatz für echtes P2P Keyword Routing wählt, ohne dabei den Suchraum durch ein vordefiniertes Suchwörterbuch einzuschränken. In SHARK werden Objekte durch mehrdimensionale hierarchische Metadaten sowie beliebige Schlagwörter beschrieben. Zum gezielten Leiten von Anfragen bildet die Overlay Netz Topologie diese Struktur exakt nach in Form einer mehrdimensionalen symmetrisch-redundanten Hierarchie. Innerhalb der Kategorien werden Knoten zu unstrukturierten Netzen verbunden. Suche nach Metadaten, nach beliebigen Schlagwörtern auch mit Platzhaltern sowie nach ganzen Themenbereichen wird so ermöglicht. Wie AGILE wird SHARK im Detail spezifiziert und zur Validierung implementiert. Im Vergleich zu unstrukturierten Netzen wie Gnutella erzielt SHARK Leistungs- und Skalierbarkeitsverbesserungen hinsichtlich des Nachrichtenverkehrs im Bereich von vier Größenordnungen. Besonders gut eignet es sich für P2P Handelssysteme, aber auch z.b. für Dateitauschsysteme.