Grundlagen Anwendungen Suchstrategien JXTA API Fazit. P2P - Peer to Peer. Henry Schäfer. WebSite Engineering Seminar. 24. Januar 2006.

Transkript

1 P2P - Peer to Peer WebSite Engineering Seminar 24. Januar 2006

2 1 Grundlagen

3 1 Grundlagen

4 1 Grundlagen

5 1 Grundlagen

6 1 Grundlagen

7 Definition Anforderungen Netzwerk Topologien Arten Entwicklung Peer-to-Peer bezeichnet die die Kommunikation unter Gleichen. In P2P Netzwerken sind alle Computer gleichberechtigt. Ein Peer ist gleichzeitig Client und Server. Dienste können angeboten und genutzt werden. Client-Server-Modell Im Gegensatz dazu steht das Client-Server Modell mit streng getrennter Rollenverteilung. Der Client kann nur Dienste in Anspruch nehmen. Der Server nur Dienste zur Verfügung stellen.

8 Definition Anforderungen Netzwerk Topologien Arten Entwicklung Peer-to-Peer bezeichnet die die Kommunikation unter Gleichen. In P2P Netzwerken sind alle Computer gleichberechtigt. Ein Peer ist gleichzeitig Client und Server. Dienste können angeboten und genutzt werden. Client-Server-Modell Im Gegensatz dazu steht das Client-Server Modell mit streng getrennter Rollenverteilung. Der Client kann nur Dienste in Anspruch nehmen. Der Server nur Dienste zur Verfügung stellen.

9 Definition Anforderungen Netzwerk Topologien Arten Entwicklung Motivation Client-Server Modell nutzt Möglichkeiten des Internets nicht vollständig Suche nach immer mehr Daten auf möglichst aktuellem Index nicht mehr durchführbar mehr Nutzer bedeuten serverseitig mehr Bandbreite für gleiche Daten stetig steigende Leistung der Computer im Netz ist oft ungenutzt

10 Definition Anforderungen Netzwerk Topologien Arten Entwicklung Anforderungen Rollensymmetrie Dezentralisierung keine zentrale Koordination keine zentrale Datenbasis keine globale Sicht des Systems Selbstorganisation Autonomie Zuverlässigkeit Verfügbarkeit

16 Definition Anforderungen Netzwerk Topologien Arten Entwicklung TYP 1 - echtes Dezentrales System von Peers. Namens-, Ressourcen- und Wegfindung ist absolut verteilt. Entdeckung und Anfragen Dateien herunterladen

17 Definition Anforderungen Netzwerk Topologien Arten Entwicklung TYP 2 - hybrid Ressourcen- und Namensfindung werden von einem zentralen Server koordiniert. Server Entdeckung anderer Peers und Anfragen Dateien laden

18 Definition Anforderungen Netzwerk Topologien Arten Entwicklung TYP 3 - hierarchisch Peers werden in Peer Gruppen zusammengefasst. Jede Gruppe hat eine Supernode, welche mit der nächst höheren Ebene kommuniziert und von dieser koordiniert. Supernode Supernode

19 Definition Anforderungen Netzwerk Topologien Arten Entwicklung Arten nach Anwendungsgebiet File Sharing Instant Messaging Grid Computing Groupware Application Programmable Interfaces

20 Definition Anforderungen Netzwerk Topologien Arten Entwicklung weitere Anwendungsgebiete verteiltes Suchen verteiltes Publizieren geschäfftlicher Bereich private Nutzung Forschung

21 Definition Anforderungen Netzwerk Topologien Arten Entwicklung Daten Morse Codes Bell Telefonie Usenet DNS ICQ Groove Jabber Seti@Home ab FreeNet, Napster

22 Instant Messaging - ICQ FileSharing - BitTorrent Groupware - Groove Grid Computing - Seti@Home viele Millionen Nutzer Chat Dateitransfer P2P Telefonie Typ2 - zentraler Server, der Index aller Mitglieder zur Verfügung stellt.

23 Instant Messaging - ICQ FileSharing - BitTorrent Groupware - Groove Grid Computing - Seti@Home Dateien in Blöcken (Chunks) von mehreren Quellen gleichzeitig ladbar Sicherheitsmechanismen legale Inhalte auch kommerziell eingesetzt.torrent Datei beschreibt zuständigen Server und Datei seed - stellt vollständige Datei zur Verfügung leecher - hat Teile der Datei Typ 3

24 Instant Messaging - ICQ FileSharing - BitTorrent Groupware - Groove Grid Computing - Seti@Home Chat gemeinsamer Kalender Shared Space Versionskontrolle der Dateien bietet sehr komfortable Verschlüsselung PlugIn Schnittstellen

25 Instant Messaging - ICQ FileSharing - BitTorrent Groupware - Groove Grid Computing - Seti@Home verteilte unabhängige Computer bilden einen Super Computer gemeinsames paralleles Problemlösen autonom spontan - jeder kann entscheiden, wann fertige Daten gesendet werden offline Betrieb möglich

26 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Eigenschaften Anfragen an einen Server gerichtet Server hält zentralen Index mit (PeerID, IP, Datei Metainformationen) Tupeln beim Anmelden an Netzwerk werden IP-Adresse und Index angebotener Daten an Server gesendet Daten werden direkt vom anbietenden Peer geladen

27 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Anfrageverarbeitung Client sendet Query an Server bei Erfolg schickt Server eine Liste mit IP Adressen an Client der Nutzer kann Download initiieren beim Abmelden eines Peers wird Index Tupel gelöscht oder deaktiviert

28 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Vorteile schnelle Suche geringes Datenaufkommen zwischen Client und Server

29 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Vorteile schnelle Suche geringes Datenaufkommen zwischen Client und Server

30 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Nachteile Index kann sehr gross werden bei vielen Peers und nur einem Server schnell Überlastung sind Knotenpunkt(e) für ganzes Netz und somit Ziel von Angriffen

31 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Lösung mehrere Server Suche wird vom aktuellen Server an andere Server weitergereicht

32 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Server Architekturen in Hybrid Netzen Chained Full Replication Hash Unchained

33 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Chained Architecture Server in linearer Kette miteinander verbunden Server durchsuchen zunächst eigenen Index bei Misserfolg nächsten Server in der Kette befragen solange weitersuchen bis der Nutzer mit den Suchergebnissen zufrieden oder Serverkette komplett durchlaufen ist Nachteil Weiterreichen der Suche bedeutet hohen Datenverkehr

34 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Chained Architecture Server in linearer Kette miteinander verbunden Server durchsuchen zunächst eigenen Index bei Misserfolg nächsten Server in der Kette befragen solange weitersuchen bis der Nutzer mit den Suchergebnissen zufrieden oder Serverkette komplett durchlaufen ist Nachteil Weiterreichen der Suche bedeutet hohen Datenverkehr

35 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Full Replication Architecture jeder Server hat Indexdaten über alle Teilnehmer Vorteile Anfragedauer wird drastisch reduziert Nachteil hoher Datenverkehr auf Nutzerseite beim Anmelden, da Informationen über bereitgestellte Daten an alle Server gesendet werden muss

38 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Hash Architecture Wörter der Metadaten (z.b. Dateiart, Codec, Genre,...) werden auf verschiedenen Servern gehasht jeder Server ist für eine Teilmenge aller Wörter zuständig für jedes Wort ist eine Liste von Teilnehmern vorhanden, die Dateien bezüglich dieses Wortes besitzen

39 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Suchvorgang Hash Architecture Hashfunktion auf ein Wort der Suche anwenden Anfrage an zuständigen Server weiterleiten Liste von Teilnehmern abfragen und in Resultatsliste (origin IP/GUID, result peer IP/GUID) speichern Hashfunktion auf nächstes Wort anwenden und Anfrage- und Resultatsliste an zuständigen Server weitergeben wenn alle Suchworte abgearbeitet wurden, Teilnehmerliste an Suchenden senden

40 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Eigenschaften mehrschichtiges Netz jeder Peer kann zu SuperNode werden - Clusterbildung P2P Datenverkehr zwischen Peers P2P Suche zwischen SuperNodes bei Anmeldung Finden des zuständigen SuperNodes über Nachbarn jeder Peer sendet beim Anmelden Informationen über bereitgestellte Daten an SuperNode

41 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Anfrageverabeitung Query wird an SuperNode gesendet Supernode sucht im lokalen Index bei Erfolg, Antwort an suchenden Peer senden sonst Anfrage an SuperPeer Netzwerk absetzen

42 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Probleme SuperNode Peer meldet sich plötzlich ab - Cluster zeitweise ohne SuperNode Finden eines neuen SuperNodes

43 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Lösung mehrere SuperNodes pro Cluster bilden, deren Indexdaten redundant gehalten werden Peers sind mit allen SuperNodes im Cluster angemeldet Suchanfragen werden Round-Robin an die SuperNodes gesendet um Last zu verteilen SuperNode wird, wer hohe Datenrate hat

44 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Situation kein zentraler Server für Suche kein globaler Index Peers angewiesen auf geschicktes Suchen und Routing durchs Netz Forschung steht noch am Anfang

45 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Ansätze Broadcasting Flooding Iterative Deepening Gezieltes Routing Direct BFS

46 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Flooding Algorithmus Query wird mit GUID und TTL(time to life) an Nachbarknoten abgesetzt jeder Peer hält Liste mit Such-GUID s und Origin IP Algorithmus wenn (TTL > 0 und Such-GUID nicht in Liste) { wenn (Datum lokal gefunden) Antwort an Origin senden sonst { bei Nachbarn Suchen Antwort an Origin senden } }

47 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Flooding

48 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Nachteile hohe Netzwerkauslastung durch parallele Tiefensuche ab gewisser Anzahl Peers keine Skalierung mehr

49 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Beispiel Formel: b = 2M(d 1)NR b : durchschnittlich benötigte Bandbreite pro Knoten in byte/s N : Anzahl Knoten im Netzwerk R : Durchschnitt Broadcasts pro Knoten M : durchschnittliche Nachrichtengrösse d : druchschnittliche Anzahl Nachbarn d=3 d=4 d=5 d=6 N= N= N= N= Werte in kbit/s Annahme R = 1/60-1 Broadcast alle 60 Sekunden

50 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Iteratives Deepening Verbesserung des Flooding Algorithmus durch iterative Breitensuche Festlegen von globalen Suchtiefen (a, b, c) zunächst Suche bis Tiefe a über Flooding Algorithmus Knoten auf Tiefe a wandeln query in frozenquery und leiten Suche nicht weiter falls bisherige Ergebnisse dem Suchenden ausreichen, frozen queries nach gewisser Zeit verwerfen sonst frozenqueries auf Tiefe a aktivieren und bis Tiefe b-a weitersuchen wiederholen bis Netz zur maximalen Tiefe durchsucht oder Suchender zufrieden

57 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Vorteile Netz wird entlastet, da bekannte Daten oft schon in der Nachbarschafft vorhanden sind

58 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Ansatz Netz soll durch geringeren Datenverkehr entlastet werden Anfragen werden nur an ausgewählte Nachbarknoten weitergeleitet

59 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Direct BFS Anfrage wird nur an gute Nachbarn gesendet jeder Peer speichert Daten über Nachbarn Kriterien Anzahl zurückelieferte Suchergebnisse HopCount Anzahl Nachrichten vom Nachbarn - mehr bedeutet gute Netzanbindung Wartezeit auf Antwort - hohe Verzögerung bedeutet Auslastung oder vom Netz abgemeldet

60 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Nachteile der Verfahren Durchsuchen des gesamten Netzes zu komplex seltene Datein werden meist nicht gefunden

61 hybrid Netze hierarchische Netze pure Netze Broadcasting Gezieltes Routing Lösung DHT - Distributed Hash Tables ermöglichen jede in einem Netzwerk vorhandene Datein in O(log n) Hops zu finden jeder Datei wird ein eindeutiger Key zugewiesen Forschung noch am Anfang

62 Motivation Konzepte Archtitektur Beispiele Motivation Projekt von SUN Microsystems seit 2001 OpenSource derzeit ca Mitglieder JXTA abgeleitet vom englischen Wort juxtapose - auf deutsch nebeneinanderstellen

63 Motivation Konzepte Archtitektur Beispiele Motivation Designgrundlage sind Interoperabilität und Wiederverwendbarkeit für viele Plattformen verfügbar - PC, Handy, Handheld,... nahezu freie Wahl der Programmiersprache - C, C++, Java, Perl,... soll gemeinsame ausgereifte Basis für P2P bereitstellen

64 Motivation Konzepte Archtitektur Beispiele JXTA - Virtuelles Netzwerk unabhängig von Netzwerkprotokollen - TCP/IP, Bluetooth

65 Motivation Konzepte Archtitektur Beispiele Konzepte Sammlung von Protokoll und XML Spezifikationen Nachrichtenaustausch per XML Grundlage bilden 6 Protokolle Peer Resolver Protocol Peer Discovery Protocol Peer Information Protocol Pipe Binding Protocol Endpoint Routing Protocol Rendezvous Protocol

66 Motivation Konzepte Archtitektur Beispiele Architektur

67 Motivation Konzepte Archtitektur Beispiele Simple Peer implementiert mindestens ein Protokoll kann Services bereitstellen und nutzen für alle Plattformen verfügbar - selbst Automaten, Handy sind durch Netzwerkbarrieren möglicherweise an Kommunikation gehindert

68 Motivation Konzepte Archtitektur Beispiele Rendevous Peer ermöglicht Simple Peers andere Peers zu finden - discovery Caching von Informationen entlastet Netz meist ausserhalb eingeschränkter Netze zur besseren Erreichbarkeit

69 Motivation Konzepte Archtitektur Beispiele Routing Peer ermöglichen Kommunikation von Peers, die durch Netzwerkbarrieren getrennt sind halten Index mit Routing Informationen bereit

70 Motivation Konzepte Archtitektur Beispiele Peer Groups Zusammenfassung von Peers, die gleiche Protokolle implementieren teilen das Netz in Cluster von Peers zur besseren Organisation Authentifizierungsmöglichkeit

71 Motivation Konzepte Archtitektur Beispiele Services Identifier Dienst, den ein oder mehrere Peers anbieten z.b. Dateien, Operationen können auf PeerGroup beschränkt werden 64 Bit - für lokale Identifizierung von Peers, Peer Groups, Services

72 Motivation Konzepte Archtitektur Beispiele Services Identifier Dienst, den ein oder mehrere Peers anbieten z.b. Dateien, Operationen können auf PeerGroup beschränkt werden 64 Bit - für lokale Identifizierung von Peers, Peer Groups, Services

73 Motivation Konzepte Archtitektur Beispiele Advertisement Message Pipe XML Dokument beschreibt Peer, PeerGroup, Service Daten + XML Rahmen + Header für Gebrauch von asynchronen, unzuverlässigen Diensten bei uni-direktionaler Kommunikation gedacht Uni/Bi-Direktionaler Kommunikationskanal

76 Motivation Konzepte Archtitektur Beispiele Sicherheitsmechanismen Hashing, symmetrische und asymmetrische Verschlüsselungsfunktionen Transportsicherung ähnlich SSL/TLS Zugangskontrolle über PeerGroups

77 Motivation Konzepte Archtitektur Beispiele Starten eines Peers über die PeerGroupFactory in Java Erzeugen einer neuen PeerGroup und ihr Advertisement Netzübersicht mit NetMap MyJXTA - Instant Messaging Debuging und Nutzung des Netzes mit der JXTA - Shell

78 Motivation Konzepte Archtitektur Beispiele Auswahl Shell Kommandos env - Umgebungsvariablen whoami - Informationen ueber sich selbst rdvstatus - Rendevouz Informationen peers - zeigt gefundene Peers an peers -r - sucht nach weiteren Peers groups - sucht nach Gruppen groups -r - weitere suchen advname = newpgrp -n Name - neue PeerGroup anlegen und Shell Variable anlegen join -d AdvName - einer Gruppe beitreten peerconfig - bei Neustart Einstellungen

79 Nachteile Vorteile Ausblick Quellen -Nachteile Asynchrone Internetanbindung weit verbreitet, somit ist gleiches Geben und Nehmen derzeit nicht in vollem Umfang möglich Dritte nutzen lokale Ressourcen Sicherheitsprobleme viele verschiedene P2P Netzwerke - kein Standard vorhanden rechtliche Probleme - Urheberrecht gesellschaftliche Probleme - Kulturschock

80 Nachteile Vorteile Ausblick Quellen - Vorteile Peer-to-Peer Netze können vorhandene Strukturen ablösen erweitertern das Schichtenmodell um zusätzliche Abstraktionsebenen Suche auf sehr aktuellem Index möglich Ressourcen können besser genutzt werden ideal für Netze mit vielen spontan teilnehmenden Benutzern P2P befindet sich gerade in Boomphase Forschung im Bereich Pure P2P steht noch am Anfang

81 Nachteile Vorteile Ausblick Quellen Ausblick Pure P2P Netzwerke werden Hybrid Netze ablösen symmetrische Internetverbindungen werden P2P leistungsfähiger machen Uns erwarten noch viele weitere bis jetzt ungeahnte Anwendungsmöglichkeiten

82 Nachteile Vorteile Ausblick Quellen Vielen Dank für die Aufmerksamkeit Fragen?

83 Nachteile Vorteile Ausblick Quellen Quellen