Dr. Dominic Battré Complex and Distributed IT Systems

Transkript

1 Vorlesung P2P Netzwerke 2: Unstrukturierte Netze Dr. Dominic Battré Complex and Distributed IT Systems berlin.de berlin de

2 Inhalt Napster Erstes "P2P" Netzwerk Kein wirkliches P2P Enormes Medienecho Popularität für P2P Gnutella Erstes "echtes" P2P Netzwerk Interessante Netzwerkeigenschaften Eigenschaften von Gnutella Pareto Netzwerke Small World Netzwerke Super Peer Netzwerke Dominic Battré P2P Netzwerke 2

3 Inhalte der Vorlesung (vorläufig) Einleitung Was ist P2P? Definition Einsatzgebiete Unstrukturierte Netze Napster Gnutella Super Peer Netzwerke Small World Netzwerke etc. Fortgeschrittenes Sicherheit Strukturierte Netze Verteilte Hash Tabellen Grundlagen Chord, CAN, Pastry, Kademlia Programmieren von DHTs Gradoptimierte Netzwerke SkipNet, P Grid Lastverteilung in strukturierten Netzen Anwendungen OceanStore BabelPeers Amazon Multicast Dominic Battré P2P Netzwerke 3

4 Literatur The Gnutella Protocol Specification v0.4 Mihajlo A. Jovanovic, Fred S. Annexstein, Kenneth A. Berman: "Scalability Issues in Large Peer to Peer Networks A Case Study of Gnutella". Technical report, University of Cincinnati, January Albert Laszlo Barabasi, Reka Albert: "Emergence of Scaling in Random Networks", Science, Vol 286,1999. Duncan J. Watts, Steven H. Strogatz: "Collective dynamics of 'small world' networks", Nature, Vol 393, Katharina A. Lh Lehmann, Michael Kaufmann: "Random Graphs, Small Worlds and Scale Free Networks", Peer to Peer Systems and Applications Réka Albert, Hawoong Jeong, Albert László Barbási: "Error and attack tolerance of complex networks", Nature, Vol 406, Dominic Battré P2P Netzwerke 4

5 Napster Netzwerk zum Tauschen von MP3 Dateien Geschichte: Mai 1999: Shawn Fanning (Northeastern University) gründet "Napster Online music service" Dezember 1999: Erster Rechtsstreit März 2000: University of Wisconsin: 25% des IP Datenaufkommens sind Napster Pakete Dezember 2000: geschätzte 60 Millionen Anwender Februar2001: USCircuit CourtofAppeals: of Napster weiß dass die Anwender Copyright Rechte verletzen: Napster wird geschlossen 2002: Bankrott September 2008: Aufkauf durch Best Buy Dominic Battré P2P Netzwerke 5

6 Napster Fokussiert: Einfache Anwendung (suche nach Musikdateien) Suche über zentralen Server Datenaustausch dezentral Registrierung, Suche Datenaustausch Napster Server Dominic Battré P2P Netzwerke 6

7 Napster Funktionsweise Verbinde mit Napster Server Hochladen der eigenen Dateiliste auf den Server Suche per Schlüsselwort Liste über den Server Wähle beste Antwort aus Direktverbindung mit Ziel Peer zum Download Nachteile Zentraler Server Single Point of Failure Skalierbarkeit? Rechtliche Probleme Dominic Battré P2P Netzwerke 7

8 Gnutella Kein zentraler Server mehr Peers werden Servents genannt Dominic Battré P2P Netzwerke 8

9 Overlay Netzwerk Gnutella ist sog. Overlay über dem Internet Dominic Battré P2P Netzwerke 9

10 Problemstellungen Bootstrapping Woher kenne ich Knoten im Netzwerk? Mit welchen Knoten verbinde ich mich? Suche Wie finde ich Knoten, die Datei XYZ.MP3 anbieten? Wie finde ich den besten Knoten, der Datei XYZ.MP3 anbietet? Der beste Knoten? Verbindung? Auslastung? Qualität der Datei? Dominic Battré P2P Netzwerke 10

11 Lösungen Bootstrapping Allgemein bekannte Knoten (über Webserver) Liste mit bekannten Knoten von vorheriger Session Weitere Knoten über die Startknoten kennenlernen Suche Flooding: Suche an alle Knoten weiterschicken Knoten merken sich IDsvon gesehen Nachrichten, dies verhindert Schleifen TTL (Time to Live) begrenzt die Laufzeit einer Nachricht Dominic Battré P2P Netzwerke 11

12 Gnutella Nachrichten Header für alle Nachrichten QUERY (0x80) Descriptor ID 16 Bytes Min Speed 2 Bytes Payload Descr. 1 Byte Search Criteria n Bytes TTL 1 Byte QUERY HIT (0x81) Hops 1 Byte Nb. of Hits 1 Byte Payload Length 4 Bytes Port 2 Bytes IP Address 4 Bytes PING (0x00) Speed 4 Bytes keine weiteren Felder Result Set: PONG (0x01) File Index 4 Bytes Port 2 Bytes File Size 4 Bytes IP Address 4 Bytes File Name (+\0\0) n Bytes Nb. of shared Files 4 Bytes (weitere Result.) Nb. of shared KBytes 4 Bytes Servent Identifier 16 Bytes Dominic Battré P2P Netzwerke 12

13 Abholen der Dateien Direkte Verbindung zum Servent Transfer durch HTTP Wenn Servent hinter Firewall liegt: PUSH Nachricht über Gnutella routen PUSH (0x40) Servent Identifier File Index IP Address Port 16 Bytes 4 Bytes 4 Bytes 2 Bytes Dominic Battré P2P Netzwerke 13

14 Routing in Gnutella Ping / Pong Query / Query Hit Push PING PING PING PONG HIT QUERY HIT QUERY QUERY HIT PUSH PUSH PUSH PING Push File Dominic Battré P2P Netzwerke 14

15 Probleme von Gnutella Hohe Netzwerklast Flooding ist äußerst unstrukturierte Vorgehensweise: Ich frage fast jeden, ob er eine Datei liefern kann Begrenzung nur durch TTL Durch TTL werden evtl. Dateien nicht gefunden Gnutella Topologie hat nichts mit realer Topologie zu tun Zig Zack Zack Routen Daraus folgen hohe Latenzzeiten Dominic Battré P2P Netzwerke 15

16 Eigenschaften von Gnutella Was für ein Netzwerk wird aufgebaut? Ist das Netzwerk rein zufällig? Oder hat es bestimmte Eigenschaften? Woher kommen diese Eigenschaften? Gibt es sog. "Emergenz" bzw. "Selbstorganisation"? Dominic Battré P2P Netzwerke 16

17 Gradverteilung Quelle: Jovanovic, Annexstein, Berman: Scalability Issues in Large Peer to Peer Networks A Case Study of Gnutella log(anzahl Peers mit Grad d) ) = c k log(d) Dominic Battré P2P Netzwerke 17

18 Gradverteilung Allgemein: Power Law (Pareto Verteilung) Pr( X = x) = C k x Auch geschrieben alspr( X = x) x k Bei Gnutella: C=94, k=1.4 Was hat man davon? Power Law Netzwerke sind robust Es gibt viele Knoten mitkleinem Grad, deren Ausfall nicht so schlimm ist Wie kommt das zustande? Preferential Attachement : die Reichen werden reicher Dominic Battré P2P Netzwerke 18

19 Robustheit Nimm ein Netzwerk mit Knoten, Kanten (durchsch. Grad=4) und entferne zufällig ausgewählte Knoten Zufallsnetzwerk G(n, p): Entferne 5% der Knoten: Größte Komponente hat 9000 Knoten Entferne 18% der Knoten: Alle Komponenten zwischen 1 und 100 Knoten Entferne 45% der Knoten: Nur Gruppen von 1 oder 2 Knoten überleben Power law Netzwerk: Entferne 5% der Knoten: Nur isolierte Knoten brechen weg Entferne 18% der Knoten: Größte Komponente hat 8000 Knoten Entferne 45% der Knoten: Immernoch große Komponenten Achtung: gilt nur für zufällige Ausfälle! Albert, et al. Error and attack tolerance of complex networks, Nature Vol 406, Dominic Battré P2P Netzwerke 19

20 Barabási Albert Modell: Modell für Preferential Attachement Starte mit kleinem Netzwerk mit ein paar Kanten und Knoten Pro Schritte füge einen Knoten hinzu Füge m Kanten vom neuen zu den bestehenden Knoten mit einer Wahrscheinlichkeit hinzu, die Proportional zum Grad des Knoten ist Effekt: Knoten verbinden sich mit bereits gut verbundenen Knoten mit höherer Wahrscheinlichkeit Dominic Battré P2P Netzwerke 20

21 Milgram's Experiment Wie sehen "reale" Netzwerke aus? Soziales Netzwerk von Menschen: Wer kennt wen? Milgram's Experiment (1967): Briefe an einen Freund von Milgram wurden an zufällige Personen in Kansas u. Nebraska verschickt "Routing Informationen": i " Name der Zielperson Ort (Boston) Beruf (Börsenmakler) Anweisung: nur an Du Freunde weitergeben Ergebnis: durchschnittlich 6 Schritte bis zum Ziel! (aber nur 3 von 60 Paketen kamen an) Dominic Battré P2P Netzwerke 21

22 Milgram's Experiment Quelle: Dominic Battré P2P Netzwerke 22

23 Wie ist das möglich? Milgram's Experiment These: Soziale Netzwerke haben folgende Eigenschaften: Großer Clustering Koeffizient Kleiner Durchmesser bzw. charakteristische Pfadlänge Clustering Koeffizient eines Knotens: {( j, k) E j, k N( i) } { j ( i, j) E}, d( i) N( ) C ( i) =, N( i) = = i d ( i )( d ( i ) 1) N(i) = Nachbarn von i d(i) = Ausgangsgrad Clustering Koeffizient eines Graphen: avg(c(i)) Dominic Battré P2P Netzwerke 23

24 Milgram's Experiment Wie ist das möglich? These: Soziale Netzwerke haben folgende Eigenschaften: Großer Clustering Koeffizient Kleiner Durchmesser bzw. charakteristische Pfadlänge Durchmesser: Längster kürzester Pfad zwischen zwei Knoten Charakteristische Pfadlänge: Durchschnittlicher kürzester Pfad zwischen zwei Knoten Dominic Battré P2P Netzwerke 24

25 Randnotiz: Erdös Nummer Paul Erdös ( ) Berühmter Mathematiker Frage: Über wie viele Schritte ist jemand als Co Autor mit Paul Erdös verbunden? Beispiel: Odej Kao hat Erdös Nummer 4: Odej Kao ist Co Autor von Klaus H. Ecker Klaus H. Ecker ist Co Autor von Helmut Ratschek Helmut Ratschek ist Co Autor von Egbert Harzheim Egbert Harzheim ist Co Autor von Paul Erdös Dominic Battré P2P Netzwerke 25

26 Untersuchung von 2000: Eigenschaften von Gnutella Knoten Kanten Durch messer Clustering Koeffizient charakteristische Pfadlänge Gnutella Gnutella Zufallsgr. Gnutella Zufallsgr Ergebnis: Clustering Koeffizient deutlich größer als beim Zufallsgraph, charakteristische Pfadlänge ähnlich bis kleiner Dominic Battré P2P Netzwerke 26

27 Watts und Strogatz Netzwerk Modell von Watts und Strogatz: Starte mit einem Ring, jeder Knoten ist mit m/2 Nachfolgern verbunden Durchlaufe den Ring und ersetze mit Wahrscheinlichkeit p das Ziel einer Kante durch ein zufällig ausgewähltes neues Ziel Modelliert Übergang zwischen Ordnung und Chaos Eine kleine Anzahl von zufälligen Links reicht aus, um den Durchmesser zu reduzieren Dominic Battré P2P Netzwerke 27

28 Modell von Watts und Strogatz p=0 p= Dominic Battré P2P Netzwerke 28

29 Übergang bei Watts / Strogatz C: Clustering Koeffizient L: Charakteristische Pfadlänge Dominic Battré P2P Netzwerke 29

30 Netzwerktypen Small World Networks Hoher Clustering Koeffizient Transitivität: wenn A B kennt und A C kennt, dann kennen sich B und C mit hoher W keit Viele kleine (beinahe ) Cliquen Geringer Durchmesser Power Law Networks / Scale Free Networks Wenige Knoten mit hohem Grad Felix Heine P2P Netzwerke 30

31 Gnutella hat: Zusammenfassung Gnutella Gradverteilung nach Power Law Einen hohen Clustering Koeffizienten Einen kleinen Durchmesser Gnutella erzeugt ein Small World Netzwerk mitpower Power Law Gradverteilung. Das passiert selbstorganisierend (emergent) Dominic Battré P2P Netzwerke 31

32 Super Peer Netze Idee: Kern Netz aus "Super Peers" Die "normalen" Knoten sind per Client/Server angebunden: Super Peer Leaf Node Dominic Battré P2P Netzwerke 32

33 Super Peer Netze Nachteile: Nicht die reine Lehre Super Peers müssen hohe Last aushalten Wer ist Super Peer? Vorteile: Automatische Auswahl vs. Selbstbestimmung Weniger Fluktuation Kleineres Netzwerk Effizientere Suche Alle P2P Mechanismen lassen sich im Super Peer Netz anwenden Dominic Battré P2P Netzwerke 33