Fehlertolerante verteilte Systeme, Peer-To-Peer Netzwerke

Transkript

1 Fehlertolerante verteilte Systeme, Peer-To-Peer Netzwerke Hauptseminar im SS 2002 Hans Reiser, Rüdiger Kapitza Lehrstuhl für Informatik 4 Verteilte Systeme und Betriebssysteme Universität Erlangen-Nürnberg

2 Überblick - Teil 1 Zuverlässigkeit und das World Wide Web Grundlegendes zur Fehlertoleranz Fehler- und Systemmodelle Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 2

3 Zuverlässigkeit und das World Wide Web World Wide Web als Freizeitbeschäftigung Im Vordergrund: Bunt, billig, schnell, komfortabel zu verwenden Kurzzeitige Ausfälle haben keine grosse Auswirkung World Wide Web als Geschäftsbasis für verteilte Anwendungen Gewinnt immer mehr an Bedeutung Zuverlässigkeit/Verfügbarkeit wird zur zentralen Anforderung Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 3

4 Zuverlässigkeit und das World Wide Web Beispiel Online Banking Zeitkritische Börsengeschäfte Attraktiv für kriminelle Machenschaften Beispiel Medizin Hohe Ansprüche an Genauigkeit und Verfügbarkeit von Daten Strenge rechtliche Vorschriften an Sicherheit und Datenschutz Beispiel Online-Shops Direkte finanzielle Folgen von Ausfällen Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 4

5 Verlässliche verteilte Systeme nicht einfach Neuentwicklung eines Air Traffic Control-Systems der USA ab 1989: Verwendung von Standard-Hardware (einfache Wartung, Upgrade, Verwaltung) Web-ähnliche GUI IBM wollte Software für Fehlertoleranz und Konsistenz erstellen Projekt wurde grosses Fiasko IBM scheiterte mit der Entwicklung, die Probleme waren viel grösser als erwartet Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 5

6 Heutige Situation Sicherheit wird zumindest von manchen Softwareherstellern als wichtig betrachtet Zuverlässigkeit ist in der Softwareentwicklung nur selten ein beachtetes Thema Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 6

7 Grundlegendes zur Fehlertoleranz Leslie Lamport: A distributed system is one in which the failure of a machine you have never heard of can cause your machine to become unusable. anders ausgedrückt: Ein zentrales System ist nicht fehlertolerant, da es einen single point of failure besitzt. Ein verteiltes System, ohne geeignete Massnahmen, besitzt viele single point of failure. Zuverlässigkeit und Fehlertoleranz sind also keine impliziten Eigenschaften von verteilten Systemen, sondern müssen erst hart erkämpft werden. Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 7

8 Grundlegendes zur Fehlertoleranz Grundprinzipien Dezentralisierung: Bei Ausfällen nur Teile des Systems betroffen Redundanz/Replikation zur Maskierung von Ausfällen Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 8

9 Einfaches Primary-Backup-Modell Client Primary Backup Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 9

10 Einfaches Primary-Backup-Modell Client X Primary Backup Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 10

11 Einfaches Primary-Backup-Modell Client X Primary Client X Backup Client... bei mehreren Klienten entstehen schnell Inkonsistenzen Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 11

12 Fehlertolerantens 2-Phase-Commit Zufällig gewählter Knoten übernimmt Koordination einer Operation Prepare muss von Mehrheit der Knoten akzeptiert werden keine Inkonsistenz durch unterschiedliche Koordinatoren Bei Akzeptanz: Commit durch den Koordinator Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 12

13 Fehlertolerantens 2-Phase-Commit Zufällig gewählter Knoten übernimmt Koordination einer Operation Prepare muss von Mehrheit der Knoten akzeptiert werden keine Inkonsistenz durch unterschiedliche Koordinatoren Bei Akzeptanz: Commit durch den Koordinator Single Point of Failure: Bei Ausfall des Koordinators zwischen Prepare und Commit: System blockiert sich Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 13

14 Modellierung: Fehlermodelle Fail-Stop -Fehlermodell Rechner bleiben stehen, sobald irgend ein Problem auftritt Dinge wie Checksummen, Parity, etc. können helfen, diesem Ideal nahe zu kommen ansonsten: Hoffen, dass sich die Realität an das Modell hält? Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 14

15 Modellierung: Fehlermodelle In der Realität Hardware-Fehler werden nicht, oder erst zu spät erkannt (wenn der Zustand bereits korrumpiert ist) Software-Fehler gibts es in jedem grösserem Projekt, und zeigen sich selten als Fail-Stop -Verhalten Hacker-Angriffe versuchen gezielt, das System zu manipulieren, ohne dass dies bemerkt wird. Byzantinisches Fehlermodell beliebiges Fehlverhalten wird erwartet (allgemeinster Fall!) wesentlich schwieriger zu behandeln Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 15

16 Modellierung: Systemmodelle Synchrones Modell Garantierte zeitliche Aussagen zum Systemverhalten (z.b. Nachrichtenlaufzeit, Uhrensynchronisation zwischen den Rechnern) Asynchrones Modell Rechenzeit und Kommunikation unterliegt keinen deterministischen Einschränken Jedoch: Theoretische Machbarkeitsgrenzen (siehe Vortrag am 29. April) Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 16

17 Ziele des Seminars Grundlagen der Fehlertoleranz in verteilten Systemen MAFTIA-Systemmodell, Theoretische Machbarkeitsgrenzen Aktuelle Forschung im Bereich praktikable Algorithmen für fehlertolerante Internet-Anwendungen, Tolerierung von bösartigem Fehlverhalten (byzantinische Fehler) PAXOS, Practical Byzantine Fault Tolerance, Totem&SecureRing, Cachin/Shoup/Kursawe Peer-To-Peer-Netzwerke als aktueller Trend in Richtung völliger Dezentralisierung und als Basistechnologie für zukünftige verteilte, hochverfügbare Systeme Gnutella, JXTA&Poblano, Freehaven&Publius, Freenet, Pastry&Scribe, Chord&CFS Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 17

18 Überblick - Teil 2 Motivation (oder Gründe für den Hype) Definition des Begriffs Peer-to-Peer Anwendungen und Anforderungen Ziele des Seminars Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 18

19 Motivation (1) Grundform des Internet Informationsanbieter Informationskonsument Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 19

20 Motivation (2) Web dominiertes Internet ( ab 1994) Informationsanbieter Informationskonsument Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 20

21 Motivation (3) Peer-to-Peer Internet (ab 2001) Informationsanbieter Informationskonsument Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 21

22 Definition - hybird Peer-to-Peer Peer-to-Peer computing is a network-based computing model for applications where computers share resources via direct exchange between the participating computers (Bar01) Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 22

23 Definition - pure Peer-to-Peer Ein System kann als Peer-to-Peer bezeichnet werden wenn, jedes Teilsystem sowohl Informationsanbieter als auch Informationskonsument sein kann jedes Teilsystem einen gewissen Grad an Autonomie besitzt die einzelnen Teilsysteme nicht permanent mit dem Gesamtsystem verbunden sein müssen die einzelnen Teilsysteme keine permanente Netzwerkadresse benötigen Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 23

24 Übersicht: P2P-Anwendungen File Sharing Napster, Gnutella, Morpheus Freenet, Free Haven, Publius, Mojo Nation, etc. Verteilte Dateisysteme Verteiltes Rechnen Popular Power Messaging Frameworks Jabber, AIMster Groupware Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 24

25 Technische Anforderungen Kommunikation Protokolle (HTTP, SOAP) NAT, Firewalls Lokalisierung Adressierung (Nutzer, Daten) Metadaten Stabilität Fehlertoleranz Verfügbarkeit von Ressourcen und Daten Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 25

26 Technische Anforderungen Sicherheit Authentifikation Autorisierung Ressourcen Verwaltung Speicher Bandbreite Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 26

27 Ziele des Seminars Einblick in die aktuellen Entwicklungen im Bereich Peer-to-Peer Vorbereitung für Studien- und Diplomarbeiten wissenschaftliches Arbeiten Entwicklung von Peer-to-Peer Anwendungen im Rahmen des AspectIX-Projekts Fehlertoleranz in verteilten Systemen, Peer-to-Peer-Netzwerke 27