Verteilte Systeme. Einführung. Prof. Dr. Oliver Haase

Transkript

1 Verteilte Systeme Einführung Prof. Dr. Oliver Haase 1

2 Definition A distributed system is a collection of independent computers that appears to its users as a single coherent system. - Andrew Tanenbaum Zu ambitioniert, heutiges Verständnis eher wie folgt: A distributed system is a collection of independent computers that are used jointly to perform a single task or to provide a single service. - Kuz, Chakravarty, Heiser 2

3 Definition Im Gegensatz zu einer zentralen Anwendung, die von einem oder mehreren Prozessen auf genau einem Rechner ausgeführt wird, besteht eine verteilte Anwendung aus mehreren Prozessen, die zumindest zum Teil auf verschiedenen, miteinander vernetzten Rechnern laufen. Prozess 2 Prozess 3 Prozess 1 Rechner A Rechner B 3

4 Interaktion Um ihre gemeinsame Aufgabe zu erfüllen, müssen diese Prozesse miteinander interagieren, um Daten auszutauschen. Es gibt 2 Interaktionsmuster: 1. Kooperation 2. Kommunikation Prozess 1 Prozess 2 Prozess 1 Prozess 2 Befehle gemeinsame Daten Befehle Befehle Befehle Daten Daten Daten Daten Kooperation Kommunikation 4

5 Interaktion Kooperation symetrisch Kommunikation asymmetrisch: 1 Sender, n Empfänger Kooperation hauptsächlich verwendet für lokale Prozesse (shared memory) es gibt aber auch verteilte Kooperation (Linda, JavaSpaces) verteilte Kooperation intern durch Kommunikation realisiert 5

6 Typische Arten Verteilter Systeme Webapplikationen Gridcomputing Cloudcomputing Peer-To-Peer-Systeme Die meisten modernen Anwendungen sind verteilt, zentrale Desktop-Applikationen sind vergleichsweise die Ausnahme. 6

7 Warum verteilen? verteilte Aufgabe: Videokonferenzsystem, Internet-Telefonie, Fahrzeugleitsystem,... Robustheit, Zuverlässigkeit, Verfügbarkeit: redundante Datenkopien, Stand-by-Rechner Teile müssen auf bestimmten Rechern laufen: spezielle Hardware, Zugriff auf entfernte Daten, Preispolitik Wirtschaftlichkeit: mehrere schwächere Rechner billiger als ein stärkerer 7

8 Warum verteilen? Nutzung brachliegender Ressourcen: Grid-Computing, (730 TFLOPS), BOINC- Plattform (6,3 PFLOPS) Lastverteilung verringerte Antwortzeiten bei Aufteilung einer Aufgabe in parallele Teilaufgaben Manche Anwendungen müssen, andere können verteilt sein. 8

9 Aber......verteilte Systeme haben zusätzliche Kosten, nämlich... Kommunikationskosten:, Latenz (latency), Schwankungen (Jitter) erhöhte Komplexität in allen Phasen des Software- Lebenszyklus (und damit noch mehr ) 9

10 erhöhte Komplexität Entwurf: Verteilungsmodell Kommunikationsmechanismus, -protokolle - abhängig von Kanälen - können a priori unbekannt sein oder dynamisch variieren - ideal: adaptives System 10

11 erhöhte Komplexität Implementierung neue Fehlerquellen - Ausbleiben einer Antwort Timer & Fehlerbehandlung - unerwartete Antwort mögliche Fehlerquelle: zu kurze Timer - Fehlerbehandlung hängt vom Zusammenspiel der Komponenten ab z.b. Sender informieren & verteiltes Error Recovery anstoßen oder ignorieren Nebenläufigkeit: Warten auf Nachricht (Antwort) in separatem Thread um Parallelitätsgrad zu erhöhen erfordert Thread-Synchronisation 11

12 erhöhte Komplexität Testen Unit Tests: Simulation entfernter Komponenten inkl. fehlerhaftem Verhalten sehr aufwändig Integrationstests - Setup bei geographisch weit verteiltem System aufwändig - verteiltes Logging und Systembeobachtung schwierig kombinatorische Explosion möglicher verteilter Konfigurationen und Plattformen nur wichtigste Kombinationen können getestet werden 12

13 erhöhte Komplexität Debugging Fehlerreproduktion bei geographisch weit verteiltem System aufwändig Anhalten an Breakpoints unmöglich, wenn entfernte Komponenten auf Antwort warten (Time-Outs!) Erfordert Änderung der entfernten Komponenten zum Zweck des Debuggings kann Reproduzierbarkeit verhindern (Heisenbug) 13

14 erhöhte Komplexität Betrieb Ausfall eines zentralen Rechners oder von Teilen des Kommunikationsnetzes kann zu Störung oder Stillstand des ganzen Systems führen viele Angriffspunkte, Komponenten prinzipiell von außen erreichbar, Kommunikationswege angreifbar 14

15 erhöhte Komplexität Versionierung und Konfiguration i.a. unterschiedliche Versionierungszyklen für einzelne Komponenten System muss in unterschiedlichen Konfigurationen laufen erfordert Vorwärts- und Rückwärtskompatibilitäten (Server 3.0 kann Anfragen von Client 2.1 bearbeiten und muss unbekannte Anfragen von Client 4.0 ignorieren) Setzt Austausch von Versionsnummern in Kommunikationsprotokollen voraus 15

16 Entwurfsziele Entwurf eines verteilten Systems wird geleitet durch zwei Hauptziele: Verteilungstransparenz Skalierbarkeit 16

17 Verteilungstransparenz Bedeutung: Verteiltes System aussehen lassen wie lokales Transparenz: System ist transparent bzgl. Eigenschaft, wenn diese für den Benutzer unsichtbar (transparent) ist vollständige Verteilungstransparenz schwer erreichbar, aber: keine binäre Eigenschaft, sondern verschiedene Transparenzaspekte 17

18 Verteilungstransparenz Transparenz Zugriffs- Orts- Migrations- Bedeutung versteckt Unterschiede im Zugriff auf Daten verbirgt, wo sich eine Ressource befindet verbirgt, dass Ressource an anderen Ort verschoben werden kann Relokations- Replikations- Persistenz- Nebenläufigkeits- Fehler- verbirgt, dass Ressource während der Benutzung an anderen Ort verschoben werden kann verbirgt, dass mehrere Replika einer Ressource existieren verbirgt Unterschiede zwischen persistenten und transienten Ressourcen verbirgt, dass konkurrierende Nutzer Ressource gleichzeitig benutzen verbirgt Ausfall und Wiederherstellung einer Ressource 18

19 Skalierbarkeit Skalierbarkeit ist die Fähigkeit eines Systems, zu wachsen ohne wesentliche Anpassungen der verwendeten Algorithmen und Protokolle. Neben der Verteilungstransparenz zweites wichtiges Entwurfsziel eines verteilten Systems. Internet und World Wide Web: nicht denkbar ohne dezentrale, skalierbare Struktur ohne globale Kontrollinstanzen. 19

20 Skalierbarkeit Skalierbarkeit betrifft drei verschiedene Dimensionen: Größe: Einfaches Hinzufügen neuer Komponenten geographischen Verteilung: System funktioniert, egal ob verteilt innerhalb einer Insitution, einer Stadt, eines Landes, eines Kontinentes oder über den Globus administrativen Verteilung: System funktioniert auch bei Verteilung über administrative Domänen hinweg. Für jede Dimension gibt es Hindernisse, die die Skalierbarkeit erschweren, sowie Techniken und Strategien, diese zu vermeiden. 20

21 Skalierbarkeit Dimension Hindernis Vermeidungsstrategie Größe geographische Verteilung zentral Dienste zentrale Daten zentrale Algorithmen Latenzzeiten Replikation / Verteilung dezentrale Algorithmen Kommunikationreduktion durch Vorverarbeitung, preemptive Fetches asynchrone Kommunikation administrative Verteilung Sicherheitsrichtlinien Traversierungstechniken für restriktive Richtlinien verwenden 21

22 Zusammenfassung Verteiltes System ist Zusammenfassung unabhängiger Rechner, die miteinander interagieren, um gemeinsame Aufgabe zu erledigen. Interaktion Kommunikation oder Kooperation manche System können, andere müssen verteilt sein Verteilte Systems sind komplexer in allen Phasen des Software-Lebenszyklus wichtigste Entwurfsziele: Verteilungstransparenz Skalierbarkeit 22