Verteilte Systeme Kapitel 1: Einführung

Transkript

1 Verteilte Systeme Kapitel 1: Einführung Prof. Dr. Stefan Fischer Institut für Telematik, Universität zu Lübeck

2 Inhaltsüberblick der Vorlesung 1. Einführung und Motivation 2. Protokolle und Schichtenmodelle 3. Nachrichtenrepräsentation 4. Realisierung von Netzwerkdiensten 5. Kommunikationsmechanismen 6. Adressen, Namen und Verzeichnisdienste 7. Synchronisation 8. Replikation und Konsistenz 9. Fehlertoleranz 10.Verteilte Transaktionen 11.Sicherheit 1-2

3 Überblick Verteilte Systeme Geschichte Definition des Begriffs Gründe für die Nutzung Wünschenswerte Eigenschaften Architekturen (Hard- und Software) Interaktionsmodelle (Client/Server, etc.) 1-3

4 Computernetzwerke: 1960s-1970s Terminal-Host-Kommunikation über serielle Leitungen Host-zu-Host-Kommunikation Basierend auf proprietären, oft leitungsvermittelten, zueinander inkompatiblen Netzwerken wie IBM System Network Architecture (SNA), DECnet oder Novell IPX Schon bald basierend auf Paketvermittlung und standardisierten TCP/IP-Netzen 1-4

5 Computernetzwerke: 1980s Hochleistungs -LANs zu niedrigen Kosten PC-Netzwerke (Ethernet) Neues Paradigma: Verteilte Client-Server- Systeme Zugriff auf geteilte Ressourcen (Drucker, Dateiserver) Öffentliche und private WANs Ausgereifte Technik der Paketvermittlung Wichtige neue Anwendungen ( , File Transfer, Telnet, etc.) Offene Standards setzen sich durch Beispiele OSI oder TCP/IP 1-5

6 Computernetzwerke: 1990s Datasource: 6

7 Computernetzwerke: 2000s Ziel: "IP on everything" (Vint Cerf, Internet-Patriarch) Globales Netzwerk mit vielen Diensten und IP(v6) als gemeinsamem Kern Enterprise networks Communication infrastructure of the IT system. E-business... Web news, info, publishing,... Home networks Info, entertainment. Home office. Internet appliances. IP(v6) E-commerce, e-banking,... Tele-Education. Telemedicine... Mobile communications Internet-enabled multi-service mobile devices. Ziel: Gemeinsame Infrastruktur für Computerkommunikation (Multimedia) und persönliche Kommunikationsdienste (message, voice/video-telephony). 1-7

8 Future Internet: ? Das alte Internet muss immer mehr Aufgaben übernehmen, für die es eigentlich nicht gemacht ist Telefonie Fernsehen Real-World-Anbindung In Europa, Asien und USA gibt es erhebliche Anstrengungen, ein Future Internet zu entwickeln Prämisse: nichts ist in Stein gemeißelt, alles darf in Frage gestellt werden auch TCP/IP Ausgang offen

9 Netzwerke und verteilte Systeme Bisher: Entwicklung der Computernetzwerke Netzwerke sind nicht im Fokus dieser Vorlesung Man benötigt Computernetzwerke, um verteilte Systeme zu realisieren Was also ist ein verteiltes System? 1-9

10 Definition of a Distributed System A distributed system is a collection of independent computers that appears to its users as a single coherent system. Keine sehr präzise Definition Aber sie schränkt ein VS auch nicht zu sehr ein Zwei wichtige Aspekte: Autonome Computer (funktionsfähig ohne Zentralrechner) Transparenz der Verteilung Wie erreicht man diese? 1-10

11 Mögliche Organisationsstruktur eines VS Computer #1 Computer #2 Computer #3 Computer #4 Anwendung A Anwendung B Anwendung C Verteilte Systemschicht (z.b. Middleware) Lokales Betriebssystem Lokales Betriebssystem Lokales Betriebssystem Lokales Betriebssystem 11

12 Warum verteilte Systeme? Gesamtsystem verteilter Komponenten ist (normalerweise) deutlich komplexer Aufwand zur Erstellung eines VS deutlich höher als der eines zentralisierten Systems Warum also VS? Vorteile eines Rechnerverbunds 1-12

13 Rechnerverbünde (1) Kommunikationsverbund Übertragung von Daten (Nachrichten) an verschiedene, räumlich getrennte Orte Beispiel: Informationsverbund Verbreiten von Information an interessierte Personen Beispiel: WWW, Twitter,

14 Rechnerverbünde (2) Datenverbund Speicherung von Daten an verschiedenen Stellen Bessere Speicherauslastung, erhöhte Verfügbarkeit, erhöhte Sicherheit Lastverbund Aufteilung stoßweise anfallender Lasten auf verschiedene Rechner Gleichmäßige Auslastung verschiedener Ressourcen 1-14

15 Rechnerverbünde (3) Leistungsverbund Aufteilung von Anfragen in Teilaufgaben Verringerte Antwortzeiten Wartungsverbund Zentrale Störungserkennung und behebung Schnellere und billigere Wartung verschiedener Rechner Quelle: Funktionsverbund Verteilung spezieller Aufgaben auf spezielle Rechner (Feldrechner, Superrechner,...) Bereitstellung verschiedener Funktionen an verschiedenen Orten 1-15

16 Übersicht: Wünschenswerte Eigenschaften Offenheit Nebenläufigkeit Skalierbarkeit Sicherheit Fehlertoleranz Transparenz 1-16

17 Offenheit Bestimmt, wie gut sich das System auf verschiedenen Wegen erweitern lässt Existierende Dienste sollten dabei nicht unterbrochen werden Dies wird erreicht durch eine Veröffentlichung der Schnittstellen Beispiel: UNIX Offenes Betriebssystem Umfasst Programmiersprache C und kann durch den Zugriff auf Systemaufrufe (system calls) erweitert werden Schnittstellen: Sockets, Middleware 1-17

18 Nebenläufigkeit (Concurrency) Mehrere gleichzeitige Prozesse in einem System Nur ein Prozessor: Ausführung durch Interleaving n Prozessoren: Parallele Ausführung Nebenläufigkeit bei Clients (Anwendungsprogramme) Servern (Zugriff auf Ressourcen) Wichtiges Thema: Synchronisation 1-18

19 Skalierbarkeit Algorithmen, Protokolle und Prozeduren, die mit einigen wenigen Komponenten gut funktionieren, sollen auch mit vielen Komponenten gut funktionieren Teils schwieriger, teils leichter als in zentralisierten Systemen Höhere Komplexität Ressourcen können beliebig hinzugefügt werden Beispiele nicht-skalierender, zentralisierter Ansätze RSVP (teures Routing) vs. Over-Provisioning Online-Telefonbuch in einer einzigen Datenbank 1-19

20 Sicherheit Sicherheit in VS hat viele Aspekte: Vertraulichkeit (confidentiality) Daten können nur von dem gewünschten Empfänger gelesen werden Integrität (integrity) Erkennung, ob Daten während der Übertragung verändert wurden Authentizität (authenticity) Daten stammen tatsächlich von der Person, die behauptet, der Sender zu sein Sicherheit essenzielles Thema bei der Entwicklung von VS Übertragung sensibler Daten (personenbezogen, Finanztransaktionen) Sicherheit werden wir hier nur relativ kurz behandeln Für Interessierte gibt es am ITM eine eigene Vorlesung 1-20

21 Fehlertoleranz In VS: mehr Fehlerquellen als in zentralisierten Systemen Ein VS ist gut, wenn diese Fehler abgefangen werden Typische Fehlannahmen Netzwerk ist zuverlässig, sicher und homogen Topologie ändert sich nicht Latenzzeit beträgt null Bandbreite ist unbegrenzt Energie ist kein Problem (Always-on) Übertragungskosten ( oder Energie) betragen null Empfänger verarbeitet Nachrichten so schnell wie Sender sendet Es gibt genau einen Administrator 1-21

22 Transparenz Transparenz hat viele Aspekte Generell Benutzer eines VS ist sich nicht (zu sehr) bewusst sind, dass es sich um ein VS handelt System wird als ein einheitliches System wahrgenommen 1-22

23 Transparenztypen Transparenz Zugriff Ort Migration Relokation Replikation Nebenläufigkeit Fehler Beschreibung Zugriff auf die Ressource erfolgt immer auf die gleiche Art und Weise (lokal oder entfernt) Verbirgt, wo sich eine Ressource befindet. Zugriff über Namen, die keine Ortsinformationen enthalten (Problem: Drucker, Sicherheit) Verschieben von Ressourcen ist für Benutzer und Anwendungen transparent Verbirgt, dass eine Ressource an einen anderen Ort verschoben werden kann, während sie genutzt wird Verbirgt, dass eine Ressource repliziert ist Verbirgt, dass eine Ressource von mehreren konkurrierenden Benutzern gleichzeitig genutzt werden kann Verbirgt den Ausfall und die Wiederherstellung einer Ressource 1-23

24 Motivation: Zusammenfassung VS bieten gegenüber zentralen Systemen einige Vorteile Ihre Implementierung ist jedoch auch komplexer Um die Vorteile nutzen zu können, ist ein sorgfältiges Design notwendig Vielzahl von Algorithmen und Protokollen notwendig, um die volle Funktionalität nutzen zu können 1-24

25 Hard- und Softwarekonzepte

26 Hardware-Konzepte Verteilte Systeme laufen oft auf Rechnern mit mehreren CPUs Üblich: Einteilung in zwei Gruppen (nach Grad der Kopplung) Multiprozessorsysteme Eng gekoppelt über gemeinsamen Speicher Multicomputer Lose gekoppelt und kommunizieren über Nachrichten Bekanntestes Beispiel: Internet Zusätzliche Einteilungen Homogene oder heterogene Rechner 26

27 Multiprozessorsysteme Typische Vertreter dieser Art: Parallelrechner In den 80ern und Anfang der 90er sehr populär Problem: teuer durch die Spezialarchitektur Praktisch alle Spezialfirmen sind heute pleite Größere Firmen (z.b. IBM, NEC oder Cray) produzieren noch heute, siehe Bildquelle: Cray Jaguar Computer, 27

28 Multicomputer: Unterscheidung Homogene Multicomputer Mit gleichen CPUs bzw. Architekturen Beispiele: Cluster von HP Workstations (Beispiel: Linux mit openmosix) Heterogene Multicomputer Mit sehr unterschiedlichen Architekturen Beispiel: Verteilte Anwendungen im Internet 28

29 Softwarekonzepte Verteilte Betriebssysteme (Distributed Operating System, DOS) Netzwerkbetriebssysteme (Network Operating System, NOS) Middleware System Description Main Goal DOS NOS Middleware Tightly-coupled operating system for multi-processors and homogeneous multi-computers Loosely-coupled operating system for heterogeneous multi-computers (LAN, WAN) Additional layer on top of NOS implementing general-purpose services Hide and manage hardware resources Offer local services to remote clients Provide distribution transparency 29

30 Verteiltes Multicomputerbetriebssystem Wichtigster Unterschied: Nachrichtenaustausch wird notwendig Lokale Mechanismen implementieren systemweit verfügbare Dienste z.b. Realisierung eines virtuellen gemeinsamen Speichers oder Migration von Prozessen Vor allem sinnvoll (weil leichter) in homogenen Systemen Transparenz ist gegeben Benutzer müssen z.b. keine Rechnernamen kennen Computer #1 Lokales Betriebssystem (Kernel) Computer #2 Distributed Applications Distributed Operating System Services Lokales Betriebssystem (Kernel) Computer #3 Lokales Betriebssystem (Kernel) 30

31 Netzwerkbetriebssysteme Sinnvoll vor allem in heterogenen Systemen Computer #1 Computer #2 Computer #3 Distributed Applications Benutzer verwenden explizit Services auf anderen Rechnern Beispiele: rlogin, ssh etc. NOS services NOS services NOS services Lokales Betriebssystem (Kernel) Lokales Betriebssystem (Kernel) Lokales Betriebssystem (Kernel) Wenig Transparenz, aber dafür hohe Flexibilität 31

32 Middleware Kombiniert Vorteile von DOS und NOS Transparenz, leichte Nutzbarkeit (DOS) Skalierbarkeit, Offenheit (NOS) Computer #1 Computer #2 Distributed Applications Middleware Services Computer #3 Softwareschicht (evtl. im NOS), die die Heterogenität des Systems verbirgt Modelle: verteilte Dateisysteme, RPC, verteilte Objekte, verteilte Dokumentsysteme NOS services NOS services NOS services Lokales Betriebssystem (Kernel) Lokales Betriebssystem (Kernel) Lokales Betriebssystem (Kernel) 32

33 Vergleich zwischen den Systemen Distributed OS Multiproc. Multicomp. Network OS Middlewarebased OS Degree of transparency Very High High Low High Same OS on all nodes Yes Yes No No Number of copies of OS 1 N N N Basis for communication Shared memory Messages Files Model-specific Resource management Global, central Global, distributed Per node Per node Scalability No Moderately Yes Varies Openness Closed Closed Open Open 33

34 Interaktionsmodelle

35 Interaktionsmodelle Unterschiedlichste Möglichkeiten, wie Softwarekomponenten auf verschiedenen Rechnern miteinander interagieren, um ein Anwendungsproblem zu lösen In den letzten Jahren haben sich dazu einige grundlegende Modelle herausgebildet: Client-Server Multi-Server Service-Oriented Architecture (SOA) Multi-Tiered Peer-to-Peer Grid- & Cloud-Computing 35

36 Client-Server Grundlegender Ablauf Client fordert bestimmten Service an Server erhält Anfrage, bearbeitet sie und schickt Ergebnis zurück Client Request Reply Server Bearbeite Anfrage 36

37 Client-Server-Interaktionsmodelle Result Client Client Server Invocation Client Client Computer Process 37

38 Client-Server: Mehrstufige Aufrufe Client Request Reply Server A Sub-Request Reply Server B 38

39 Mehrfache Server Partition oder Replikation von Diensten Server Beispiele Partition (z.b. WWW) Client Replikation (z.b. WWW- Server-Farmen) Replikation & Partition (z.b. DNS) Client Server Server 39

40 Replikation (Beispiel) Clients Jeder Server hält identische Inhalte/Dienste vor 1-31 Dispatcher Server #1 Server #2 Server #3 Load-Balancing: Leitet Requests weiter (z.b. Round-Robin) Internes Netzwerk 40

41 Replikation im Netz ISP Replikat Ursprungs- Server Replikat ISP Internet Replikat Enterprise Network Replikat Enterprise Network Client... Client Client... Client 41

42 Multi-Tier Architekturen Verteilte (Web-)Anwendungen werden oft als Multi-Tier-Anwendungen entwickelt Jedes Tier (Layer, Ebene) hat eigene Aufgabe Prinzipiell eine Weiterführung des Client-Server- Prinzips Vorteile Geringere Komplexität einzelner Komponenten Verteilung der (Implementierungs-)aufgaben Erleichterte Wartbarkeit (Softwareupdates) Skalierbarkeit, Sicherheit 42

43 Allgemeine Multi-Tier-Systeme Thin Client 43

44 3- und 4-Tier-Architekturen: 3-Tier Client DB-Server Client Server Client DB-Server Tier 1: Presentation Tier 2: Business Logik Tier 3: Daten

45 3- und 4-Tier-Architekturen: 4-Tier Client App Server 1 DB-Server Client Web Server Client App Server 2 DB-Server Tier 1: Presentation Tier 2: Web Server Tier 3: Application Server Tier 4: Daten

46 Service-Oriented Architecture (SOA) Weiterentwicklung des Client- Server- und Multi-Tier Prinzips J2EE COM HTML Java CORBA Service: Softwarekomponente mit formal beschriebener Schnittstelle Zugang zur Anwendungslogik (keine GUI) Oft: Integration existierender Dienste Kommuniziert durch Anfragen und Antworten (synchron und asynchron) Service Service Service Service Service/Messaging Backbone Service Service Service Service Service Service Security Service Registry Typische Plattformen COM, CORBA, J2EE oder MQSeries Wichtige Grundlage: Web Services OS390 OS390 SAP Trans Monitor OS/390 46

47 Peer-to-Peer Systeme (P2P) Weiterentwicklung des Client-Server-Prinzips Jeder ist Server und Client Abkehr vom klassischen System großer Server im Zentrum und kleinen Clients am Rand des Internets Ziel: Nutzbarmachen der Ressourcen am Rand des Internet Dateien, Plattenplatz, Rechenleistung 47

48 Peer-to-Peer Systeme (P2P) P2P is a class of applications that takes advantage of resources storage, cycles, content, human presence available at the edge of the Internet. Because accessing these decentralized resources means operating in an environment of unstable connectivity and unpredictable IP addresses, P2P nodes must operate outside the DNS system and have significant or total autonomy from central servers. 48

49 Klassifikation von Peer-to-Peer Systemen Client-Server systems Classical role-based systems No interaction between clients Examples: WWW, DNS C C C S C C C Hybrid P2P systems Joint usage of distributed resources Direct interaction between peers Usage of servers for coordination Examples: Napster, ICQ, AIM, Seti@Home P P P S P P P Pure P2P systems Completely de-centralized management and usage of resources Examples: Gnutella, Freenet P P P P P P P P 49

50 Grid- / Cloud-Computing Alte Idee; jedoch erstmalig konsequent umgesetzt Ziel: Große Menge von Computern als ein einziges System darstellen Alle Ressourcen sind nutzbar Ort der Ressourcen ist für Benutzer transparent Zugriff z.b. durch Web Service Technologie Anwendung Grid Computing: vor allem in der Wissenschaft Cloud Computing: Aktueller Hype in der IT-Industrie 50

51 Architektur und Aufgaben Aufgaben: Solche, die die Leistung einzelner Computer überfordern Architektur Nachfragende Instanz mit Leistungsanforderung Koordinierende Instanz für Sammlung und Vermittlung von Rechenleistung Gleichberechtigte Diensterbringer Beispiele Integration, Auswertung und Darstellung sehr großer Datenmengen (Naturwissenschaften, Medizin, Meteorologie, Teilchenphysik mit Großexperimenten wie dem Large Hadron Collider) Rechenintensive Simulationen in der Industrie Probleme Steigender Aufwand für die Koordination bei großen Grids Rechenleistung steigt wegen des Koordinationsaufwandes nie linear mit Anzahl der Rechner

52 Klassifikation von Grids Computing Grids Ziel: massive Rechenleistung (z.b. Amazon EC2) Data Grids Riesige verteilte Datenbanken Ressource Grids z.b. Speicher Grids (s. z.b. Amazon S3) Service Grids Knowledge Grids

53 Zusammenfassung Es hat sich eine Vielfalt von Architekturen für verteilte Systeme entwickelt Grundlegendes Prinzip: Client-Server Kommunikation Besonders in der Diskussion SOA als Vision einer neuen Art, Anwendungen aus Komponenten zusammenzubauen P2P wegen der Verbindung mit illegalen Tauschbörsen Cloud Computing: flexible Allokation von Ressourcen 53