1. Einführung 2. Routing: Kürzeste Wege 1.1 Vernetzung von Rechnern Verteiltes Rechnersystem Rechner Prozess Kommunikationssystem Rechnernetz

Transkript

1 Grundlagen der Programmierung 1 Modul: Programmierung B-PRG Grundlagen der Programmierung 1 Teil 4 Verteilte Systeme Prof. Dr. O. Drobnik Professur Architektur und Betrieb verteilter Systeme Institut für Informatik Fachbereich Informatik und Mathematik Teil 4 Verteilte Systeme 1. Einführung 1.1 Vernetzung von Rechnern 1.2 Client / Server - Modell 1.3 ISO-OSI Referenzmodell 1.4 Internet: Architektur, Protokolle Einführung 1.1 Vernetzung von Rechnern Verteiltes Rechnersystem (Distributed Computer System) Rechner Prozess Kommunikationssystem Protokoll : Regeln für den Austausch von Nachrichten zwischen kommunizierenden Einheiten (Prozessen) : Format, Bedeutung und Reihenfolge (Ordnung) der Nachrichten Aktionen, die zur Übertragung und/oder beim Empfang einer Nachricht oder beim Auftreten eines anderen Ereignisses durchzuführen sind. Menge von autonomen Rechnern (kein gemeinsamer Speicher) Kommunikationssystem, das die Rechner untereinander verbindet und den Austausch von Nachrichten zwischen ihnen (bzw. Prozessen) ermöglicht (Menge von Hardware und Software Komponenten). Prozesse kooperieren zur Erfüllung einer gemeinsamen Aufgabenstellung ; die Kooperation erfolgt über Nachrichtenaustausch. Folie 3 Rechnernetz (Computer Network) Rechner und Kommunikationssystem ermöglichen Nachrichtenaustausch (sind kommunikationsfähig) enthalten jedoch keinerlei Mechanismen, die eine kooperative Aufgabenbearbeitung durch mehrere Programme unterstützt. (Anmerkung : Rechnernetz ist Basis eines verteilten Systems! ) Folie 4

2 Vernetzungsszenarien Internet-Architektur Mobilfunk geostationär z.b. GPS, Galileo Internet heute Großes Unternehmen Clients CSMA Server Fast-Ethernet Gigabit-Ethernet Token Ring Backend Rechner Autonome Systeme Internet Service Provider (ISP) Vermittlungsnetze Öffentl. Netze Peering Point Backbone Service Provider Peering Point Intranet Backbone ATM Sonet Data Warehouse Transit Firewall Frontend CSMA Cluster ATM Gigabit-Ethernet Sonet Gateway WLAN ISP ISP Supercomp. Kleinfirma Großes Unternehmen Techn. Prozesse Folie 5 Folie Client / Server - Modell Client / Server - Modelle beruhen auf dem Grundsatz einer funktionalen Trennung von Benutzer (Client) und Bereitstellung sowie Verwaltung von Betriebsmitteln / Diensten (Server). Betriebsmittel sind u. a.: Rechnerleistung, Datenbestände, Plattenspeicher, etc. Client: Server: System, das die Dienstleistung eines Servers anfordert und nutzt. Zentrales oder dezentrales System, auf dem Dienste (Services) installiert sind, die vom Client aufgerufen und genutzt werden. Beispiel: WWW-Browser (Client), - Server Dienst-Nutzung Um einen Dienst eines Servers nutzen zu können, ist es für den Client erforderlich, folgende Informationen zu besitzen: Funktion und Leistungsumfang des angebotenen Dienstes. Syntax der Schnittstellen, Datentypen Semantik der an der Schnittstellen angebotenen Funktionen Auswirkung der Funktionsaufrufe auf den Zustand des Servers, mögliche Aufruffolgen. Zugangsprotokoll Folie 7 Folie 8

3 Nachrichtenaustausch Der Client sendet eine Nachrichten an den Server, in der er den zu erbringenden Dienst spezifiziert. Der Server nimmt die Nachricht entgegen und führt den Dienst aus. Falls kein Fehler aufgetreten ist, sendet der Server das Ergebnis in einer weiteren Nachricht an den Client zurück. Im Fehlerfall wird ein Fehlerindikator zurückgeschickt. Der Client nimmt das Ergebnis (bzw. den Fehlerindikator) entgegen und verarbeitet es weiter. Client send (p) Entkopplung, ggf. weitere Aktivitäten und Anforderungen Ergebnis (Reply) Anforderungen (Request) Server receive (p) Bearbeitung von p send (r) 1.3 ISO-OSI Referenzmodell Das ISO-OSI OSI Referenzmodell Protokolle werden durch kooperierende Instanzen (Prozesse) abgewickelt. Diese tauschen Protokolldateneinheiten aus, die neben den zu übertragenden Daten die protokollrelevante Informationen erhalten (z.b. Sequenznummern, Prüfsummen). Bei der Kommunikation zwischen Rechnern kommen i.a. mehrere Protokolle zum Einsatz, die verschiedene Aufgaben erfüllen, und aufeinander aufbauen. Elementare Protokolle realisieren Funktionen, die von höheren Protokollen verwendet, um ihrerseits neue Funktionen zu realisieren. receive (r) Folie 9 Folie 10 ISO-OSI Referenzmodell Architekturmodell für Kommunikationssysteme : Zerlegung des komplexen Kommunikationsvorgangs in einfachere Teilfunktionen, die weitgehend voneinander unabhängig betrachtet werden können. Probleme : Identifikation der Teilfunktionen Zusammenwirken der Teilfunktionen zur Erfüllung des Systemzwecks Kommunikation : Austausch von Informationen zwischen Partnern mittels Nachrichten über ein Medium. ISO-OSI Referenzmodell ISO OSI International Organisation for Standardisation Open Systems Interconnection /83 : Int. Standard Zweck dieses Modells : Bereitstellung einer gemeinsamen konzeptuellen Basis zur Koordination der internationalen Entwicklung von existierenden und zukünftigen Standards für die Kommunikation zwischen Systemen im Sinne offener Systeme. Einschätzung des Werts existierender Standards. Identifikation von Bereichen, in denen Standards neu entwickelt werden oder verbessert werden müssen. Flexibilität gegenüber neueren technischen Entwicklungen. Das Referenzmodell unterteilt die vom Kommunikationssystem zu erbringenden Aufgaben in sieben aufeinander aufbauende Schichten: Folie 11 Folie 12

4 ISO-OSI Referenzmodell 1.4 Internet: Architektur, Protokoll Anwendung (application) Darstellung (presentation) Kommunikationssteuerung (session) Semantik der durchzuführenden Aktion Syntaktische Regeln für den Informationstransfer mit Umsetzung Organisation und Synchronisation der Kommunikation zwischen Anwendungsprozessen DNS UDP HTTP TCP SSH Anwendung Transport Transport (transport) Vermittlung (network) Sicherung (data link) Bitübertragung (physical) Transparenter, zuverlässiger und kostengünstiger Transfer von Daten zwischen Anwendungsprozessen Transfer von Daten zwischen Endsystemen über gekoppelte Teilstrecken oder Netze Überwachung von Teilstrecken mit Fehlererkennung und Fehlerkorrektur Strom von Bits ohne Sicherung über Medien ICMP ARP IP IGMP RARP Netzwerk Jede Schicht stellt eine Menge von Funktionen bereit, die der Schnittstelle zur darüberliegenden Schicht zur Verfügung steht, und als Dienst bezeichnet wird. Ein Dienst wird an Dienstzugangspunkten bereitgestellt. Dienstzugangspunkte werden durch Adressen identifiziert. Hardware Interface Medium Bitübertragung Folie 13 Folie 14 IP-Adressen (1) IP : Internet Protocol IP ist ein verbindungsloses Protokoll. Es bietet die Basis für eine Vielzahl der im Internet verwendeten Protokolle. IP-Adressen Die Adressen der Schicht 3 sind IP-Adressen. IP-Adressen sind 32-Bit Zahlen, die meist byteweise notiert werden, z.b IP-Adressen sind in fünf Klassen unterteilt : IP-Adressen (2) Eine IP-Adresse der Klasse A,B oder C identifiziert eine Netzschnittstelle, nicht einen Rechner, denn ein Rechner kann mehrere Netzschnittstellen besitzen. Beispiel für eine IP-Adresse Als Beispiel dient die IP-Adresse eines Rechners im Netz der Universität Frankfurt : Folie 15 Folie 16

5 Verwaltung des IP-Adressraums Domain Name System (DNS) ICANN (the Internet Corporation for Assigned Names and Numbers) ist verantwortlich für : IP Adressraum Zuordnung, Protokollparameter Zuweisung, DNS (Domain Name System) Management, Root Server System-Managementfunktionen. DNS : DNS ist eine verteilte Datenbank u.a. zur Abbildung von Rechnernamen auf Adressen (und umgekehrt). Eigenschaften: Es gibt keine Instanz auf dem Internet, der die kompletten Informationen vorliegen. Nameserver stellen Daten zur Verfügung. Zugang zum DNS : über Resolver (Bibliothek). Die TCP/IP-Protokolle wissen nichts über DNS. Folie 17 DNS verwendet einen hierarchischen Namensraum (Baum), ähnlich dem Unix-Dateisystem. Jeder Knoten hat einen Namen (label) von bis zu 63 Zeichen. An der Wurzel des Baums befindet sich ein besonderer Knoten mit einem Namen der Länge 0. Groß- und Kleinschreibung in Namen ist irrelevant. Der Domainname eines Knotens ist die Liste der Knotennamen beginnend mit dem Namen des Knotens selbst bis zur Wurzel, wobei die Namen mit Punkten (. ) voneinander getrennt werden. Ein Domainname, der mit einem Punkt endet, heißt absoluter oder voll qualifizierter Domainname (fully qualified domain name, FQDN), zum Beispiel: hera.rbi.informatik.uni-frankfurt.de. (IP-Adresse: ) Folie 18 Socket-basierte Kommunikation Seit BSD Unix 4.2 (~1984), mittlerweile in (fast) allen Betriebssystemen als kleinster gemeinsamer Nenner der Abstraktion einer Netzschnittstelle verfügbar. Sockets : sind das grundlegende Konzept für Interprozesskommunikation unter Unix, bilden die Schnittstelle zum Betriebssystem für die Abwicklung von Kommunikationsaufträgen, bilden die Kommunikationsendpunkte zwischen zwei Prozessen. orientieren sich am Unix-Prinzip für Datei-Zugriff: Open O Read R Write W Close C Sockets Die Adressen der Schicht 4 sind Sockets. Sockets bestehen aus : IP-Adresse und Portnummer Port: Adreßkomponente, identifiziert Speicherbereich für die Daten einer Kommunikationsverbindung Portnummer: Zahl zwischen Schreibweise für Sockets : IP-Adresse:Port, z.b. : :22. Sockets erlauben die Adressierung verschiedener Empfänger innerhalb eines Rechners, z.b. verschiedener Prozesse. Folie 19 Folie 20

6 Sockets Durch die feste Zuordnung eines Teils der Portnummern zu Diensten (RFC 3232 ) wird die Bereitstellung von Internetweit verfügbaren Diensten ermöglicht. Internet Assigned Numbers Authority - Liste der zugeordneten Ports: UDP : User Datagram Protocol UDP (RFC 768) stellt einen verbindungslosen Transportdienst bereit. UDP verwendet IP zum Transport der Datagrame, dabei ist die maximale Größe der UDP-Daten durch die maximale Größe eines IP-Pakets bestimmt. well known ports: Port 21 : File Transfer Protocol (FTP) Port 22 : Secure Shell (SSH) Port 80 : Hypertext Transfer Protocol (HTTP) registered ports: dynamic and/or private ports: Folie 21 Folie 22 TCP : Transmission Control Protocol TCP ist ein verbindungsorientiertes, zuverlässiges Transportprotokoll. Die Kommunikation zwischen Endsystemen erfolgt bei TCP in drei Schritten Aufbau der Kommunikationsverbindung, Austausch von Daten, Abbau der Kommunikationsverbindung. TCP unterteilt Anwendungsdaten in Segmente (TCP-Segmente), die mit IP transportiert werden. Die Größe der Segmente kann von den Kommunikationspartnern beim Verbindungsaufbau bestimmt werden. IP-Routing Beim Transport eines IP-Paketes lassen sich zwei Fälle unterscheiden. Der Empfänger ist direkt mit dem Sender verbunden, z.b. über eine PPP-Verbindung oder durch eine Schnittstelle zum gleichen Netz : IP-Pakete können direkt an den Empfänger gesendet werden. Der Empfänger ist nicht direkt mit dem Sender verbunden : IP-Pakete müssen über Netzgrenzen hinweg transportiert werden. Dazu werden die IP- Pakete an den Default-Router des lokalen Netzes gesendet, der sie auf der Basis seiner Routing-Tabellen an den Empfänger liefert. Routing - Protokolle (RIP, OSPF) dienen der Erstellung der Routing Tabellen. Folie 23 Folie 24

7 2.1 Der kürzeste Weg von einer Quelle zu anderen Knoten (Single Source Shortest Path, SSSP) Gegeben: ein gerichteter Graph G = (V, E) mit Kosten G E : E Nat. Der Knoten v 0 V ist der Startknoten. Gesucht: der Weg mit minimalen Kosten von v 0 zu allen anderen Knoten: kürzester Weg Beispiel: Startknoten: v 0 20 v 0 v v 1 20 v v 4 v 5 Weg Länge/Kosten 1 v 0 v v 0 v 2 v v 0 v 2 v 3 v v 0 v 4 45 In Anlehnung an Dijkstra: Betrachte eine Menge S der Knoten, zu denen bereits ein kürzester Weg gefunden wurde. Beginne mit S = {ø} In jedem Schritt wird ein Knoten v V \S zu S hinzugefügt, dessen Abstand zu s minimal ist (minimal unter dem Knoten in V \S). Dieser Knoten v läßt sich erreichen, indem man nur über Knoten in S läuft. Es kann also keinen kürzeren Weg zu v geben, der über einen Knoten w V \S läuft. Falls (s,, w, v) kürzer ist als (s,, v), wäre nicht v gewählt worden, sondern w. Daher muß w S gelten. Es genügt also, den kürzesten Pfad ausgehend von den Knoten in S aus zu suchen. Folie 25 Folie 26 Variablen im Programm: g result short vertices distance pathcost nearest anchor Graph g als Datenstruktur: class D graph Liste der kürzesten Wege einschließlich der zugeordneten Kosten Menge der Knoten, zu denen bereits kürzeste Wege bestimmt worden sind: {key:value} (dictionary) Diferenzmenge Vshort: Liste Kosten der bisher gefundenen kürzesten Weges von v zu Knoten v j in vertices über Knoten v i in short Kosten des aktuell betrachteten Weges None: unendl. Kosten, keine Kante if distance == None or distance > pathcost Knoten aus vertices, zu dem der bisher kürzeste Weg gefunden wurde Direkter Vorgänger von nearest in short Folie 27 Repräsentation von Graphen: init: Erzeugen eines Graphen addvertex: Hinzufügen eines Knotens addedge: Hinzufügen einer markierten Kante getvertices: Liefert die Menge der Knoten cost: Liefert Kosten zu einer Kante des Graphen, sofern die Kante existiert; None: Sonst Interne Kantendarstellung: e = ((v1,v2,),c) e[0][0] = v 1 e[0][1] = v 2 e[1] = c Folie 28

8 import copy class DGraph: def init (self): self.knotenliste = [] self.kantenliste = [] def addvertex(self, v1): if v1 not in self.knotenliste: self.knotenliste.append(v1) def addedge(self, v1, v2, c): if not v1 == v2: self.addvertex(v1) self.addvertex(v2) for i in self.kantenliste: a1 = i[0][0] a2 = i[0][1] if a1 == v1 and a2 == v2: self.kantenliste.remove(i) self.kantenliste.append(((v1,v2),c)) Folie 29 def getvertices(self): return copy.copy(self.knotenliste) def cost(self, v1, v2): ret = None for i in self.kantenliste: a1 = i[0][0] a2 = i[0][1] if a1 == v1 and a2 == v2: ret = i[1] return ret def addedges(self, tupelliste): for i in tupelliste: a1 = i[0][0] a2 = i[0][1] c = i[1] self.addedge(a1,a2,c) Folie 30 def printshort(dict,result): ## debug-ausgabe-funktion print eins = "short = " for v in dict.keys(): print "%s '%s' : %s" % (eins,v,dict[v]) eins = " " print "result = %s" % result # SSSP nach Dijkstra def sssp(g, v): result = [] vertices = g.getvertices() vertices.remove(v) short = {v: ([v], 0)} printshort(short,result) ### debug-ausgabe while len(vertices) > 0: distance = None for v0 in short.keys(): for v1 in vertices: pathcost = g.cost(v0,v1) if pathcost <> None: pathcost = pathcost + short[v0][1] if distance == None or distance > pathcost: distance = pathcost nearest = v1 anchor = v0 if distance == None: break vertices.remove(nearest) short[nearest] = (short[anchor][0] + [nearest], short[anchor][1] + g.cost(anchor, nearest)) result.append((short[nearest][0], short[nearest][1])) printshort(short,result) ### debug-ausgabe return result Folie 31 Folie 32

9 tl = [(("v0","v1"),50), (("v0","v2"),10), (("v2","v0"),20), (("v1","v2"),15), (("v2","v3"),15), (("v1","v4"),10), (("v3","v4"),35), (("v4","v3"),30), (("v5","v3"),3), (("v0","v4"),45), (("v3","v1"),20)] g = DGraph() g.addedges(tl) ergebnis = sssp(g, "v0") Folie 33 > python sssp.py result = [] 'v2' : (['v0', 'v2'], 10) result = [(['v0', 'v2'], 10)] 'v2' : (['v0', 'v2'], 10) 'v3' : (['v0', 'v2', 'v3'], 25) result = [(['v0', 'v2'], 10), (['v0', 'v2', 'v3'], 25)] 'v2' : (['v0', 'v2'], 10) 'v3' : (['v0', 'v2', 'v3'], 25) 'v4' : (['v0', 'v4'], 45) result = [(['v0', 'v2'], 10), (['v0', 'v2', 'v3'], 25), (['v0', 'v4'], 45)] Folie 34 'v1' : (['v0', 'v2', 'v3', 'v1'], 45) 'v2' : (['v0', 'v2'], 10) 'v3' : (['v0', 'v2', 'v3'], 25) 'v4' : (['v0', 'v4'], 45) result = [(['v0', 'v2'], 10), (['v0', 'v2', 'v3'], 25), (['v0', 'v4'], 45), (['v0', 'v2', 'v3', 'v1'], 45)] Folie 35