Linux Cluster in Theorie und Praxis

Transkript

1 Zentrum für Informationsdienste und Hochleistungsrechnen TU Dresden Linux Cluster in Theorie und Praxis Services Thomas William 10. November 2014 WIL A35 Zellescher Weg Dresden Telefon:

2 Inhalt 1 Einführung 2 DHCP Motivation Aufbau und Funktionsweise 3 DNS Einleitung Aufbau und Funktionsweise 4 Netfilter Einleitung Aufbau und Funktionsweise 5 LDAP Einleitung Aufbau und Funktionsweise 6 NTP Einleitung Aufbau und Funktionsweise 7 Quellen 2/66

3 Motivation Schaffung von Funktionalität Beseitigung statischer Konfiguration Erhöhung der Flexibilität Vereinfachung der Verwaltung durch Zentralisierung 3/66

4 Definition Service (Informatik) Als Service oder Dienst bezeichnet man in der Informatik eine Funktionalität, in Form von Software, die auf Anfrage eines Clients oder selbstständig initiiert wird und als Hintergrundprozess implementiert ist. 4/66

5 2 DHCP Motivation Aufbau und Funktionsweise 5/66

6 Motivation Konfiguration der Netzwerkeinstellungen aller angeschlossenen Hosts nötig Mit steigender Host-Anzahl manuelle Konfiguration zu zeitaufwendig und fehleranfällig Was tun mit ständig wechselnden Hosts im Netzwerk? 6/66

7 Definitionen - DHCP / BOOTP Dynamic Host Configuration Protocol - DHCP Das DHCP ist ein Protokoll der Sitzungsschicht des OSI-Referenzmodells. Es stellt ein Framework, auf Basis des Bootstrap Protocol (BOOTP), zum Verteilen von Konfigurationsinformationen in TCP/IP-Netzwerken zur Verfügung. DHCP-Server Ein DHCP-Server ist ein Dienst, der auf Anfrage Konfigurationsinformationen an Clients verteilt, welche über ein TCP/IP-Netzwerk angebunden sind. BOOTP - Bootstrap Protocol Das BOOTP ist ein Protokoll der Sitzungsschicht des OSI-Referenzmodells. Es erlaubt einem Client, einen Server zu identifizieren und seine eigene IP-Adresse zu erhalten. Weiterhin ermöglicht dies dem Client, den Namen einer Datei zu erhalten, welche in seinen Hauptspeicher geladen und danach ausgeführt wird. 7/66

8 Protokolldetails Kommunikation über UDP Ports 67 (Server) und 68 (Client) Nachrichtenbasiertes Request-Response-Verfahren Client initialisiert Kommunikation mittels Broadcast op (1) htype (1) hlen (1) hops (1) xid (4) secs (2) flags (2) ciaddr (4) yiaddr (4) siaddr (4) giaddr (4) chaddr (16) sname (64) file (128) options (312) Abbildung: Diagramm eines DHCP-Pakets 8/66

9 Funktionsumfang eines DHCP-Server Übermittlung von Konfigurationsinformationen an Clients Zuteilung und Reservierung von IP-Adressen für Clients Betriebsmodi: statisch: feste Abbildung von MAC- auf IP-Adresse automatisch: feste Abbildung von MAC- auf IP-Adresse aus Adress-Pool dynamisch: befristete Abbildung von MAC- auf IP-Adresse aus Adress-Pool 9/66

10 Nachrichten Tabelle: Wichtige DHCP Nachrichten Nachricht DHCPDISCOVER DHCPOFFER DHCPREQUEST DHCPACK DHCPNAK DHCPDECLINE DHCPRELEASE DHCPINFORM Beschreibung Initiale Anfrage als Broadcast durch Client Serverantwort mit Konfigurationsvorschlag Client bestätigt neuen Konfigurationsvorschlag Client bestätigt Korrektheit vorangegangener Leases Client verlängert aktuellen Lease Server bestätigt Client-Request Server lehnt Client-Request ab Client lehnt Server-Offer ab Client gibt eigene Konfiguration frei Client fragt Daten an (ohne IP-Adresse) 10/66

11 Typische DHCP-Kommunikation Server A Client Server B Begin Initialization DHCPDISCOVER DHCPDISCOVER DHCPOFFER DHCPOFFER DHCPREQUEST Select Configuration DHCPREQUEST DHCPACK Initialization Complete... Graceful Shutdown DHCPRELEASE Abbildung: Beispielhafte DHCP-Kommunikation 11/66

12 Auswahl übermittelbarer Informationen 254 verschiedene Optionen möglich Client IP-Adresse, Gateway, Netmask, Router Hostname, Domainname, DNS-Server Time offset, time server Boot file name, boot file size, root path, swap server, log server... 12/66

13 Sicherheit... DHCP is quite insecure. - [RFC2131] Broadcasts können mitgehört werden Falsche Informationen durch gefälschte DHCP-Server (IP, Routing, DNS... ) Abfangen von Informationen oder Aufbrauchen des Adresspools durch gefälschte Clients Authentifizierung für DHCP Nachrichten möglich - [RFC3118] 13/66

14 Anwendungsbeispiele Vereinfachung der Administration eines Netzwerks Betriebssysteminstallation via Netzwerk Automatisierter Wechsel spezieller Betriebsmodi (Benchmarks... ) Ermöglicht den Betrieb von Diskless Clients Vereinfacht das Einbinden von Gastrechnern in ein Netzwerk 14/66

15 3 DNS Einleitung Aufbau und Funktionsweise 15/66

16 Motivation Im frühen Internet: direkter Verbindungsaufbau über IP-Adresse IP-Adressen schwer zu merken und wenig aussagekräftig Daher: Einführung von Hosts-Datei Drastischer Anstieg der Anzahl an Hosts im Internet Enormes Datenaufkommen durch Aktualisierung der Hosts-Datei Probleme beim Hinzufügen und Entfernen von Hosts Keine Informationen über geografische Lage verfügbar 16/66

17 Definitionen - DNS / Lookup Domain Name System - DNS Das Domain Name System (DNS) ist ein Namensdienst, der die Zuordnung und Auflösung von IP-Adressen zu Host-Namen und umgekehrt ermöglicht. Forward Lookup Das Umwandeln oder Auflösen von Host-Namen in IP-Adressen wird als Forward Lookup bezeichnet. Reverse Lookup Das Umwandeln oder Auflösen von IP-Adressen in Host-Namen wird als Reverse Lookup bezeichnet. 17/66

18 Protokolldetails Kommunikation über TCP/UDP Port 53 Request-Response-Verfahren Drei Hauptkomponenten: Domain Name Space und Resource Records Name Server Resolver Query ID (2) Flags (2) Question Count (2) Answer Count (2) Authority Count (2) Add. Rec. Count (2) Query Data (variable) Abbildung: Diagramm eines DNS-Pakets 18/66

19 Domain Name Space I Domain Eine Domäne oder Domain (lateinisch: dominium Herrschaftsbereich ) bezeichnet einen zusammenhängenden Teilbereich des hierarchischen Namensraums, des Domain Name System. Die Domains bilden die Zweige des DNS- Baums. Resource Record - RR Jeder Host des DNS hat eine Menge von Ressourceninformationen, welche in sogenannten Resource Records festgehalten werden. Sie stellen die kleinste Informationseinheit im DNS dar. Die Resource Records bilden die Knoten und Blätter des DNS-Baums. 19/66

20 Domain Name Space II Fully Qualified Domain Name - FQDN Der Fully Qualified Domain Name ist der vollständige Name eines Hosts in seiner Domain. Er stellt eine absolute Pfadangabe im DNS-Baum dar. Hauptbestandteile: Top-Level-Domain Second-Level-Domain Subdomains (wenn vorhanden) Hostname 20/66

21 Name Server Dienst mit Informationen über seinen DNS-Teilbaum Hat Verbindung zu weiteren Name Servern Baut DNS-Namensraum mittels Resource Records auf Cache für schon gestellte Anfragen zur Performance-Verbesserung Authoritive Name Server Ein Authoritive Name Server hält garantiert valide Informationen über den Teilbereich des DNS-Namensraums für den er verantwortlich ist. Zone Der Teilbereich des DNS-Namensraums, für den ein DNS-Server verantwortlich ist, wird Zone genannt und kann aus einer oder mehreren Domains bestehen. 21/66

22 Aufbau von Resource Records Tabelle: Aufbau von Resource Records Bestandteil Beschreibung OWNER / NAME Domain Name des RR TYPE Typspezifikation CLASS Protokollspezifikation TTL Time To Live des RR RDLENGTH Länge von RDATA RDATA Klassen- bzw. typspezifische Informationen 22/66

23 Wichtige Typen von Resource Records Tabelle: Wichtige Typen von Resource Records Type A AAAA CNAME MX NS PTR SOA Beschreibung Eine IPv4 Host-Adresse Eine IPv6 Host-Adresse Canonical Name, Definition eines Alias Mail Exchange, zuständiger Mailserver Authorativer Name Server der Domain Pointer zu anderem DNS-Teilbaum Start Of Authority, Zonendefinition des Name Servers 23/66

24 Resolver Client-Programm zur Abfrage von Informationen von Name Servern Verbindung zu mindestens einem Name Server nötig Entweder direkte Antwort auf Anfrage oder Weiterleitung über mehrere Name Server hinweg 24/66

25 DNS und Security Eine der kritischsten Komponenten des Internets Nicht auf Sicherheit hin konzipiert Client und Server müssen Informationen von Authoritive Servern vertrauen Evtl. viele Name Server an Abfrage beteiligt Komplette Umleitung des Paketverkehrs möglich DNSSEC erhöht Sicherheit 25/66

26 4 Netfilter Einleitung Aufbau und Funktionsweise 26/66

27 Motivation Sicherheit Absicherung gegen unauthorisierten Zugriff Verstecken interner Subnetze Log-Dateien für Verbindungsanfragen Paketflusssteuerung Besondere Behandlung spezieller Verbindungstypen Quality of Service Realiserung von Lastverteilung mittels dedizierter Rechner für einzelne Dienste 27/66

28 Definitionen Netfilter Netfilter ist eine Softwareschicht im Linuxkernel (ab Version 2.4). Sie bietet Schnittstellen (sog. Hooks) zur Registrierung von Callback-Funktionen im Netzwerkstack. Dies ermöglicht eine Behandlung von Netzwerkpaket im Userspace. IPtables IPtables ist ein Userspace-Programm zur Konfiguration von IPv4 Netfilter- Regeln. 28/66

29 Netfilter Kein Service im eigentlichen Sinne Callback-Auslöser: Filterregel (n-tupel) passt auf Paket Unterstützt statuslose und statusbehaftete Arbeitsweise Funktionsumfang variabel durch Kernel-Module In nahezu jedem Linux-System vorhanden 29/66

30 IPtables Realisierung als Ketten (chains) von Tabellen aus Filterregeln (rules) Menge von Sprachelementen Zum Unterscheiden von Paketen anhand bestimmter Merkmale Zur Bestimmung der Art der Behandlung (target) Zur Behandlung nichtgefilterter Pakete (policy) 30/66

31 Vordefinierte Chains Chain INPUT FORWARD OUTPUT PREROUTING POSTROUTING Beschreibung Tabelle: Default Chains Bearbeitung von für diesen Host bestimmte Pakete Bearbeitung von weiterzuleitenden Paketen Bearbeitung von durch diesen Host zu versended en Paketen Paket wird bearbeitet bevor Routing berechnet wird Routing wurde berechnet; Paket wird unmittelbar vor Weiterleitung bearbeitet 31/66

32 Targets Tabelle: Target Target ACCEPT DROP QUEUE RETURN Beschreibung Akzeptiere Paket Verwerfe Paket Weitergeben von Paketen in den Userspace Verlassen von chain; Weiterbearbeitung in rufender Chain oder anwenden von Policy 32/66

33 Entscheidung über Authorisationsanfragen Blacklisting Blacklisting bezeichnet das Sammeln nichtvertrauenswürdiger Objekte gleichen Typs auf einer sogenannten Blacklist. Whitelisting Whitelisting bezeichnet das Sammeln vertrauenswürdiger Objekte gleichen Typs auf einer sogenannten Whitelist. Black- und Whitelisting werden in erster Linie zum Bearbeiten von Zugriffsanfragen herangezogen 33/66

34 Network Address Translation - NAT I Network Address Translation - NAT NAT, oft auch als Masquerading bezeichnet, ist ein Verfahren zum Ersetzen von Quell- bzw. Zieladressen in IP-Paketen. Verwendung in Routern zum Verbinden unterschiedlicher Netze Realisiert als Zuordnungstabelle [interne IP externe IP] Manipulation von Checksummen und anderen Header-Bestandteilen nötig 34/66

35 Network Address Translation - NAT II Source-NAT (SNAT) Quelladresse wird manipuliert Beispiel: Anbindung von privaten Subnetzen ans Internet Destination-NAT (DNAT) Zieladresse wird manipuliert Beispiel: Verteilung von Diensten auf mehrere Server, Anbindung aber über eine einzige Adresse 35/66

36 Network Address Port Translation - NAPT Network Address Port Translation - NAPT NAPT erweitert NAT um die Fähigkeit, die UDP/TCP Ports der kommunizierenden Hosts zu verarbeiten und zu manipulieren. Realisiert als Tupel in einer Zuordnungstabelle [(interne IP, interner Port) (externe IP, externer Port)] Notwendig für eine 1 zu N Abbildung von IP-Adressen Funktioniert nicht mit fragmentierten Paketen! 36/66

37 5 LDAP Einleitung Aufbau und Funktionsweise 37/66

38 Motivation Große Organisationen benötigen Verwaltung von Mitarbeiterdaten Kundendaten Projektdaten... Schneller Zugriff auf Daten Schnelles Durchsuchen großer Datenbestände 38/66

39 Definitionen Lightweight Directory Access Protocol - LDAP Das Lightweight Directory Access Protocol definiert den Zugriff auf verteilte Verzeichnissdienste (directory services) entsprechend dem X.500 Daten- und Servicemodell. X.500 X.500 bezeichnet einen Standard der Iternational Telecommunication Union (ITU) für einen Verzeichnisdienst mit globalem Zugriff. 39/66

40 DAP X.500 Von Iternational Telecommunication Union (ITU) entwickelt Beinhaltet DAP (Directory Access Protocol) als Kommunikationsspezifikation Ressourcenintensiv (benötigt gesamten OSI-Protokollstack) X.500 Application Presentation Application Presentation LDAP Session Transport Network Data Link Physical TCP IP Session Transport Network Data Link Physical Layer OSI Model Layer Abbildung: Gegenüberstellung von DAP und LDAP 40/66

41 LDAP allgemein Definiert Zugriff auf Directory und die Client-Server-Kommunikation Hierarchische Datenorganisation (Data Information Tree - DIT) LDAP-Schema definiert genaue Struktur der Daten Datenspeicherung meist als hierarchische Datenbank 41/66

42 Protokolldetails Kommunikation über TCP/UDP-Port 389 bzw. 636 (mittels SSL/TSL) Plain Text-Protokoll Request-Response-Verfahren mit atomaren Requests Master-Slave Server sowie redundante (shadow) Server möglich Lastverteilung Ereichen hoher Ausfallsicherheit 42/66

43 Data Information Tree - DIT Jedes Objekt hat genau einen Eltern- und einen oder mehrere Kindknoten Ein Eintrag ist eine Komposition von einer oder mehreren Objektklassen Objektklassen enthalten ein oder mehrere Attribute Attribute sind Tupel aus Namen (names); teilweise mit Abkürzungen oder Aliasen Daten/Werten (values) 43/66

44 Objektklassen Sind Teil eines oder mehrerer Schemata Können hierarchisch organisiert werden, wodurch sie alle Attribute der Elternobjektklasse erben Arten: Strukturell (Structural): Erzeugen einen Eintrag Helfend (Auxiliary): Hinzufügen weiterer Attribute Abstrakt (Abstract): Terminiert Objekthierarchien Die Art einer Objektklasse wird vererbt (außer bei abstrakten Klassen) 44/66

45 Objektklassen Top10 Abbildung: Die 10 häufigsten LDAP-Objektklassen 45/66

46 Attribute Top10 Abbildung: Die 10 häufigsten LDAP-Attribute 46/66

47 Probleme Asynchroner Replikationsprozess von Master- und Slave-Servern Unvollständige Requests (abandoned) Teils fehlt Bestätigung über Erfolg/Misserfolg eines Requests (z.b. abandoned) 47/66

48 6 NTP Einleitung Aufbau und Funktionsweise 48/66

49 Motivation Keine zwei Uhren laufen exakt gleich Viele Dienste erfordern Synchronität Anzweifelbarkeit zeitbasierter Messverfahren 49/66

50 Definitionen Gangabweichungsrate (drift rate) Jede Uhr läuft entweder schneller oder langsamer, im Vergleich zu einer Referenzuhr, deren Zeitmessung als korrekt angenommern wird. Dies führt zu einer abweichenden Zeitdarstellung. Der Betrag dieser Abweichung über einem Zeitintervall wird Gangabweichungsrate genannt. Synchronisation von Uhren Das Angleichen der Zeitdarstellung von zwei oder mehrerer Uhren auf den selben Wert, wird Synchronisation (griech. syn zusammen und chronos Zeit ) genannt. Die Existenz der Gangabweichungsrate bedingt die Notwendigkeit von Synchronisation. 50/66

51 Arten der Synchronisation bei Computersystemen Externe Synchronisation Abgleich der Systemuhr mit einer, als ideal angenommenen Referenzuhr Genauste Möglichkeit der Synchronisation Meist dienen Atomuhren als Referenzuhren Interne Synchronisation Einigung aller verbundenen Rechner auf einen gemeinsamen Wert für ihre Systemuhren. Keinerlei Bezug zur Realzeit Langfristig sehr hohe Gangabweichung zu externer Referenzuhr möglich 51/66

52 Probleme bei der Synchronisation Zeit ist Relativ - frei nach Albert Einstein Wie genau ist die Referenzuhr? Wie exakt kann man eine Uhr überhaupt stellen? Wie genau kann synchronisiert werden? Verletzung der Kausalität kann viele Probleme nach sich ziehen Zurückstellen von Uhren oder Zeitsprünge können große Schwierigkeiten hervorrufen Beschleunigen oder Verlangsamen des Zeittaktes zur Synchronisation, kann dies umgehen Latenz und Laufzeit im Synchronisationsmedium 52/66

53 Synchronisation im Internet - NTP Network Time Protocol - NTP NTP ermöglicht die Synchronisation von Uhren in Computersystemen, mit Hilfe von einem oder mehrerer verteilter, sogenannter Zeit-Server (Time Server). 53/66

54 Protokolldetails I Stratum Aktuelle Version: NTPv4 mit Genauigkeit Kommunikation über UDP-Port 123 Übermittlung von Zeitstempeln auf Basis von UTC Hierarchische Anordnung der NTP Server Die Anzahl der Teilpfade zwischen primärem NTP-Server und einem zu synchronisierenden Client, werden durch den Stratum-Wert repräsentiert. 54/66

55 Protokolldetails II LI VN Mode Stratum Poll Precision Root Delay (4) Root Dispersion (4) Reference ID (4) Reference Timestamp (8) Origin Timestamp (8) Recieve Timestamp (8) Transmit Timestamp (8) Extension Field 1 (variable) Extension Filed 2 (variable) Key Identifier (4) dgst (16) Abbildung: Diagramm eines NTP-Pakets 55/66

56 Kommunikationsablauf Host B t t i-2 i-1 Host A t i-3 t i t Abbildung: Vereinfachter NTP-Kommunikationsablauf 56/66

57 Varianten der Protokollverwendung Client/Server Client stellt Anfrage auf Synchronisation an Server Client forciert Synchronisation Broadcast Server sendet periodisch Broadcast-Pakete Server forciert Synchronisation Symmetrisch Rechner fungiert sowohl als Server als auch als Client 57/66

58 Operationsmodi von Zeitservern Primary Server Direkte Synchronisation mit Referenzuhr Erlaubt verbinden von Clients Secondary Server Über einen oder mehrere NTP Server synchronisiert Erlaubt ebenfalls verbinden von Clients Hier: time.zih.tu-dresden.de Client Ähnlich zu Secondary Server Keine Client-Verbindungen 58/66

59 Sicherheit und Fehlertoleranz Dynamische Rekonfiguration bei Server-Ausfall Aussonderung falschgehender Uhren (Selection) Auswahl der drei genausten und verlässlichsten Uhren mittels statistischer Methoden (Clustering) Verwendet bzw. unterstützt Authentifizierung, kryptographische Schlüssel, Timeouts... NTP ist sicherer als die meisten anderen Dienste, aber trotzdem angreifbar 59/66

60 7 Quellen 60/66

61 Quellen - DHCP I [RFC951] Internet Engineering Task Force RFC BOOTSTRAP PROTOCOL (BOOTP), [RFC1533] Internet Engineering Task Force RFC DHCP Options and BOOTP Vendor Extensions, [RFC2131] Internet Engineering Task Force RFC Dynamic Host Configuration Protocol, [RFC2132] Internet Engineering Task Force RFC DHCP Options and BOOTP Vendor Extensions, /66

62 Quellen - DHCP II [RFC3118] Internet Engineering Task Force RFC Authentication for DHCP Messages, [IANA] Internet Assigned Numbers Authority Dynamic Host Configuration Protocol (DHCP) and Bootstrap Protocol (BOOTP) Parameters, bootp-dhcp-parameters.xml 62/66

63 Quellen - DNS I [RFC1034] Internet Engineering Task Force RFC DOMAIN NAMES - CONCEPTS AND FACILITIES, [RFC1035] Internet Engineering Task Force RFC DOMAIN NAMES - IMPLEMENTATION AND SPECIFICATION, [RFC2782] Internet Engineering Task Force RFC A DNS RR for specifying the location of services (DNS SRV), [TbInf] Taschenbuch der Informatik Domain Name System, S.666 Fachbuchverlag Leipzig, 4.Auflage, /66

64 Quellen - iptables I [NetF] Netfilter.org Netfilter.org, [RFC1631] Internet Engineering Task Force RFC The IP Network Address Translator (NAT), [RFC3022] Internet Engineering Task Force RFC Traditional IP Network Address Translator (Traditional NAT), /66

65 Quellen - LDAP I [RFC4510] Internet Engineering Task Force RFC Lightweight Directory Access Protocol (LDAP): Technical Specification Road Map, [RFC4511] Internet Engineering Task Force RFC Lightweight Directory Access Protocol (LDAP): The Protocol, /66

66 Quellen - NTP I [NTP] ntp.org ntp.org - home of the Network Time Protocol project, [RFC5905] Internet Engineering Task Force RFC Network Time Protocol Version 4: Protocol and Algorithms Specification, [EZS] Robert Baumgartl Vorlesung - Echtzeit-Systeme, /66