1. Übung zur Vorlesung "Einführung in Verteilte Systeme"

Transkript

1 1. Übung zur Vorlesung "Einführung in Verteilte Systeme" Wintersemester 2004/05 Thema: HTTP Ulf Rerrer Institut für Informatik Universität Paderborn Organisatorisches 3 Projekte Je 1 Aufgabenzettel Je 1 Vortrag und eine Rechnerübung pro Gruppe Abgabe in 2er Gruppen Lösungen sind in der Rechnerübung zu präsentieren/abzugeben Zeit in der Übung reicht wahrscheinlich nicht aus, um die Aufgaben zu lösen, daher: Vorarbeit notwendig! Durch erfolgreiches Abgeben der Aufgabenzettel ist ein Bonus in der Klausur möglich (je 1/3 Note) Projekt HTTP: Woche 43 (ab 18.10): Vortrag HTTP Woche 44 (ab 25.10): Übung und Abgabe HTTP Projekt Sockets: Woche 45 (ab 01.11): Vortrag Sockets Woche 46 (ab 08.11): Übung und Abgabe Sockets Projekt Java RMI: Woche 47 (ab 15.11): Vortrag RMI Woche 48 (ab 22.11): Übung und Abgabe RMI U. Rerrer Übung zu Verteilte Systeme 2

2 Inhalt Realisierung von Verteilten Systemen Internetprotokolle Request For Comments (RFC) HTTP Übungshilfen U. Rerrer Übung zu Verteilte Systeme 3 Realisierung Verteilter Systeme Rechner A Rechner B Verteilte Anwendung Rechner C Middleware Lokales BS Lokales BS Lokales BS Netzwerk Verteilte Systeme werden oft erst in Applikationsschichten definiert und benutzen vorhandene Dienste und Anwendungen. U. Rerrer Übung zu Verteilte Systeme 4

3 Kommunikationsschichten In der Realität laufen die einzelnen Teile einer verteilten Anwendung auf verschiedenen Rechnern (in der ISO/OSI Applikationsschicht). Sie kommunizieren mit Hilfe der angebotenen Dienste von niedrigeren Schichten (ISO/OSI: Transportschicht). Sicht des Programmierers: Rechner A Verteilte Anwendung Kommunikation (realisiert durch Middleware) Rechner B Verteilte Anwendung Middleware (Transportschicht) Lokales BS Lokales BS Netzwerk U. Rerrer Übung zu Verteilte Systeme 5 Internetprotokolle Frage: In welcher Sprache kommuniziert eine Anwendung? Antwort: Protokolle Internetprotokolle werden durch Request for Comments (RFC) definiert basieren auf UDP und TCP/IP benutzen Port-Konzept:! ermöglicht Multiplexing (mehrere Verbindungen zu einem Rechner)! Paar aus Rechnername und Port heißt Socket! Beispiel: DNS-Name und Port stargate.upb.de:80 oder IP-Adresse und Port :80 Beispiel in dieser Übung:! HTTP (FTP, SMTP oder NNTP eigneten sich genau so gut) U. Rerrer Übung zu Verteilte Systeme 6

4 Verschiedene Protokolle Auszug aus der Liste existierender Protokolle/Dienste: DIENST ftp-data ftp telnet smtp domain finger www-http pop3 nntp imap3 PORT ERKLÄRUNG File Transfer [Default Data] File Transfer [Control] Telnet Simple Mail Transfer Domain Name Server Finger World Wide Web HTTP Post Office Protocol v3 Network News Transfer Protocol Interactive Mail Access Protocol v3 U. Rerrer Übung zu Verteilte Systeme 7 Request For Comments 1969 Geburtsstunde des Informations- und Dokumentationsflusses im ARPANET " Steve Crocker veröffentlicht ersten RFC (Request For Comment) Ziel eines RFC:! Standards für TCP/IP zu etablieren! bestimmte Positionen oder Vorschläge veröffentlichen! öffentliche Diskussion beginnen und Kommentare anderer erbeten Arten von RFCs:! Dienste und Protokolle sowie deren Implementierungen veröffentlichen! Regeln und Grundsätze (Policies) zusammenfassen Beispiel: Februar 1970, im RFC 33 wurde ein neues Netzwerkprotokoll vorgestellt " durch RFCs 36, 39, 44, 45, 46, 47, 53, 54, 55, 57 diskutiert und schließlich im ARPANET als "Simplified NCP (Network Control Protocol)" eingesetzt. U. Rerrer Übung zu Verteilte Systeme 8

5 Jeder kann RFCs veröffentlichen Verschiedene Stati eines RFCs: RFCs Initial Prosposed Standard Draft Standard Standard Experimental Historic Informational Die Definition wurde zur Überprüfung als Standard eingereicht. Die Definition wurde vom IETF als Standard vorgeschlagen. Die Definition hat bereits erste Überprüfungen bestanden. Nun werden mindestens zwei voneinander unabhängige Implementierungen realisiert. Dies bedeutet jedoch, dass an der Definition noch Veränderungen vorgenommen werden können. Die Überprüfung ist abgeschlossen und die Definition ist als endgültiger Standard akzeptiert. Die Definition ist nicht zur Standardisierung überprüft. Diese Definition sollte nur in Tests und Versuchen eingesetzt werden. Die Definition ist veraltet und sollte demzufolge nicht mehr benutzt werden. Die Definition besitzt rein informativen Charakter, sie verfügt über keinerlei weiteren Status. U. Rerrer Übung zu Verteilte Systeme 9 HTTP Sinn und Zweck HTTP = Hypertext Transfer Protocol RFC 1945: "The Hypertext Transfer Protocol (HTTP) is an applicationlevel protocol with the lightness and speed necessary for distributed, collaborative, hypermedia information systems." Funktionalität geht über einfaches Suchen und Finden eines Informationssystems hinaus: HTTP bietet eine beliebig erweiterbare Menge an Methoden benutzt zur Referenzierung die Uniform Resource Identifier (URI) Generisches Protokoll, was zur Kommunikation zwischen user agents und Proxies/Gateways dient (SMTP, NNTP, FTP, Gopher, ) U. Rerrer Übung zu Verteilte Systeme 10

6 HTTP 0.9! kein RFC "Standard" HTTP 1.0 HTTP - Geschichte! Mai 1996 in RFC 1945 definiert HTTP 1.1! Schon im August 1996 als Draft! Erst im Juni 1999 in RFC 2616 als Standard definiert U. Rerrer Übung zu Verteilte Systeme 11 HTTP - Eigenschaften Austausch von Nachrichten, Methoden, Ergebnissen, Darstellungsregeln (Marshalling): Zeichensatz, Datenformate, Satz von HTTP-Methoden (GET, PUT, POST, ), die auf Ressourcen anwendbar sind Authentifizierung von Benutzern Anforderungen/Antworten werden als ASCII-Texte verpackt, Ressourcen können als Bytefolgen dargestellt/komprimiert werden Ressourcenbeschreibung durch MIME-Types (Multipurpose Internet Mail Extensions), z.b. text/plain, image/gif, image/jpg, Persistente Verbindungen (seit HTTP/1.1)! Eine Verbindung bleibt für eine ganze Reihe von Aufträgen bestehen! Kann von Client und Server nach Versenden einer Nachricht geschlossen werden! Server schließen die Verbindung, wenn längere Zeit kein Transfer! Bei Kollision (Auftrag gerade gesendet, Verbindung geschlossen): Analyse der Situation und ggf. Wiederholung des gesamten Prozesses U. Rerrer Übung zu Verteilte Systeme 12

7 HTTP - Kommunikation Beispielanfrage in einem Browser: Anfrage (Request) CLIENT Antwort (Reponse) SERVER Kommunikationsablauf nach dem HTTP-Protokoll: 1. Öffnen einer TCP/IP Verbindung zum Webserver 2. Senden des Requests an den Server 3. Empfangen der Response vom Server (normalerweise inklusive der gewünschten Daten vom Webserver) 4. Schließen der Verbindung (ab HTTP/1.1 ist dies optional) U. Rerrer Übung zu Verteilte Systeme 13 Beispiel: Verbindung öffnen Schritt 1: Verbindung aufbauen Browser kennt durch die Eingabe die Zieladresse des Webservers der Anfrage (Bsp: Browser fragt beim DNS-Server nach der IP-Adresse der angegebenen URL. Browser öffnet eine TCP/IP-Verbindung zum angegebenen Webserver ( ) auf Port 80. Port 80 ist der Standardport für das HTTP-Protokoll. Ein davon abweichender Port muss explizit in der URL angegeben werden. U. Rerrer Übung zu Verteilte Systeme 14

8 Beispiel: Request senden Schritt 2: Request senden Der Client (Browser) fragt nach einem Objekt (Datei) von dem gerade verbundenen Server. Bsp: GET HTTP/1.0 Diese Anfrage kann man manuell via TELNET eingeben: Bsp: > telnet 80 GET HTTP/1.0 [Leerzeile] Zwischen der GET-Zeile und der Leerzeile können beliebig viele Header-Zeile mit weiteren Informationen stehen. U. Rerrer Übung zu Verteilte Systeme 15 Beispiel: Response empfangen Schritt 3: Response empfangen Der Server antwortet mit der Sendung des geforderten Objektes (z.b. die gewünschte HTML-Datei) Vor dem eigentlichen Dokument werden Zusatzinformationen mitgeschickt:! Status-Code (z.b. "200 OK")! Meta-Informationen zu dem Dokument! Informationen zum Server U. Rerrer Übung zu Verteilte Systeme 16

9 Beispiel: Verbindung schießen Schritt 4: Verbindung beenden In HTTP/1.0 wurde die Verbindung automatisch nach Sendung der Response terminiert. Diese Vorgehensweise ist sehr ineffizient, da oft mehrer Dateien von einem Server nacheinander angefragt werden. TCP/IP benötigt einen 3-Wege-Handshake zum Herstellen und Beenden einer Verbindung. Es werden also mindestens 4 Pakete versendet. In HTTP/1.1 können Verbindungen gehalten werden bis der Server nach einem Timeout die Verbindung schließt. Der Client kann mehrere Dokumente nacheinander anfragen, ohne zwischendurch auf eine Antwort zu warten (Pipelining) U. Rerrer Übung zu Verteilte Systeme 17 Proxies Clients und Server können auch via einem oder mehreren Proxies (Caches) kommunizieren: Request Request CLIENT Reponse PROXY Reponse SERVER Browser senden alle Anfragen an einen fixen Proxy Server anstatt zu den wirklichen Servern Der Proxy überprüft, ob er das gewünschte Objekt in seinem Cache hat Wenn ja beantwortet er selber den Request Wenn nein, schickt der Proxy den Request an den "Original Server" oder einen weiteren Proxy Die Antwort wird an den Client geschickt und außerdem im Proxycache gespeichert U. Rerrer Übung zu Verteilte Systeme 18

10 HTTP - Syntax Die formale HTTP Syntax ist in RFC 2616 beschrieben. Sowohl Anfragen als auch Antworten bestehen aus: Einer ersten Zeile Einer variablen Anzahl von Zeilen mit Headern Einer Leerzeile Optionalen Daten <initial line, different for request vs. response> Header1: value1 Header2: value2 Zeilen sollten mit <CR><LF> enden. <optional message body goes here, like file contents or query data; it can be many lines long, or even binary data $&*%@!^$@> U. Rerrer Übung zu Verteilte Systeme 19 Augmentierte BNF Name = Definition "Literal" Regel_1 Regel_2 (Regel_1 Regel_2) *Regel [Regel] N Regel #Regel ; Kommentar Name ist der Name der Regel. Die Regel wird durch die rechte Seite der "Gleichung" definiert. Durch Anführungszeichen werden Literale definiert. Alternativen werden durch " " getrennt. Durch runde Klammern eingeschlossene Ausdrucke werden als ein einziger Ausdruck gewertet. * steht für eine wiederholte Anwendung der Regel. Durch <n>*<m>ausdruck wird der Ausdruck minimal n und maximal m-mal wiederholt. Nur ein * bedeutet n=0 und m=. Eckige Klammern stehen für optionale Regeln (äquivalent zu: *1 Regel). Meint genau N Wiederholungen (äquivalent zu: <n>*<n>ausdruck). Analog zu * eine Wiederholung von Ausdrucken nur diesmal als Liste durch Kommata getrennt (genaue Darstellung: <n>#<m>ausdruck). Semikolon leitet einen Kommentar bis zum Zeilenende ein. U. Rerrer Übung zu Verteilte Systeme 20

11 HTTP Parameter (1) Allgemeiner Syntax: URI = (abs_uri rel_uri) ["#" fragment] abs_uri rel_uri net_path abs_path rel_path path fsegment segment = scheme ":" * (uchar reserved) = net_path abs_path rel_path = "//" net_loc [abs_path] = "/" rel_path = [path] [";" params] ["?" query] = fsegment *("/" segment) = 1*pchar = *pchar params = param *(";" param) param = *(pchar "/") U. Rerrer Übung zu Verteilte Systeme 21 HTTP Parameter (2) scheme = 1*(ALPHA DIGIT "+" "-" ".") net_loc = *(pchar ";" "?") query = *(uchar reserved) fragment = *(uchar reserved) pchar = uchar ":" "@" "&" "=" "+" uchar = unreserved escape unreserved = ALPHA DIGIT safe extra national escape = "%" HEX HEX reserved = ";" "/" "?" ":" "@" "&" "=" "+" extra = "!" "*" "'" "(" ")" "," safe = "$" "-" "_" "." unsafe = CTL SP <"> "#" "%" "<" ">" national = <jedes OCTET außer ALPHA, DIGIT, reserved, extra, safe und unsafe> U. Rerrer Übung zu Verteilte Systeme 22

12 HTTP Parameter (3) HTTP-Version: http_version = "HTTP" "/" 1*DIGIT "." 1*DIGIT HTTP-URL: http_url = " host [":" port] [abs_path] ["?" query] host = <eine beliebige, aber gültige Internetadresse> port = *DIGIT Content Codings: content-coding = token token = 1*<jedes CHAR außer Steuerzeichen> Bsp: "gzip", "compress", "deflate" und "identity" U. Rerrer Übung zu Verteilte Systeme 23 HTTP Parameter (4) Datums/Zeit Formate: Bsp: "Sunday, 06-Nov-94 08:49:37 GMT" Zeichensätze: Bsp: "US-ASCII", "ISO " oder "UNICODE-1-1" Medientypen: media-type = type "/" subtyp * (";" parameter) Bsp: "text/html" Produkt-Token: product = token ["/" product-version] Bsp: "Server: Apache/0.8.4" U. Rerrer Übung zu Verteilte Systeme 24

13 HTTP - Messages http-message = simple-request ; HTTP/0.9 simple-response ; HTTP/0.9 full-request ; HTTP/1.0 full-response ; HTTP/1.0 simple-request = "GET" SP request-uri CRLF simple-response = [entity-body] full-request = request-line *(general-header request-header entity-header) CRLF [entity-body] full-response = status-line *(general-header response-header entity-header) CRLF [entity-body] U. Rerrer Übung zu Verteilte Systeme 25 HTTP - Request Request-Nachrichten von einem Client an einen Server beinhalten! Methode, die auf die Ressource angewendet werden soll! Identifier der Ressource (URI)! benutztes Protokoll! (ab Version 1.1) diverse Header mit weiteren Informationen Kompabilität bleibt erhalten (siehe vorherige Folie) Syntax: request-line = method SP request-uri SP http-version CRLF Bsp: "GET /index.html HTTP/1.1" U. Rerrer Übung zu Verteilte Systeme 26

14 Request - Methoden Methoden geben an wie mit der angegebenen Ressource verfahren werden soll: ab HTTP/1.0:! GET Ressource anfordern! HEAD Header der Ressource anfordern! POST Daten an einen Serverprozess senden ab HTTP/1.1:! OPTIONS Optionen des Webservers erfragen! PUT Ressource auf dem Webserver ablegen! DELETE Ressource löschen! TRACE Kommando zurückschicken lassen! CONNECT ermöglicht SSL-Verbindung via Proxy U. Rerrer Übung zu Verteilte Systeme 27 Request - Header Header haben die Form Header: value Mehrere Zeile mit gleichem Header können zu einer Zeile zusammengefasst werden. HTTP/1.0 definiert 16 Header HTTP/1.1 definiert 46 Header, von denen einer ( Host: ) bei Anfragen angegeben werden muss. Der Höflichkeit halber sollten From: und User-Agent: bei Anfragen ebenfalls angegeben werden. In Antworten sollte Server: und Last-Modified: angegeben sein. U. Rerrer Übung zu Verteilte Systeme 28

15 Request - Header Accept! Bsp: Accept: text/*, text/html Accept-Encoding! Bsp: Accept-Encoding: compress, gzip From! Bsp: From: webmaster@upb.de Host! Bsp: Host: If-Modified-Since! Bsp: If-Modified-Since: Sat, 29 Oct :43:31 GMT If-Unmodified-Since! Bsp: If-Unmodified-Since: Sat, 29 Oct :43:31 GMT Referer! Bsp: Referer: User-Agent! Bsp: User-Agent: CERN-LineMode/2.15 libwww U. Rerrer Übung zu Verteilte Systeme 29 HTTP - Response Response-Nachrichten vom Server an den Client besitzen in der Status-Line einen Status-Code. Dieser kategorisiert die nachfolgende Meldung Syntax: status-line = http-version SP status-code SP reason CRLF Response-Kategorien:! 1xx: Informational Request bekommen und es geht weiter! 2xx: Success Aktion bekommen, verstanden und akzeptiert! 3xx: Redirection Weitere Aktionen vorgenommen werden! 4xx: Client Error Fehlerhafter Syntax oder unerfüllbar! 5xx: Server Error Server kann Request nicht erfüllen U. Rerrer Übung zu Verteilte Systeme 30

16 Response - Status-Codes 100 Continue 403 Forbidden 101 Switching 404 Not Found 405 Method Not Allowed 200 OK 406 Not Acceptable 201 Created 407 Proxy Authentication Required 202 Accepted 408 Request Timeout 203 Non-Authoritative Information 409 Conflict 204 No Content 410 Gone 205 Reset Content 411 Length Required 206 Partial Content 412 Precondition Failed 413 Request Entity Too Large 300 Multiple Choices 414 Request-URI Too Large 301 Moved Permanently 415 Unsupported Media Type 302 Found 416 Requested Range Not Satisfiable 303 See Other 417 Expectation Failed 304 Not Modified 305 Use Proxy 500 Internal Server Error 307 Temporary Redirect 501 Not Implemented 502 Bad Gateway 400 Bad Request 503 Service Unavailable 401 Unauthorized 504 Gateway Timeout 402 Payment Required 505 HTTP Version Not Supported U. Rerrer Übung zu Verteilte Systeme 31 Response - Header Accept-Ranges! Bsp: Accept-Ranges: bytes= Age! Bsp: Age: Location! Bsp: Location: Retry-After! Bsp: Retry-After: 120 Server! Bsp: Server: CERN/3.0 libwww/2.17 U. Rerrer Übung zu Verteilte Systeme 32

17 Binäre Bodys HTTP kann nicht nur HTML-Dateien übertragen, sondern auch binäre Daten Der Browser muss wissen wie er diese Daten behandeln/auswerten soll Hierzu gibt es vor dem Body (der Entity) einen Header mit den nötigen Informationen Die wichtigste ist der Content-Type, der den Medientyp nach RFC 1590, 2045, 2046 definiert U. Rerrer Übung zu Verteilte Systeme 33 Entity - Header Allow! Bsp: Allow: GET, HEAD, PUT Content-Encoding! Bsp: Content-Encoding: gzip Content-Language! Bsp: Content-Language: de, en Content-Length! Bsp: Content-Length: 3495 Content-Range! Bsp: Content-Range: bytes Content-Type! Bsp: Content-Type: image/gif Expires! Bsp: Expires: Thu, 01 Dec :00:00 GMT Last-Modified! Bsp: Last-Modified: Thu, 01 Dec :00:00 GMT U. Rerrer Übung zu Verteilte Systeme 34

18 Media-Types Die Media-Types sind in mehrere Klassen unterteilt! text Bsp: text/plain, text/html, text/xml! multipart Bsp: multipart/mixed! message Bsp: message/rfc822, message/news! application Bsp: application/pdf, application/postscript! image Bsp: image/gif, image/jpg! audio Bsp: audio/basic, audio/mpeg! video Bsp: video/mpeg, video/quicktime! model Bsp: model/vrml Die Media-Types sind bei der IANA (Internet Assigned Numbers Authority) registriert. Eine aktuelle Liste gibt es unter: ftp://ftp.isi.edu/in-notes/iana/assignments/media-types/ U. Rerrer Übung zu Verteilte Systeme 35 Hinweise zur Übung (1) Ziel der Übung: HTTP-Protokoll im Detail anzuschauen um verteilte Systeme besser kennen zulernen eigenen Browser zu schreiben ist zu komplex, daher verwenden wir TELNET als "Browser" Beispiel: 80 Trying Connected to Escape character is '^]'. HEAD /home/index.html HTTP/1.1 Host: HTTP/ OK Date: Mon, 18 Oct :19:33 GMT Server: Apache X-Powered-By: PHP/4.3.8 Content-Type: text/html; charset=iso U. Rerrer Übung zu Verteilte Systeme 36

19 Hinweise zur Übung (2) Details sind in den RFCs gut nachzulesen (benötigte RFCs sind auf der VS Homepage zu finden) Ich braucht nur einen Telnet-Client zum Ausprobieren Liste vorhandener Webserver mit Version HTTP/1.1: U. Rerrer Übung zu Verteilte Systeme 37 Hinweise zur Übung (3) in der nächsten Woche können die Übungen in den betreuten Rechnerübungen gelöst werden. es können hierfür folgende Rechner benutzt werden:! Der unendliche Pool (F1.520)! PC-Pool der AG-Kao (F2.510) Treffpunkt zur Übung ist der "unendliche Pool" Die Lösungen (schriftlich) sollten am Ende der Übung abgegeben werden. U. Rerrer Übung zu Verteilte Systeme 38

20 Literatur [1] RFC-Archiv: [2] RFC 1945: HTTP/1.0 [3] RFC 2616: HTTP/1.1 [4] RFC 1590: MIME: Registration Procedure [5] RFC 2045: MIME Part One: Format of Internet Bodies [6] RFC 2046: MIME Part Two: Media-Types [7] IANA Media-Type Liste: ftp://ftp.isi.edu/in-notes/iana/assignments/media-types/ [8] W3C: U. Rerrer Übung zu Verteilte Systeme 39