Programmierkurs Kapitel 3

Transkript

1 Kapitel 3 Dipl.-Wirt.-Inf. Stefan Fleischer Dipl.-Wirt.-Inf. Ulrich Wolffgang

2 Komponente: Downloader Interface für Downloader entwickeln import java.io.ioexception; import java.net.url; public interface IDownloader { public String download(url url) throws IOException; } 1 Entwicklungsfolie für die Tafel

3 Problempunkte Aufgabe: Die download-methode soll eine Webseite von einem Webserver laden, ermitteln, wie die Seite codiert ist (z. B. ASCII oder UTF8), und Text der Seite zurückgeben. Das Herunterladen der Webseite geschieht mit einem Standardisierten Verfahren (Protokoll): Hypertext Transfer Protocol (HTTP). Um HTTP in Java zu nutzen und Fehlermeldungen interpretieren zu können, wird grundlegendes Verständnis über Netzwerktechnik benötigt. 2

4 ISO/OSI-Modell Schichtenmodell für Kommunikationsprotokolle Schichten bauen aufeinander auf, L4 setzt L3 voraus. 3

5 ISO/OSI Im Folgenden ein paar Grundlagen zu den Schichten L2 L5 Schicht 2 (L2): Data Link Layer Netzwerkkarte (NIC) besitzt eine MAC Adresse, z. B. 08:00:20:ae:fd:7e Diese dient der Adressierung einer NIC im lokalen Netzwerk (LAN) Hub mit 4 Ports Hub (L1) leitet eingehende Pakete an sämtliche Ports weiter. Switch (L2) versteht Adressierung der Pakete. Merkt sich, welche MAC- Adressen über welchem Port erreichbar sind und leitet eingehende Pakete nur an den passende Ports weiter. 4

6 ISO/OSI Schicht 3 (L3): Network Layer Jeder NIC kann eine oder mehrere IP-Adressen zugewiesen werden IP-Adresse dient u. a. der Adressierung einer NIC über lokales Netz hinaus, 32-stellige Binärzahl, z. B.: oder IP-Konfiguration unter Windows anzeigen: ipconfig /all Erreichbarkeit eines Host prüfen: ping Die meisten Internetpakete müssen von Router zu Router über mehrere Schritte (Hops) bis zum Ziel weitergeleitet werden. Router verbinden Netzwerke und müssen zur Wegfindung die beste Route zum Ziel kennen. Routen werden durch Metrik gewichtet. Routingtabelle anzeigen lassen: route PRINT Weg eines Pakets zum Ziel anzeigen lassen: tracert Bei Consumer-Routern werden sämtliche Pakete über eine Hauptroute (Standard-Gateway) geleitet Zieladresse

7 ISO/OSI 6

8 ISO/OSI Address Resolution Protocol (ARP) bildet IP-Adressen (L3) auf MAC- Adressen (L2) ab. Aktive Abbildungen anzeigen lassen: arp a Schicht 4 (L4): Transport Layer Stellt End-zu-End-Kommunikation sicher Wichtige Standards (Protokolle): TCP und UDP TCP: Verbindungsorientiert, zuverlässig, langsam UDP: Verbindungslos, unzuverlässig, schnell Schicht 5-7 (L5 L7): Deckt Sitzungen, Codierung und Applikationen ab Domain Name System bildet Hostnamen ( auf eine oder mehrere IP-Adressen ab. Abfrage auf Namensserver: nslookup 7

9 Sniffer Sniffer: Software zum Aufzeichnen, Darstellen und Auswerten von Netzwerkverkehr Verbreiteter Sniffer: Wireshark Ermöglicht das Filtern nach Kriterien: Capture-Filter vs. Display-Filter Webseite abrufen ARP fragt im LAN per Broadcast nach MAC-Adresse des Routers DNS-Client fragt DNS-Server nach IP-Adresse zu der Adresse Windows baut mit Host unter ermittelter IP-Adresse Verbindung auf: SYN SYN-ACK ACK HTTP-Client (Browser) ruft von der IP-Adresse per HTTP GET- Befehl die Ressource (Webseite) ab. 8

10 Uniform Resource Locator (URL) Identifiziert und lokalisiert eine Ressource in Computer- Netzwerken (nicht nur im WWW) Bekannt aus jedem Browser Aufbau am1=wert1&param2=wert2 Protokoll: http, https, ftp, User, Password: Authentifizierungsdaten Host: gibt Ort der Ressource an, Port: erlaubt Ansteuerung eines TCP-Ports, Standard bei http ist 80 URL-Pfad: beschreibt Pfad auf Host zur Ressource Suchpfad: enthält optionale Parameter (z. B. für Webskripte) 9

11 HTTP Protokoll zur Übertragung von Daten über Netzwerk Wird von Browser und Webserver implementiert Nutzung primär für Transport von Webseiten und anderen Dateien Setzt TCP/IP voraus Bildet CRUD durch folgende 4 Request-Methoden ab: POST: Daten an Webserver schicken / Ressource neu anlegen (C) GET: Ressource von Webserver anfordern, Caching möglich (R) PUT: Ressource auf Webserver hochladen / erneuern (U) DELETE: Ressource auf Webserver löschen (D) 10

12 Beispiel: HTTP GET Anfrage von Webbrowser an Webserver per HTTP GET: GET / HTTP/1.1 Host: Antwort des Webservers an den Webbrowser HTTP/ OK Date: Thu, 11 Feb :47:09 GMT Content-Type: text/html; charset=iso <html><head><title>google</title> 11

13 HTTP Statuscodes Webserver gibt bei Antwort Statuscode zurück Statuscodes 1xx: Information, Bearbeitung der Anfrage dauert an 2xx: erfolgreiche Operation 200: OK, Anfrage erfolgreich bearbeitet 3xx: Umleitung: Leitet Browser an andere Location weiter 4xx: Client-Fehler: Fehler in der Anfrage 401: Unauthorized: erneute Authentifizierung nötig 404: Not Found: Ressource nicht vorhanden 5xx: Server-Fehler: Fehler in der Verarbeitung auf Serverseite 500: Internal Server Error: Unerwarteter Server-Fehler, z.b. bei Generierung der Webseite durch PHP Und viele weitere in diesen fünf Kategorien 12

14 HTTP User Agent Bei HTTP Anfrage wird im Header Information zu anfragendem Systemtyp gesendet Enthält z. B. Informationen über Betriebssystem, Browser, Versionen, Genannt User-Agent, z. B.: User-Agent: Mozilla/5.0 (Windows; U; Windows NT 6.1; de; rv: ) Gecko/ Firefox/3.5.7 User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2;.NET CLR ;.NET CLR ;.NET CLR ; Media Center PC 6.0) Der Crawler sollte eigenen User Agent bekannt geben 13

15 Multipurpose Internet Mail Extensions (MIME) Problem: Wir wollen wissen, welche Art von Datei (Text, Bild, Film, ) der Webserver uns per HTTP übermittelt. Dateiendungen reichen dafür nicht aus, sind eine Spezialität von Windows. Lösung: Webserver teilt Art der Datei (Content-Type) durch MIME-Code per HTTP mit. Z. B.: Für (X)HTML: text/html, text/xml, application/html oder application/xhtml+xml Für Jpeg-Bild: image/jpeg Für Stylesheet-Datei: text/css Über 130 weitere 14

16 Codierung Problem: Wir wollen wissen, in welcher Codierung der Webserver uns die Datei per HTTP übermittelt. Problem: Dateien im WWW sind uneinheitlich codiert. Textdateien werden als Ansammlungen von Bits vom Webserver übertragen, die zu Zeichen interpretiert werden müssen. ASCII- Zeichencode Jedes Zeichen 7 Bit 2^7 = 128 Zeichen A = 41, B = 42, Zeilenumbruch = 10, Wagenrücklauf = 13, Darstellung von Umlauten in Codepages auf den Werten Verschiedene Codepages für verschiedene Sprachen 15

17 Codierung UTF8-Zeichencode Die ersten 127 Zeichen gleichen denen von ASCII Kompatibilität Jedes Zeichen bis zu 4 Byte = 32 Bit ein Zeichencode für Zeichen sämtlicher Sprachen Lösung: Webserver teilt Codierung der Datei (Content- Encoding) durch MIME-Code per HTTP mit. Z. B.: Für ASCII: US-ASCII Für UTF8: utf-8 Für Latin1: ISO Viele weitere 16

18 Codierung Bildquelle: google.com 17

19 Startpunkt für Entwicklung Entwicklung startet wieder mit Singleton-Klasse: public class Downloader implements IDownloader{ private static Downloader instance; private Downloader(){}; //Konstruktor public static Downloader getinstance(){ if(instance == null) instance = new Downloader(); return instance; } } public String download(url url) throws IOException { // } 18

20 Umsetzung in Java: Pseudocode public String download(url url) throws IOException { //open HTTP connection //set timeout //set HTTP method //set user agent } //get the HTTP response code //check, if the HTTP response is a success message //get the content type of the content delivered //check, if the content type is HTML, XHTML or XML //get the content encoding from the HTTP connection //if no content encoding could be found, //set content encoding to ISO //get reader from the HTTP connection, using the content encoding //fetch the content from the reader to a string //disconnect from the webserver //return the string 19

21 Umsetzung/Hilfe in Java Java bietet für all diese Problembereiche Klassen an HTTP-Verbindung: HttpURLConnection bietet Methoden zur Interaktion mit Webserver URL.openConnection() liefert URLConnection HttpURLConnection.setRequestMethod () und HttpURLConnection.addRequestProperty() beachten. Google für Beispiele (Z. B. Stichwort HttpURLConnection example ), Suchen, Ändern und Nutzen kleiner Beispielquelltexte aus dem WWW ist bei privatem Programmieren in Ordnung und sinnvoll, solange man versteht, was im Quelltext steht! ResponseCode, ContentType, ContentEncoding: Code Completion bei HttpURLConnection nutzen Methoden suchen. Reader: HttpURLConnection.getInputStream() liefert Inhalt der Webseite als Zeichenstrom. 20

22 Streams, Reader Dieser Zeichenstrom muss verarbeitet werden. Zur Effizienzerhöhung Puffer verwenden: java.io.reader.bufferedreader Reader kann zeilenweise ausgelesen werden Reader können geschachtelt werden: BufferedReader reader = new BufferedReader( new InputStreamReader( HttpURLConnection.getInputStream(), contentencoding)); while((line=reader.readline())!= null) //zeilenweise lesen //Zeile (line) verarbeiten 21