Web Service: Google SOAP Search

Transkript

1 Seite 1 von 10 P. Schädler und P. Janka

2 1 Einleitung Technik Kategorien SOAP WSDL und UDDI Sicherheit Praktisches Beispiel Einführung Hello World als Web Service Ablauf des Web Services Implementation Ablauf des Web Services Implementation Anhang Quellenverzeichnis Serverdatei des Hello World Beispiels Clientdatei des Hello World Beispiels Clientdatei des Beispiels Seite 2 von 10 P. Schädler und P. Janka

3 1 Einleitung Ein Web Service ist eine Anwendung, die einem Benutzer auf einer beliebigen Homepage A zur Verfügung gestellt wird, die jedoch nicht auf dem Web-Server der Homepage A läuft, sondern auf einem anderen Web-Server. Dieser Web-Server gehört dem Hersteller des Web Services. Für den Benutzer sieht es jedoch so aus, als ob die Anwendung auf dem Server der Homepage A laufen würde. Das wird bewerkstelligt, indem die Anwendung des Drittanbieters auf der Homepage A über ein API (Application Programming Interface) eingebunden und als grafische Oberfläche ausgegeben wird. 2 Technik 2.1 Kategorien Web Services können grob in drei Kategorien eingeteilt werden. Die Kategorien unterscheiden sich in der Implementation und Verwendung der Protokolle, mit denen Hersteller ihre Web Services zugänglich machen. Unter Implementation und Verwendung der Protokolle versteht man die Art und Weise, wie Web Services auf Homepages eingebaut werden können, d.h. wie Funktionsaufrufe an Web Services getätigt werden müssen. Die effektiven Daten, die zwischen dem Benutzer und dem Web Service ausgetauscht werden, werden immer mit HTTP übertragen. 1. REST (Representational State Transfer) REST verwendet HTTP-Methoden und URIs (Unified Ressource Identifier) für die Funktionsaufrufe. Die Daten zwischen Benutzer und Web Service können ein beliebiges Dateiformat haben und werden mit einer URL (Unified Ressource Locator) adressiert. URLs sind ein Bestandteil der Überkategorie URI. 2. RPC (Remote Procedure Call) In diesem Fall wird das RPC-Protokoll für die Funktionsaufrufe an den Web Service verwendet. In den meisten Fällen werden diese Daten in ein XML- Dokument gekapselt. In diesem Zusammenhang wird auch von XML-RPC gesprochen. 3. SOAP (Simple Object Access Protocol) Wie der Name schon sagt, werden die Funktionsaufrufe per SOAP an den Web Service gesendet. Die Struktur von SOAP Paketen wird mit WSDL (Web Services Description Language) definiert, welches wiederum dem XML- Standard (Extended Markup Language) entspricht. In diesem Vortrag soll lediglich auf SOAP-basierende Web Services eingegangen werden, welche sich in Zukunft wohl als Standard etablieren werden. SOAP ist aus XML-RPC hervorgegangen und bietet gegenüber XML-RPC einige Erweiterungen, wie z.b. die Verwendung verschiedener Transportwege, während XML-RPC auf HTTP beschränkt ist. Vorteile von SOAP sind Plattformunabhängigkeit, Offenheit des Standards und seine gute Akzeptanz bzw. Verbreitung. Ein Nachteil ist die etwas geringere Performance gegenüber Web Services mit REST aufgrund des Overheads, der sich durch die XML-Konformität ergibt. Wie schon in der Einleitung erwähnt wurde, wird ein API benötigt, damit ein Web Service auf einem Web-Server mit PHP oder einem lokalen Client mit C# oder Java implementiert werden kann. Deshalb muss ein Web Service auch nicht zwingend über eine Homepage angesprochen werden, sondern kann auch lokal genutzt werden Seite 3 von 10 P. Schädler und P. Janka

4 2.2 SOAP Wie schon unter Kapitel 2.1 erklärt wurde, werden die Funktionsaufrufe von Web Services mit dem Protokoll SOAP übertragen. Ein SOAP Dokument enthält ähnlich einem HTML Dokument einen Header und einen Body. Die restliche Struktur entspricht einem XML Dokument. Um die SOAP Dokumente zu übertragen, können verschiedene Protokolle der Anwendungsschicht (z.b. HTTP oder FTP) und der Transportschicht (z.b. TCP oder UDP) verwendet werden. SOAP Dateien werden vom Web Service dynamisch generiert. Bei PHP geschieht dies z.b. mit Hilfe der Klasse nusoap.php von NuSphere. Die so generierten SOAP Dateien sind dabei nicht sichtbar, sondern werden im Hintergrund zwischen dem Service Konsument und dem Service Anbieter ausgetauscht, während der Benutzer auf seinem Bildschirm lediglich das Ergebnis sieht. 2.3 WSDL und UDDI WSDL ist eine, den XML-Spezifikationen entsprechende, plattform- und programmiersprachenunabhängige Metasprache. Die Funktionen, Daten und verwendeten Protokolle eines Web Services werden in einem WSDL Dokument definiert, welches im Web Service eingebaut sein muss. WSDL wird jedoch nur dann benötigt wenn auf einem Server nach einem Web Service gesucht werden soll. Das funktioniert ähnlich den Gelben Seiten. Dabei werden die Web Services nach den im WSDL Dokument gespeicherten Parametern katalogisiert und auf einem Server mittels UDDI (Universal Description, Discovery and Integration) abgelegt. Auch UDDI basiert auf XML. 2.4 Sicherheit Da Web Services noch relativ jung sind und somit in vielen Bereichen von diversen Konsortien parallel entwickelt wurden und werden gibt es auch auf dem Gebiet der Sicherheit noch keinen Standard, der sich bisher klar durchgesetzt hat. Die momentan umfassendste und am weitesten verbreitete Beschreibung, wie Web Services sicher gemacht werden können ist WS-Security (Web Service Security). WS-Security ist ein Konsortium, welchem u.a. Schwergewichte wie IBM oder Microsoft angehören. Bei Web Services muss grundsätzlich zwischen Transport- und Nachrichten-Verschlüsselung unterschieden werden. Die Transport-Verschlüsselung reicht aus, falls die Übertragung nur zwischen zwei Stationen stattfindet. Wird die SOAP-Nachricht jedoch über mehrere Stationen übermittelt, muss zusätzlich eine Nachrichten- oder Ende-zu-Ende-Verschlüsselung eingesetzt werden. Ist dies gegeben, können folgende weiteren Sicherheitsmerkmale berücksichtigt werden: 1. Ist der Absender der SOAP Nachricht auch wirklich derjenige, für den er sich ausgibt (Authentifizierung), und wurde die SOAP Nachricht während der Übertragung auch nicht verändert (Signature)? Transport-Ebene: Mittels Zertifikaten nach dem X.509 Standard kann der Absender authentifiziert werden. Ob die Nachricht während der Übertragung verändert wurde, kann mit SSL/TLS sichergestellt werden (siehe auch Authorisierung auf der Transport-Ebene). Nachrichten-Ebene: Mit XML Signature werden digitale Signaturen erzeugt, welche mit einem asymmtrischen Algorithmus, i.d.r. dem RSA-Algorithmus, verschlüsselt werden Seite 4 von 10 P. Schädler und P. Janka

5 2. Wurde die SOAP Nachricht auch nur von berechtigten Instanzen gelesen (Authorisierung)? Transport-Ebene: Der Transportweg wird meist mit SSL/TLS (Secure Socket Layer / Transport Layer Security) verschlüsselt. Dies gewährleistet, dass nur der authorisierte Empfänger die SOAP-Nachricht lesen und somit auch verändern kann. SSL/TLS funktioniert i.d.r. nur zwischen zwei Stationen und nicht mehreren. Nachrichten-Ebene: Mit XML Encryption kann entweder die ganze SOAP Nachricht oder lediglich sicherheitsrelevante Teile verschlüsselt werden. Wenn lediglich sicherheitsrelevante Teile verschlüsselt werden ist zudem sichergestellt, dass berechtigte Zwischenstationen gewisse Teile der SOAP Nachricht lesen und bearbeiten können. 3 Praktisches Beispiel 3.1 Einführung Einen Web Service kann man natürlich in verschiedenen Programmiersprachen und mit diversen Entwicklungsumgebungen realisieren. Bei diesem Projekt wurde PHP für die Implementation gewählt. Es gibt heute bereits vordefinierte Klassen, wie z.b. nusoap.php von NuSphere, die es erlauben, Web Services auf der Basis von SOAP zu realisieren. In allen nachfolgenden Beispielen wird diese Klasse verwendet. 3.2 Hello World als Web Service Ablauf des Web Services Der ganze Service benötigt grundsätzlich drei Komponenten. So braucht es einen Server des Service Anbieters (hier: auf dem die Applikation (hier: Hello World) ausgeführt wird, einen Server des Service Konsumenten (hier: und einen Benutzer (hier: Student) der über den Service Konsumenten die Applikation benutzt. Die folgende Grafik zeigt den Ablauf des Web Services. Abbildung 1: Hello World Web Service Seite 5 von 10 P. Schädler und P. Janka

6 1. Der Student gibt in seinem Browser die Adresse der Clientdatei ein: 2. Die Clientdatei auf dem Service Konsumenten ruft den Web Service automatisch unter der URL der Serverdatei auf: 3. Der Web Service wird abgearbeitet und das Ergebnis vom Service Anbieter an den Service Konsumenten zurück gesendet. 4. Der Service Konsument zeigt das Resultat im Browser des Benutzers an Implementation Der PHP Code dieses Hello World Web Services soll beispielhaft zeigen, wie die konkrete Implementation eines kleinen Web Services aussieht. Zunächst benötigt das Beispiel, wie unter Kapitel 3.1 erwähnt, eine Serverdatei sowie die Klasse nusoap.php, welche am Anfang der Serverdatei eingebunden werden muss und Dienste zur Verfügung stellt, welche dann vom Client aufgerufen werden können. Vorzugsweise wird die Klasse nusoap.php in dasselbe Verzeichnis des Web Servers wie die Serverdatei geladen. Der Quellcode der Serverdatei kann Kapitel 4.2 entnommen werden. Nun wird die Serverdatei auf einen Server geladen, in unserem Fall ist dies die Homepage von Philip Schädler: Um den Web Service auf diesem Server über SOAP ansprechen zu können, braucht es natürlich noch einen Client, der auf einer anderen Homepage gespeichert werden muss, da es sich ja um einen Web Service handelt. Der Quellcode des Clients kann Kapitel 4.3 entnommen werden. Hierzu wurde die Homepage von Pirmin Janka gewählt: Die Implementation des Clients ist relativ einfach. Die Angabe des richtigen Servers ist entscheidend da der Web Service mit einer falschen Angabe die zum Web Service zugehörige Serverdatei nicht finden kann und der Web Service somit nicht funktionieren kann. Der Web Service funktioniert korrekt, falls Hello World im Web Browser erfolgreich ausgegeben wird, wenn die Client-Datei aufgerufen wird. 3.3 Obwohl es Web Services seit einiger Zeit gibt, sind diese heute immer noch relativ selten im Einsatz. Es gibt einige Firmen, wie z.b. Google, die jetzt immer mehr solche Services anbieten. In Zukunft werden Web Services in einem breiteren Umfeld eine grössere Bedeutung bekommen. Da es heute noch nicht allzu viele Web Services gibt, wurde für diese Seminararbeit ein relativ alter und daher einigermassen ausgereifter Web Service von Google gewählt. Der Web Service heisst API und ermöglicht die Implementation einer Suchmaschine auf der eigenen Homepage, welche auf Google via SOAP und einer API zugreifen kann. Ohne diesen Web Service war man bisher auf eine HTML-Schnittstelle beschränkt, wenn man eine Google Suchmaschine auf der eigenen Homepage betreiben wollte. Die Suchergebnisse konnten mit dieser Schnittstelle natürlich auch nicht direkt auf der eigenen Homepage in einem eigenen Programm angezeigt werden. Mit dem Web Service von Google ist dies, wie bereits erwähnt, über definierte Schnittstellen möglich Ablauf des Web Services Grundsätzlich ist der Ablauf bei Googles SOAP Search ähnlich wie beim vorhergehenden Hello World Beispiel. Auch hier wird also ein Benutzer, Service Konsument und Service Anbieter benötigt. Da der Benutzer bei Google SOAP Search jedoch mit dem Web Service interagiert ist der ganze Ablauf etwas Seite 6 von 10 P. Schädler und P. Janka

7 komplizierter. Der genaue Ablauf einer Suchanfrage über die API wird in einzelnen Schritten anhand folgender Grafik erklärt: Abbildung 2: 1. Der Student ruft auf dem Paspels Server die Beispielapplikation über eine gewöhnliche Homepage auf. 2. wird nach der Ausführung auf dem Paspels Server zum Benutzer zurückgesendet und im Browser dargestellt. 3. Der Benutzer gibt über die Benutzerschnittstelle einen Suchbegriff ein und sendet die Anfrage durch Klicken eines Submit-Buttons zuerst an den Paspels- Server. 4. Die Applikation auf dem Paspels Server generiert automatisch ein SOAP-Paket, welches die Anfrage des Benutzers enthält und sendet dies an den Service Anbieter. 5. Der Service Anbieter wiederum führt die Anfrage auf der Suchmaschine Google aus und schreibt das Resultat in ein neues SOAP-Paket, welches dann zum Service Konsument zurückgesendet wird. 6. Die Applikation auf dem Paspels Server hat somit die Suchresultate von Google via SOAP erhalten und kann sie nun verarbeiten. Auf dem PC des Studenten erscheinen die Suchresultate, als ob direkt bei Google gesucht worden wäre. Anhand dieses Web Services ist es also möglich, eine eigene Suchmaschine auf der eigenen Homepage oder in einem eigenen Programm zu integrieren. Die Suchanfrage wird total im Hintergrund via SOAP ausgeführt, sodass der Benutzer den Eindruck bekommt, direkt auf der Homepage zu suchen, auf dem die Google SOAP Search implementiert ist Implementation Die Implementation erfolgt ähnlich wie im Hello World Beispiel, mit dem Unterschied, dass die Serverdatei nicht selbst programmiert werden muss, da diese von Google bereitgestellt wird. Die Clientdatei wurde jedoch mithilfe der Klasse Seite 7 von 10 P. Schädler und P. Janka

8 nusoap.php selbst programmiert. Die Funktionen müssen in dieser Datei korrekt aufgerufen werden, damit Google die Suchanfrage bearbeiten kann. Der Quellcode der Clientdatei mit den Kommentaren ist im Anhang publiziert, da er wesentlich umfangreicher ist, als der Quellcode des Hello World Beispiels aus Kapitel Anhang 4.1 Quellenverzeichnis [1] Wang Dapeng: Wo ist mein Web Service? [2] Horn Torsten: Web Services mit SOAP (Simple Object Access Protocol), WSDL (Web Services Description Language) und UDDI (Universal Description, Discovery, and Integration) [3] Bayer Thomas: REST Web Services [4] Bayer Thomas: Einführung in Webservices mit XML-RPC [5] de.wikipedia.org: SOAP [6] de.wikipedia.org: WSDL [7] netigator.de: Vielfalt bei der Webservice-Sicherheit verwirrt ave,pid,archiv,id, ,obj,,np,,ng,,thes,,page,0,1.html 4.2 Serverdatei des Hello World Beispiels <?php //Die Klasse nusoap.php wird eingebunden require_once("nusoap.php"); //Ein Objekt vom Typ soap_server wird erstellt $soap_server = new soap_server(); //Die Funktion Hello wird auf dem Server registriert $soap_server->register('hello'); //Implementation der Funktion Hello function Hello(){ return "Hello World"; } //POST-Daten werden nur durch den SOAP-Server verarbeitet $soap_server->service($http_raw_post_data); //Das Skript wird beendet exit();?> Seite 8 von 10 P. Schädler und P. Janka

9 4.3 Clientdatei des Hello World Beispiels <?php //Die Klasse nusoap.php wird eingebunden require_once("nusoap.php"); //Ein Objekt vom Typ soapclient mit der URL des SOAP-Servers wird erstellt $soapclient = new soapclient(' //Die Funktion Hello wird auf dem SOAP-Server aufgerufen echo $soapclient->call('hello');?> 4.4 Clientdatei des Beispiels <?php // o o // Programm: Google SOAP API Web Service DEMO // Modul: TeSem (Seminar 2006) // Dateiname: index.php // Version: 1.0 // // Copyright(c) 2006, Pirmin Janka und Philip Schädler // HTW Chur // o o //nusoap.php wird eingebunden require_once("nusoap.php"); //Seite mit Suchfeld und Submitbutton wird ausgegeben echo " API DEMO <br><br>"; echo"<form action='index.php' method='get'>"; echo"suche: <input type='text' name='suchfeld' size='20'>"; echo"<input type='submit' name='submit' value='suchen'>"; echo"</form>"; //Initialisierung der Parameter mit den Standardwerten $parameters = array( "key" => "", "q" => "", "start" => "", "maxresults" => "", "filter" => "", "restrict" => "", "safesearch" => "", "lr" => "lang_de", "ie" => "UTF-16", "oe" => "UTF-16" ); //Wird ausgeführt, sobald die Variable suchfeld aus der Suchform gesetzt ist //Dieser Fall tritt ein, sobald der Suchbutton in der Suchform betätigt wurde if(isset($_get['suchfeld'])){ //Key von Google erlaubt 1000 Abfragen pro Tag $key = "3gCOWhFQFHIqs976ADlcWF/9fTETVJ7N"; $max_results = 10; //Definition der maximal angezeigten Resultate //Suchbegriff wird aus der Variable Suchfeld über GET eingelesen $query = $_GET['suchfeld']; //Abhängig von der Variable seite wird über GET der Starteintrag der Suchresultate festgelegt if($_get['seite'] == $seite){ $start = $max_results * $seite; } else { Seite 9 von 10 P. Schädler und P. Janka

10 } $start = 0; //Ein Objekt vom Typ soapclient mit der URL des SOAP-Servers wird erstellt $soapclient = new soapclient(" //Parameter werden übergeben (spezielle sind kommentiert) $parameters = array( "key" => $key, //Google Key (muss registriert werden "q" => "$query", //Suchbegriff "start" => $start, //Starteintrag der Resultate "maxresults" => $max_results, //Anzahl Suchresultate "filter" => false, //Filter werden keine gesetzt "restrict" => "", "safesearch" => false, "lr" => "lang_de", "ie" => "UTF-16", "oe" => "UTF-16" ); //Aufruf der Funktion dogooglesearch mit den Parametern (dogooglesearch befindet sich auf dem SOAP-Server von Google) $result = $soapclient->call("dogooglesearch", $parameters, "urn:googlesearch"); $searchtime = $result["searchtime"]; //Suchzeit wird vom SOAP-Server ausgelesen $begin = $start + 1; $end = $start + $parameters["maxresults"]; $total = $result["estimatedtotalresultscount"]; //Anzahl Resultate //Ausgabe der Anzahl Suchergebnisse und der Suchzeit echo "Ihre Suche nach $query lieferte folgende Ergebnisse:<br>"; echo "Suchzeit: $searchtime <br><br>"; //Auslesen der Suchresultate in einer Schlaufe //Die Resultate sind abhängig von der Variable result, welche den soapclient->call enthält for ($i = 1; $i <= $parameters["maxresults"]; $i++){ $element = $result["resultelements"][$i]; $url = $element["url"]; $title = $element["title"]; $snippet = $element["snippet"]; } //Ausgabe der Suchresultate echo "<a href=$url>$title</a><br>"; echo "$snippet"; echo "<br>"; echo "<i>$url</i>"; echo "<br><br>"; //Variable für die nächste Seite $n_seite = $seite + 1; //Link für die nächsten 10 Resultate echo "<a href='index.php?suchfeld=$suchfeld&submit=suchen&seite=$n_seite>weiter - ></a><br>"; }?> Seite 10 von 10 P. Schädler und P. Janka