Zugriff auf dynamische Web-Seiten mittels Web-Mining-Techniken Kurzfassung

Transkript

1 Zugriff auf dynamische Web-Seiten mittels Web-Mining-Techniken Kurzfassung Ilvio Bruder Lehrstuhl Datenbank- und Informationssysteme Fachbereich Informatik, Universität Rostock Ein Problem aktueller Internet-Suchmaschinen ist, daß ausschließlich statische Dokumente gesammelt, analysiert und indexiert werden. Ein Großteil des verfügbaren Wissens ist allerdings im sogenannten hidden web hinter einer Zugangs- bzw. Anfrage-Web-Seite verborgen. Ein Ansatz zum Erfassen von solch versteckten Wissen ist das Ausnutzen von kombinierten Analysetechniken des Text-Mining. Mit dem analysierten Wissen aus der Zugangs-Web-Seite wird auf die Zugriffsmechanismen geschlossen. Die Langfassung dieses Artikels ist unter [3] zu finden. 1 Einführung Das Internet ist eine stetig wachsende Wissensbank (1999: ca. 800 Mio.; heute: über 1 Mrd. Seiten, [5]). Das Auffinden bestimmter Daten ist für den Nutzer nicht unproblematisch. Die Erreichbarkeit der Daten kann mittels direkter Addressierung (URL), durch Verfolgen von Links von einer Ausgangsseite (auch automatisch) oder mittels einer Suchanfrage an eine Internet-Suchmaschine geschehen, wobei diese Zugriffsmechanismen nicht für alle Gegebenheiten des Web ausreichen. Der Großteil der Informationen lagert in Datenbanken oder wird anderweitig dynamisch auf Anfrage generiert. Es wird deshalb zwischen dem statisch vorliegenden und dynamisch vorliegenden Web-Dokumenten unterschieden: Statische Dokumente, das sind Dokumente, die ständig in ihrer entgültigen Form vorliegen und stetig mit oben genannten Möglichkeiten erreichbar sind, beispielsweise Dynamische Dokumente werden aufgrund einer Anfrage zusammengebaut und dann präsentiert, z.b. der Hotel-Suchservice Eine genauere Definition dynamischer Web-Inhalte bzgl. statischer Seiten gibt [6]: A page is said to be dynamic if some or all of its content is generated at run-time (i.e., after the request for P is received at the server) by a program executing either on the server or on the client. This is in contrast to a static page P, where the entire content of P already exists on the server, ready to transmitted to the client whenever a request is received. Schätzungen zum Umfang solcher dynamischen Daten gehen von einem Vielfachem der Menge der statische Daten aus. Daten in Datenbanken sind oftmals genauer, wahrheitsgetreuer und für den Nutzer besser erschließbar als bei statischen HTML-Seiten, da sie vor allem regelmäßiger und einfacher gewartet werden können. Heutige Suchmaschinen sind nicht in der Lage, dynamische Dokumente zu indexieren, da der Zugriff konkretes Wissen über die Inhaltsthematik sowie über den speziellen Zugangsmechanismus voraussetzt.

2 In diesem Artikel werden mögliche Ansätze des (automatischen) Zugriffs auf dynamische Web-Inhalte diskutiert. Anschließend wird ein Web-Mining-Zugriffsmechanismus mittels wissensbasierter, natürlichsprachlicher Analysetechniken vorgestellt. 2 Zugriff auf dynamische Web-Seiten 2.1 Charakteristika und Technik der dynamischen Web-Inhalte Ausgehend von der oben beschriebenen Unterscheidung statischer und dynamischer Web-Dokumente werden nun die Charakteristika der dynamischen Web-Dokumente diskutiert. Dynamische Web-Dokumente können aufgrund von inhaltlichen, strukturellen oder zugriffstechnischen Aspekten charakterisiert werden. Besonders interessant ist allerdings der technische Zugang zum hidden web. Es gibt zwei wesentliche, technische Möglichkeiten, Webinhalte dynamisch zu generieren. Server-seitig: Die Umsetzung der Eingabe auf die entsprechenden Informationen geschieht auf Seiten des Servers. Wird beispielsweise bei großen Server-Datenbanken mit Webzugriff verwendet. Client-seitig: Die Umsetzung geschieht Client-seitig, wobei eventuell weitere Daten zur Generierung des dynamischen Dokuments vom Server geholt werden müssen. Diese Technik verwenden beispielsweise Systeme, wo es auf auf viel Interaktion und schnelle Reaktionszeiten ankommt. Die Implementierung basiert oftmals auf einem HTML-Formular mit serverseitiges CGI-Script. Es zeigt sich aber eine Wende zu umfangreicheren Möglichkeiten (vor allem im Layout) mit Java, Javascript, Flash etc. Aufgrund der Komplexität wird hier nur der HTML-Formular-Zugriff betrachtet. HTML-Formulare Ein Formular wird mittels gebräuchlichen HTML-Tags und den speziellen Formular-Tags aufgebaut. Formal besteht es aus einer Menge von Paaren, das Element und die Wertemenge des Elementes (z.b. Element: Stadt Wertemenge: Hamburg, München,...). Zum Ausfüllen eines Formulars benötigt man die Elemente und Werte der Wertemenge. Die Wertemenge kann endlich oder unendlich sein, wobei die Werte endlicher Wertemengen im Formular vorgegeben ist. 2.2 Klassifikation der Zugriffsmöglichkeiten Es werden nun verschiedene anwendungsspezifische Möglichkeiten diskutiert, wie auf dynamische Web-Seiten zugegriffen werden kann. Im Wesentlichen kann man beim Zugriff zwischen kooperativ und nicht kooperativ unterscheiden. Das heißt, wenn der Anbieter der dynamischen Seiten den Zugriff wünscht und somit kooperativ ist, wird er die Daten, die zum Zugriff benötigt werden, offenlegen. Viele Anbieter wünschen allerdings nicht, daß ihre internen Daten preisgegeben werden und versperren sich somit gegen Suchsysteme. Im folgenden werden drei verschiedene, reale Anwendungstechniken gezeigt, wie der Zugriff auf dynamische Seiten vonstatten gehen kann und inwieweit eine Abhängigkeit zur Kooperation des Anbieters besteht. Wrappertechniken Wrapper (beispielsweise [7]) können mit hoher Genauigkeit relevante Daten aus einem Web-Dokument extrahieren. Sie können bei administrativer Angabe des Zugriffsmechanismus und der genauen Position des Ergebnisses in der Resultatsseite dynamische Inhalte erschließen. Das Hauptproblem solcher Wrapper ist die mangelnde Flexibilität. Bei Änderungen am Design der Web-Seiten sind eine Vielzahl der Wrapper schon überfordert. Relativ flexible Wrapper haben wiederum das Problem der Ungenauigkeit. Kooperation ist nicht zwingend notwendig aber hilfreich zur Erkennung des Zugriffsmechanismus und der Ergebnisse.

3 Suchmaschinen mit integrierbaren Indexen Ein Ansatz mit einem hohen Kooperationsanteil stellt die Erweiterung des Indexes einer herkömmlichern Information-Retrieval-basierten Suchmaschine dar [8]. Der Index wird dabei um Schlüsselwort-Einträge der dynamischen Dokumente mit Bezug auf die Eingangsseite erweitert. Die Schlüsselwörter werden vom kooperierenden Anbieter auf geeignete Weise bereitgestellt. Durch die Erweiterung des Indexes werden die dynamischen Seiten (i.a. die Eingangsseite) neben den statischen Seiten gefunden. Je größer die Kooperation zum Anbieter ist, je mehr können Suchindex und dynamische Seiten korreliert werden. Web-Mining Beim Web Mining, Data Mining im Web [4], wird auf den Web-Dokumenten eine Wissensextraktion durchgeführt. Das gewonnene Wissen wird wiederrum eingesetzt, um weiteres Wissen zu aquirieren. Ein Beispiel für solch eine Ausnutzung von Wissen ist der Zugriff auf dynamisch vorliegende Dokumente. Ein solcher Ansatz ist beispielsweise von der Stanford University der Hidden Web Exposer (HiWE, [6]). Hier werden aufgrund von bekanntem Wissen und bestimmten Informationen auf den Eingangsseiten zu dynamischen Inhalten neue Informationen gewonnen. Diese Informationen können dann als Index einer Suchmaschine genutzt werden. 2.3 Probleme Es gibt beim automatischen Zugriff auf dynamische Inhalte eine Reihe von Problemen, die hier kurz erläutert werden. Zuerst muß ein Formular einmal als solches erkannt werden und anwendungsspeziellen Anforderungen genügen. Dazu muß i.a. die eigentliche Bedeutung des Formulars erkannt werden, wozu meist die Summe der Bedeutungen jedes einzelnen Formularfeldes gehört. Um zu erkennen, welche Formularfelder wie ausgefüllt werden, müssen Aussagen aus der Webseite bzw. aus umgebenen Seiten zu einzelnen Formularfelder gefunden werden. Hat man die Bedeutung eines Feldes bestimmt, benötigt man nun konkrete Werte zum Ausfüllen. Und nachdem man das Formular ausgefüllt hat und abgeschickt hat, bekommt man ein Ergebnis, welches korrekte Daten oder Fehlermeldungen beinhalten kann. Eine besondere und schwierige Form ist der Dialog über mehrere Formularseiten. Hier müssen die bisherigen Formulare und ihre Einträge gemerkt werden, um korrekte Abbildungen von Formularwerten auf Ergebnissen zu haben. 3 Wissensbasierter Ansatz mit GETESS Der vorliegende Ansatz stellt ein Web-Mining-Ansatz dar, der keine Kooperation mit den Anbietern benötigt. Die Grundtechniken des Ansatzes stammen aus dem Projekt GETESS (GErman Text Exploitation and Search System [1]), das unten genauer beschrieben wird. Als grundlegende Voraussetzung wird strukturiertes und korreliertes Wissen für diesen Ansatz benötigt. Konkret wird zum einen strukturelles Grundwissen zum Zugriff und Zugriffsmechanismen und zum anderen domänenspezifisches Wissen zur jeweiligen Anwendungsdomäne benötigt. Das Wissen ist allgemein und besteht aus Konzepten, Beziehungen und eventuell Regeln. Die Einschränkung auf eine konkrete Anwendungsdomäne ist sinnvoll, damit die Analysewerkzeuge möglichst genau modelliert werden können und gravierende Mehrdeutigkeiten in der Semantik der Analyseergebnisse vermieden werden. Weiterhin sind Textanalyse-Werkzeuge, wie strukturelle, linguistische und domänenspezifische Textanalyse, nötig. Zum Speichern und Anfragen der extrahierten Daten kann je nach Anwendung ein einfacher Index mit Information Retrieval oder ein DBMS mit einer SQL-artigen Anfragemöglichkeit genutzt werden.

4 3.1 GETESS Im BMBF-Projekt GETESS ( wird versucht, eine Internet-Suchmaschine zu konzipieren, die natürlichsprachlich gestellte Anfragen mit Hilfe eines Dialogs möglichst genau beantwortet. Dazu wurden Techniken zur strukturellen, linguistischen und domänenspezifischen Textanalyse [2] entwickelt. Diese Techniken werden neben der Anfrageauswertung auch zur Analyse der gesammelten WWW-Texte verwendet. Diese Analysetechnik für WWW-Seiten ist die Schlüsseltechnik zum Zugriff auf dynamische Webinhalte. Die Analyse in GETESS besteht im Wesentlichen aus drei Komponenten: 1. Strukturanalyse (Universität Rostock): Normierung der Web-Dokumente; Ausnutzung der HTML-Tags zur Strukturierung zusammengehöriger Textbausteine 2. Linguistische Analyse (DFKI Saarbrücken): Normierung der Wörter (potentielle Schlüsselwörter); Extraktion linguistischer Beziehungen 3. Domänenspezifische Analyse (Universität Karlsruhe, DFKI Saarbrücken): Abbildung der Schlüsselwörter auf Konzepte in der Wissensbasis; Übertragung der Beziehungen aus der Wissensbasis auf die Beziehung zwischen den Schlüsselwörter 3.2 Szenario Im folgenden wird ein Szenario (Abb. 1) zum Ablauf eines Analyse- und Extraktionsprozesses für dynamische WWW-Dokumente dargestellt: Die einzugebenden Addressen der Formular-Eingangsseiten werden einem robot zum Einsam- Abbildung 1: Anwendungsszenario meln übergeben. Das eingesammelte Dokument wird nun zuerst mittels der strukturellen Analyse normiert. Dabei werden unwesentliche HTML-Tags entfernt und gegebenenfalls die verbleibenden HTML-Teilbäume vereint und die Formularfelder extrahiert. Anschließend wird eine linguistische Analyse auf das Restdokument und auf die extrahierten Formularfelder durchgeführt. Die linguistisch normierten Terme werden dann domänenspezifisch untersucht und Konzepten in der domänenspezifischen Wissensbasis zugeordnet. Die gefundenen Beziehungen in der Wissensbasis stellen die möglichen semantischen Beziehungen zwischen den analysierten Termen und damit zwischen den Formularfeldern und ihrer bedeutungsgebenden Umgebung. Hierbei werden Heuristiken benutzt, die auf einerseits strukturelle Nähe und andererseits linguistische Nähe von zusammengehörigen Wissenstermen beruhen. Eine weitere Möglichkeit in [6] ist die Ausnutzung von Layoutwissen für die Beziehungsfindung. Ist genug Text vorhanden, gegebenenfalls kann per Link noch weiteres Material dazugenommen

5 werden, und liegt das Formular im gesetzten Wissensgebiet, sollte ein abstraktes Abbild des realen Inhalts vorliegen. Der nächste Schritt ist, das Formular auszufüllen. Bei den Formularfeldern mit endlicher Wertemenge sind die möglichen Werte in der Web-Seite vorhanden und können eingesetzt werden. Bei unendlichen Wertemengen müssen erst Werte aus anderen Quellen gefunden werden, beispielsweise vorher definierte Wertelisten oder durch die GETESS-Suchmaschine 1 extrahierte Werte aus statischen Seiten. Ein ungeklärtes Problem ist die Entscheidung, welche Kombinationen man aus Formularwerten bei mehr als zwei Formularfelder eingibt. Die einfachste Lösung ist hier das kartesische Produkt aus allen Wertemengen. Allerdings kann es zu einem sehr großen Zeitaufwand bei vielen, großen Wertemengen kommen. Außerdem bleibt die Frage offen, welche der Felder vielleicht optional auszufüllen bzw. nicht relevant für die Anwendungsdomäne ist. Der letzte Schritt ist die Analyse des Ergebnisdokuments. Hier ist zum einen ein gutes Ergebnis von einer Fehlermeldung zu unterscheiden und zum anderen ist das Ergebnis zu analysieren und geeignet für die Suche aufzubereiten. Die Entscheidung, ob Fehler oder nicht, kann mit zusätzlichem allgemeinen Wissen zu möglichen Fehlermeldungen und Ausprägungen geschehen oder man nutzt die GETESS-Analyse, um nur relevante Informationen zur gesetzten Anwendungsdomäne zu extrahieren, so daß Fehler unberücksichtigt bleiben. Die GETESS-Analyse wird für die Extraktion der Daten aus den Dokumenten ohnehin verwendet. Die Analyseergebnisse werden in die bisherige Datenbasis aufgenommen und können bei anderen Formularzugriffen als Formularwerte verwendet werden. 4 Zusammenfassung Der vorgestellte Ansatz stellt eine Möglichkeit zur Wissensextraktion in dynamisch generierten Web-Dokumenten dar. Aufgrund der sinnvollen Einschränkung des Suchraums auf eine spezielle Anwendungsdomäne können spezialisierte und deshalb qualitativ hochwertige Analysewerkzeuge konkretes Wissen aus den Dokumenten beziehen. Diese Analyse bestimmt Daten zur Charakteristik des Formulardokuments, extrahiert Werte aus statischen Referenzseiten und analysiert die dynamisch erzeugten Ergebnisdokumente. Es gibt weiterhin einige Probleme beim Zugriff auf dynamische Web-Inhalte (s.o.), die man vielleicht mit mehr Wissensbasis, mit mehr Ungenauigkeit oder mit mehr Kooperation zum Web-Anbieter lösen kann. Ein automatischer, adaptiver Web-Crawler bleibt eine interessante, aktuelle Forschungsaufgabe. Literatur [1] M. Becker, J. Bedersdorfer, I. Bruder, A. Düsterhöft, and G. Neumann. GETESS: Constructing a Linguistic Search Index for an Internet Search Engine. Technical report, Juni [2] I. Bruder. Entwicklung eines Konzeptes zur Wissensextraktion durch den GETESS-Gatherer. Diplomarbeit, Universität Rostock, Juli [3] I. Bruder. Zugriff auf dynamische Web-Seiten mittels Web-Mining-Techniken. Preprint CS-04-01, Universität Rostock, April [4] M. N. Garofalakis, R. Rastogi, S. Seshadri, and K. Shim. Data Mining and the Web: Past, Present and Future. Technical report, [5] S. Lawrence and C. L. Giles. Accessibility of information on the web. Nature, (400), July [6] S. Raghavan and H. Garcia-Molina. Crawling the Hidden Web. Technical report, Stanford University, Stanford, CA, USA, [7] A. Sahuguet and F. Azavant. Building light-weight wrappers for lagacy web data-sources using W4F. Technical report, [8] G. Weber. Indexierung von Datenbankinhalten durch Suchmaschinen. Preprint CS-03-01, Universität Rostock, April Es wird dieselbe Wissensbasis sowie derselbe Analyseprozeß verwendet.