Instrumentierung der htdig-suchmaschine zum Qualitäts-Monitoring von Websites

Transkript

1 Fachhochschule Wiesbaden Fachbereich Informatik Diplomarbeit zur Erlangung des akademischen Grades Diplom-Informatiker (FH) Instrumentierung der htdig-suchmaschine zum Qualitäts-Monitoring von Websites vorgelegt von Walantis Giosis am 31. Oktober 2002 Referent: Prof. Dr. Karl-Otto Linn Koreferent: Prof. Dr. Reinhold Kröger

2 Eidesstattliche Erklärung Hiermit versichere ich, dass ich die vorliegende Diplomarbeit selbständig und nur unter Verwendung der angegebenen Hilfsmittel und Literaturquellen verfasst habe. Walantis Giosis Wiesbaden, 31. Oktober

3 Inhaltsverzeichnis 1 Einleitung 6 2 Grundlagen Das World Wide Web Auszeichnungssprachen SGML HTML Suchmaschinen Die htdig-suchmaschine Weitere Hilfsprogramme Die pcre-bibliothek Tidy und Curl Das Qt-Toolkit

4 3 Konzept Allgemeines Grobarchitektur Qualitäts-Monitoring von Websites Herleitung der Operationen HTML-Analyse Performance-Analyse Meta Description-Analyse Meta Keywords-Analyse Komplexitäts-Analyse Vollständigkeits-Analyse Instrumentierung von htdig Getrennte Datenhaltung Herleitung der Bewertungskriterien Navigation in Websites Die grafische Schnittstelle

5 4 Implementierung Implementierungsumgebung Softwarearchitektur Die Datenbasis Instrumentierung von htdig Erweiterung in der Image-Datenbank Die getsize-funktion Meta Keywords Versteckte Hyperlinks Speicherung der Extensions-Datenbank Das Engine-Modul Die Datenstrukturen Der Zugriff auf die Datenbanken Die Verwaltung der Daten Der Zugriff auf die Daten Die Quality-Klasse Die PCREGEX-Klasse Implementierungsstatistik Das Qualitäts-Monitoring Die HTML-Analyse Die Performance-Analyse Die Meta Description-Analyse Die Meta Keywords-Analyse Die Komplexitäts-Analyse

6 4.6.6 Die Vollständigkeits-Analyse Die Navigation Die inhaltsbasierte Navigation Implementierungsstatistik Das Filter-Modul Implementierungsstatistik Das Info-Modul Implementierungsstatistik Das Hauptprogramm Die Verwaltung der Bewertungsparameter Implementierungsstatistik Zusammenfassung und Ausblick Literaturverzeichnis 110 A Inhalt der CD 112 B Installationsanleitung 118 5

7 Kapitel 1 Einleitung Das World Wide Web (WWW) ist ein Teilnetzwerk des Internet und besteht aus einer Vielzahl von Rechnern, die miteinander vernetzt sind. Diese Rechner (im Folgenden Web-Server bezeichnet) enthalten Informationen, die in Form von HyperText existieren. HyperText- Dokumente lassen sich durchsuchen, lesen und ändern. Sie ermöglichen Verweise (engl. Hyperlinks) auf andere Dokumente, die mit Hilfe des Benutzers erreicht werden. HyperText- Dokumente werden in HTML verfasst (HyperText Markup Language). Bei HTML handelt es sich um eine Sprache, die dem Verfasser eines HTML-Dokuments ermöglicht, mit Hilfe von Befehlen, Texte zu strukturieren. Dazu wird noch die HyperText-Funktionalität verwendet, um z. B. mit Hilfe von Hyperlinks auf weitere HTML-Dokumente zu verweisen. Neben der textuellen Information und den Verweisen besteht mit HTML die Möglichkeit, die Dokumente grafisch zu gestalten. Mit Hilfe von Bildern und bunten Tabellen bleiben dem Verfasser eines HTML-Dokuments viele Möglichkeiten offen, um ein Dokument entsprechend aufzubereiten. Um die einzelnen HTML-Dokumente eines Verfassers im WWW zu organisieren, werden diese als eine Menge zusammengefasst und als Website bezeichnet. Eine Website wird auf einem Web-Server abgelegt und ist fortan Teil des WWW. Mit Hilfe eines Browsers kann sich der Benutzer durch das WWW bewegen und die einzelnen HTML-Dokumente betrachten. 6

8 KAPITEL 1. EINLEITUNG Im WWW befindet sich ein breites Angebot von Websites. Neben Firmen- und Angebotspräsentationen stellen auch viele Privatanwender ihre Informationen frei zur Verfügung. Dabei wird ein großer Wert auf die grafisch Darstellung der HTML-Dokumente gelegt, weil diese beim Benutzer vor dem eigentlichen Informationsinhalt ersichtlich wird. Die grafische Aufbereitung eines HTML-Dokuments ist von jedem Betrachter individuell zu bewerten und lässt sich nicht mit Hilfe eines Rechners bewerten. Im Rahmen dieser Diplomarbeit wird gezeigt, wie sich eine Website qualitativ bewerten lässt. Dabei werden hauptsächlich die inhaltlichen und strukturellen Eigenschaften einer Website untersucht - die grafische Eigenschaft wird nicht weiter betrachtet. Anhand des Aufbaus der einzelnen HTML-Dokumente lässt sich z. B. feststellen, ob die Website kompliziert aufgebaut ist (zu wenige Verweise innerhalb der HTML-Dokumente). Dies ist für den Betracher der Website relevant, da die angebotenen Informationen möglichst einfach zugänglich sein sollen. Mit Hilfe einer syntaktischen Analyse für HTML-Dokumente lässt sich überprüfen, ob diese fehlerfrei in HTML verfasst wurden. Die Fehlerfreiheit ermöglicht ein problemloses Darstellen des Dokuments in gängigen Browsern. Die notwendigen Informationen für die Qualitätsmessung liefert das Programm htdig. Dabei handelt es sich um einen sog. Web-Spider, der die HTML-Dokumente einer Website sammelt und bestimmte Informationen aus diesen extrahiert. Die Informationen müssen auf ihre Eignung untersucht werden, um festzustellen, ob diese für eine Qualitätsmessung nützlich sind. Die Instrumentierung erweitert htdig, um weitere Informationen zu extrahieren, die für die Qualitätsmessung notwendig sind. In einem weiteren Teil der Arbeit wird ein System entwickelt, welches die Beziehungen innerhalb einer Website darstellt. Dabei werden die einzelnen Teile einer Website (HTML- Dokumente und Verweise auf weitere Daten, z. B. Bilder) als abstrakte Objekte dargestellt und anhand ihrer Verweise mit einem Graph verbunden. Dem Benutzer wird die Möglichkeit gegeben, Teile der Website übersichtlich zu betrachten und sich darin zu bewegen (die sog. Navigation). Mit Hilfe der Qualitätsmessung für eine Website und der Navigation wird ein System vorgestellt, das bis zum heutigen Stand noch nicht in dieser Form existiert. 7

9 KAPITEL 1. EINLEITUNG Die Gliederung dieser Arbeit besteht aus weiteren drei Kapiteln: Kapitel 2 beginnt mit wichtigen Grundlagen des WWW in Bezug auf Websites und Web-Spidern. Dann werden die verwendeten Programme beschrieben, die für die Qualitätsmessung erforderlich sind (z. B. htdig). Kapitel 3 beschreibt das Konzept und die Herleitung der Ideen, die für das entwickelte System genutzt wurden. In Kapitel 4 ist ausführlich beschrieben, wie die Implementierung des Konzepts durchgeführt wurde. Dabei werden Klassendiagramme und Quelltext-Auszüge vorgestellt, die das Verständnis des Kapitels unterstützen. Im abschließenden Kapitel 5 sind die Ergebnisse dieser Arbeit zusammengefasst. Anschließend folgt ein Ausblick, wie die bestehende Arbeit erweitert werden kann. Zum Verständnis dieser Arbeit werden gewisse Grundlagen vorausgesetzt. Dazu gehören Kenntnisse in HTML, Client/Server-Umgebungen und TCP/IP. Die Funktionen einer syntaktischen Analyse (Parser) sollten aus dem Compilerbau bekannt sein. Um den Implementierungsteil zu verstehen, sind UML- und Programmierkenntnisse (vorzugsweise in C++) erforderlich. Begriffe aus der Softwaretechnik (Singleton, Interface, Klassendiagramm) sind wichtig, um die Implementierung des Systems zu verstehen. 8

10 Kapitel 2 Grundlagen 2.1 Das World Wide Web Das WWW erfordert eine Möglichkeit, um die Vielzahl der Websites, und den darin enthaltenen HTML-Dokumenten, in den Web-Servern zu adressieren. Dies wird mit dem Prinzip der Uniform Resource Locator (URL) gelöst, die jedes HTML-Dokument im WWW eindeutig kennzeichnet. Die URL ist eine Zeichenkette und besteht aus drei Teilen: 1. Kommunikations-Protokoll (z. B. http) 2. IP-Adresse des Web-Servers (z. B ) 3. Name des HTML-Dokuments (z. B. index.html) 9

11 KAPITEL 2. GRUNDLAGEN 2.1. DAS WORLD WIDE WEB Eine URL ist in der Lage HTML-Dokumente zu adressieren, die andere Kommunikations- Protokolle zum Informationsaustausch nutzen (z. B. ftp). Statt der IP-Adresse wird eine textuelle Bezeichnung verwendet, weil diese einfacher zu merken ist. Die Zuordnung von textuellen Bezeichnern zu IP-Adressen wird von einer zentralen Stellen vergeben (z. B. DENIC 1 ). Damit ist gewährleistet, dass ein bestimmter Bezeichner nur einer bestimmten IP-Adresse im WWW entspricht. Anschließend folgt der Name des HTML-Dokuments. Das WWW basiert auf einer Client/Server-Struktur. Die Server-Seite wird mit den Web- Servern gebildet. Die Client-Seite wird hauptsächlich durch einen sog. Web-Browser (kurz Browser) repräsentiert. Ein Browser stellt, mit Hilfe einer URL, eine Anfrage an den Web- Server. Nach erfolgreicher Verbindung zwischen der Client- und der Server-Seite, sendet der Web-Server das angeforderte HTML-Dokument an den Browser, welcher schließlich den Inhalt des HTML-Dokuments interpretiert und entsprechend darstellt [LL99]. Die Kommunikation zwischen Web-Server und Browser geschieht mittels dem HyperText Transfer Protocol (HTTP). HTTP ist ein Protokoll, welches über eine TCP/IP Verbindung Datenaustausch (nicht nur HTML-Dokumente) zwischen Web-Server und Browser ermöglicht. Mit Hilfe von drei wichtigen Methoden, GET, POST und HEAD werden Anfragen gestellt bzw. beantwortet. Grundsätzlich stellt ein Browser mit Hilfe einer URL, eine Anfrage am Web-Server. Der Web-Server reagiert darauf und startet die Übertragung des angeforderten HTML-Dokuments. Das folgende Beispiel zeigt die Kommunikation zwischen Web- Server (IP: , Name: localhost) und Client (telnet 2 ). Das Beispiel in der folgenden Seite soll den Vorgang klarmachen: Mehr Informationen über dieses Programm erhält man mit: man telnet 10

12 KAPITEL 2. GRUNDLAGEN 2.1. DAS WORLD WIDE WEB # telnet 80 Trying Connected to localhost. Escape character is ˆ]. GET /index.html HTTP/1.0 HTTP/ OK Date: Wed, 07 Aug :05:02 GMT Server: Apache/ (Unix) Last-Modified: Sun, 04 Aug :42:14 GMT ETag: "b91e7-ed9-3d4cdad6" Accept-Ranges: bytes Content-Length: 3801 Connection: close Content-Type: text/html <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"> <HTML> <HEAD><TITLE>Dokument-Titel</TITLE></HEAD> <BODY>Dokument-Inhalt</BODY> </HTML> Connection closed by foreign host. Aus dem Beispiel wird ersichtlich, dass eine erfolgreiche TCP/IP-Verbindung mit dem Web- Server localhost auf Port 80 hergestellt wird. Die anschließende GET-Methode verursacht eine Anfrage am Web-Server. Sie enthält die URL des angefragten HTML-Dokuments und die HTTP-Version. Der Web-Server liefert auf diese Anfrage eine Request-Antwort, die z. B. die Größe des angeforderten HTML-Dokuments enthält. Die Verbindung wird nach der Übertragung getrennt. 11

13 KAPITEL 2. GRUNDLAGEN 2.2. AUSZEICHNUNGSSPRACHEN Ein HTML-Dokument kann mit Hilfe von Hyperlinks (Verweisen) zu weiteren HTML-Dokumenten verweisen. Dabei wird die URL eines referenzierten HTML-Dokuments, vom Verfasser, in den Hyperlink eingegeben. URL s können beliebige Daten (physikalische Dateien) adressieren. Daraus folgt, dass ein HTML-Dokument, neben HTML-Dokumenten, beliebige Verweise auf Daten haben kann (z. B. Bilder, Videos, Musik usw.). Unter dem Begriff Ressource wird eine physikalische Datei verstanden, die sich mit Hilfe von Hyperlinks in einem HTML-Dokument referenzieren lässt. Eine Website besteht aus einer Menge von Ressourcen (HTML-Dokumente, Bilder usw.) und diese sind durch Hyperlinks miteinander verbunden. Die Website wird in der Regel über das Start-Dokument 3 erreicht. Das Start-Dokument hat immer den Namen index.html und braucht nicht im Browser aufgeführt zu werden (der Browser fügt den Namen des Start-Dokuments zu der URL hinzu). Über das Start-Dokument werden weitere Ressourcen referenziert, die wiederum auf das Start-Dokument bzw. auf weitere Ressourcen verweisen können. 2.2 Auszeichnungssprachen Die folgenden Abschnitte erläutern die Herleitung von HTML. Anschließend wird auf die wichtigsten Eigenschaften zu HTML eingegangen. Eine geeignete Dokumentation zu diesem Thema gibt es unter [Mün01] SGML SGML (Standard Generalized Markup Language) ist seit 1986 ein internationaler Standard [ISO 8879] zur Definition von geräteunabhängigen und systemunabhängigen Methoden, um Texte in elektronischer Form darzustellen. SGML ist eine sog. Markup Language (Auszeichnungssprache). Auszeichnungssprachen ermöglichen mit Hilfe von Tags (Markern), die nur 3 Der Begriff Homepage ist der bekanntere Begriff. Dieser wird jedoch oft als Synonym zum Begriff Website eingesetzt, was nicht richtig ist. 12

14 KAPITEL 2. GRUNDLAGEN 2.2. AUSZEICHNUNGSSPRACHEN aus textuellen Zeichen bestehen, die Struktur eines Dokuments zu beschreiben. Dabei werden z. B. Tags in einem SGML-Dokument verwendet, um Überschriften vom eigentlichen Textkörper zu trennen. Neben Formatieranweisungen für Dokumente, gestattet SGML die Festlegung einer bestimmten Grammatik (die wiederum aus neu definierten Tags besteht). Neu definierte Tags werden in der sog. DTD-Datei (Document Type Definition) eingetragen. Mit SGML wird z. B. die Sprache HTML beschrieben. SGML DTD Basis grammatik SGML Dokument Abb Ein einfacher Aufbau eines SGML-Dokuments Abbildung 2.1 zeigt den Aufbau eines SGML-Dokuments mit Hilfe der DTD-Datei. Die DTD-Datei basiert ausschließlich auf die Basisgrammatik und beschreibt neue Tags, die im entsprechenden SGML-Dokument verwendet werden. SGML ist ein neutrales Format, da SGML-Dokumente (bedingt durch die Standardisierung) keinen kurzfristigen Änderungen unterworfen sind. Dies ermöglicht die Verwendung eines SGML-Dokuments für die verschiedensten Ausgabeformate (z. B. im Buchdruck oder als HTML-Dokument im Browser dargestellt). SGML-Dokumente und entsprechende DTD-Dateien werden in textueller Form gehalten. Dadurch wird gewährleistet, dass diese plattformunabhängig bearbeitet und wiedergegeben werden können. Mehr über SGML steht unter [Rie95]. 13

15 KAPITEL 2. GRUNDLAGEN 2.2. AUSZEICHNUNGSSPRACHEN HTML Bei HTML handelt es sich um eine Auszeichnungssprache in textueller Form. Die Tags der Sprache werden, analog zu SGML-Dokumenten, in einer DTD-Datei festgelegt. Tags werden, in HTML, ausschließlich in spitzen Klammern notiert und kommen meistens paarweise vor: Das öffnende Tag <tag> hat also ein Gegenstück, das schließende Tag </tag>. Dazwischen wird die textuelle Information verfasst. Neben grafischen Auszeichnungs-Tags (um z. B. Tabellen darzustellen) und strukturellen Tags (Aufteilung eines HTML-Dokuments in mehrere Teile, den sog. Frames), wird die HyperText-Funktionalität unterstützt: Mit Hilfe von Hyperlinks werden Verweise auf weitere HTML-Dokumente (Ressourcen) festgelegt. Dokument 1 Dokument 2 Website 1 Website 1 Dokument 1 Website 2 Abb Verweise zwischen Dokumenten (intern und extern) In Abbildung 2.2 sind zwei Hyperlinks zwischen drei HTML-Dokumente dargestellt. Die Verweise können auf Ressourcen zeigen, die in anderen Websites existieren (sog. externe Hyperlinks). Verweise innerhalb der Website werden als interne Hyperlinks bezeichnet. Ein HTML-Dokument kann mit jedem beliebigen Texteditor verfasst werden - die wichtigste Voraussetzung dabei ist, dass sich der Verfasser mit HTML auskennt. Die Verwendung von kommerziellen Produkten ist nicht notwendig, jedoch gibt es Softwarelösungen, die komplexe HTML-Dokumente, anhand von Anweisungen des Benutzers, generieren können (z. B. Microsoft Frontpage u. a.). 14

16 KAPITEL 2. GRUNDLAGEN 2.2. AUSZEICHNUNGSSPRACHEN Die Grundstruktur eines HTML-Dokuments enthält drei Teile: 1. Eine SGML-Anweisung mit der aktuellen Versionsnummer der verwendeten Sprache 2. Einen Kopfbereich, eingeschlossen in <HEAD></HEAD>-Tags 3. Einen Dokumentkörper mit der eigentlichen Information Ein minimales und nach dem aktuellen HTML-Standard 4.01 entwickeltes HTML-Dokument sie wie folgt aus: <!DOCTYPE HTML PUBLIC "-//W3C/DTD HTML 4.01//EN" " <HTML> <HEAD>Document Title</HEAD> <BODY> <H1>Hello HTML-World...</H1> </BODY> </HTML> Die erste Zeile beschreibt, dass sich das HTML-Dokument auf den HTML-Standard 4.01 bezieht. Zusätzlich wird die Angabe gemacht, welche DTD-Datei verwendet werden soll (anhand deren URL). Das <HTML>-Tag ist der Wurzelknoten und beinhaltet alle weiteren HTML-spezifischen Tags. Der Kopfbereich enthält ein <TITLE>-Tag, das den Dokument- Titel beinhaltet. Der Dokument-Titel wird oft als irrelevant betrachtet und nicht zur Verfügung gestellt oder mit nicht aussagekräftigen Inhalten versehen, weil es für die Darstellung des HTML-Dokuments nicht notwendig ist. Es gibt jedoch Gründe für einen geeigneten Dokument-Titel [Mün01]: Der Titel wird in der Titelzeile des Browser-Fensters angezeigt Der Titel wird wird als Name in der Bookmark-Liste des Browsers verwendet Für diverse Suchmaschinen und Suchprogramme dient der Titel als Verweis auf das dazugehörige HTML-Dokument Der Kopfbereich eines HTML-Dokuments kann weitere Tags enthalten. Die wichtigsten Tags, die für diese Arbeit relevant sind, werden nun beschrieben. 15

17 KAPITEL 2. GRUNDLAGEN 2.2. AUSZEICHNUNGSSPRACHEN Meta-Informationen Meta-Informationen sind optionale Angaben im Kopfbereich eines HTML-Dokuments, die hauptsächlich für Suchmaschinen und Web-Server interessant sind. Dabei handelt es sich um Eigenschaft-Wert-Paare. Mit Meta-Informationen in einem HTML-Dokument wird z. B. der Name des Verfassers festgelegt, der das entsprechende HTML-Dokument geschrieben hat. Viel interessanter ist für die Arbeit, dass mit Hilfe von Meta-Informationen die Popularität bzw. Bewertung des HTML-Dokuments in Suchmaschinen beeinflusst wird. Eine Liste von Stichwörtern, die mit dem eigentlichen Dokumentinhalt in engem Zusammenhang stehen, dient für eine Suchmaschine als Datenquelle (Suchmaschinen werden in Abschnitt 2.3 beschrieben). Der aktuelle HTML-Standard 4.01 legt fest, dass Meta-Informationen in Eigenschaft = Wert-Paare auftreten müssen. Die Einteilung der Meta-Informationen erfolgt in zwei Gruppen: 1. Angaben, die sich auf den Web-Server beziehen 2. Sonstige Angaben, die z. B. für Suchmaschinen bestimmt sind Eine Meta-Information hat grundsätzlich folgende Form: <META HTTP-EQUIV="Eigenschaft" CONTENT="Wert"> für die erste Gruppe bzw. <META NAME="Eigenschaft" CONTENT="Wert"> für die zweite Gruppe. Das folgende Beispiel beschreibt die Funktion der Expires Meta- Information: <META HTTP-EQUIV="Expires" CONTENT="Thu, 31 Oct :00:00 GMT"> 16

18 KAPITEL 2. GRUNDLAGEN 2.2. AUSZEICHNUNGSSPRACHEN Mit dieser Meta-Information wird im Kopfbereich eines HTML-Dokuments ein Verfallsdatum festgelegt. Ist dieses Datum nicht abgelaufen, wird das Dokument aus dem Browser- Cache (sofern vorhanden) geladen. Nach Ablauf des festgelegten Zeitpunktes, wird das HTML-Dokument, bei einer Neuanforderung, vom Web-Server neu übertragen und im Browser-Cache abgelegt. Dies hat den Vorteil, dass man Übertragungszeit spart, weil das HTML- Dokument nicht immer vom Web-Server übertragen werden muss. Eine Null als Wert für die Expires Meta-Information bewirkt, dass das HTML-Dokument immer vom Web-Server übertragen wird, falls dieses angefordert wird. Ein Beispiel einer Meta-Information für die zweite Gruppe ist: <META NAME="keywords" LANG="de" CONTENT="Diplom, FH, Wiesbaden"> Ein HTML-Dokument mit obiger Meta-Information beschreibt, dass seine eigentliche Information im Textkörper mit drei deutschen Stichwörtern beschrieben wird. Die LANG-Angabe gibt die Landessprache an, in welcher die Stichwörter geschrieben sind. Suchmaschinen, die mit Hilfe von Meta-Informationen HTML-Dokumente indizieren, speichern die Stichwörter zusammen mit der URL des HTML-Dokuments in eine Datenbank. Bei der eigentlichen Suche wird auf diese Stichwörter zurückgegriffen. Die Auswertung der Meta-Informationen ist ein wichtiger Bestandteil dieser Arbeit. In Kapitel 3 werden Analyse-Operationen vorgestellt, mit deren Hilfe die Meta-Informationen bewertet werden können. 17

19 KAPITEL 2. GRUNDLAGEN 2.3. SUCHMASCHINEN 2.3 Suchmaschinen Bei Suchmaschinen handelt es sich um Programme, die zwei Funktionen haben: 1. Suche nach bestimmten HTML-Dokumenten 2. Automatisches Sammeln und Indizieren von HTML-Dokumenten Die Suche wird in der Regel über eine grafische Schnittstelle gestartet. Der Benutzer hat die Möglichkeit, bestimmte Wörter, Sätze usw. kombiniert einzugeben (mit Hilfe von logischen Operatoren) und die Suche zu starten. Moderne Suchmaschinen 4 bieten mittlerweile die Möglichkeit, verschiedene Dokumente zu durchsuchen (neben HTML-Dokumente gibt es z. B. PDF- oder PostScript-Dokumente). Das Sammeln und Indizieren kann für bestimmte Suchmaschinen wegfallen, wenn folgende vier Arten von Suchmaschinen betrachtet werden: 1. Katalogbasierte Suchmaschinen (z. B Volltext-Suchmaschinen (z. B Meta-Suchmaschinen (z. B Spezialisierte Suchmaschinen (z. B. Die folgenden Abschnitte befassen sich nun mit den verschiedenen Suchmaschinen-Arten. 4 z. B. 18

20 KAPITEL 2. GRUNDLAGEN 2.3. SUCHMASCHINEN Katalogbasierte Suchmaschinen Eine katalogbasierte Suchmaschine besteht aus einer hierarchisch aufgebauten Informationsstruktur. Ihre Struktur wird mit Hilfe von Themen definiert, den sog. Obergruppen. Die Obergruppen lassen sich in weitere Untergruppen aufspalten, die sich mit spezialisierten Bereichen eines Themengebiets beschäftigen. Dabei werden beispielsweise die Obergruppen Gesundheit, Wirtschaft, Nachrichten und Freizeit festgelegt. Diese Obergruppen enthalten dann zum Thema entsprechend weitere Verweise auf Untergruppen, die sich mit spezialisierten Bereichen einer Obergruppe beschäftigen. Für die Obergruppe Wirtschaft wird z. B. die Untergruppe Börse definiert, die sich ausschließlich mit Themen der Börse beschäftigt. Suchmaschine... Gesundheit... Medizin... Obergruppe Untergruppe Untergruppe Umweltmedizin Dokument Abb Katalogbasierte Suchmaschine Abbildung 2.3 zeigt ein weiteres Beispiel für die Obergruppe Gesundheit. Dazu gehört die Untergruppe Medizin, die weiter unterteilt ist und den Bereich Umweltmedizin enthält. Der Inhalt von katalogbasierten Suchmaschinen ist im Vergleich zu anderen Suchmaschinen klein, weil keine automatisierte Suche und Indizierung von Dokumenten erfolgt. Der Inhalt wird von Menschen (sog. Redakteure) gefüllt. Das bedeutet, dass Dokumente, die zum Datenbestand einer katalogbasierten Suchmaschine aufgenommen werden sollen, der Subjektivität und dem Kenntnisstand eines Redakteurs unterliegen. Er muss entscheiden, ob 19

21 KAPITEL 2. GRUNDLAGEN 2.3. SUCHMASCHINEN ein Dokument in eine bestimmte Gruppe der Suchmaschine aufgenommen wird. Die Kosten einer solchen Suchmaschine sind wesentlich höher, da für die Pflege und Erweiterung des Datenbestands mehrere Mitarbeiter notwendig sind. Der Vorteil ist, dass hochwertige Informationen über bestimmte Themen schnell gefunden werden können (da eine übersichtliche Informationsstruktur besteht). Volltext-Suchmaschinen Volltext-Suchmaschinen haben Datenbestände, die mit Hilfe von Programmen, den sog. Spidern (auch Crawler oder Robots genannt), automatisch gefüllt und aktualisiert werden. Beim Aufbau einer Volltext-Suchmaschine muss ein Datenbestand vorliegen. Dieser wird durch manuelles Eintragen von URL s erstellt, den Rest erfüllen die Spider. Weiterhin bieten sie die Möglichkeit, URL s von Websites in die Suchmaschine einzutragen. Somit ist dies ein Schritt, um z. B. für die Popularität der eigenen Website zu sorgen. Spider sind Programme, die eine Liste von URL s (aus den vorhandenen Datenbestand) besuchen und die damit assoziierten HTML-Dokumente erhalten. Im Prinzip gleicht ihre Arbeitsweise die eines Browsers, mit dem Unterschied, dass die erhaltenen Daten nicht zur Darstellung genutzt werden, sondern zur Indizierung weitergeleitet werden. Spider durchsuchen ein HTML-Dokument auf weitere Verweise und verfolgen diese. Verweise auf passwortgeschützte HTML-Dokumente und Fremdformate (z. B. Binärdaten) werden nicht weiter verfolgt. Die Indizierung der gesammelten Dokumente extrahiert Teile (Titel, Meta-Informationen, Text aus dem Dokumentkörper) aus diesen und speichert sie in einer Datenbank. Die Informationen in der Datenbank werden mit der entsprechenden URL verknüpft. Das Such-Interface auf das der Benutzer zugreift, nimmt seine Anfragen an und stellt diese an die darunterliegende Datenbank weiter. Die entsprechenden Resultate aus der Datenbank werden als Antwort, in Form eines HTML-Dokuments, an das Interface zurückgeschickt. Die folgende Abbildung zeigt den grundlegenden Aufbau: 20

22 KAPITEL 2. GRUNDLAGEN 2.3. SUCHMASCHINEN request receive Internet Abfrage Ergebnis Suchmaschine Spider Ergebnis Indizierung Info DB Abfrage Abb Arbeitsweise einer Volltext-Suchmaschine In Abbildung 2.4 wird die Struktur und die Arbeitsweise einer Volltext-Suchmaschine dargestellt. Die Suchmaschine ist von den Spidern getrennt, obwohl im Allgemeinen beide Systeme als Suchmaschine bezeichnet werden. Die Stärke von Volltext-Suchmaschinen ist auch gleichzeitig ihre Schwäche: Den Erfolg über die Suchergebnisse beeinflusst maßgeblich der Benutzer. Er kann nur nach einzelnen Stichwörtern suchen (z. B. Diplomarbeit). Dabei erscheinen viele Ergebnisse, die erst einmal untersucht werden müssen. Eine genaurere Suchangabe erleichtert oft diese Untersuchung, indem nach z. B. Phrasen wie "Wie verfasse ich eine Diplomarbeit" gesucht wird. Dies ist wesentlich konkreter und erhöht die Chance, die erwünschten Ergebnisse zu finden. Möglich ist auch die Suche nach Stichwörtern, die mit logischen Operatoren verknüpft sind. Eine Suche kann z. B. nach "Diplomarbeit AND Informatik NOT Wirtschaft" sein. Hiermit wird erzielt, dass indizierte Dokumente durchsucht werden, welche die Wörter Diplomarbet und Informatik, aber nicht Wirtschaft enthalten. Mit Hilfe der logischen Operatoren kann der Suchbereich eingegrenzt werden. Neben diesen grundlegenden Eigenschaften, bieten moderne Suchmaschinen weitere Dienste an, z. B. das Übersetzen von HTML-Dokumenten in andere Sprachen, nicht auffindbare Dokumente (die jedoch indiziert wurden) aus den Suchmaschinen-Caches anzubieten usw. Durch ihren recht großen Datenbestand sind solche Art von Suchmaschinen sehr beliebt und werden häufig eingesetzt. 21

23 KAPITEL 2. GRUNDLAGEN 2.3. SUCHMASCHINEN Meta-Suchmaschinen Bei Meta-Suchmaschinen handelt es sich um Schnittstellen, die Suchanfragen gleichzeitig an weitere Suchmaschinen weiterleiten. Dabei hat eine Meta-Suchmaschinen keinen eigenen Datenbetsand. Die Suchergebnisse aus den benutzten Suchmaschinen werden zusammengefasst und identische Ergebnisse entfernt. Meta Suchmaschine Anfrage Filtern Anfrage Suchmaschine 1 Ergebnis... Ergebnis Suchmaschine N Abb Aufbau einer Meta-Suchmaschine Der Aufbau einer Meta-Suchmaschine in Abbildung 2.5 zeigt, dass die darunterliegenden Suchmaschinen nicht einer Art entsprechen müssen. Es ist möglich, dass alle besprochenen Suchmaschinen-Arten eingesetzt werden können. Meta-Suchmaschinen haben den Vorteil, dass sie schnell eine Menge von Ergebnissen liefern, die mit Hilfe von mehreren Suchmaschinen ermittelt werden. Ein Nachteil bei der Benutzung von Meta-Suchmaschinen ist, dass zusätzliche Optionen der darunterliegenden Suchmaschinen nicht genutzt werden. Viele Suchmaschinen haben Optionen zur Beeinflussung der Suchergebnisse. Diese können aufgrund der vereinfachten Benutzung durch die Meta-Suchmaschine nicht genutzt werden. Dadurch werden nicht immer die optimalsten Suchergebnisse ermittelt. 22

24 KAPITEL 2. GRUNDLAGEN 2.3. SUCHMASCHINEN Spezialisierte Suchmaschinen Alle zuvor vorgestellten Suchmaschinen-Arten können als spezialisierte Suchmaschinen bezeichnet werden, wenn diese auf ein bestimmtes Gebiet ausgelegt sind (z. B. Firmennamen, Telefonbuch usw.). Das herkömmliche Telefonbuch ist z. B. vergleichbar mit einer speziellen Suchmaschine: In einem Telefonbuch kann nur nach Nachnamen gesucht werden, um die entsprechenden Telefonnummern zu ermitteln. Generell sind Suchmaschinen wohl eines der meistgebrauchten Dienste im Internet. Ohne diese Werkzeuge ist es mühsam, Informationen aus dem WWW zu finden. Diese Arbeit beschäftigt sich mit einer Suchmaschine, die nicht zum Suchen genutzt wird. Es werden eher die spider- und indizierungsspezifischen Aktivitäten der Suchmaschine genutzt, um an Informationen von Websites heranzukommen. 23