Such- und Metasuchmaschinen, Agenten und Klassifikationen

Transkript

1 Such- und Metasuchmaschinen, Agenten und Klassifikationen Eine Seminararbeit im Fachgebiet Datenbanktechnik, angefertigt an der Universität Zürich, Institut für Informatik Leitung: Prof. Dr. Klaus Dittrich Assistenz: Ruxandra Domenig Elke Engel Imbisbühlsteig Zürich s

2 Suchmaschinen, Metasuchmaschinen, Agenten und Klassifikationen Seite 2 Inhaltsverzeichnis Zusammenfassung Suchmaschinen Definition Ziele System Architektur Suche PageRank Metasuchmaschinen Definition Ziele System Architektur Suche Entfernen von Duplikaten Zusammenfügen der Resultatseiten Agenten Definition Ziele System Auffinden von Referenzen Funktionen Klassifikationen Definition Ziele System Eigenschaften von Klassifikationen Erfassung von Webseiten Suche Ranking Vergleich Ausblick Literaturverzeichnis Abbildungsverzeichnis Links Zusammenfassung Dieser Artikel befasst sich mit den verschiedenen Hilfsmitteln der Informationsbeschaffung und suche auf dem Web. Die Unmengen von Daten, die rein theoretisch durch das Internet verfügbar wären, sind kaum zu überschauen, noch irgendwie geordnet. Aus dieser Problemstellung heraus wurden einige Möglichkeiten geschaffen, sich in dem elektronischen Datenwald zurechtzufinden. Diese Möglichkeiten werden hier vorgestellt: die Idee, die Systemarchitektur, die Probleme und die Vor- und Nachteile gegenüber den anderen Informationsbeschaffungsarten. Den Abschluss dieses Artikels bildet eine Gegenüberstellung der Varianten anhand einiger Merkmale sowie ein flüchtiger, persönlicher Blick in die Zukunft.

3 Suchmaschinen, Metasuchmaschinen, Agenten und Klassifikationen Seite 3 1 Suchmaschinen 1.1 Definition Eine Vorstellung, was eine Suchmaschine ist, haben vermutlich alle, die dieses Dokument in der Hand halten: in die Eingabemaske einer Suchmaschine gibt man einen (oder mehrere) Suchbegriff(e) ein und erhält eine Liste von Links zu Seiten, die diesen Begriff in der URL oder im Inhalt der Seite enthalten. Nun geht es daran, auszusortieren, was für den Benutzer von Bedeutung ist. Die Funktionsweise einer Suchmaschine wird genauer am Beispiel Google <1> (siehe [1]) erklärt. 1.2 Ziele Das Hauptziel der Entwickler von Google war eine qualitativ bessere Suchmaschine zu erschaffen, als die bisher existierenden. Qualität bedeutet hier nicht nur Effizienz (Schnelligkeit mit der Ergebnisse geliefert werden), sondern vor allem Effektivität, d.h. wie gut die Informationen auf den gefundenen Seiten dem entspricht, was der Benutzer gesucht hat. 1.3 System Die Architektur einer Suchmaschine ist sehr komplex. Es gilt grosse Mengen von Daten zu sammeln, passend auszuwerten und dem Benutzer entsprechend anzuzeigen Architektur Das Herunterladen der Webseiten wird von verschiedenen sogenannten Crawlern ausgeführt. Zuerst sendet ein URL Server Listen von URL s zu den Crawlern. Die geholten Seiten werden zum Store Server geschickt, komprimiert und in einem Repository gespeichert. Der Indexer hat verschiedene Aufgaben. Er liest das Repository, dekomprimiert und parst es. Jedes Dokument wird in eine Liste von Wörtern, Hits, konvertiert. Die Hits enthalten sowohl das Wort, wie auch die Position des Wortes im Dokument, Schriftgrösse, Gross- oder Kleinschreibung. Der Indexer schickt diese Hits in Barrels. Weiter speichert der Indexer die geparsten Links in einer Datei (Anchors). Diese Datei enthält die Information von wo der Link auf was verweist und den Text des Links. Der URL Resolver liest die Ankerdatei, verwandelt relative URL s in absolute und weiter in die einzigartige Identifikationsnummer jeder Seite, die docid. Er speichert den Text des Ankers im sogenannten forward index zusammen mit der docid auf die der Link verweist. Zusätzlich generiert er eine Datenbank mit Links, welche aus Paaren von docid s bestehen (Anfangsdokument auf Enddokument). Diese Datenbank wird gebraucht, um die PageRanks zu berechnen (wird später noch genauer erklärt). Der Sorter nimmt die Barrels (diese sind sortiert nach docid s) und generiert einen sogenannten inverted index mit Hilfe der wordid s (eindeutige Komprimierung der Worte). Ausserdem erstellt er einen wordid-index. Das Programm DumpLexicon verwendet diesen wordid-index zusammen mit dem bereits bestehenden Lexikon und gestaltet ein erweitertes Lexicon, das wiederum vom Searcher verwendet wird. Der Searcher verwendet das Lexicon und die PageRanks, um Anfragen zu beantworten.

4 Suchmaschinen, Metasuchmaschinen, Agenten und Klassifikationen Seite 4 Abbildung 1: Architektur von Google Repository: enthält den gesamten, komprimierten HTML Inhalt jeder Seite. Doc Index: Lexicon: Hit List: enthält Informationen über jedes Dokument. Er ist geordnet nach docid. Die Informationen beinhalten den Status des Dokumentes, einen Zeiger ins Repository und eine Dokumentüberprüfsumme. Wurde das Dokument vom den Crawlern erfasst, enthält es einen Zeiger auf eine Datei docinfo, die URL und Titel enthält. Wenn nicht verweist ein Zeiger auf eine URL Liste, die an den URL Server gesendet wird. passt ins Memory (256KB zum Zeitpunkt der Verfassung des Artikels [1]). (siehe Abbildung 2c) ) ist eine Liste über das Auftreten eines bestimmten Wortes in einem Dokument. Sie beinhaltet Position, Schriftart und Grösse. Es gibt zwei Arten von Hits: fancy hits und plain hits. Fancy hits beinhalten Treffer in der URL, im Titel, im Ankertext oder im Text. Plain hits sind alles andere. (siehe Abbildung 2a) ) Forward Index: wird teilweise sortiert in Barrels gespeichert. Jedes Barrel enthält eine Reihe von wordid s. Wenn ein Dokument Wörter enthält, die in einem bestimmten Barrel vorkommen, wird die docid in diesem Barrel gespeichert, gefolgt von wordid und der Hitliste, die zu diesem Wort gehört. (siehe Abbildung 2b) ) Inverted Index: enthält dieselben Barrels wie der Forward Index ausser, dass sie vom Sorter bearbeitet wurden. Für jede gültige wordid findet sich im Lexicon ein Zeiger in ein Barrel, in das die wordid fällt. Es zeigt auf eine oder mehrere docid s sowie die dazugehörige Hitliste. (siehe Abbildung 2d) )

5 Suchmaschinen, Metasuchmaschinen, Agenten und Klassifikationen Seite 5 a) Hit List: Plain: Überschriftgrösse Schriftgrösse Position im Dokument Fancy: Überschriftgrösse 7 (festgelegt) Typ (z.b. URL, Titel...) Position Anchor: Überschriftgrösse Schriftgrösse Typ docid Anchor Position in Anchors b) Forward Barrel: docid wordid Anzahl Hitlists: 4 Hit Hit Hit Hit wordid Anzahl Hitlists: 2 Hit Hit Keine wordid docid wordid Anzahl Hitlists: 3 Hit Hit Hit wordid Anzahl Hitlists: 4 Hit Hit Hit Hit wordid Anzahl Hitlists: 1 Hit Keine wordid c) Lexicon: d) Inverted Index: wordid Anzahl Dokumente: 2 wordid Anzahl Dokumente: 1 wordid Anzahl Dokumente: 4 Abbildung 2: Hit List, Lexicon, Inverted and Forward Barrel Suche Hier nun eine Übersicht der Schritte, die durchlaufen werden, wird eine Anfrage an die Suchmaschine gestellt: 1. Parsen der Anfrage 2. Umsetzen Worte in wordid s 3. Suchen aller wordid s im Lexikon 4. Suchen eines Treffers, der alle wordid s enthält 5. Herausfinden des ranks der Treffer 6. Sortieren der Treffer nach rank und Anzeigen der obersten x docid Anzahl Hits: 3 Hit Hit Hit docid Anzahl Hits: 2 Hit Hit docid Anzahl Hits: 1 Hit docid Anzahl Hits: 4 Hit Hit Hit Hit PageRank PageRank ist eine objektive Messung der Wichtigkeit einer Seite anhand der Links, die auf diese Seite verweisen. Das ergibt eine Idee der subjektiven Wichtigkeit dieser Seite von den Menschen, die am Web arbeiten, d.h. Internetseiten generieren. Um den PageRank zu berechnen, verwendet man einen Dämpfungsfaktor, die Anzahl der Links, die auf eine Seite zeigen, die Anzahl der Links, die von der Seite weggehen. Dazu gibt es eine spannende Formel, die hier nur der Vollständigkeit wegen aufführt wird. PR(A) = (1-d) + d(pr(t1) / C(T1) + + PR(Tn) / C(Tn)) A = untersuchte Seite T1 Tn = Seiten, die auf A verweisen d = Dämpfungsfaktor, liegt zwischen 0 und 1 C(T1) = Links, die aus der Seite T1 zeigen PR(A) = PageRank von A Eine Seite erreicht somit einen hohen PageRank sowohl, dadurch dass viele Links auf die Seite zeigen, wie auch wenn eine Seite mit hohem PageRank auf diese Seite verweist. So z.b. erhält eine Seite, die von der Yahoo! Homepage verlinkt wurde, eine hohen PageRank.

6 Suchmaschinen, Metasuchmaschinen, Agenten und Klassifikationen Seite 6 2 Metasuchmaschinen 2.1 Definition Eine Metasuchmaschine ist ein Programm, dass den eingegebenen Suchbegriff/ Suchbegriffe an mehrere Suchmaschinen in der jeweilig passenden Syntax weitergibt und die erhaltenen Ergebnisse nach eigenen Kriterien wertet, in eine Reihenfolge bringt und dem Benutzer liefert. Als Wissensgrundlage wurden hier die Metasuchmaschinen Metacrawler <2> (siehe [2]) und die deutsche Variante des Metacrawlers: MetaGer <3> (siehe [3]) verwendet. 2.2 Ziele Die Idee liegt recht nahe, ein Programm zu entwickeln, dass die Suchleistung mehrerer Suchmaschinen verbindet und somit hoffentlich ein besseres Ergebnis liefern kann, wie eine Suchmaschine allein. Dadurch das mehrere Suchmaschinen angefragt werden, wird mit grosser Wahrscheinlichkeit in einem weiteren Bereich des Webs gesucht. Wie die gefundenen Ergebnisse allerdings nachher bewertet und in welcher Reihenfolge dem Benutzer angezeigt, liegt im Ermessen der Metasuchmaschine. 2.3 System Den Aufbau einer Metasuchmaschine darzustellen, fällt schon etwas einfacher als bei der Suchmaschine. Das Schwierige hier ist das Zusammenfügen der von den Suchmaschinen gelieferten Treffer Architektur MetaCrawler wurde in modularer Art gestaltet. Die Hauptkomponente besteht aus dem User Interface, der Aggregation Engine, dem Parallel Web Interface und dem Harness (übersetzt: Harnisch, Zuggeschirr). User Interface: Aggregation Engine: Parallel Web Interface: Harness: übersetzt Benutzeranfragen und optionen in die entsprechenden Parameter, welche an die Aggregation Engine weitergeschickt werden. ist verantwortlich von jedem Service die Antworten zu erhalten, diese weiterzuverarbeiten, Duplikate zu entfernen, die Ergebnisse zusammenzuführen und diese dann dem Benutzer zu präsentieren. Dies ist die komplizierteste Komponente. lädt die HTML Seiten vom Web sowie sendet Anfragen und empfängt Ergebnisse von jeder angefragten Suchmaschine. speichert Informationen über jede verwendete Suchmaschine. Es formatiert Anfragen in die entsprechende Syntax und schickt die Anfrage weiter an das Parallel Web Interface. Diese schickt eine Seite an die Aggregation Engine. Das Harness wurde als eine Sammlung von Modulen implementiert, wobei jedes Modul für einen Suchservice steht.

7 Suchmaschinen, Metasuchmaschinen, Agenten und Klassifikationen Seite 7 Abbildung 3: Architektur von MetaCrawler Suche Im Grunde genommen, kann die Suche einer Metasuchmaschine in 7 Schritte zusammengefasst werden: 1. Entgegennehmen einer Anfrage eines Users 2. Konvertieren der Anfrage in die verschiedene Syntax der Suchmaschinen 3. Auslösen der Anfragen 4. Warten auf die Ergebnisse und parallel dazu Durchsuchen der eigenen Datenbank (falls vorhanden) 5. Analyse der Ergebnisse, Herausfiltern von Duplikaten 6. Zusammenführen der Ergebnisse 7. Liefern der Ergebnisse Entfernen von Duplikaten Um Duplikate zu entfernen, verwendet MetaCrawler einen ausgeklügelten Algorithmus, der in 3 Schritten erklärt werden kann: 1. Domain? Ist gleich lara.croft.com? 2. Pfadaliases? verweist oft auf Stimmt die Domain überein, der Pfad aber nicht, geht es zu Schritt Titel? Nun werden noch die Dokumenttitel verglichen. Sind sie identisch, wird angenommen, dass es sich um das gleiche Dokument handelt. Eine noch bessere Überprüfung kann durchgeführt, wenn die Seite heruntergeladen und der Text miteinander verglichen werden kann.

8 Suchmaschinen, Metasuchmaschinen, Agenten und Klassifikationen Seite Zusammenfügen der Resultatseiten MetaCrawler verwendet einen sogenannten confidence score, um zu bestimmen, wie nahe die Referenz zur Anfrage passt. Je höher der confidence score, desto relevanter das Dokument. Um diese Punktezahl zu bestimmen, übernimmt MetaCrawler zuerst die Bewertung, die die Suchmaschinen liefern. Die obersten Treffer jedes Services erhalten die höchste Punktzahl. Dann werden Duplikate entfernt, wobei die Punktzahl der mehrfach vorkommenden Referenz mit dieser Menge multipliziert wird. Das bedeutet, dass eine Seite, die von mehreren Services geliefert, eine höhere Punktezahl erhält und vom MetaCrawler in den oberen Rängen der Suchtreffer angezeigt wird. 3 Agenten 3.1 Definition Zu definieren, was einen Agenten auszeichnet, ist nicht einfach, da es eine eindeutige Definition bis heute nicht gibt. Die grundlegende Idee kommt aus der künstlichen Intelligenz. Die Aufgaben, die Agenten heute lösen können oder versuchen zu lösen, sind so vielfältig, dass sich die Eigenschaften je nach Aufgabengebiet ändern. Abbildung 4: Eigenschaften von Agenten Man kann die Eigenschaften jedoch in zwei Kategorien einteilen: Externe Eigenschaften: beim Zusammenspiel mehrerer Agenten oder bei Mensch- Agenten-Interaktionen notwendigen Charakteristika Interne Eigenschaften: für die Vorgänge innerhalb eines Agenten notwendige Eigenschaften Abbildung 4: Eigenschaften von Agenten zeigt einen Überblick über die internen (Kreis) und externen (Stern) Eigenschaften. Der hier vorgestellte Agent heisst CiteSeer <4> (siehe [4], [4], [6] [7] und [8]). 3.2 Ziele Wir haben in den vorhergehenden Kapiteln Suchmaschinen und Metasuchmaschinen besprochen, die versuchen einen grossen Teil des Webs zu indexieren und dem Benutzer

9 Suchmaschinen, Metasuchmaschinen, Agenten und Klassifikationen Seite 9 die besten Informationen zu seiner Suchanfrage zu finden. Dabei spielt es für die Suchmaschinen keine Rolle, was für eine Art von Informationen sie indexieren (z.b. Wettervorhersagen, Newsartikel oder persönliche Homepages). Die Idee zu CiteSeer war, das riesige Angebot an wissenschaftlichen Arbeiten auf dem Web zu indexieren und besonderes Augenmerk auf die Referenzen zwischen den Arbeiten zu legen. Normalerweise enthalten wissenschaftliche Arbeiten viele Referenzen zu vorhergehender oder tiefergreifender Literatur. 3.3 System CiteSeer ist ein sogenannter autonomer Citation Index, d.h. die Referenzen werden automatisch verwaltet. Dies bringt einige Vorteile mit sich wie z.b. aktuellere Daten und Reduktion der Unterhaltungskosten. Einer der Knackpunkte eines autonomen Citation Index ist das Entdecken von verschiedenen Arten von Zitaten. Im Folgenden werden maschinelle Methoden betrachtet, die sich mit diesem Problem beschäftigen Auffinden von Referenzen Referenzen erscheinen in verschiedenen Formaten: Paul Coelho (2001) Handbuch des Kriegers des Lichts. Diogenes Verlag AG, Zürich [01] Coelho P. (2001) Handbuch des Krieger des Lichts. Zürich: Diogenes [coel01] P. Coelho. Handbuch des Krieger des Lichts. Diogenes, 2001 usw... Das Problem mag auf Anhieb nicht so schwierig erscheinen. Allerdings tauchen zum einen häufig Fehler auf, wie falsche Jahreszahlen, falsch geschriebene Namen der Autoren. Zum anderen ist es schwierig, die verschiedenen Abschnitte einer Referenz zu unterscheiden. Kommas, Strichpunkte, Punkte dienen verschiedenen Zwecken. Es gibt vier Klassen von Methoden, um solche Referenzen zu erkennen: 1. Edit distance measurement: bestimmt den Unterschied zwischen Zeichenketten. Eine bekannte Form des edit distance measurement ist die Levenshtein distance. Dabei wird der Unterschied zweier Zeichenketten dadurch bestimmt, wie viel gelöscht und hinzugefügt werden muss, um die eine Zeichenkette in die andere zu verwandeln. 2. Word frequency / occurrence: basiert auf Statistiken wie oft Worte im allgemeinen in Zeichenketten verwendet werden. 3. Subfields, structure of data: verwendet die Gegebenheit, dass in Referenzen immer die gleichen Informationen geboten werden wie der Titel, der Autor, das Jahr der Veröffentlichung, der Verlag, usw. 4. Probabilistic models: können trainiert werden, um solche Strukturen wie bei 3 im Text zu erkennen. Für tiefergreifende Informationen wird hier auf [4] verwiesen.

10 Suchmaschinen, Metasuchmaschinen, Agenten und Klassifikationen Seite Funktionen CiteSeer enthält eine Reihe verschiedenster Funktionen, von denen hier nur die wichtigsten genannt werden: Indexieren von wissenschaftlichen Dokumenten CiteSeer verwendet Suchmaschinen wie AltaVista <6> für die Suche nach Seiten, die Links zu solchen Dokumenten enthalten (meistens Postscript oder PDF Dokumente). Als Suchwörter werden Begriffe wie PDF, postscript, technical report, conference, proceedings, usw. eingegeben. Für die Suche werden mehrere Suchmaschinen verwendet, um einen möglichst grossen Bereich des Webs abzudecken. Volltextindexierung der Artikel CiteSeer indexiert den gesamten Inhalt eines Dokumentes. Das heisst, das Dokument wird von Postscript oder PDF-Format in Text umgewandelt. Allerdings werden keine sogenannten stop words gespeichert wie the, a usw. Ueberlappende Dokumente Oft gibt es dieselben Dokumente auf verschiedenen Servern oder es existieren mehrere Versionen oder Überarbeitungen desselben Artikels. CiteSeer versucht mit Hilfe einer Datenbank gefüllt mit den Sätzen der Dokumente, diese Revisionen zu erkennen. So werden Artikel nach Auftreten der bereits gespeicherten Sätze durchsucht. Findet man ein hohes Auftreten von diesen Sätzen, wird angenommen, dass die Artikel identisch oder vom gleichen Autor/Team (Revision des Artikels) stammen. Universeller Artikelzugriff Zu jedem Artikel sind umfassende Informationen vorhanden. Man kann auf jeden Artikel mit einem Schlüsselwort zugreifen, dass aus dem Nachnamen des ersten Autors des Dokumentes, dem Jahr der Veröffentlichung und dem ersten Wort des Titels des Artikels besteht ( the usw. werden ausgeschlossen). Die Informationen beinhalten Titel, Autor, Zusammenfassung, Zitate und den gesamten Textinhalt, sowie Statistiken. Genauere Informationen sind im Artikel [5] zu finden. 4 Klassifikationen 4.1 Definition Obwohl Methoden entwickelt wurden, Kataloge automatisch zu erstellen, hat man sich im allgemeinen für eine hauptsächlich manuelle Erstellung und Pflege entschieden. Der automatische Ansatz kann der Qualität eines manuellen Kataloges nicht gerecht werden. Das bedeutet, dass jede in einem Katalog aufgeführte Webseite von einem Menschen begutachtet, bewertet und in eine Kategorie eingeteilt wurde. Aus dieser Definition heraus, zeigt sich, dass ein Katalog niemals alle Seiten des Webs aufzeigen kann, weil es viel zu viele Seiten mit schlechtem, sinnlosen - oder wie auch immer man dies nennen möchte - Inhalt gibt. Einer der bekanntesten Kataloge ist Yahoo! <5>, der hier auch als Informationsgrundlage gewählt wurde (siehe [9] und [10]).

11 Suchmaschinen, Metasuchmaschinen, Agenten und Klassifikationen Seite Ziele Aus der Definition sehen wir, dass Kataloge nicht die Indexierung möglichst vieler Seiten und die bestmöglichsten Treffer auf möglichst viele verschiedene Anfragen liefern will. Viel mehr hat ein Katalog zum Ziel die besten Seiten in verschiedenen in die Struktur passende Kategorien zu verwalten. Oder ganz kurz gesagt: sie wollen die guten Seiten aufnehmen. Somit eigenen sich Webkataloge besser zur Suche von Informationen in einem bestimmten Themengebiet als zur Suche einer ganz bestimmten Homepage. 4.3 System Webkataloge funktionieren über eine Dokumentationssprache, die man Klassifikation nennt. Es ist ein Weg, grosse Mengen von Dokumenten in eine strukturierte Form zu bringen. Durch diesen strukturellen Aufbau können in einem Katalog teilweise mehr und schneller relevante Informationen gefunden werden, als in einer Suchmaschine. Falls die Anfrage über den Wissenshorizont des Kataloges hinausgeht, wird meist eine Suchmaschinen zur Unterstützung angefragt. Kataloge werden am Beispiel von Yahoo! erklärt Eigenschaften von Klassifikationen Wie bereits erwähnt werden Kataloge mit Hilfe von Klassifikationen geschaffen. Die wichtigsten Klassifikationskriterien werden hier vorgestellt: Hierarchie (Abbildung 5: Monohierarchie-Polyhierarchie) Web-Kataloge verwenden eine monohierarchische Klassifikation, d.h. eine Klasse kann nur eine übergeordnete Klasse (Superklasse) besitzen. Das Gegenteil dazu nennt sich Polyhierarchie (eine Klasse hat mehr als eine Superklasse). Abbildung 5: Monohierarchie-Polyhierarchie Dimensionalität (Abbildung 6: Polydimensionalität) Bei der Unterteilung einer Klasse in Unterklassen ergeben sich meist mehrere Kriterien. So entsteht eine polydimensionale Klassifikation. Erlaubt man keine

12 Suchmaschinen, Metasuchmaschinen, Agenten und Klassifikationen Seite 12 Polydimensionalität, muss eine zusätzliche Hierarchieebene eingefügt werden, die die verschiedenen Kriterien voneinander trennt. Abbildung 6: Polydimensionalität Klassifikationsschema Beim Entwurf eines Klassifikationsschemas kann man auf zwei Arten vorgehen. Die erste Möglichkeit nennt sich analytische Klassifikation (top-down). Man geht von einer Grundgesamtheit von Objekten aus, bestimmt die obersten generellsten Klassen und sucht dann für jede Klasse eine weitere Aufteilung. Diese Variante wird für WWW-Kataloge verwendet. Das Gegenbeispiel dazu nennt sich Facetten- oder synthetische Klassifikation (bottom-up). Zuerst bestimmt man die Merkmale einer Klasse und anschliessend bildet man Klassen durch Kombination der Merkmale. Ein Beispiel hierzu wäre eine Flugreservation (siehe Abbildung 7: Facetten- oder synthetische Klassifikation). Durch die Auswahl je eines Kriteriums pro Facette ergibt sich eine Klasse. Facette 1: Abflugsort Facette 2: Ankunftsort Facette 3: Preisklasse A1 Zürich B1 Frankfurt C1 Economy A2 New York B2 Bombay C2 Business A3 Paris B3 Tel Aviv C3 First Class A4 Dehli B4 San Francisco Abbildung 7: Facetten- oder synthetische Klassifikation Weitere Informationen findet man in [10] Erfassung von Webseiten Um bei Yahoo! aufgenommen zu werden, muss man die Seite anmelden. Man kann eine Kategorie für die Seite vorschlagen. Die Seiten werden geprüft und bewertet, aufgenommen oder abgewiesen. Die Mitarbeiter von Yahoo! sind auf ihre verschiedenen verwalteten Gebiete spezialisiert, um den Inhalt der Seite auch fachgerecht beurteilen zu können.

13 Suchmaschinen, Metasuchmaschinen, Agenten und Klassifikationen Seite 13 Technisch funktioniert das Ganze auf einem einzigen Rechner. In einem speziellen Programm werden die URL s, eine Kurzbeschreibung und evt. Kommentare gespeichert. Es macht keinen Sinn, die Webseiten ausführlich zu beschreiben. Einerseits kann sich der Inhalt schnell ändern. Zum anderen kann sich der Benutzer leicht und (fast) kostenlos ein eigenes Bild machen. Regelmässig muss die Qualität, Aktualität und Existenz der Seiten überprüft werden. Dies kann elektronisch geschehen. Allerdings geht die Überprüfung, ob der Inhalt der Webseite noch der Kurzbeschreibung entspricht, nur manuell Suche Zu den Informationen kommt man einerseits, wenn man sich durch die Kategorien durchklickt, z.b. Webseiten sucht über Pierce Brosnan, wählt man Entertainment, Movies, Actors, usw... Oder man verwendet die Suchfunktion. Man kann in den Dokumenttiteln und in den Metadaten suchen, wobei man angeben kann, ob in der aktuellen und in darunter liegenden Kategorien oder im gesamten Datenbestand gesucht werden soll. Bei Yahoo! wird die Suchanfrage an Google weitergegeben, sollte nichts oder nur wenig im eigenen Bestand gefunden worden sein Ranking Die Treffer werden in alphabetischer Reihenfolge zurückgeliefert. Allerdings heisst das nicht, dass die besten Einträge mit a beginnen. Um die besseren Seiten etwas hervorzuheben, versieht Yahoo! diese Einträge mit dem Bild einer kleinen Sonnenbrille und die ganz neuen mit einem neu -Zeichen. Wobei diese Bewertung natürlich wiederum stark vom Bewertenden abhängt.

14 Suchmaschinen, Metasuchmaschinen, Agenten und Klassifikationen Seite 14 5 Vergleich Dieses Kapitel versucht einen Überblick über die 4 vorgestellten Arten des Information Retrieval im Web zu geben. Suchmaschinen Metasuchmaschinen Agenten Name Google MetaCrawler CiteSeer MetaGer (d) Adresse mesa.rrzn.unihannover.de Entstehungsort Universität Universität Wissenschaftliches Stanford Washington, Seattle Institut Universität Hannover Entstehungsjahr Probleme für den Benutzer Probleme für die Unterhalter des Services Vorteil Empfohlen Bemerkung Weitere Beispiele - Netzabdeckung - Spam Links - Aktualität der Treffer Reihenfolge der Ergebnisse der Suchmaschinen - Aktualität der Treffer - PageRank - Verschiedene Syntax der darunter liegenden Suchmaschinen - Formatierungsänderung der Suchmaschinen - Schnelles Liefern Ergebnisse - Werbung Ohne Übertreibung einfach eine wirklich gute Suchmaschine Kreuz und quer, wenn man die gewünschte Syntax (and, or,...) anwenden kann Einfache Oberfläche ohne Werbung Hoher Bekanntheitsgrad Alta Vista <6> Lycos <7> Grössere Netzabdeckung durch Verwendung mehrerer Suchmaschinen Wenn kreuz und quer noch nicht alles liefert... Laut wissenschaftlichen Untersuchung eine gute Abdeckung Search.com <11> Metafind <12> Dogpile <13> Beschränkung auf wissenschaftliche Artikel - Finden der Referenzen Auf wissenschaftliche Artikel spezialisiert Wissenschaftliche Artikel, Sitzungsprotokolle, technische Berichte... Nicht ganz einfach sich zurechtzufinden Liste von Agenten siehe <14> Klassifkationen Yahoo! Universität Stanford - Manuelles Anmelden der Webseiten - Suche nach bestimmter Seite evt. negativ - Treffer alphabetisch aufgelistet - Ständiges Überprüfen der Aktualität der Links und der Qualität der Seiten Webseiten wurden durch Personal überprüft Suche in Kategorien, Themengebiet Findet Yahoo! wenig, werden Suchergebnisse von Google <1> geliefert Excite <8> InfoSeek <9> Web.de <10>

15 Suchmaschinen, Metasuchmaschinen, Agenten und Klassifikationen Seite 15 6 Ausblick Die verfügbaren Informationen auf dem Internet werden sicherlich auch in Zukunft immer vielfältiger. Seitdem ich mein Studium 1997 an der Uni angefangen habe, ist das Internet auch im Studium anderer Fachrichtungen nicht mehr wegzudenken. Um Vorträge vorzubereiten, geht man nicht mehr in die Bibliothek, sondern sucht sich einen Grossteil der Informationen auf dem Internet zusammen. Genauso ergeht es mir beim Ferien buchen. Das Reisebüro ist eher meine letzte Anlaufstelle, wenn ich denn gar nichts auf dem Internet finden sollte. Ich bin bisher sozusagen noch nie enttäuscht worden. Man findet im Grunde genommen alles auf dem Internet und oft auch Dinge, die man nicht erwartet hätte. Wie wird wohl die Zukunft aussehen? Wie werden wir auf diese riesige Menge von Daten zugreifen können? Sicherlich werden unsere Prozessoren immer schneller, Speicher wird immer billiger, die Leute immer schlauer, wie Probleme gelöst werden können. Aller hier genannten Ideen scheinen mir sinnvoll, wobei ich das Gefühl habe, dass die Agenten noch viel Entwicklungspotential bilden. Bei den Suchmaschinen, Metasuchmaschinen und Klassifikationen spielen Algorithmen, Speicherverfahren usw. die Hauptrolle. Das wird sich sicherlich noch verbessern. Bei der Weiterentwicklung der Agenten hingegen gilt es menschliche Verhaltensmuster zu analysieren, damit sie lernen uns in Zukunft bei unserer täglichen Arbeit zu unterstützen. Ich bin schon neugierig, was auf diesem Gebiet in Zukunft herausgefunden wird wer weiss, vielleicht bin ich sogar daran beteiligt? 7 Literaturverzeichnis [1] The Anatomy of a Large-Scale Hyptertextual Web Search Engine Sergey Brin, Lawrence Page; Computer Science Departement, Stanford University; 1997 [2] The MetaCrawler Architecture for Resource Aggregation on the Web Erik Selberg, Oren Etzioni; Departement of Computer Science and Engineering University of Washington, Seattle; 1996 [3] Internet Information Retrieval The Further Development of Meta-Searchengine Technology Wolfgang Sander-Beuerman, Mario Schomburg; Regionales Rechenzentrum Niedersachsen, Institute for Computer Networks and Distributed Systems Hannover; 1998 [4] Autonomous Citation Matching Steve Lawrence, C. Lee Giles, Kurt D. Bollacker; NEC Research Institute, Princeton; 1999 [5] Indexing and Retrieval of Scientific Literature Steve Lawrence, Kurt Bollacker, C. Lee Giles; NEX Research Institute, Princeton [6] Context in Web Search Steve Lawrence; NEC Research Institute, Princeton; 2000 [7] Information Agent Technology for the Internet: A Survey Matthias Klusch; German Research Center for Artificial Intelligence, Saarbrücken [8] Intelligente Softwareagenten Walter Brenner, Rüdiger Zarnekow, Hartmut Wittig, Springer; 1998 [9] Funktionalität von WWW-Katalogen Prof. Dr. Norbert Fuhr, Universität Dortmund [10] Information Retrieval Skript Prof. Dr. Nobert Fuhr, Universität Dortmund

16 Suchmaschinen, Metasuchmaschinen, Agenten und Klassifikationen Seite 16 8 Abbildungsverzeichnis Abbildung 1: Architektur von Google Abbildung 2: Hit List, Lexicon, Inverted and Forward Barrel Abbildung 3: Architektur von MetaCrawler Abbildung 4: Eigenschaften von Agenten Abbildung 5: Monohierarchie-Polyhierarchie Abbildung 6: Polydimensionalität Abbildung 7: Facetten- oder synthetische Klassifikation 9 Links <1> <2> <3> meta.rrzn.uni-hannover.de <4> <5> <6> <7> <8> <9> <10> web.de <11> <12> <13> <14>