Suchmaschinen. Heiko Fröhlich. 29. Juni Ausarbeitung zum Proseminar Text Mining an der Uni Ulm SS Aufgabe von Suchmaschinen 2

Transkript

1 Suchmaschinen Heiko Fröhlich 29. Juni 2005 Ausarbeitung zum Proseminar Text Mining an der Uni Ulm SS2005 Inhaltsverzeichnis 1 Aufgabe von Suchmaschinen 2 2 Gewöhnliche Suchmaschinen wie z.b Google Erstellen des Inversen Index Eigentliche Suche Präsentation der Resultate Das Ranking Link Popularity Metasuchmaschinen 3 4 Grouper, die etwas andere Suchmaschine Was ist Grouper? Wie arbeitet Grouper? Der STC Algorithmus Säubern der Dokumente Erzeugen von Basisclustern Vereinigen von Basisclustern Neuartige Eigenschaften Benutzerschnittstelle Geschwindigkeit Grouper in der Praxis Vergleich von Grouper mit anderen Suchmaschinen Vergleiche zu anderen Gruppierungsverfahren Vergleich von Grouper und der Suchmaschinen die die Resultate in einer linearen Liste anzeigen Schlussfolgerung

2 1 Aufgabe von Suchmaschinen Suchmaschinen dienen dazu, dem Benutzer aus der unüberschaubaren Menge von Dokumenten im Web einige spezielle Dokumente herauszusuchen. Die Suchmaschine soll durch einen oder mehrere vom Benutzter eingegebenen Suchbegriffe, alle Dokumente finden, die mit diesem Thema in Zusammenhang stehen. 2 Gewöhnliche Suchmaschinen wie z.b Google 2.1 Erstellen des Inversen Index Zuerst muss ein Index erstellt werden, der die Dokumente den Worten zuordnet. Um diesen zu erstellen benötigt man einen sog. Web Crawler. Dieses Programm liest alle Dokumente und erstellt einen invertierten Index. Dieser enthält eine Liste von allen Wörtern aus allen Dokumenten. Dabei sind mit jedem Wort alle Dokumente verknüpft, in denen das Wort vorkommt. Dieser Index ist elementar für die Suche. Der Index muss natürlich von Zeit zu Zeit überarbeitet werden. Ein Dokument, welches nicht in dieser Liste durch einen Link vorhanden ist, kann bei einer Suche auch nicht gefunden werden. Eine Suchmaschine muss in einer enorm grossen Menge von Dokumenten suchen, deshalb wird die Indexdatei sehr gross. Auch die Anzahl der Wörter die in einem Dokument vorkommen ist nicht unerheblich. Aus diesem Grunde wird viel Zeit zur Erstellung des inversen Indexes benötigt. Um die Komplexität möglichst gering zu halten, bedient man sich folgendem Faktum. Da in einem Dokument meist alle signifikanten Wörter am Anfang stehen z.b. Überschrift, Absatzbeginn..., genügt es völlig, z.b nur die 100 ersten Wörter zu betrachten. 2.2 Eigentliche Suche Bei der eigentlichen Suche wird nur in der Indexliste nach dem Wort gesucht. Hat man dieses gefunden, so hat man automatisch alle Dokumente gefunden, in denen dieses Wort auftritt. 2.3 Präsentation der Resultate Um dem Benutzer die nun gefundenen Dokumente zu präsentieren, sollte man diese noch nach der Relevanz sortieren. Meist wird eine sehr grosse Menge an Dokumenten gefunden. In einigen von diesen Dokumenten ist der Suchbegriff das Hauptthema des Dokumentes, und bei anderen wird der 2

3 Suchbegriff nur nebenbei erwähnt. Derhalb wird ein Verfahren, das Ranking verwendet, welches versucht die Dokumente nach gewissen Regeln zu sortieren Das Ranking Man versucht beim Ranking herauzufinden welche Rolle der Suchbegriff im Dokument spielt. Man ordent alle gefundenen Dokumente nach der Bedeutung des Suchbegriffs im Dokument. Wichtige Kriterien zur Ermittlung der Relevanz von Dokumenten sind: Suchbegriffe im Titel Suchbegriffe in der Dokumentbeschreibung (Diese ist Bestandteil von Webseiten, doch für den Benutzer nicht sichtbar) Häufigkeit der Suchbegriffe im Inhalt der Webseite Suchbegriffe als Teil des Domain Namens Anzahl und Qualität der auf das Dokument verweisenden Links Link Popularity Die Linkpopularity gewinnt in letzter Zeit immer stärker an Gewicht, da ein Link von einem Dokument A auf ein Dokument B als Empfehlung gewertet wird. Man geht davon aus, das der Autor des Dokumentes A das Dokument B besucht und es für gut empfunden hat. Dabei werden die Links von Seiten mit ähnlicher thematischer Ausrichtung höher gewichtet als von themenfremden Dokumenten. Dies ist doch verständlich, da Betreiber von thematisch verwandten Websites Fachleute sind. Sie können am besten Beurteilen, ob ein Dokument empfehlenswert ist. Eine gute Website verweist auf andere gute, themenverwandte Websites. Die vorgestellten Kriterien sind nur ein kleier Teil der verwendeten. Natürlich werden die Kriterien unterschiedlich stark gewichtet. Die genauen Gewichtungen der verwendeten Kriterien können nicht genannt werden, da sie meist ein gut gehütetes Geheimnis der Suchmaschinenbetreiber sind. 3 Metasuchmaschinen Eine Meta-Suchmaschine besteht aus einem Programmsystem, das es ermöglicht, mit einer einzigen Eingabe eine Reihe von Suchmaschinen und Katalogen parallel abzusuchen und die Ergebnisse auszuwerten. Sie ist den normalen, einfachen bzw herkömmlichen Suchmaschinen übergeordnet, daher der Name (Meta = griechisch: über). Als weitere Bezeichnungen sind auch Namen 3

4 wie Multisucher oder Multisearcher im Gebrauch.[2] Sucht man nun nach bestimmten Begriffen, so muss, wenn man ein vollständiges Ergabnis haben möchte, jede einzelne Suchmaschine aufgerufen, die Abfrage von Hand eingegeben, und das jeweilige Resultat analysiert werden. Insbesondere müssen doppelte Treffer, also solche, die bei mehreren Suchmaschinen gefunden werden, aussortiert werden. All diese Arbeiten kann Ihnen eine Meta-Suchmaschine abnehmen, denn diese sucht ihrerseits die Suchmaschinen ab und bereitet die Ergebnisse auf. Eine Metamaschine kann jedoch immer nur so gut (oder schlecht) sein, wie die darunterliegenden eigentlichen Suchdienste. Beispiel für eine Metasuchmaschine: MetaGer 4 Grouper, die etwas andere Suchmaschine 4.1 Was ist Grouper? Grouper ist eine Technik, die die Suchresultate gruppiert. Grouper versucht die Suchresultate auf ihren semantischen Zusammenhang zu untersuchen, und anhand diesem ähnliche Dokumente zu finden, und sie schliesslich in sog. Clustern zusammenzufassen. 4.2 Wie arbeitet Grouper? Grouper ist ein die Schnittstelle die die Gruppierung und Verarbeitung der HuskySearch übernimmt. HuskySearch ist eine Metasuchmaschine. Grouper gruppiert die Ergebnisse von HuskySearch mit Hilfe des STC Algorithmus. 4

5 4.3 Der STC Algorithmus Im Folgenden wird der STC (SuffixTreeClustering) Algorithmus kurz erläutert. Der STC Algorithmus hat eine lineare Zeitkomplexität (in Beziehung auf die Anzahl der Dokumente). Er erkennent Phrasen, welche in mehreren Dokumenten auftreten, und bildet anschliessend Cluster aus diesen Dokumenten.[7] STC ist in 3 logische Teile unterteilt: Säubern der Dokumente Beim Säubern der Dokumente wird der Text, der jedes Dokument repräsentiert, in einen Text umgewandelt, in dem Satzgrenzen markiert, und Nichtwörter wie Zahlen, HTML-Tags, Satzzeichen usw. entfernt werden Erzeugen von Basisclustern Dieser Punkt kann als Erstellung eines inversen Index anhand der Phrasen angesehen werden. Dieses kann sehr effizient mit Hilfe eines Suffixbaumes vollzogen werden. Diese Datenstruktur kann in linearer Zeit erzeugt werden. Beispiel zu einem Suffixbaum [5]: Gegeben seinen 2 Wortphrasen: Phrase 1: information retrieval system development Phrase 2: System development platform and toolkit Nun werden aus diesen Phrasen die Bäume aufgebaut (Abbildung 1). Dann werden in Baum1 nach und nach alle Knoten von Baum2 eingefügt. Nach dem alle Knoten eingefügt wurden, erhält man Suffixbaum (Abbildung 5

6 2)[5]. Die Knoten stehen jeweils für eine Gruppe von Dokumenten und eine Phrase, die diese Dokumente gemeinsam haben. Zusätzlich ist jedem Knoten eine sog. Bewertungsfunktion zugeordnet. Bewertungsfunktion: s (B) = B f ( P ) B ist die Anzahl der Dokumente des Basisclusters B P die Anzahl der relevanten Wörter der Phrase P. Die Funktion f sorgt für die Bewertung der Länge der Phrasen, und ist folgendermassen definiert: 0 falls P = 1 f ( P )) = P falls2 P 6 α falls P > 6 Phrasen die nur aus einem Wort bestehen werden niedriger bewertet als Phrasen aus mehreren Wörtern. Ab 7 Wörtern ist die Funktion konstannt Vereinigen von Basisclustern Der letzte Schritt des STC-Algorithmus vereinigt die Basiscluster, welche einen hohen Grad an Überlappung in den Dokumenten, die sie beinhalten aufweisen. 6

7 Man definiert die Ähnlichkeit der Basiscluster Bm und Bn als 1, falls die beiden folgenden Bedingungen erfüllt sind.[5] Bm Bn Bm > 0, 5 Bm Bn Bn > 0, 5 Bm ist die Anzahl der Dokumente des Basisclusters Bm Bm Bn ist die Menge der Dokumente, die Bm und Bn gemeinsam haben. Sind diese Bedingungen nicht erfüllt, dann ist die Ähnlichkeit 0. Anschaulich bedeutet dies: Wenn die Schnittmenge der Basiscluster mehr als die Hälfte der Dokumente beider Basiscluster enthalten, ist die Ähnlichkeit 1, sonst 0. Wenn nun die Ähnlichkeit zweier Basiscluster 1 ist, dann werden diese zu einem Cluster zusammengefasst. Dies erzeugt Cluster, welche einen grossen semantischen Zusammenhang besitzen. Dies ist möglich, da Dokumente auch in der selben Gruppe sein können, obwohl sie nicht die gleiche Phrase beinhalten. Dieser Schritt verringert die Anzahl der Cluster, durch das Vereinigen von Basisclustern Neuartige Eigenschaften Beim STC-Algorithmus ist es erlaubt, dass ein Dokument in mehreren Clustern vorkommt[7]. Bei anderen Verfahren ist dies nicht möglich. Dort wird jedes Dokument in genau einen Cluster gezwängt. Auch das Bilden von Clustern anhand von Phrasen (Alle Dokumente eines Clusters beinhalten die gleiche Phrase) ist ein entscheidender Vorteil gegenüber der Clusterbildung durch einzelne Worte (Alle Dokumente eines Clusters beinhalten das selbe Wort). Es ist leicht nachzuvollziehen, dass durch Wortphrasen der Inhalt des Dokumentes viel genauer erfasst werden kann, und somit Cluster mit einem semantischen Zusammenhang gebildet werden können. Ein enorm wichtiger Effekt ist auch die geringe Rechenzeit um eine Suchanfrage zu beantworten, da die Clusterung der Dokumente auf dem lokalen Rechner vollzogen wird.[5] Der STC-Algoritmus beginnt schon mit der Bildung der Cluster, noch bevor er alle Resultate von den Suchmaschinen erhalten hat. 4.4 Benutzerschnittstelle Eine Grouper Anfrage beginnt mit der Eingabe der Suchworte in eine Eingabemaske (Abbildung 3). Zusätzlich kann der Benutzer noch auswählen ob alle Wörter in den Resultaten vorkommen sollen, oder nur eines. Auch die maximale Anzahl der Resultate von jeder der verwendeten Suchmaschinen 7

8 ist wählbar. Wenn Grouper mit ungefähr 10 Suchmaschinen (wovon man ausgeht) zusammenarbeitet, bekommt man nach der Eliminierung von doppelt vorkommenden Dokumenten ca Dokumente[7]. Nachdem die Suchmaschinen ihre Suchresultate zurückgeliefert, oder 10 Sekunden vergangen sind, wird die Hauptseite (Abbildung 4) angezeigt. Die Hauptseite zeigt die Anzahl der Dokumente die gefunden wurden, und die Anzahl der Cluster die gebildet werden konnten. Die Cluster werden in einer Tabelle präsentiert. Es werden zu jedem Cluster die gefundenen Phrasen mit Ihrer jeweiligen Häufigkeit angezeigt, d.h. die Anzahl der Dokumente in diesem Cluster, welche die jeweilige Phrase beinhalten. Auch der Titel von 3 Beispieldokumenten wird in der Tabelle zu jedem Cluster angezeigt. Wenn ein Benutzer seine gesuchte Information in einem Cluster vermutet, dann kann dieser alle Dokumente von diesem Cluster in einer Liste ansehen. Wenn er eine interessanten Titel in der Übersicht sieht, kann er gleich zu diesem Dokument gehen. Ausserdem kann der Benutzer weitere Dokumente über die Funktion More Like This, die einige Suchmaschinen besitzen finden. Diese Methode erlaubt dem Benutzer jedoch nicht die Suche weiter zu beeinflussen. Es werden neue Dokumente gesucht die in Beziehung mit der gewählten Gruppe stehen. Grouper ist die einzige Suchmaschine, welche dem Benutzer Wortphrasen zum Verfeinern der Suche vorschlägt. Wenn man beachtet dass 4/5 der Benutzer die Funktion Suche verfeinern mit den vorgeschlagenen Suchbegriffen nützen, wobei 2/5 von diesen Multiwortphrasen sind. Dies verdeutlicht wie nützlich das Vorschlagen von Wortphrasen in der Praxis ist. Gruppen übersichtlich gestalten: Es genügt nicht nur nützliche Cluster zu bilden. Vielmehr ist es enorm wichtig, diese so zu beschreiben, dass der Benutzer auf den ersten Blick erkennt ob die gesuchten Informationen in diesem Cluster zu erwarten sind. Darum ist es unerlässlich die Cluster mit kurzen und treffenden Charakterisierungen zu präsentieren. Eine Möglichkeit ist es Cluster mit Wörter, welche häufig in den beinhalteten Dokumenten auftreten zu charakterisieren. Es wäre aber auch denkbar die Cluster mit einigen ausgewählten Dokumententiteln zu beschreiben. Grouper bildet ja bekanntlich die Cluster mit Hilfe von Wortphrasen. Diese haben sich als extrem nützlich zur Charakterisierung der Cluster erwiesen. Die Phrasen werden so sortiert, dass die die in den meisten Dokumenten dieses Cluster vorkommen zu oberst stehen. Auch die Anzahl der Wörter in einer Phrase sind entscheidend für die Sortierung. Meist werden nur die sechs ersten Phrasen präsentiert, da viele Phrasen überlappend und dadurch redundant vorkommen können auch hier einige eliminiert werden. Zusätzlich werden zu jeder Gruppe auch noch die am häufigsten vorkommenden Wörter angezeigt, aber nur, wenn sie in weniger als 40 Prozent der Dokumente und nicht in der Stoppwordliste vorkommen. Diese Wörter wer- 8

9 9

10 den getrennt mit einem Semikolon hinter den Phrasen angeordnet.[7] Ein andrer Punkt ist die Anordnung der Dokumente in einer Gruppe, da gibt es zwei Möglichkeiten. Man kann die Dokumente nach dem Vorkommen des Suchwortes im Dokument anordnen, oder nach der Anzahl der Phrasen die sie enthalten. Nach einigen Versuchen hat sich die letztere Methode als bessere herausgestellt. 4.5 Geschwindigkeit Geschwindigkeit ist im Web enorm wichtig. Grouper hat einige Hauptmerkmale die für eine schnelle Verarbeitung der Anfragen sorgen: Da Grouper inkrementell ist kann es die (freie) CPU-Zeit während es auf die Resultate der Suchmaschinen wartet nutzen. Im Mittel ist Grouper bereits mit der Hälfte der Berechnung fertig bis das letzte Dokument ankommt.[7] Der bedeutendste Vorteil bei der Geschwindigkeitsbetrachtung ist wohl dass die Clusterung auf dem eigenen Rechner vollzogen wird. Dadurch wird die Suchanfrage schneller beantwortet, und die Verarbeitung der Dokumente beschleunigt. Es gibt zwei Möglichkeiten um die Dokumente zu gruppieren. Man kann sie anhand der Resultate die die Suchmaschinen zurückliefern gruppieren, was recht schnell geht. Oder man lädt die Orginaldokumente aus dem Web herunter, wodurch man zweifelsfrei mehr Informationen erhält. Das Herunterladen der Dokumente nimmt jedoch sehr viel Zeit in Anspruch. Da aber die Qualität der Cluster durch das Herunterladen der Dokumente nur 15 Prozent besser ist, benützt man meist das andere Verfahren. Der STC-Algorithmus hat eine lineare Laufzeit, (Abbildung 5) mit der Anzahl der Dokumente.[7] Um die vielen Stringvergleiche schnell 10

11 durchführen zu können geht man folgendermassen vor. Man wandelt die Strings in Integerzahlen um, und führt dann nur Integervergleiche durch. Die Integervergleiche kann man in einem Bruchteil der Zeit der Stringvergleiche durchführen. Zusätzliche Geschwindigkeit wird durch das Ignorieren der Stoppwords am Anfang und am Ende von Phrasen erreicht, so können z.b. the President of the USA und President of the USA als die gleiche Phrase angesehen werden. 4.6 Grouper in der Praxis Bei der Einführung von Grouper in die Praxis gibt es einige Probleme, zum einen gibt es in der Praxis viele Suchanfragen mit unterschiedlichem Ziel. Jemand will eine Webseite finden, welche er schon besucht hat, und hat nur ihre Adresse vergessen. Ein Anderer will einen Überblick über ein Thema bekommen, wiederum ein anderer will eine große Anzahl von Dokumenten zu seinem Thema finden. Man wird schon bald merken dass ein Gruppierungssystem in nur einem Teil der oben genannten Probleme gute Dienste leistet. 5 Vergleich von Grouper mit anderen Suchmaschinen 5.1 Vergleiche zu anderen Gruppierungsverfahren Die erste These und Hoffnung ist, dass die Benutzer nur Dokumente der wenigen ersten Clustern anschauen. Auf diesem Diagramm (Abbildung 6) sind die besuchten Dokumente über den besuchten Clustern von einigen verschiedenen Clusteringverfahren aufgetragen. 11

12 Auf dem Diagramm kann man deutlich sehen dass Grouper die anderen Clusterungsverfahren in den besuchten Clustern pro Dokument deutlich unterschreitet. Das schlechteste Clusteringverfahren ist wohl dass random Clustering, was nicht weiter verwunderlich ist, da bei diesem Clustering die Dokumente zufällig in die Cluster einsortiert wurden. Das Ergebnis von Grouper ist zwar nicht schlecht, doch man hat es um einiges besser erwartet. Man kann sehen dass bei 7 besuchten Dokumenten bereits 3 Cluster besucht wurden. Sucht man hierfür eine Erklärung, so kann man dies auf zwei verschiedene Weisen sehen. Zum einen könnte es sein dass viele Benutzer einen Überblick über das gesuchte Thema bekommen wollten, und deshalb viele Gruppen besucht haben. Oder (was nicht besonders erfreulich wäre) Grouper nicht den erhofften Anforderungen entspricht, dass Benutzer meist schon in der ersten Gruppe fündig werden. 5.2 Vergleich von Grouper und der Suchmaschinen die die Resultate in einer linearen Liste anzeigen Der Vergleich von Grouper mit Suchmaschinen, die ihre Ergebnisse in einer Liste präsentieren gestaltet sich recht schwer. Da die beiden Verfahren recht unterschiedlich sind, hat man grosse Schwierigkeiten aussagekräftige Vergleiche zu erstellen. 5.3 Schlussfolgerung Grouper ist in manchen Fällen eine gute Alternative zu den Suchmaschinen die ihre Resultate in einer linearen Liste anzeigen. Wenn man einen Überblick über ein Thema bekommen will, oder wenn man bei einer Suche sehr viele Resultate mit sehr unterschiedlicher Bedeutung erwartet. Wenn man hingegen nur z.b. den Zahlenwert von Π sucht, dann wird man wohl mit einer gewöhnlichen Suchmaschine suchen. Auch bei allen Anfragen in denen man eine Anfrage sehr genau formuliert (sehr viele/spezielle Suchbegriffe), und nur sehr wenige Resultate erwartet macht es wenig Sinn gruppierende Suchmaschinen zu verwenden. Es gibt aber durchaus Anfragen bei denen man die Vorteile des Clustering ausnützen kann. Es ist aber eine kurze Einarbeitungszeit erforderlich, um die Präsentation der Ergebnisse zu verstehen. Der wohl wichtigste Vorteil von Grouper gegenüber anderen gruppierenden Suchmaschinen ist die schnelle Bearbeitung der Anfragen. Dies wird hauptsächlich durch die Clusterbildung auf dem lokalen Rechner hervorgerufen. Es ist geplant eine größere Studie durchzuführen um die Vor- und Nachteile von Grouper noch genauer zu erforschen. Geplant ist auch ein Grouper2, bei welchem man auch die vorläufigen Gruppen sehen kann, nicht nur die vereinigten Gruppen. 12

13 Quellen [1] [2] MetaCrawler, HuskySearch, and Grouper, Computer Science and Engineering, 2001 [3] Oren Zamir and Oren Etzioni, Department of Computer Science and Engineering [4]Clustering Web Search Results Steve Brandson, Ari Greenberg [5]Suffix Tree Clustering on Post-retrieval Dokuments Guihong Cao, Dawei Song, Peter Bruza [6]Carrot and Language Properties in Web Search Results Clustering Jerzy Stefanowski, Dawid Weiss [7]Grouper Oren Zamir, Oren Etzioni [8] 13