Relevanz-Algorithmen für Suchmaschinen. Verbesserung des Ranking-Algorithmus ht://dig Suchmaschine

Transkript

1 Relevanz-Algorithmen für Suchmaschinen Verbesserung des Ranking-Algorithmus ht://dig Suchmaschine PDV Vertiefung SS 2007 FH-Wiesbaden Nikankin Vladimir Keller Natalie

2 Inhalt Einleitung 2 Theoretischer Teil 1. Was ist ht://dig? 3 2. ht://dig Hauptkomponenten 3 3. ht://dig Arbeitsweise 4 Praktischer Teil 4. Problemstellung 6 5. Internetrecherche 6 6. Wortdichte, ein zusätzliches Relevanzkriterium für ht://dig Problematik Einarbeitung in Quellkode Ergebnisse 9 7. Ähnliche (gleiche) Seiteausblenden Seitenvergleichalgorithmus(Internetrecherche) Vergleich durch Index Vergleich durch Vektor 11 Zusammenfassung 12 Quellen 12 2

3 Einleitung In unserem Projekt haben wir uns mit der Suchmaschine ht://dig beschäftigt. Unsere Aufgabe war es, die ht://dig Suchmaschine um zwei weiteren Rankingkriterien erweitern, erste Kriterium: Keyword-Dichte (Die relative Häufigkeit) und Zweite Kriterium: Ähnliche (gleiche) Seiten ausblenden. Theoretischer Teil 1. Was ist ht://dig? Das Programmpaket ht://dig (engl.: to dig = graben ) ist eine komplette Suchmaschine für Intra- und Internet-Dokumente. Die Suche beschränkt sich dabei nicht auf HTML-Seiten, sondern es können auch viele andere Dokument-Arten durchsucht werde, z.b..doc- und pdf-dateien, sofern entsprechende Plugins installiert werden. ht://dig liegt derzeit in der stabilen Version vom (!) vor. 2. Hauptkomponenten. Das Paket besteht aus drei Hauptkomponenten: htdig: Das Programm zum Durchforsten der Webseiten und zum Sammeln der Daten. htmerge: Konvertierung und Indexierung der gefundenen Daten zu einer Datenbank. Typischerweise lässt man htdig und htmerge einmal jede Nacht laufen. htsearch: Das eigentliche Suchprogramm, ein cgi-script, welches durch ein Webformular gestartet wird. Zusätzlich werden folgende Programme mitgeliefert: htfuzzy: Eine unscharfe Suche, die zu gesuchten Wörtern auch jene mit anderen Endungen findet. Je nach Konfiguration können hiermit auch Synonyme gefunden werden. htfuzzy wird standardmäßig verwendet. htnotify: Informiert den Webmaster über veraltete Dokumente (Seiten die seit einem festgesetzen Datum nicht mehr verändert wurden). 3

4 3. Arbeitsweise htdig greift (normalerweise) per http-protokoll auf Dokumente zu und folgt dann den Hyperlinks zu weiteren Dokumenten. Dabei sieht htdig den Quelltext der Seiten, also z.b. auch Kommentare, die aber nur bei besonderer Konfiguration auch für die Suche herangezogen werden können. Per Konfigurationsdatei wird festgelegt, wie vielen Unter- Verzweigungen htdig folgt und ob es die Domain des Start-URL verlassen darf. Durch das http-protokoll ist die Suche nicht auf den eigenen -Server beschränkt. Theoretisch könnte man mit htdig auch das Netz komplett durchsuchen vorausgesetzt man hätte genügend Zeit und den erforderlichen Plattenplatz. Es ist auch möglich, auf Dateisystem-Ebene zu indexieren. Dabei sind htaccess und in PHP geschriebene Anmeldesysteme außer Kraft. Das Script sieht alles - auch die Kennwörter für die Datenbank in den PHP- Dateien! htdig (und htmerge) legen eine Datenbank mit einem Index zu jedem gefundenen Wort an. Dabei wird zu jedem Wort nicht nur die Fundstelle (URL) gespeichert, sondern auch die Position im Text. Daraus kann htsearch bei der Anzeige der Treffer auch die Umgebung des Suchwortes anzeigen. Konfiguration. /etc/htdig/htdig.conf kann das Verhalten des Programmpakets detailliert festgelegt werden. Eine vollständige Dokumentation findet sich auf der ht://dig-webseite. Wir können hier nur die wichtigsten Parameter wiedergeben: start_url: Ausgangspunkt(e) der Suche, es können mehrere, durch Whitespace getrennte URLs angegeben werden. limit_urls_to: Beschränkung auf die angebenen URLs. Achtung. würde das ganze Internet durchsuchen. Üblich ist z.b.: ${start_url}. exclude_urls: Seiten, deren URL diesen String enthalten, werden nicht durchsucht. bad_extensions: Dateien, die nicht durchsucht werde, z.b..gif,.jpg usw. max_head_length: Soviele Bytes (ohne HTML-Markup) werden in die Datenbank aufgenommen, um bei der Ergebnisanzeige die Umgebung des Treffers anzuzeigen. max_doc_size: So viele Bytes eines Dokuments werden maximal für die Suche verwendet. bad_word_list: Liste unerwünschter Begriffe use_star_image: no Zeigt keine Sternchen bei den Ergebnissen an. 4

5 5

6 Praktischer Teil 4. Problemstellung. Mit mehreren Millionen gespeicherter Webseiten ist es leicht nachvollziehbar, dass Suchmaschinen für die meisten Suchanfragen Tausende von Ergebnissen liefern. Ein Verfahren, die vielen gefundenen Seiten in eine sinnvolle Reihenfolge zu bringen, nennt man Ranking Algorithmus. Bei der Abfrage von Suchmaschinen werden die Ergebnisse in einer vom Hersteller vorgegebenen Rangordnung dargestellt: In einer Reihenfolge, bei der die ersten Treffer die größte Relevanz für den Suchbegriff aufweisen sollten. Für die Relevanzbestimmung werden verschiedene Ranking Kriterien benutzt. Jede Suchmaschine hat daher ihre eigenen, geheimen Regeln beim Ranking. Beispiel: Google oder Altavista benutzen - nach eigenen Angaben - mehr als 100 Ranking-Kriterien für die Bewertung der Seiten und der Web-Sites (Themenbasiertes Ranking). 5. Internetrecherche. Im Internet haben wir Beschreibung von mehreren meist benutzten Ranking Kriterien gefunden Suchmaschinen bewerten Seiten als besonders relevant, wenn der entsprechende Suchbegriff z.b. im Titel oder innerhalb einer Überschrift vorkommt. Ebenso werden Begriffe, die im Text weiter oben stehen, als besonders relevant erachtet. Für Suchanfragen, die zwei oder mehr Worte enthalten ist es wichtig, dass beide Suchbegriffe möglichst nah im Text bzw. im Titel stehen. Begriffe, die tief in verschachtelten Tabellen stehen, werden tendenziell eher schlechter bewertet. Es spielt aber auch die Häufigkeit eine Rolle. Zumeist ist die relative Häufigkeit, die oft auch als Dichte bezeichnet wird, wichtiger als die absolute Anzahl. Ein relativ kurzer Text, in dem mehrmals (z.b. 4-5mal) das Suchbegriff vorkommt, wird demnach als relevanter für den Suchbegriff erachtet, als ein sehr langer Text mit z.b Vorkommen. Aus diesem Grunde haben auch kurze Seiten häufig bessere Positionen. Wichtig für die meisten Suchmaschinen ist auch die URL der Seite. Damit ist nicht nur die Domain gemeint, sondern auch der Pfad und der Dateiname auf dem Webserver. Und einige Suchmaschinen bewerten offenbar auch das letzte Änderungsdatum, wobei "frische" Seiten besser bewertet werden. 6

7 Die wichtigsten Ranking-Kriterien: Keyword-Dichte (Die relative Häufigkeit) Titel (Wenn der entsprechende Suchbegriff z.b. im Titel vorkommt.) Überschrift (Das Vorkommen innerhalb der Meta Tags.) Populatität (URL der Seite.) Link (die Anzahl externer Links auf eine bestimmte.) Aktualität (Kürzlich online gestellte Seiten besser bewertet werden.) Suchmaschinenfreundliche Struktur der Webseite (Alle Unterseiten mit möglichst wenigen Klicks, von der Startseite aus zu erreichen sind.) Anzahl der eingehenden Links (Die Anzahl der Links von Verweisseiten) Linktext und Alt-Tag der eingehenden Links Themenrelevanz der linkenden Seiten (Themenverwandschaft von zwei Webseiten) 6. Wortdichte, ein zusätzliches Relevanzkriterium für ht://dig. Das Suchprogramm htsearch ordnet die Webseiten, die die Suchbezeichnungen erfüllen, bevor sie in die Resultate Seite zurückgebracht werden. Es verwendet eine komplizierte Richtlinie, um die Seiten zu ordnen. Diese Richtlinie zieht in Betracht die folgenden Faktoren, die entweder auf die Suchform oder in die Aufstellungsortkonfiguration Akte eingestellt werden können. description_factor heading_factor keywords_factor meta_description_factor text_factor title_factor backlink_factor date_factor Eine von unseren Aufgaben war Erweiterung das Suchmaschine ht://dig um ein weiteren Suchkriterium und zwar Keyword-Dichte. Die Keyword-Dichte auch als relative Häufigkeit bezeichnet ist dabei wichtiger als die absolute Anzahl. Deshalb können kurze Seiten eine bessere Position haben als lange. Natürlich spielt auch die Häufigkeit eine Rolle. Zumeist ist die relative Häufigkeit wichtiger als die absolute Anzahl. Ein nur 20 Worte langer Text, in dem viermal das Wort vorkommt, wird demnach als relevanter für den Suchbegriff erachtet, als ein Text mit 500 Worten mit zehn Vorkommen. 7

8 6.1 Problematik. Obwohl die Entwicklung von ht://dig seit etwa zwei Jahren ruht, ist immer noch auf dem guten technischen Level, insbesondere durch seine Vielzahl an Konfigurationsmöglichkeiten. Durch die schon etwa 10 Jahre dauernde Entwicklung von ht://dig ist der Quelltext stellenweise recht komplex und Zusammenhänge sind oft schwer zu verstehen. Eine der Aufgaben, wenn man Änderungen an ht://dig vornehmen will, ist es, herauszufinden, an welchen Stellen diese Änderungen vorzunehmen sind. 6.2 Einarbeitung in Quellkode. Wir haben zusätzliche Wariablen und Funktionen in Quellkode eingefügt z.b. DocWordCounter() die zählt alle Wörter die zu eine DocId gehören. htcommon\documentref.h (113): void DocWordCounter() {DocWordCount++;} (114): int getdocwordcounter() {return DocWordCount;} (115): void setdocwordcounter(int c) {DocWordCount=c;} (175): int DocWordCount; htcommon\documentref.cc (179): DocWordCount = 0; (216): DOC_WORDCOUNTER (381): addnum(doc_wordcounter, s, DocWordCount); (579): case DOC_WORDCOUNTER: getnum(x, s, DocWordCount); break; (648): DocWordCounter(); In DocumentDb.cc Function Serialisiere fugt diese Information zu Daten Bank. htdig\retriever.cc (1063): current_ref->docwordcounter(); htsearch\parser.cc (279): dm->count = wr.count; 8

9 htsearch\display.cc Die Anzahl von allen Wörtern von eine Webseite und vorkommen von Suchwörtern werden aus dem Datenbank genommen aus Dateien db.wordlist und db.docdb. sxp = ; (1930): double w_dichte = (double)dm->count/(double)thisref- >getdocwordcounter(); if(w_dichte >= 0.05) score = 0; else score += w_dichte * sxp; Dann zählen wir die Häufigkeit eines Suchwortes. Diese beiden Zahlen setzen wir in Relation und erhalten einen Prozentwert, der 5% nicht überschreiten sollte. Wird neue Raiting ausgerechnet. 6.3 Ergebnisse. Das Zusammenzahlen des Wortes lauft im Backend. Die Ausrechnung der Relativen Häufigkeit im Frontend. Wir empfehlen die Dichte bei maximal 5% pro Wort. Mehr als 10% sollten nicht eingesetzt werden. Optimal sind 2-5%. Beim score Ausrechnung hatten wir festgestellt, dass das Ergebnis zu klein ist um Positionierung die Seiten beim Ausgabe zu beeinflussen. Deshalb multiplizieren wir ihn mit Variablen sxp. Die Größe von sxp wurde experimentell ermittelt. 7. Ähnliche (gleiche) Seiten ausblenden. Ein weiteres Problem für die Darstellung der Suchergebnissen in klassischen Suchmaschinen die Darstellung Fast-Identische Seiten. Darunter versteht man Seiten, die im Internet mehrfach vorhanden sind(mirrors), oder Inhalte von unterschiedlichen Seiten fast gleich sind. Die Suchmaschinen möchten natürlich nicht mehrfach auf identische Inhalte verlinken und sortieren doppelt vorhandene Inhalte daher möglichst aus. htdig unterstützt nicht die Erkennung und Unterdrückung von Identischen Seiten. 9

10 7.1 Seitenvergleichalgorithmus (Internetrecherche) Seitenvergleich durch Index: Ein Maß für die Ähnlichkeit zweier Dokumente ist ein Index (Zahl), der wird bei der Datenbeschaffung für jedes Dokument erstellt. Später werden die Seiten mit gleichem oder sehr ähnlichem Index aussortiert.das geschieht sehr schnell, weil untersuchtes Dokument wird gleichzeitig mit allen vorhandelten Dokumenten verglichen. Im Gegensatz zum Index das Vergleich von Dokumenten durch Vektoren oder durch Mehrheit von Kriterien(Shingls) ist viel langsamer, weil wird jeder Dokument mit jedem verglichen. Als Beispiel: Seitenvergleich durch Vektor Bag of words -Modell. Ein Maß für die Ähnlichkeit zweier Dokumente ist der Winkel zwischen ihren Dokumentvektoren. Der Dokumentvektor wird aus n Komponenten gebildet. Werte ungleich Null in einer Komponente beschreiben das gewünschte Auftreten des korrespondierenden Shingles im Dokument. Je kleiner der Winkel zwischen zwei Dokumentenvektoren ist, desto ähnlicher ist das Vokabular der Dokumente. Wir haben mehrere Algorithmen gefunden die gleichen Prinzipien benutzen, z.b. Algorithmus von Broder s oder Charikar s Vergleich durch Index. Wir haben versucht eigenen Algorithmus entwickeln um Seiten zu Indexieren. Ein Dokument wird zuerst in Tokens zerlegt in einzelne Wörter. Als Trennzeichen im Dokument dient hier das Whitespace oder Zeichensetzung. Suchanfragen werden unabhängig von der Groß- und Kleinschreibung durchgeführt. Jeder Buchstabe bekommt seine eigene Gewichtung, je nach Häufigkeit ihres Vorkommens im deutschen Wortschatz und ihrer Position im Text. Wörter (Stopwords) - wie und, der, die, das - aus der Tokenmenge entfernt. Die Gewichte werden nach bestimmten Regeln zusammen gerechnet, und diese Summe stellt den Index dar. #include <stdio.h> int main(){ FILE* fp; char c; int i=0,j=0; int sum=0, Gsum=0; fp=fopen("temp.cc","rb"); while((c=getc(fp))!=eof){ i++;j++; 10

11 if(c=='a')sum+=2*i; else if(c=='b')sum+=33*i; else if(c=='c')sum+=22*i; else if(c=='d')sum+=23*i; else if(c=='e')sum+=1*i; else if(c=='f')sum+=6*i; else if(c=='g')sum+=14*i;... else if(c=='-')sum+=67*i; else if(j<3){j=0;sum=0;} else{ Gsum+=sum;j=0;sum=0;} //Gsum=Gsum%10000; } printf("sum %d",gsum); fclose(fp); } Wir haben mehrere Variationen von ähnliche Verfahren getestet. Keine von diesen Variationen hat funktionieret. Beim geringsten Änderungen (z.b. einfügen oder löschen eine einzige Buchstabe) ändert sich Auswertungszahl rasant oder völlig unterschiedliche Texte hatten ähnliche Indexes Vergleich durch Vektor. Für Text findet meist das Bag of words -Modell Anwendung. Sei n die Anzahl der unterschiedlichen Shingle in der Vereinigung aller in einer Datenbank verwalteten Dokumente. (Shingle einzigartigen Merkmall) Jedes Shingle t repräsentiert eine Achse in einem n-dimensionalen euklidischen Vektorraum. Das Dokument stellt einen Vektor d dieses Vektorraums dar. Falls ein Merkmal mit dem Index t (1 < t < n) in einem Dokument d mit einer Häufigkeit von n(d,t) auftritt, entspricht Komponente t von d eben dieser Häufigkeit n(d,t). Eine Normierung der Dokumentenvektoren entsprechend der 1 L, 2 L oder L -Norm auf die Länge 1 kann durchgeführt werden: Durch Vergleich der normierten Vektoren lässt sich die Ähnlichkeit des Wortschatzes von Dokumenten bestimmen. Je kleiner der Winkel zwischen den Vektoren ist, desto ähnlicher ist der Wortschatz. Nahteil von solchen Modellen (Algorithmen) ist das ständiges vergleichen den Relevanten Seiten mit Einander. Z.B. bei den 100 ausgewählten Dokumenten muss man ~5000 Vergleiche durchführen. Damit wird Bearbeitungsgeschwindigkeit negativ beeinflusst. 11

12 Zusammenfassung Unsere Variante der Erweiterung gehört zur Weiterentwicklung des ht://dig. Mit Einführung des weiteren Rankingkriteriums (Wortdichtebestimmung) wird die Ranking den Internetseiten geändert. Dadurch bei Ausgabe werden die relevanteren Seiten höher platziert. Um das zu verwirklichen, musste das große Teil des Quellcodes analysiert werden. Fällende Kommentare, Software-Dokumentation und komplexer Quelltext haben diese Aufgabe zeitaufwendiger gemacht. Die Aufgabenstellung beinhaltete die Einführung eines nächsten Rankingkriteriums (schnelles Aussortieren von gleichen (ähnlichen) Seiten). Leider wurde der passende Index-Algorithmus (schneller Algorithmus) in Netz nicht gefunden. Diese Aufgabe kann auch mit Hilfe eines langsameren Vektor-Algorithmus (VA) gelöst werden. Dafür muss VA anstatt Frontend in Backend eingeführt werden. Damit wird unnötige Verschmutzung der Datenbank mit überflüssigen Informationen vermieden und die Verarbeitungsgeschwindigkeit erhöht. Quellen Ausarb.pdfMotivation ftp://ftp.pdv-systeme.de/vms/ ftp://ftp.pdv-systeme.de/vms/