ht://dig WWW Search Engine Software

Transkript

1 ht://dig WWW Search Engine Software Ruprecht-Karls-Universität Heidelberg Seminar für Computerlinguistik Kurs: Information Retrieval Leitung: PD Dr. Karin Haenelt Erwin Glockner

2 Übersicht Einführung Funktionen Arbeitsweise Zusammenfassung Information Retrieval: "ht://dig" - E. Glockner 2

3 Einführung Entwickelt an der San Diego State University Aktuelle Version: (3.2.0b6) Lizenz: GPL (GNU Public License) System zur Indizierung und Suche innerhalb einer Domäne oder Intranet Dient nicht als Ersatz weltweiter Internetsuchsysteme (z.b.: Google, Lycos, etc.) Information Retrieval: "ht://dig" - E. Glockner 3

4 Funktionen I Intranet-Suche Suche mit booleschen Ausdrücken Suchergebnisse sind konfigurierbar Fuzzy-Suche wird unterstützt Verschiedene Dateiformate können untersucht und indiziert werden Schlüsselwörter können hinzugefügt werden Information Retrieval: "ht://dig" - E. Glockner 4

5 Funktionen II Indizierung geschützter Server möglich Unterstützt Suche von Teilbereichen der Datenbank Suchtiefe kann begrenzt werden Suche in Subnets oder nur bestimmten Server oder Seiten möglich Unterstützt ISO-Latin-1 und HTML-Entitäten uvm. (siehe: Information Retrieval: "ht://dig" - E. Glockner 5

6 Arbeitsweise - Übersicht Digging Datenbank(en) erstellen Merging Zusammenführen der Daten und Programme Searching Suche und Darstellung der Ergebnisse Information Retrieval: "ht://dig" - E. Glockner 6

7 Digging Information gathering, harvesting, etc. Informationen sammeln und indizieren mit htdig htdig Dokumente (html, pdf, doc, etc.) Datenbank (DB) aller zu durchsuchenden Dokumente erstellen: Wortliste URL-Datenbank DB 1: Wortliste DB 2: URLs + Info DB n: Bilder, etc. ASCII-Versionen, Bilder, etc Information Retrieval: "ht://dig" - E. Glockner 7

8 Merging Zusammenführung zweier Prozesse: Konvertierung aller Dokumente in spezialisierte DBs Erstellt Dokumenten-Index und Wörter-DB Zusammenführung neuer Informationen bzw. Dokumente htmerge DB 1 DB 2 DB n Updates (neue Dokumente) latest dig htword/mifluz Datenbank DB 1* Wörterliste DB 2* Datei-Index DB n* Information Retrieval: "ht://dig" - E. Glockner 8

9 Searching Erstellte Datenbanken können durchsucht werden Evtl. Erinnerungsfunktion und Suchmethoden/-kriterien festlegen Aufruf durch z.b. CGI-Skripte Ausgabe der Ergebnisse konfigurierbar CGI-Skript DB 1* DB 2* DB n* HTML htsearch Information Retrieval: "ht://dig" - E. Glockner 9

10 Gesamtprozess html, txt, doc, pdf latest dig Ausgabe htnotify rundig htdig htmerge htfuzzy htsearch DB1* DB2* DBn* DB1 DB2 DBn File- Wortliste Index Endungen, Synonyme Kommandozeile oder CGI, etc Information Retrieval: "ht://dig" - E. Glockner 10

11 Ranking-System (htsearch) Informationen aus Meta-/Tags, Links, keywords von HTML-Dateien Gewichtung der Terme durch Regeln anhand von default-werten Templates <META> <h1><h6> <a href> Ausgabe htsearch Kommandozeile oder CGI, etc Information Retrieval: "ht://dig" - E. Glockner 11

12 Zusammenfassung Vor-/Nachteile Verbesserungsvorschläge Vergleichbare Systeme Ausblick Quellenangaben Information Retrieval: "ht://dig" - E. Glockner 12

13 Vor- und Nachteile Leistungstark Viele Konfigurationsmöglichkeiten Programme einzeln einsetzbar Merging dauert lange Keine automatischen Updates Unterstützt kein Unicode, CJK bzw. 16-Bit-Zeichen Information Retrieval: "ht://dig" - E. Glockner 13

14 Verbesserungsvorschläge Indizierung und Zusammenführung beschleunigen Datenbank-System evtl. ändern Indizierung und Suche evtl. parallel laufen lassen Detailliertere Dokumentationen Suche beschleunigen durch Ausgabe nur der hohen Treffer, Rest ignorieren oder im Nachhinein ausgeben siehe ToDo-Liste Information Retrieval: "ht://dig" - E. Glockner 14

15 Vergleichbare Systeme Beispiele: Beagle Desktop Search Swish-e - Simple Web Indexing System for Humans - Enhanced Lupy, Divmod Xapwrap, Xapian uvm Information Retrieval: "ht://dig" - E. Glockner 15

16 Ausblick Seit 2004 nichts mehr Neues; aktueller Stand unklar Projekt sollte intensiver weiter geführt und gefördert werden Wird z.z. häufig von Universitäten oder staatlichen Behörden verwendet Derivation: ht://miner ht://check ConfigDig Information Retrieval: "ht://dig" - E. Glockner 16

17 Quellenangaben id=3431&group_id= Information Retrieval: "ht://dig" - E. Glockner 17