Kapitel 8 Typologie von Retrievalsystemen

Transkript

1 Kapitel 8 Typologie von Retrievalsystemen HHU Düsseldorf, WS 2008/09 Information Retrieval 115

2 nach Medienform der Dokumente: textuelle Dokumente strukturierte Dokumente schwach strukturierte Dokumente: Gegenstand von Text- IR nicht strukturierte Dokumente nicht-textuelle Dokumente: Gegenstand von Multimedia- IR gesprochene Dokumente Musik Bilder Video HHU Düsseldorf, WS 2008/09 Information Retrieval 116

3 Grenzen des Text-IR "The man saw the pyramid on the hill with the telescope vier mögliche Interpretationen, die IR-Systeme nicht unterscheiden können: Vickery, B.C.; Vickery, A. (2004): Information Science in Theory and Practice. München: Saur, 3. Aufl., S HHU Düsseldorf, WS 2008/09 Information Retrieval 117

4 IR-Systeme mit terminologischer Kontrolle intellektuelle Indexierung automatische Indexierung IR-Systeme ohne terminologische Kontrolle reiner Text automatische Bearbeitung: unser Thema in dieser Vorl. zwei Arbeitsschritte bei automatischer Textbearbeitung 1. Informationslinguistik (NLP: Natural Language Processing) 2. Relevance Ranking (Retrievalmodelle) HHU Düsseldorf, WS 2008/09 Information Retrieval 118

5 Informationslinguistik HHU Düsseldorf, WS 2008/09 Information Retrieval 119

6 Retrievalmodelle HHU Düsseldorf, WS 2008/09 Information Retrieval 120

7 Zusammenspiel unterschiedlicher Retrievalmodelle Bharat, K.A.; Henzinger, M.R. (2000): Method for ranking documents in a hyperlinked environment using connectivity and selective content analysis. Patent-Nr. US HHUAssignee: Düsseldorf, AltaVista WS 2008/09 Comp., Palo Alto, Calif. Information Erteilt Retrieval am (Eingereicht am ). 121

8 Retrievaldialog Nutzer: initiale Suchanfrage System: Tippfehlernachfrage (-korrektur) System: Homonyme trennen, Synonyme zusammenfassen Nutzer: Tippfehler / Homonyme / Synonyme abarbeiten System: 1. Trefferliste Nutzer: Suchfrageerweiterung (Suchargumente streichen, neue hinzufügen, Verknüpfungen modifizieren,...) System: 2. Trefferliste; top platzierte Dokumente vom Nutzer nach Relevanz einschätzen lassen Nutzer: Relevanzurteile angeben System: Relevance Feedback; neue Trefferliste usw. bis Nutzer endgültig zufrieden HHU Düsseldorf, WS 2008/09 Information Retrieval 122

9 Weltregionen des Internet Oberflächen-Web Deep Web Die Oberfläche digitale Dokumente im Web (prinzipiell) auffindbar durch Suchwerkzeuge Dokumente sind u.u. unerwünschter Ballast ( Spam ) Suchwerkzeuge / Typen: Suchmaschinen Webkataloge Meta-Suchmaschinen Portale HHU Düsseldorf, WS 2008/09 Information Retrieval 123

10 Suchmaschinen (Search Engines) HHU Düsseldorf, WS 2008/09 Information Retrieval 124

11 Suchmaschinen (Search Engines) Gegenstand: Dokumente im Internet (WWW, Newsgroups), gerichtet auf einzelne Webseiten automatisches Einsammeln der Dokumente mittels Crawler automatisches Aktualisieren der Datenbasis Kopieren der Dokumente (oder von Teilen) in die eigene Datenbank automatisches Indexieren der kopierten Dokumente eher große Datenbasis (mehrere Mrd. Dokumente) Suchsystem mit natürlichsprachiger Eingabe und mit Profi- Oberfläche HHU Düsseldorf, WS 2008/09 Information Retrieval 125

12 Webkataloge (Web-Directories) HHU Düsseldorf, WS 2008/09 Information Retrieval 126

13 Webkataloge (Web-Directories) Gegenstand: Dokumente im WWW, gerichtet vor allem auf Einstiegsseiten in Websites intellektuelle Auswahl intellektuelles Indexieren (i.d.r. Klassifikation) Datenbasis: Titel der Dokumente (vom Webkatalog oder vom Anmeldenden vergeben) und URL eher kleine Datenbasis (einige Mio. Dokumente) unregelmäßiges Update Suchsysteme mit Klassifikationshierarchien und natürlichsprachiger Suche (über die Klassenbezeichnungen und die Dokumenten titel ) HHU Düsseldorf, WS 2008/09 Information Retrieval 127

14 Meta-Suchmaschinen HHU Düsseldorf, WS 2008/09 Information Retrieval 128

15 Meta-Suchmaschinen keine Datenbasis; greifen auf die Datenbasen anderer Suchwerkzeuge zurück ( Schmarotzer ) a) Metasuchmaschinen ohne eigenen informationellen Mehrwert (außer der Abfrage diverser Suchwerkzeuge und ggf. Dublettenelimination) b) Metasuchmaschinen mit Angebot von Dokumentationssprachen (z.b. Thesaurus) c) mit Bearbeitung eingesammelter Dokumente HHU Düsseldorf, WS 2008/09 Information Retrieval 129

16 Portal einheitlicher Einstiegspunkt in das WWW (allgemein: horizontales Portal ; fachspezifisch: vertikales Portal) Simplizität Bereitstellung von Suchwerkzeugen (Suchmaschine und Katalog) allgemein interessierende bzw. fachspezifische (möglichst) exklusive Inhalte (News, Aktienkurse) Zusatzfunktionalitäten (Tools mit benutzerspezifischem Gebrauchswert, z.b. Übersetzungsprogramme, Kalender, Adressbuch) Personalisierung (Verwalten von Informationsprofilen MyXXX ) Kommunikation ( -Accounts, themenspezifische Chatrooms, Platz für benutzereigene Homepage o.ä.) Rösch, H. (2000): Internetportal, Unternehmensportal, Wissenschaftsportal. In: Gerhard Knorz; Rainer Kuhlen (Hrsg.): Informationskompetenz Basiskompetenz in der Informationsgesellschaft. Konstanz: UVK, HHU Düsseldorf, WS 2008/09 Information Retrieval 130

17 Weltregionen des Internet: Das Deep Web (oder Invisible Web ) digitale Dokumente, die nicht direkt im Web liegen, aber via Web erreichbar sind derzeit nicht auffindbar durch Suchwerkzeuge Dokumente sind (meist) qualitätsgeprüft Terminologie: invisible Web Sherman & Price Deep Web Bergman (Schätzung: Deep Web ist 500mal größer als das Oberflächenweb wahrscheinlich stark überschätzt) Typen: kostenfreie singuläre Datenbanken kommerzielle Informationsanbieter Selbstvermarkter Content-Aggregatoren (Online-Hosts) Sherman, C.; Price, G. (2001): The Invisible Web. Medford: Information Today. Bergman, M.K. (2001): The Deep Web: Surfacing Hidden Value. HHU Düsseldorf, WS 2008/09 Information Retrieval 131 In: The Journal of Electronic Publishing 7(1).

18 (Kostenfreie) Singuläre Datenbanken im Web thematisch orientierte Datenbanken (i.d.r.) aufgebaut von öffentlichen Einrichtungen (durch öffentliche Mittel bereits finanziert) mehrere tausend Datenbanken via Web erreichbar HHU Düsseldorf, WS 2008/09 Information Retrieval 132

19 (Kommerzielle) Singuläre Datenbanken im Web Selbstvermarkter thematisch orientierte Datenbanken (i.d.r.) aufgebaut von Privatunternehmen mit dem Zweck der Erzielung von Gewinnen teilweise auch zusätzlich bei Content-Aggregatoren aufgelegt HHU Düsseldorf, WS 2008/09 Information Retrieval 133

20 Content-Aggregatoren (Online-Hosts) Bündelung von Datenbanken (allgemein oder zu einem Thema): von mehreren hundert bis über einzelnen Datenbanken kostenpflichtig Typen: WTM-Hosts (STN, Ovid, DIMDI, FIZ Technik, Questel- Orbit, Dialog DataStar, Web of Knowledge, Springer Link, Science Direct,...) Wirtschaftshosts (Genios, Factiva, DIALOG, Dialog Profound, LexisNexis,...) Rechtshosts (Juris, Beck online, LexisNexis, Westlaw,...) HHU Düsseldorf, WS 2008/09 Information Retrieval 134

21 Weltregionen des Internet: Grenzüberschreitungen Hybrid-Suchmaschine (Content-Aggregator und WWW-Suchmaschine) HHU Düsseldorf, WS 2008/09 Information Retrieval 135

22 Weltregionen des Internet / Überblick HHU Düsseldorf, WS 2008/09 Information Retrieval 136

23 Weltregionen des Internet und die Welt gedruckter Dokumente... wenn die benötigten Dokumente nur in Printausgaben vorliegen: Nutzung von Document Delivery Services Oßwald, A. (2004): Document Delivery / Dokumentlieferung. In: Grundlagen der praktischen Information und Dokumentation. München: Saur, 5. Aufl., HHU Düsseldorf, WS 2008/09 Information Retrieval 137