Information Retrieval Systeme

Transkript

1 Information Retrieval Systeme A.Kaiser; WU-Wien MIS 90 Information Retrieval Systeme Komponenten eines IR-Systems Informationserschließung Informationswiedergewinnung (Retrieval) Informationsaufbereitung A.Kaiser; WU-Wien MIS 91 Grundmodell: Information Retrieval Texte text text text text text text text text text text text text text text text Analyse Repräsentationen Match Ergebnis 1.Dok.6 2.Dok.8 3.Dok Dok.99 Anfrage term1, term2, term3, term4... Repräsentation Folie in Anlehnung an Womser-Hacker Informationsmanagement I 92 1

2 Textmodellierung Die Veranstaltungen aus MIS werden an der Wirtschaftsuni von zwei verschiedenen Abteilungen angeboten. Die Inhalte decken sich nur zu einem kleinen Prozentsatz Transformation Stoppwörter Veranstaltung MIS Wirtschaftsuni verschiedene Abteilungen anbieten Inhalte decken klein Prozentsatz A.Kaiser; WU-Wien MIS 93 Informationserschließung Ein Beispiel für eine Methode der Informationserschließung ist der invertierte Index. Erzeugung einer Tabelle, die in der 1.Spalte alle möglichen Suchbegriffe beinhaltet und in der 2.Spalte die Verweise auf diejenigen Dokumente (Adressen, etc.), die diese Suchbegriffe beinhalten. A.Kaiser; WU-Wien MIS 94 invertierter Index Datenbank SQL Internet Computer Textverarbeitung D1,D4,D7,D9 D2,D4,D7,D8 D5,D6,D7,D8,D9 D3,D4,D9 D1 Berücksichtigung von Stoppwortlisten, d.s. Listen von Begriffen ohne Informationsgehalt (der, die,...) Vorteil: Massive Beschleunigung des Suchprozesses A.Kaiser; WU-Wien MIS 95 2

3 Informationserschließung Indexierung Manuelle Indexierung Automatische Indexierung Computer-unterstützte Indexierung Die Dokumente werden aufbereitet, um effizient nach Informationen suchen zu können. A.Kaiser; WU-Wien MIS 96 Das Matching-Paradigma des klassischen IR Klassisches Boolesches Retrieval Benutzer drücken ihr Suchproblem in einer exakten Retrievalsprache aus Verbindung von Termen und Boolescher Logik search (mess? OR pruef?) AND laser Folie in Anlehnung an Womser-Hacker; Management der Informationssysteme 97 AND, OR, NOT Boolesche Logik Term1 Term3 Term2 A.Kaiser; WU-Wien MIS 98 3

4 Nachteile der Booleschen Systeme Disjunkte Unterteilung in relevant und nicht-relevant Erwünschter Umfang schwer kontrollierbar Benutzer haben Probleme mit der Booleschen Logik Visualisierbarkeit Folie in Anlehnung an Womser-Hacker; Management der Informationssysteme 99 Ranking-Systeme Anordnung des Ergebnisses in einer nach Relevanz sortierten Reihenfolge notwendige Voraussetzung: gewichtete Indexierung cut-off kann vom Benutzer bestimmt werden Folie in Anlehnung an Womser-Hacker; Management der Informationssysteme 100 Grundprinzip Ranking Index factors information help human operation retrieval systems Dok. 1 human, factors, information, retrieval ( ) Dok. 2 human, factors, help, systems ( ) human factors in information retrieval systems ( ) Dok. 3 Anfrage factors, operation, systems ( ) Einfacher Match Gewichteter Match Anfrage ( ) Anfrage ( ) Dok. 1 ( ) Dok. 1 ( ) ( )=4 ( )=13 Anfrage ( ) Anfrage ( ) Dok. 2 ( ) Dok. 2 ( ) ( )=3 ( )=8 Anfrage ( ) Anfrage ( ) Dok. 3 ( ) Dok. 3 ( ) ( )=2 ( )=

5 Boolesche Beispielrecherche Intelligentes Information Retrieval im Internet 1.Anfrage Information Retrieval Anfrage IR Anfrage Intelligent Anfrage 1 AND Anfrage 4 AND Internet 61 A.Kaiser; WU-Wien MIS Suche in Ranking-Systemen Anfrage Gewicht D 1 D 2 D 3 Information Retrieval 5 x x x Intelligent 5 x Internet 1 x x Gewicht Anordnung: 1. D 2 2.D 3 3. D 1 A.Kaiser; WU-Wien MIS 103 Vorteile von Ranking-Verfahren Die Rangordnung reiht die relevantesten Dokumente an den Anfang der Folge Der Benutzer bestimmt den Abbruch selbst, d.h. keine Mengenprobleme Experimente zeigen bessere Retrievalqualität (bereits für sehr einfache Verfahren) cf. Salton et al Folie in Anlehnung an Womser-Hacker; Management der Informationssysteme 104 5

6 Systemunterschiede Indexierungs- und Retrievalmodell Behandlung der Dokumente und Anfragen Indexierungsvokabular Gewichtung Dokumentstruktur Ähnlichkeitsmaß Outputform: Ranking, Relevance Feedback Folie in Anlehnung an Womser-Hacker; Management der Informationssysteme 105 Einsatz von IR-Systemen Literaturrecherche Suchmaschinen im Internet Suchverfahren im Multimediabereich... A.Kaiser; WU-Wien MIS 106 Formatierte DBS vs IR-Systeme formatierte DBS strukturierte, formatierte Daten direkte Suche Erfolg ist objektiv bestimmbar IR-Systeme unformatierte Daten indirekte Suche Erfolg ist subjektiv (Nutzen) A.Kaiser; WU-Wien MIS 107 6

7 Ein konkretes Beispiel für ein IR-System XBIBSUCHE an der Abteilung für Informationswirtschaft: Inhaltsverzeichnisse der Werke der Bibliotheken der Abteilung Einscannen, Abspeichern als ASCII-Datei Informationserschließung mit WAIS Erzeugung eines invertierten Index Suche über das WWW in allen Inhaltsverzeichnissen A.Kaiser; WU-Wien MIS 108 xbibsuche - a WAIS-based Library Information System A.Kaiser; WU-Wien MIS 109 Motivation for the development of xbibsuche books in two libraries high quality information in a large quantity but no adequate search tools Information about a book in BIBOS is not enough to decide whether a book is relevant or not. A.Kaiser; WU-Wien MIS 110 7

8 Development of xbibsuche Two approaches: table of contents or index Decision: table of contents Reasons: not every book contains an index table of contents contains information about the structure of the book A.Kaiser; WU-Wien MIS 111 Development of xbibsuche table of contents of each book is scanned with an Epson Scanner scanned text is saved as an ASCII-File on a Macintosh computer files are transferred with FTP to a Unix- Workstation files are indexed with WAIS A.Kaiser; WU-Wien MIS 112 Development of xbibsuche books in two libraries tables of contents ASCII files files are named with signature and author of the books one great inverted index file Stop words will not be indexed A.Kaiser; WU-Wien MIS 113 8

9 Development of xbibsuche Quality of scanning depends on Quality of the table of contents occurence of special characters like "Umlaute" in German Correction of the tables of contents: too time-expensive search results are not much better A.Kaiser; WU-Wien MIS 114 xbibsuche and the WWW Integration of xbibsuche in our WWW- Information system Every computer which has access to the Internet has access to xbibsuche The inverted index file and the scanned tables of contents are stored only on one computer A.Kaiser; WU-Wien MIS 115 Advantage of xbibsuche compared to BIBOS: the table of contents contains information about the structure of the book It is easier to decide whether the book is relevant for me or not A.Kaiser; WU-Wien MIS 116 9

10 Problems of xbibsuche Scann quality There are "only" the books of our two libraries available It is not realistic that all books of the WU will be integrated in this system The user has to use at least 2 library information systems (xbibsuche, BIBOS) A.Kaiser; WU-Wien MIS 117 The future of xbibsuche We will try to integrate xbibsuche in an Oracle database One information system for searching and the administration of our library A.Kaiser; WU-Wien MIS 118 Suchverfahren im WWW A.Kaiser; WU-Wien MIS

11 Suchverfahren im WWW Suche in lokalen WWW-Servern Katalog- und verzeichnisbasierte Suche Roboterbasierte Suche Metasuchmaschinen Intelligente Agenten A.Kaiser; WU-Wien MIS 144 Suche in lokalen WWW-Servern HTML Wais Gateways zu Datenbanken Gateway zu OPACs (BIBOS), Web-Server (Oracle), etc. A.Kaiser; WU-Wien MIS 145 Katalog- und verzeichnisbasierte Suche (manuell) aufgebaute Linksammlungen Navigation in hierarchisch aufgebauten Sachgebieten Eignen sich dann, wenn man zu einem bestimmten Gebiet einen (guten) Einstieg finden will. Yahoo, Dino, WebIndex,... A.Kaiser; WU-Wien MIS

12 Roboterbasierte Suche Roboter, Spider, Wanderer, Worm rekursive Inhaltserschließung Aufbau einer Indexdatenbank klassisches IR Folie WebCrawler Alta Vista (100 Mio URLs), Excite (55 Mio URLs, Relevance Feedback), InfoSeek (30 Mio URLs, Relevance Feedback), HotBot (80 Mio URLs), Lycos (30 Mio URLs), WebCrawler (2 Mio URLs) A.Kaiser; WU-Wien MIS 147 Roboterbasierte Suche Akquisition bekannte WWW-Seiten (Startpunkt Kataloge, etc.) explizit durch Benutzer Indexierung oftmals unklar (Kernkompetenz der Anbieter) klassische Indexierungsverfahren des IR (vgl. dazu auch waisindex) Volltext Teilindex (URL, <Title>, Überschriften (<H1>,<H2>,...), die ersten Zeilen Spezielle inhaltsbeschreibende Bereiche (<Meta> Deskriptoren, etc.) A.Kaiser; WU-Wien MIS 148 Roboterbasierte Suche Ranking Anzahl gefundener Suchbegriffe Position der gefundenen Begriffe Statistische Häufigkeit des Begriffs innerhalb eines DokumentsNähe der Suchbegriffe untereinander innerhalb des Textes Gesamtanzahl eines Suchbegriffs in der Datenbank A.Kaiser; WU-Wien MIS

13 Metasuchmaschinen Gleichzeitige Suche bei mehreren Suchmaschinen über ein einziges Formular Auswahlmöglichkeiten für Benutzer Metasuchmaschinen die Duplikate eliminieren und eine fusionierte Relevanzbeurteilung vornehmen Metasuchmaschinen die Duplikate eliminieren, aber keine fusionierte Relevanzbeurteilung vornehmen: A.Kaiser; WU-Wien MIS 150 Metasuchmaschinen All-In-One-Suchdienste, die mehrere Suchmaschinen abfragen, die Ergebnisse aber ohne jede Weiterbearbeitung/Fusion direkt anzeigen Spezielle Metasuchwerkzeuge (bezüglich der Themen oder Suchmethoden) MetaCrawler, MetaGer, Fusion2, Highway 61 A.Kaiser; WU-Wien MIS 151 A.Kaiser; WU-Wien MIS

14 A.Kaiser; WU-Wien MIS 153 Intelligente Agenten Programme, die Aufträge eines Benutzers oder eines anderen Programmes ausführen und dabei Wissen über die Ziele und Wünsche des Benutzers anwenden vgl. Intelligentes IR, Letizia, etc. Vorlesung Prof. Geyer-Schulz A.Kaiser; WU-Wien MIS