1. Grundlegende Konzepte von Information Retrieval Systemen

Transkript

1 1. Grundlegende Konzepte von IR-Systemen Charakterisierung von Information Retrieval 1. Grundlegende Konzepte von Information Retrieval Systemen Charakterisierung des Begriffs Information Retrieval Beispiele von Retrievalsystemen Definition: Information Retrieval Aspekte von Retrievalsystemen Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

2 1. Grundlegende Konzepte von IR-Systemen Charakterisierung von Information Retrieval Charakterisierung des Begriffs Information Retrieval : Weitgefaßt versteht man unter dem Begriff Information Retrieval (IR) jede Art der Wiedergewinnung maschinell gespeicherter Daten. Im Vordergrund stehen dabei Anfragen mit vagen oder unvollständigen Kriterien. weiche Daten im Gegensatz zu den harten Daten in klassischen Datenbanken Die Suche ist in erster Linie an inhaltlichen Kriterien ausgerichtet. Es geht um das Wiederauffinden von Informationen zu thematischinhaltlichen Fragen. Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

3 1. Grundlegende Konzepte von IR-Systemen Charakterisierung von Information Retrieval Textretrieval Sehr häufig ist mit dem Begriff Information Retrieval die inhaltliche Suche in Texten gemeint. Diese Art des IR wird auch als Textretrieval oder Dokumentretrieval bezeichnet. Das klassische Anwendungsgebiet des Textretrievals sind Literaturdatenbanken. Diese enthalten bibliographische Angaben und Kurzfassungen (Abstracts) von Veröffentlichungen und sollen Anwendern die Suche nach Literatur in einem Fachgebiet erleichtern. Typische Anwendung des Textretrievals sind heute Web-Suchmaschinen. Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

4 1. Grundlegende Konzepte von IR-Systemen Charakterisierung von Information Retrieval Warum ist Retrievaltechnologie wichtig Vernetzung, Internet und die damit verbundenen Technologien: Produzent: Für Anbieter wird es leicht, Informationsbestände anzubieten. Konsument: Nutzer erhalten einen leichten Zugang zu den Informationsbeständen. standardisierte Formate (HTML, XML, etc.), plattformübergreifende bzw. -unabhängige Software (Web Service), dedizierte Frameworks für die Verarbeitung von Dokumenten Konsequenzen: bessere Marktfähigkeit von Informationen geringere Preise für die Informationsbeschaffung Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

5 1. Grundlegende Konzepte von IR-Systemen Charakterisierung von Information Retrieval Neue Medien, insbesondere DVD/CD-ROM. Vorteile: Umfangreiche Informationsbestände können kostengünstig verteilt werden. preiswerter und platzsparender als Papier lokale Nutzung möglich zusätzliche Funktionalitäten gut geeignet für Nachschlagewerke wie z. B. technische Handbücher DVD plus Retrievalsoftware kann gegenüber gedruckten Handbüchern die Suche nach benötigten Informationen erheblich vereinfachen. Produktsuche als wichtiger Bestandteil in Online-Handelsplattformen, Beispiele: Amazon Ebay Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

6 1. Grundlegende Konzepte von IR-Systemen Charakterisierung von Information Retrieval Vermehrte rechnerbasierte Erstellung, Bearbeitung und Archivierung von Dokumenten, u.a. bedingt durch Fortschritte in der Hard- und Softwaretechnologie: Büroinformationssysteme Workflow-Management Archivierungssysteme Beispiel: Spotlight als integrierte Suchfunktion in Mac OS X Neue Anwendungsgebiete wie z.b.: multimediale Informationssysteme molekularbiologische Datenbanken Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

7 1. Grundlegende Konzepte von IR-Systemen Beispiele von Retrievalsystemen Beispiele von Retrievalsystemen Suchmaschinen im Internet: Google, Yahoo!, Bing, Ask.com Metasuchmaschinen zur gleichzeitigen Suche in mehreren Suchmaschinen: MetaCrawler, Vivisimo, MetaGer2 Spezialsuchmaschinen: Google Image, Pixsta, Wolfram Alpha Literatur- und Fachinformationsdatenbanken: Fachinformationszentrum Karlsruhe (STN), Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

8 1. Grundlegende Konzepte von IR-Systemen Beispiele von Retrievalsystemen kommerzielle Systeme: OpenText, IBM DB2 Net Search Extender, Oracle Text Retrieval Frameworks und Werkzeuge: Lucene, Egothor, Xapian Molekularbiologische Datenbanken Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

9 1. Grundlegende Konzepte von IR-Systemen Beispiele von Retrievalsystemen IR am Beispiel von Literaturdatenbanken Das folgende Dokument stammt aus der Datenbank CompuScience von STN: L1 AN TI AU ANSWER 10 OF 290 COMPUSCIENCE COPYRIGHT 1996 FIZ KARLSRUHE 96(7):CS56570 COMPUSCIENCE Experiments in spoken document retrieval. Sparck Jones, K.; Jones, G.J.F. (Comp. Lab., Univ. of Cambridge, New Museums Site, Pembroke Str., Cambridge CB2 3QG, UK); Foote, J.T.; Young, S.J. SO Information Processing \& Management. (Jul 1996) v. 32(4) p New York: Pergamon Press. An International Journal. ISSN: Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

10 1. Grundlegende Konzepte von IR-Systemen Beispiele von Retrievalsystemen DT TC CY LA IP AB CC ST Journal Theoretical United States English FIZKA This paper describes experiments in the retrieval of spoken documents in multimedia systems. Speech documents pose a particular problem for retrieval since their words as well as contents are unknown. The work reported addresses this problem, for a video mail application, by combining state-of-the-art speech recognition with established document retrieval technologies so as to provide an effective and efficient retrieval tool. *H.3.3 Information search and retrieval H.5.1 Multimedia information systems I.2.7 Natural language processing IR(information retrieval); spoken document retrieval; multimedia system; video mail; speech recognition Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

11 1. Grundlegende Konzepte von IR-Systemen Beispiele von Retrievalsystemen Dokumentinhalt bibliographische Angaben Kurzfassung (Abstract) Einordnung in ein hierarchisches Indexsystem Stichwörter CompuScience war eine der wichtigsten Datenbanken für die Informatik. Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

12 1. Grundlegende Konzepte von IR-Systemen Beispiele von Retrievalsystemen Kosten Kosten der Informationssuche am Beispiel CompuScience, Stand 2010 (siehe STN Homepage): Anschaltzeit (pro Stunde) Suchbegriff Display (pro Antwort) Print (pro Antwort) EUR frei 2.33 EUR 2.33 EUR Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

13 1. Grundlegende Konzepte von IR-Systemen Beispiele von Retrievalsystemen Suche Die Suche nach Dokumenten geschieht über Kategorien und Stichwörter. Hierzu werden boolsche Kombinationen von Kategorien und Wörtern angegeben. Hierbei sollte es sich um Wörter handeln, die spezifisch für die Fragestellung sind und allgemein genug sind, so dass sie in jedem für die Anfrage wichtigen Artikel auftreten. Das Retrievalsystem liefert als Ergebnis alle Dokumente, die die angegebene Kombination von Wörtern enthalten. Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

14 1. Grundlegende Konzepte von IR-Systemen Beispiele von Retrievalsystemen Obiges Dokument wurde bei folgender Anfrage gefunden: s multimedia and information(w)retrieval Typischerweise hat man bei der Konstruktion von Anfragen folgende Möglichkeiten: Verwendung boolscher Operatoren Verfeinerung vorangegangener Anfragen bzw. Bezugnahme auf die Ergebnisse vorangeg. Anfragen Verwendung von Abstandsoperatoren Trunkierung Einschränkung der Suche auf bestimmte Felder Vergleichsoperatoren für numerische Felder Durchsuchen von Termlisten (Browsing) Nutzung von Thesauri Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

15 1. Grundlegende Konzepte von IR-Systemen Beispiele von Retrievalsystemen STN ist ein typisches Beispiel eines boolschen Retrievalsystems. Die bei STN verwendete klassische Abfragesprache heißt Messenger. Die folgenden Zahlen verdeutlichen beispielhaft den Einfluss von Abstandsoperatoren auf das Retrievalergebnis: L1 L2 L MULTIMEDIA INFORMATION RETRIEVAL 3595 INFORMATION RETRIEVAL (INFORMATION(W)RETRIEVAL) 290 (MULTIMEDIA AND INFORMATION RETRIEVAL) 560 ((MULTIMEDIA AND INFORMATION) AND RETRIEVAL) 16 MULTIMEDIA INFORMATION RETRIEVAL (MULTIMEDIA(W)INFORMATION(W)RETRIEVAL) Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

16 1. Grundlegende Konzepte von IR-Systemen Beispiele von Retrievalsystemen Bemerkungen: Boolsches Retrieval ist immer noch der Standard bei vielen kommerziellen Retrievalsystemen. Vorteil der boolschen Systeme ist die logische Klarheit. Nachteile: Sie sind schwierig zu bedienen und liefern auf eine Anfrage eine ungeordnete Menge von Dokumenten. Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

17 1. Grundlegende Konzepte von IR-Systemen Definition: Information Retrieval Definition: Information Retrieval Es gibt keine eindeutige und allgemein akzeptierte Definition für die Begriffe Information Retrieval bzw. Information Retrieval System. Einige Zitate aus der Literatur: Salton und McGill, 1983 Information retrieval (IR) is concerned with the representation, storage, organization, and accessing of information items. In principle no restriction is placed on the type of item handled in information retrieval. In actuality, many of the items found in ordinary retrieval systems are characterized by an emphasis on narrative information. Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

18 1. Grundlegende Konzepte von IR-Systemen Definition: Information Retrieval Mresse, 1984 Unter Information Retrieval (IR) im weitesten Sinne des Wortes wird jeder Art der Wiedergewinnung (maschinell) gespeicherter Daten verstanden. Frakes und Baeza-Yates, 1992 An IR system matches user queries formal statements of information need to documents stored in a database. A document is a data object, usually textual, though it may also contain other types of data such as photographs, graphs, and so on. Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

19 1. Grundlegende Konzepte von IR-Systemen Definition: Information Retrieval Harter, 1986 An information retrieval system is a device interposed between a potential user of information and the information collection itself. For a given information problem, the purpose of the system is to capture wanted items and to filter out unwanted items. Die Fachgruppe Information Retrieval der GI definiert (in Stichworten) den Begriff wie folgt (siehe auch Fuhr, 1995): Gegenstand des IR: Informationssysteme in bezug auf ihre Rolle beim Wissenstransfer vom menschlichen Wissensproduzenten zum Informations- Nachfragenden Schwerpunkt sind Fragestellungen, die im Zusammenhang mit vagen Anfragen und unsicherem Wissen entstehen. Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

20 1. Grundlegende Konzepte von IR-Systemen Definition: Information Retrieval Vage Anfragen sind dadurch gekennzeichnet, dass die Antwort a priori nicht eindeutig definiert ist. Hierzu zählen: Fragen mit unscharfen Kriterien und Fragen, die nur im Dialog iterativ durch Reformulierung beantwortet werden können. Die Unsicherheit dieses Wissens resultiert meistens aus der begrenzten Repräsentation der Semantik oder die gespeicherten Daten sind unsicher oder unvollständig. Ein weiterer wichtiger Punkt ist die Bewertung der Qualität der Anworten eines Informationssystems. Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

21 1. Grundlegende Konzepte von IR-Systemen Aspekte von Retrievalsystemen Prinzip eines Retrievalsystems Ablauf eines Frage/Antwort-Dialogs und seine Ausprägung in einem Retrievalsystem. Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

22 1. Grundlegende Konzepte von IR-Systemen Aspekte von Retrievalsystemen Konzeptuelles Modell Beim konzeptuellen Modell eines IR-Systems handelt es sich um den allgemeinen Ansatz, der dem System zu Grunde liegt. Folgende Ausprägungen sind möglich: Stringsuche: Die Suchanfragen sind Strings oder reguläre Ausdrücke. Nur für kleine Bestände geeignet. boolsches Retrieval: siehe CompuScience Vektorraummodell: Dokumente und Anfragen werden als Vektoren in einem Vektorraum repräsentiert. Als Basis für das Retrieval dient eine Ähnlichkeitsfunktion, die auf den Vektordarstellungen aufsetzt. Vorteile: Möglichkeit der Gewichtung von Anfragetermen und Erstellung von Rangfolgen (Ranking). Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

23 1. Grundlegende Konzepte von IR-Systemen Aspekte von Retrievalsystemen probabilistisches Retrieval: Die Wichtigkeit eines Dokuments für eine Anfrage wird über die Wahrscheinlichkeit der Relevanz gemessen. Die Berechnungen basieren dabei auf gewissen statistischen Annahmen. Gewichtung und Rangfolgeerstellung ist möglich. Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

24 1. Grundlegende Konzepte von IR-Systemen Aspekte von Retrievalsystemen Datenstrukturen in Retrievalsystemen Zur Unterstützung einer effizienten Suche werden i.d.r. spezielle Datenstrukturen eingesetzt: Invertierte Dateien Signature Files Suffix-Bäume, insbesondere PAT-Trees und Positionsbäume. Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

25 1. Grundlegende Konzepte von IR-Systemen Aspekte von Retrievalsystemen Anfragebearbeitung Möglichkeiten, die ein IR-System für die Bearbeitung von Anfragen zur Verfügung stellt. Anfragesprache Bezugnahme auf alte Anfragen oder Ergebnismengen in neuen Anfragen boolsche Operatoren Rangfolgen (Ranking) Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

26 1. Grundlegende Konzepte von IR-Systemen Aspekte von Retrievalsystemen Relevanzrückkopplung (relevance feedback): Informationen über die Relevanz von Dokumenten aus früheren Anfragen werden genutzt, um eine Anfrage zu verbessern. Ähnlichkeitssuche Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

27 1. Grundlegende Konzepte von IR-Systemen Aspekte von Retrievalsystemen Termoperationen Operationen, die auf den Stichwörtern (Termen) eines Dokuments (bei der Indexierung oder einer Anfrage) vom IR-System durchgeführt werden. Trunkierung Lemmatisierungen: Reduzierung eines Worts (als Term) auf seine Grund- oder Stammform; Erkennung von Komposita. Stopwortliste: Filterung aller Wörter, die keinen sinnvollen Beitrag zur Indexierung leisten. Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

28 1. Grundlegende Konzepte von IR-Systemen Aspekte von Retrievalsystemen Thesaurus: Ein Thesaurus ist eine geordnete Zusammenstellung von Begriffen mit ihren (natürlichsprachlichen) Beziehungen. In IR-Systemen bietet sich die Verwendung eines Thesaurus aus folgenden Gründen an: kontrolliertes Vokabular Klassifikation der Dokumente bessere Retrievalergebnisse durch zusätzliche Verwendung von Oberoder Unterbegriffen Termgewichtung: Verfahren, die Termen beim Indexieren oder bei der Anfrage ein Gewicht zuweisen. Dieses Gewicht soll die Wichtigkeit eines Terms charakterisieren. Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

29 1. Grundlegende Konzepte von IR-Systemen Aspekte von Retrievalsystemen Text Dokumente Textparsing Dokumente Worte Stopwortliste Non-Stopworte Nr.-Zuweisung Stammform Worte in Funktionales Modell eines (boolschen) IR-Systems: Grundform Gewichtung gewichtete Terme Anfrageterme in Grundform Datenbasis Dokumente mit Dokumentnummern Dokumentmengen Stammform bool. Operat. Anfrageterme Gesamtergebnis Queryparsing Anfrage Ranking Schnittstelle bewertetes Gesamtergebnis Relevanzbew. Anfragen Dokumente Benutzer Information Retrieval Hochschule Bonn-Rhein-Sieg, SS

30 1. Grundlegende Konzepte von IR-Systemen Aspekte von Retrievalsystemen Abgrenzung zu anderen Informationssystemen IR DBMS XPS Datenobjekte Dokumente Tabellen logische Aussagen primäre Operationen prob. Retrieval det. Retrieval Inferenz Datenbankgröße klein bis s. groß klein bis s. groß klein Fakten-Retrieval (DBMS) Information Retrieval Matching exakt partiell (best match) Inferenz Deduktion Induktion (heuristisch) Modell deterministisch probabilistisch Klassifikation monothetisch polithetisch Anfragesprache formal natürlich Fragespezifikation vollständig unvollständig gesuchte Objekte erfüllende relevante Reaktion auf Datenfehler sensitiv insensitiv Information Retrieval Hochschule Bonn-Rhein-Sieg, SS