Information Retrieval

Transkript

1 Information Retrieval Eine kurze Einführung von Ronny Berger 18. Juli 2002 Typeset by FoilTEX

2 IR-Konzepte Definition von Information Retrieval: Gegenstand des Information-Retrieval ist die inhaltliche Suche in Texten, deshalb nennt man es oft auch Text- bzw. Dokumentenretrieval. Das klassische Anwendungsgebiet des IR sind Literatur-Datenbanken, in denen Kurzfassungen von Veröffentlichungen gespeichert sind. Es soll ermöglicht werden relevante Dokumente in verschiedenen Fachbereichen zu suchen. Wesentlich wichtiger, insbesondere durch den technologischen Fortschritt, sind im Moment andere Anwendungen, wie zb. die Suche im WWW und ähnlich grossen Dokumentensammlungen. Literaturdatenbanken in der Größenordnung 10 5 bis Typeset by FoilTEX 1

3 Effizienz und Effektivität Will man eine Bewertung eines Verfahrens treffen so muss man zwischen Effizienz und Effektivität unterscheiden. Speicherplatz Rechen-Zeit Anzahl der I/O-Operationen Anwortzeiten Typeset by FoilTEX 2

4 Wissenrepresentation für Texte Freitextsuche Verarbeitungsschritte : 1.Zerlegung des Textes in einzelne Wörter 2. Stoppworteliminerung 3. Satzenderkennung Die eigentliche Freitextsuche bezieht sich auf den reduzierten Text. Dabei ergeben sich folgende Probleme : - Homographen (verschieden gesprochene Wörter mit gleicher Schreibweise) - Polyseme (Wörter mit mehreren Bedeutungen) - Flexionsformen (die durch Konjugation und Deklination eines Wortes entstehen) - Derivationsformen (verschiedene Wortformen zu einem Wortstamm) - Komposita (mehrgliedrige Ausdrücke) Typeset by FoilTEX 3

5 Informatischer Ansatz Truncation- und Maskierungs-Operatoren dienen dazu, Flexions- und Derivationsformen von Wörtern zusammenzuführen. - Truncation : Front- und Endtruncation mit fester oder variabler Anzahl von Zeichen. z.b.: # für beliebig lange Zeichenfolge, $ für genau ein Zeichen. schreib# : schreiben, schreibt, schreibst, schreibe schreib$$ : schreiben, schreibst - Maskierung : bezieht sich auf ein Zeichen in der Mitte des Wortes. schr$$b# : schreiben, schrieb / schrauben h$$s# : Haus, Häuser / Hanse, hausen, hassen Typeset by FoilTEX 4

6 Computerlinguistischer Ansatz - graphematische Verfahren Basieren auf der Analyse von Buchstabenfolgen und werden im Bereich der Morphologie zur Zusammenführung von Flexions- bzw. Derivationsformen eines Wortes eingesetzt. - lexikalische Verfahren Basieren auf einem Wörterbuch, welches mehrgliedrige Ausdrücke enthalten kann bzw. verschiedene Bedeutungen mehrdeutiger Wörter verzeichnet. - syntaktische Verfahren Dienen zur Identifikation mehrgliedriger Ausdrücke Typeset by FoilTEX 5

7 Thesauri Definition : Nach DIN1463 ist ein Thesaurus eine geordnete Zusammenstellung von Begriffen mit ihren (natürlichsprachlichen) Bezeichnungen. Merkmale : 1. terminologische Kontrolle durch - Erfassung von Synonymen - Kennzeichnung von Homographen und Polysemen - Festlegung von Vorzugsbenennungen 2. Darstellung von Bezeichnungen zwischen Begriffen Typeset by FoilTEX 6

8 Standpunkte und Bewertungsmaße Retrievalbewertung Definitionen : GEF, sei die Menge der gefundenen Antwortobjekte REL, die Menge der relevanten Objekte in der Datenbank ALL, die Gesamtanzahl der Dokumente in der Datenbank. Typeset by FoilTEX 7

9 Typeset by FoilTEX 8

10 Basierend darauf kann man Maße für Precision und Recall definieren : Precicion : p = REL GEF GEF Recall : r = REL GEF REL Typeset by FoilTEX 9

11 Nicht-probabilistische Modelle Überblick über die Modelle Bool. Fuzzy Vektor Prob. Cluster Theoretische Basis: - boolesche Logik: x Fuzzy-Logik : - x Vektoralgebra : - - x - x - Wahrsch.Theorie: x - Bezug zur Retrievalqualität - x - x - gewichtete Indexierung - x x x x gewichtete Frageterms - x x x Fragestruktur : - linear - - x x - - boolesch x x x x - Typeset by FoilTEX 10

12 Term-by-Document Matrix Ein Beispiel : Diese kleine Beispieldatenbank enthällt folgende Dokumente; Titles: c1: Human machine interface for Lab ABC computer applications c2: A survey of user opinion of computer system response time c3: The EPS user interface management system c4: System and human system engineering testing of EPS c5: Relation of user-perceived response time to error measurement m1: The generation of random, binary, unordered trees m2: Theintersection graph of paths in trees m3: Graph minors IV: Widths of trees and well-quasi-ordering m4: Graph minors: A survey Typeset by FoilTEX 11

13 Hieraus ergibt sich die Term by Document Matrix: T/D c1 c2 c3 c4 c5 m1 m2 m3 m4 human interface computer user system response time EPS survey trees graphs minors Typeset by FoilTEX 12

14 MEDLARS-Kollektion Dokumente 1033 Terme 5831 Anfragen 30 Bool Fuzzy Vektor Typeset by FoilTEX 13

15 Boolesches Retrieval Boolesches Retrieval ist vermutlich das erste Retrieval-Modell, es wurde damals entwickelt um mit Hilfe von Schlitzlochkarten Retrieval durchzuführen. Mit dem Einsatz von Magnetbändern und der damit verbundenen geringen Speicherkapazität kam kein anderes Retrieval-System in Frage, da sofort mit Einlesen entschieden werden musste, ob das Dokument ausgedruckt werden sollte oder nicht. Bis heute hat dieses System bestand und wurde nur um einige wenige Funktionen erweitert. Beim Booleschen Retrieval sind die Dokumentenbeschreibungen D D : ungewichtete Indexierungen, d.h. : D D m = d m mit d mi ɛ 0, 1 für i = 1,..., n Typeset by FoilTEX 14

16 Die Fragebeschreibungen (Q D ) sind Boolesche Ausdrücke, die nach folgenden Regeln gebildet werden : q 1, q 2 ɛq D q 1 q 2 ɛq D q 1, q 2 ɛq D q 1 q 2 ɛq D qɛq D qɛq D Typeset by FoilTEX 15

17 Die Retrievalfunktion ϱ kann man analog zu diesen Regeln auch rekursiv definieren: t i ɛt ϱ(t i, d m = d mi ) ϱ(q 1 q 2, d m ) = min(ϱ(q 1, d m ), ϱ(q 2, d m ) ϱ(q 1 q 2, d m ) = max(ϱ(q 1, d m ), ϱ(q 2, d m ) ϱ( q, d m ) = 1 ϱ(q, d m ) Typeset by FoilTEX 16

18 Fuzzy-Retrieval Basierend auf der Fuzzy-Logik, Weiterentwicklung zum booleschen Retrieval. Es werden bei den Dokumentenbeschreibungen gewichtete Indexierungen zugelassen. d.h. d m ɛ[0, 1] Definitionen : Fragebeschreibung und Retrievalfunktion wie im booleschen Retrieval. Retrievalfunktion liefert durch gewichtete Indexierung : ϱ(qk D, d m )ɛ[0, 1] Ein Beispiel : T = t 1, t 2 q = t 1 t 2 d 1 = {0.4, 0.4}, d 2 = {0.39, 0.99} ϱ(q, d 1 ) = 0.4, ϱ(q, d 2 ) = 0.39 Bewertung : - Rangordnung der Dokumente - keine Fragetermwichtung - Retrievalqualität relativ schlecht im Vergleich zum Vektorraummodell Typeset by FoilTEX 17

19 Vektorraum-Modell Im VRM werden Dokumente und Fragen(bzw. deren Beschreibungen) als Punkte in einem Vektorraum aufgefasst, der durch die Terme der Datenbasis aufgespannt ist. Dokumentbeschreibungen : d D m = d m mit d mi ɛr für i = 1,..., n Fragebeschreibungen : q Q k = q k mit q ki ɛr für i = 1,..., n Retrievalfunktion : ϱ( q k, d m ) = q k d m Typeset by FoilTEX 18

20 Relevance-Feedback 1. Retrieval mit dem Fragevektor q k vom Benutzer. 2. Relevanzbeurteilung der obersten Dokumente der Rangordnung 3. Berechnung des verbesserten Fragevektors q k aufgrund der Feedback-Daten. 4. Retrieval mit dem verbesserten Vektor 5. Evtl. Wiederholung der Schritte 2 4 Iterationsvorschrift zur Berechnung des verbesserten Fragevektors: q k = q k + α 1 D R k d j ɛd R k d j β 1 D N k d j ɛd N k d j Der Verbindungsvektor z k = α 1 D R k d j ɛd R k d j β 1 D N k d j ɛd N k d j trennt unsere relevanten und nicht relevanten Dokumente optional. Typeset by FoilTEX 19