Kapitel IR:II. II. Grundlagen des Information Retrieval. Retrieval-Evaluierung Indexterme

Transkript

1 Kapitel IR:II II. Grundlagen des Information Retrieval Retrieval-Evaluierung Indexterme IR:II-1 Basics STEIN

2 Batch-Mode-Retrieval einmaliges Absetzen einer Anfrage; nur eine Antwort wird geliefert lässt sich gut unter Laborbedingungen testen Wiederholbarkeit und Skalierbarkeit der Experimente gewährleistet Performanz leicht quantifizierbar Interaktives Retrieval das Informationsbedürfnis (Information Need) des Benutzer wird durch den Interaktionsprozess definiert abhängig von dem Bemühen des Benutzers, der Benutzerschnittstelle, der Assistenz des Retrieval-Systems Performanz ist schwierig zu messen IR:II-2 Basics STEIN

3 Relevanz Relevanz in IR-Systemen lässt sich als Beziehung zwischen einer Anfrage und einem Dokument definieren: Relevance is the correspondence in context between an information requirement statement (a query) and an article (a document), that is, the extent to which the article covers the material that is appropriate to the requirement statement. [Salton/McGill 1983] Die Relevanz eines Dokumentes für eine Anfrage ist eine Relation r : D Q {0, 1}, wobei D = {d 1, d,..., d m } die Menge der Dokumente (nicht Repräsentation der Dokumente im Rechner) und Q die Menge der formalisierten Anfragen bezeichnet. IR:II-3 Basics STEIN

4 Bemerkungen: Im Folgenden unterstellen wir die Situation des Batch-Mode-Retrieval. Die Relevanz hat hier einen Bool schen Wertebereich; vorstellbar sind auch Ähnlichkeitsfunktionen, die beliebige Werte im Intervall [0; 1] annehmen können. Die Relation r ist nicht mit der Relation ρ R zu verwechseln: Die Relation r modelliert den wahren Zusammenhang zwischen realen Dokumenten und formalisierten Anfragen. r wird im Allgemeinen durch Befragen von Experten zu konkreten Anfragen und Korpora ermittelt. Die Relation ρ R versucht r nachzubilden bzw. anzunähern; ρ R ist durch eine linguistische Theorie motiviert und wird auf Basis einer Dokumentrepräsentation berechnet. IR:II-4 Basics STEIN

5 Precision und Recall Relevant Relevant precision = a a + b Answer a b Answer c d = a a + c mit: Answer = Menge der gefundenen bzw. zurückgegebenen Dokumente. Relevant = Menge der für die Anfrage relevanten Dokumente. In Worten: precision ist der relevante Anteil der gefundenen Dokumente. ist der gefundene Anteil der relevanten Dokumente. IR:II-5 Basics STEIN

6 Precision und Recall Vergleich von Retrieval-Systemen: precision IR:II-6 Basics STEIN

7 Precision und Recall Vergleich von Retrieval-Systemen: precision Das F -Measure berechnet sich als harmonisches Mittel aus precision und : F = 2 1 precision + 1 Die Werte von precision, und F -Measure sind aus dem Intervall [0; 1]. IR:II-7 Basics STEIN

8 Precision und Recall: Illustration Classes: IR:II-8 Basics STEIN

9 Precision und Recall: Illustration Classes: Target: In cluster: Recall / = 0.26 Precision /( ) = 0.94 F-Measure = 0.40 Hoher precision-wert, schlechter -Wert. IR:II-9 Basics STEIN

10 Precision und Recall: Illustration Classes: Target: In cluster: Recall / = 0.92 Precision /( ) = 0.99 F-Measure = 0.95 Hoher precision-wert und hoher -Wert. IR:II-10 Basics STEIN

11 Precision und Recall: Problematik Die Größe des Recall ist für einen Benutzer weder erkennbar, noch kann sie mit vernünftigem Aufwand präzise bestimmt werden. Mögliche Näherungsmethoden: Stichprobenanalyse. Problem: Oft machen die relevanten Dokumente (Anzahl a + c) nur einen Bruchteil des gesamten Korpus D aus; eine repräsentative Strichprobe müsste also einen Großteil von D enthalten. Anfrageerweiterung. Man erweitert die Anfrage, so dass eine Obermenge der ursprünglichen Antwortmenge gefunden wird. Abgleich mit externen Quellen, z. B. durch das Fragen von Fachleuten. Retrieval mit mehreren Systemen. IR:II-11 Basics STEIN

12 Precision-Recall-Graphen Sei D eine Dokumentkollektion, q eine Anfrage und R q D die Menge der bzgl. q relevanten Dokumente mit R q = {d 3, d 5, d 9, d 25, d 39, d 44, d 56, d 71, d 89, d 123 }. Beispiel für das Ranking eines Retrieval-Algorithmus: 1. d d 6 7. d d d d d 8 8. d d d d d 9 9. d d d 3 IR:II-12 Basics STEIN

13 Precision-Recall-Graphen Sei D eine Dokumentkollektion, q eine Anfrage und R q D die Menge der bzgl. q relevanten Dokumente mit R q = {d 3, d 5, d 9, d 25, d 39, d 44, d 56, d 71, d 89, d 123 }. Beispiel für das Ranking eines Retrieval-Algorithmus: 1. d d 6 7. d d d d d 8 8. d d d d d 9 9. d d d 3 precision IR:II-13 Basics STEIN

14 Precision-Recall-Graphen Sei D eine Dokumentkollektion, q eine Anfrage und R q D die Menge der bzgl. q relevanten Dokumente mit R q = {d 3, d 5, d 9, d 25, d 39, d 44, d 56, d 71, d 89, d 123 }. Beispiel für das Ranking eines Retrieval-Algorithmus: 1. d d 6 7. d d d d d 8 8. d d d d d 9 9. d d d 3 precision IR:II-14 Basics STEIN

15 Precision-Recall-Graphen Sei D eine Dokumentkollektion, q eine Anfrage und R q D die Menge der bzgl. q relevanten Dokumente mit R q = {d 3, d 5, d 9, d 25, d 39, d 44, d 56, d 71, d 89, d 123 }. Beispiel für das Ranking eines Retrieval-Algorithmus: 1. d d 6 7. d d d d d 8 8. d d d d d 9 9. d d d 3 precision IR:II-15 Basics STEIN

16 Precision-Recall-Graphen Sei D eine Dokumentkollektion, q eine Anfrage und R q D die Menge der bzgl. q relevanten Dokumente mit R q = {d 3, d 5, d 9, d 25, d 39, d 44, d 56, d 71, d 89, d 123 }. Beispiel für das Ranking eines Retrieval-Algorithmus: 1. d d 6 7. d d d d d 8 8. d d d d d 9 9. d d d 3 precision IR:II-16 Basics STEIN

17 Precision-Recall-Graphen Sei D eine Dokumentkollektion, q eine Anfrage und R q D die Menge der bzgl. q relevanten Dokumente mit R q = {d 3, d 5, d 9, d 25, d 39, d 44, d 56, d 71, d 89, d 123 }. Beispiel für das Ranking eines Retrieval-Algorithmus: 1. d d 6 7. d d d d d 8 8. d d d d d 9 9. d d d 3 precision IR:II-17 Basics STEIN

18 Precision-Recall-Graphen Sei D eine Dokumentkollektion, q eine Anfrage und R q D die Menge der bzgl. q relevanten Dokumente mit R q = {d 3, d 5, d 9, d 25, d 39, d 44, d 56, d 71, d 89, d 123 }. Beispiel für das Ranking eines Retrieval-Algorithmus: 1. d d 6 7. d d d d d 8 8. d d d d d 9 9. d d d 3 precision IR:II-18 Basics STEIN

19 Precision-Recall-Graphen Sei D eine Dokumentkollektion, q eine Anfrage und R q D die Menge der bzgl. q relevanten Dokumente mit R q = {d 3, d 5, d 9, d 25, d 39, d 44, d 56, d 71, d 89, d 123 }. Beispiel für das Ranking eines Retrieval-Algorithmus: 1. d d 6 7. d d d d d 8 8. d d d d d 9 9. d d d 3 precision IR:II-19 Basics STEIN