Evaluation von IR-Systemen

Transkript

1 Evaluation von IR-Systemen Überblick Relevanzbeurteilung Übereinstimmung zwischen Annotatoren Precision Recall (Präzision u. Vollständigkeit) Text Retrieval Conference (TREC) Testkollektionen

2 Beurteilen von Retrieval- Ergebnissen Anfrage Ergebnisliste Was ist die richtige Antwort? Welche Dokumente sind für die Anfrage relevant? Relevant sind die Dokumente, die von Testpersonen als relevant eingestuft wurden Intuitiver Relevanzbegriff Nicht objektiv

3 Interannotator- Übereinstimmung Kappa-Maß: < 0,67: schlechte Übereinstimmung 0,67 0,8: akzeptable Übereinstimmung > 0,8: gute Übereinstimmung

4 Anzahl relevanter Dokumente zu einer Anfrage bestimmen Alle Dokumente von Annotatoren beurteilen lassen Frageerweiterung: Verallgemeinerung der Anfrage mehr relevante Dokumente finden Stichprobe Doc-Source-Methode : zufällig Dok auswählen, passende Anfrage formulieren, wird Dok gefunden? Relative Findehäufigkeit Recall

5 Precision und Recall (Präzision und Vollständigkeit)

6 Precision und Recall

7 Precision und Recall Precision erhöhen: spezifischere Anfrage Recall verschlechtert sich Recall erhöhen: allgemeinere Anfrage Precision sinkt Je größer die Precision, desto kleiner der Recall und umgekehrt 100% Precision bei 100% Recall nicht erreichbar

8 F-Measure Bei isolierter Messung von Precision oder Recall allein: 100% Recall: alle Dokumente ausgeben 100% Precision: nur das beste Dokument ausgeben F-Measure: harmonisches Mittel aus Precision und Recall Je nach Anwendungszweck unterschiedliche Gewichtung möglich (Faktor α) F 1 : α = 0,5. Precision u. Recall gleich wichtig

9 F-Measure

10 Precision und Recall für Ranglisten Ergebnislisten sind sortiert Cutoff: nur die ersten n Ergebnisse betrachten (n=10,20,100,1000) (nicht-)interpolierte mittlere Precision: Für jedes relevante Dok (R) in Ergebnisliste die Precision bis zu diesem Punkt berechnen: Anzahl relevanter Doks / Anzahl Doks bis dahin Von diesen den Durchschnittswert bilden Recall an jedem relevanten Dokument: Anzahl relevanter Doks bis dahin / Anzahl relevanter Doks insgesamt (bis zum Cutoff)

11 (Mit R gekennzeichnete Dokumente sind relevant) Mittlere Precision Ergebnisrangliste: 1 R 2 R 3 N 4 R 5 N 6 R 7 N 8 N 9 R 10 N

12 Mittlere Precision Precision Recall 1 R 1/1 1/5 2 R 2/2 2/5 3 N R 3/4 3/5 5 N R 4/6 4/5 7 N N R 5/9 5/5 10 N - - mittlere Prec.: (1/1 + 2/2 + 3/4 + 4/6 + 5/9) / 5 = 0,794

13 Mittlere Precision Warum werden Precision- und Recall-Werte nur für relevante Dokumente (R) berechnet? Warum wird z.b. nicht an Position 3 der Precision-Wert 2/3 gezählt? Weil an dieser Stelle der Recall-Wert immer noch 2/5 wäre, wie bereits an Position 2 Dann gäbe es zum Recall-Wert 2/5 im Precision-Recall-Graphen zwei verschiedene Werte: 2/2 und 2/3 Precision-Recall-Graph wäre keine Funktion mehr

14 Precision-Recall-Graph

15 11-point interpolated average precision Für jede Anfrage: Bestimme interpolierte Precision an den 11 Recall-Levels 0%,10%,...,100% Für jeden Recall-Level: Berechne arithmetisches Mittel aus den interpolierten Precision-Werten zu jeder Anfrage Break-even point: Punkt an dem Precision und Recall gleich sind

16

17 Text Retrieval Conference (TREC) NIST (TREC1-8) mit ad-hoc Track Retrievalexperimente: Textkorpus (Dokumentenkollektion) Topics: Beschreibung eines Informationsbedürfnisses Relevanz wird bzgl. Topic gemessen, nicht bzgl. gestellter Anfrage Relevanzangaben

18 TREC-4 Beispieltopic <title> Hubble Telescope Achievements <desc> Description: Identify positive accomplishments of the Hubble telescope since it was launched in <narr> Narrative: Documents are relevant that show the Hubble telescope has produced new data, better quality data than previously available, data that has increased human knowledge of the universe, or data that has led to disproving previously existing theories or hypotheses. Documents limited to the shortcomings of the telescope would be irrelevant. Details of repairs or modifications to the telescope without reference to positive achievements would not be relevant.

19 TREC Trainingskorpus (TREC-3) 2 Gigabytes Text, 150 Topics (aus TREC-1,2) Testkorpus 1 Gigabyte Text, 50 Topics Mittlerweile 5 Gigabyte Text (1,6 Mio. Dokumente), 400 Topics

20 TREC Relevanzbestimmung: Pooling-Verfahren: die jew besten Doks aus verschiedenen IR-Systemen, diese manuell auf Relevanz bewerten Misst nicht Korrektheit der Ergebnislisten, sondern Ähnlichkeit Recall-Bestimmung ungenau

21 TREC Subjektivität der Relevanzbestimmung: Aus TREC-4-Topics je 200 relevante u. Nichtrelevante ausgewählt Neu bewerten lassen von 2 Vps 30% der relevanten aus TREC-4 von beiden als nicht relevant eingeschätzt 3% der nicht-relevanten von beiden als relevant eingeschätzt Kappa im akzeptablen Bereich Keinen Einfluss auf Rangfolge der Systeme

22 Weitere Testkollektionen Cross-lingual IR: CLEF Topic Detection & Tracking: TDT1-5 ( ) Textklassifikation: 20 Newsgroups Reuters WebKB

23 Weitere Qualitätsfaktoren bei IR-Systemen Größe des Indexes Geschwindigkeit der Indexierung Suchgeschwindigkeit Mächtigkeit der Anfragesprache

24 Interaktive/graphische Suchmaschinen Noch schwieriger bzw. aufwändiger zu evaluieren Benutzer-Beobachtungen, user happiness, Zeitmessungen (ROI)

25 Übungsaufgabe 2 Informationsbedürfnis ( topic ) beschreiben Lucene-Anfrage formulieren Terme Phrasen ( Man Ray ) Boolesche Operatoren AND, OR, NOT Anfrage abschicken In Ergebnisliste relevante Dokumente anklicken (relevance feedback) In neuer Ergebnisliste relevante Dokumente bis cutoff = x auswählen & notieren Bis mind. 3 Topics Siehe Mailingliste!