Evaluierung von Information Retrieval Systemen

Transkript

1 Evaluierung von Information Retrieval Systemen Teil 2: TREC Million Query Track Karin Haenelt /

2 Inhalt: TREC Million Query Track Ziele und Aufgaben Auswahl des Corpus und der Queries Teilnehmende Systeme Beurteilungsverfahren Beurteilungsmethoden UMass NEU 2

3 Million Query Track erste Durchführung: TREC 2007 Ziele des Tracks 1. Erforschung des ad-hoc-retrieval in einer sehr großen Dokumentkollektion 2. Untersuchungen der Systemevaluierung, Frage: was ist besser: viele oberflächliche Beurteilungen oder wenige gründliche Beurteilungen? (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) 3

4 Million Query Track Aufgaben der Teilnehmenden 1. Systemlauf von Anfragen gegen eine 426 GB Testkollektion 2. Beurteilung von Dokumenten bezüglich der Relevanz für bestimmte Anfragen kollaboratives online-verfahren: alle Teilnehmenden beurteilen eine Teilmenge der Dokumente (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) 4

5 Inhalt: TREC Million Query Track Ziele und Aufgaben Auswahl des Corpus und der Queries Teilnehmende Systeme Beurteilungsverfahren Beurteilungsmethoden UMass NEU 5

6 Testaufbau Auswahl des Corpus: GOV2-Collection Sammlung des Webseiten der.gov-domäne aus dem Jahr 2004 gesammelt von Web-Crawlern HTML, text, extrahierte Texte aus PDF, Word und Postscript 25 Millionen Dokumente, 426 GB verteilt durch Universität Glasgow auf Platte gegen Beteiligung an Unkosten der Zusammenstellung und der Versendung (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) 6

7 Testaufbau Auswahl der Queries Sammlung von Anfragen an eine große Internetsuchmaschine Auswahl von Anfragen mit mindestens einem relevanten Dokument in GOV2-Corpus ermittelt aus log files der Suchmaschine Anfragen, die zu einem Click auf ein Dokument aus GOV2-Corpus führten Clicks bieten keine Garantie, aber gewisse Wahrscheinlichkeit der Relevanz keine Qualitätskontrolle der Queries (Tippfehler, sprachliche Fehler, ) Erstellung einer Textdatei mit den Anfragen Beispiel: 32: barack obama internships (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) 7

8 Testaufbau Auswahl der Queries Short Queries (TREC-Standard): Originalanfragen an die Suchmaschine Long Queries (TREC-Standard): aus short queries während des Beurteilungsprozesses von Menschen entwickelt (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) 8

9 Einsendungen der Teilnehmenden Durchlauf der Fragen Rückgabe der höchstplatzierten Ausgaben für jede der Queries (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) 9

10 Inhalt: TREC Million Query Track Ziele und Aufgaben Auswahl des Corpus und der Queries Teilnehmende Systeme Beurteilungsverfahren Beurteilungsmethoden UMass NEU 10

11 Teilnehmende ARSC multisearch system / University of Alaska Fairbanks Grid Information Retrieval und multisearch-ansatz: Verteilung einer Anfrage auf mehrere Hosts mit jeweils eigenen Suchmaschinen Ziel: Schätzung der Anzahl von Hosts, die für Anfragen in der vorgegebenen Zeit befragt werden können frühere Leistung für ähnliche Anfragen (TREC-Bewertung); qrel: (topic, document, relevance score) 20% der Hosts, die ein relevantes Dokument zu einer Query liefern, enthalten 78% aller relevanten Dokumente 80% der Hosts, die für alle Queries ein relevantes Dokument liefern, enthalten 10 oder weniger relevante Dokumente für eine Query nur die Hosts mit den meisten relevanten Dokumenten in früheren TRECs durchsucht Zusammenführung der Ergebnisse (in Entwicklung) Index- und Suchtechniken aus Lucene verwendet (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) 11

12 Teilnehmende Exegy Inc. Firma: Entwickler von Ultra-Hochleistungs-Hardware (11-50 Mitarbeitende) Suche mit Spezialsuchmaschine: Exegy Text Miner (XTM): hybrides System: hardware-software co-design-architektur Suche über unindizierte Texte (brute force string search) relevante Ergebnisse für die meisten Queries durchschnittliche Precision (nach UMass-Messung) und (nach NEU-Messung) vollständige Suche über gesamtes unindiziertes Corpus für Fragen in weniger als 2,5 Stunden (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) 12

13 Teilnehmende IBM Haifa Weiterentwicklung der Ranking-Funktion von Lucene zu üblichen Formeln der TREC-Teilnehmenden: bessere Dokumentlängennormalisierung bessere Term-Gewichts-Maße Query-Parsing Stoppwortentfernung Synonym-Expansion Phrasen-Expansion deutlich bessere Ergebnisse als mit früheren Lucene-Formeln ähnliche Ergebnisse wie mit eigener Suchmaschine Juru (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) 13

14 Teilnehmende Universität Amsterdam / Universität Twente Ziel: Vergleich früherer Terabyte Tracks mit Million Query Track: Einfluss flacher Pooling-Methoden auf gemessene Effektivität der Retrievalmethoden Einfluss größerer Themenmenge Retrieval nach folgenden Methoden Volltext-Index (mit Vektorraum-Modell und Sprachmodell) Titel-Index (mit Sprachmodell) Anker-Text-Index (Text eines Hyperlinks) (mit Sprachmodell) (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) 14

15 Teilnehmende Universität Amsterdam / Universität Twente Bewertung der Ergebnisse nach Standard-TREC-Verfahren Bewertung der Ergebnisse nach MQ-Bewertungen (nichtgesichtete Texte gelten als nicht relevant) Vergleich: MQ-Evaluierung ähnliche Ergebnisse wie nach Standard- TREC-Methode MQ-Evaluierung zeigt stärkere Korrelation mit precision auf den vorderen Rängen (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) 15

16 Teilnehmende University of Melbourne Vier Retrieval-Varianten 1. topic-only (Originalanfragen) Ähnlichkeitsmaß basierend auf einem Sprachmodell mit Dirichlet-Glättung 2. Anfrage an öffentliche Suchmaschine, Auswahl von Termen aus den 5 höchtplatzierten Dokumenten und Erweiterung der Anfrage um diese Terme 3. impact-based ranking (Anzahl der Zitierungen) 4. Zusammenfassung von 1 und 3 (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) 16

17 Teilnehmende Heilongjiang Institute of Technology, China: verwendet Lemur Northeastern University: verschiedene Lemur-Standardformeln (tf-idf bm25, tdf-idf log, kl abs, kl dir, inquery, cos, okapi) und Kombination der Ausgabe (Metasuche) mit dem hedge Algorithmus RMIT: Zettair Dirichlet smoothed language model SabIR Standard SMART ltu.lnu University of Massachusetts Amherst verwendet Indri-Retrieval- System (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) 17

18 Inhalt: TREC Million Query Track Ziele und Aufgaben Auswahl des Corpus und der Queries Teilnehmende Systeme Beurteilungsverfahren Beurteilungsmethoden UMass NEU 18

19 Relevanzbeurteilungen Ziel Ziel: Erstellung einer kleinen Anzahl von Beurteilungen für eine große Anzahl von Themen Ergebnis 1700 vom queries beurteilt frühere TRECs: 50 queries Bewertende NIST Gutachter Teilnehmende (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) 19

20 Relevanzbeurteilungen Beurteilungsverfahren Bewertungssystem erstellt von University of Massachusetts auf der Basis des Drupal-Content Management Systems 1. Bewertungssystem schlägt 10 zufällig ausgewählte queries vor 2. Bewertende wählen eine dieser 10 queries zur Beurteilung 3. Bewertende erstellen eine TREC-long query (<desc> Beschreibung, <narr> narrative Angabe der Relevanzkriterien) 4. Bewertungssystem präsentiert ein Dokument und fragt, ob es für die query relvant ist (highly relevant, relevant, not relevant) 5. Wiederholung von 4. bis zu 40 Dokumenten (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) 20

21 Inhalt: TREC Million Query Track Ziele und Aufgaben Auswahl des Corpus und der Queries Teilnehmende Systeme Beurteilungsverfahren Beurteilungsmethoden UMass NEU 21

22 Beurteilungsmethode Standardevaluierungsverfahren der TREC Aufbau von Datenbanken mit großen Mengen von Relevanzbeurteilungen Teilnehmende schicken Ergebnisse der Retrievalläufe auf einem Corpus ein N höchstplatzierte Dokumente aus jedem System kommen in einen Pool und werden von Menschen auf Relevanz untersucht 22

23 Beurteilungsmethode Standardevaluierungsverfahren der TREC Pooling&Beurteilungs-Verfahren ungeeignet für riesige Datenmengen im besten Fall uneffizient im schlechtesten Fall nicht machbar sehr dynamische Kollektionen (Beispiel: Internet) und ständige Evaluierung neuer Algorithmen (Testdaten verschwinden, verlieren an Relevanz, erscheinen neu) spezifische Aufgaben (sehr hoher Aufwand für Einzelfall) 23

24 Beurteilungsmethode Minimal Test Collection (MTC) Ben Carterette, James Allan, and Ramesh K. Sitaraman. Minimal test collections for retrieval evaluation. In: Proceedings of SIGIR, pages , James Allan, Ben Carterette, Javed A. Aslam, Virgil Pavlu, Blagovest Dachev, Evangelos Kanoulas (2007). Million Query Track 2007 Overview. Proceedings of TREC auch UMass-Verfahren genannt (University of Massachusetts Amherst) (Carterette, Allan, Sitamaran, 2006) 24

25 Beurteilungsmethode Minimal Test Collection (MTC) Ziel Erforschung eines minimalen Beurteilungsaufwandes für eine möglichst hohe Konfidenz des Evaluierungsergebnisses Aufbau einer minimalen Testkollektion zum Vergleich von IR-Systemen 25

26 Beurteilungsmethode Minimal Test Collection (MTC) Ansatz: Verbindung von Evaluierung und Konstruktion von Testkollektionen (Carterette, Allan, Sitamaran, 2006) 26

27 Beurteilungsmethode Minimal Test Collection (MTC) Methode: neue Sicht auf durchschnittliche Präzision Schätzung des Grades der Konfidenz durch Definition einer Verteilung über mögliche Dokumentbeurteilungen ermöglicht Evaluierung von Retrievalsystemen mit minimaler Menge an Beurteilungen führt zu einem Algorithmus zum Aufbau einer Testkollektion Studie mit dieser Methode: Bestimmung der Rangfolge einer Menge von Systemen möglich mit kleiner Gruppe von Beurteilenden in weniger als drei Stunden mit 95% Konfidenz (Carterette, Allan, Sitamaran, 2006) 27

28 Minimal Test Collection (MTC) Methode Grundgedanken 1. Neuartige Sicht auf durchschnittliche Präzision (AP average precision): Betrachtung im Sinne eines Bernouilli Experiments 2. AP ist normalverteilt über mögliche Mengen von Relevanzbeurteilungen 3. [2.] ermöglicht die Schätzung der Konfidenz einer AP 4. Grad der Konfidenz dient als Abbruchkriterium für den Algorithmus 5. [4.] ermöglicht Verbindung von Evaluierung und Konstruktion einer Testkollektion (Carterette, Allan, Sitamaran, 2006) 28

29 Minimal Test Collection (MTC) Methode Grundgedanken 1 1. Neue Sicht auf durchschnittliche Präzision (AP average precision): Betrachtung des Beitrags einzelner Dokumente zur durchschnittlichen Präzision (AP average precision) als quadratische Gleichung über Bernoulli Experimente X i für die Relevanz eines Dokuments i (Carterette, Allan, Sitamaran, 2006) 29

30 Minimal Test Collection (MTC) Methode Grundgedanken 2 2. Betrachtung der Differenz der durchschnittlichen Präzision Δ AP zwischen zwei Systemen s 1 und s 2 Δ AP ist über alle möglichen Relevanzzuordnungen zu allen unbeurteilten Dokumente normalverteilt Normalverteilung ermöglicht Angabe einer Konfidenz für das beim jeweiligen Fortschritt der Beurteilung erreichte Ergebnis (Carterette, Allan, Sitamaran, 2006) IR-Systemen

31 Minimal Test Collection (MTC) Methode Grundgedanken 3 3. Grad der Beurteilungssicherheit dient als Abbruchkriterium für den Algorithmus 4. Verbindung von Evaluation und Konstruktion der Testkollektion (Carterette, Allan, Sitamaran, 2006) 31

32 Minimal Test Collection (MTC) Methode Ergebnisse (Carterette, Allan, Sitamaran, 2006) 32

33 Minimal Test Collection (MTC) Methode Ergebnisse (Carterette, Allan, Sitamaran, 2006) 33

34 Minimal Test Collection (MTC) Methode Evaluierungssystem ordnet Dokumente iterativ nach ihrem Informationsbeitrag zu einer Differenz der durchschnittlichen Präzision präsentiert das höchstgeordnete Dokument zur Beurteilung Neugewichtung und Neuordnung der Dokumente nach einer Beurteilung 34

35 Auswahl von Dokumente für die Beurteilung Statistical evaluation (statmap) Methode beurteilt eine Zufallsmenge von Dokumenten von einer geordneten Liste erzeugt eine Schätzung der Durchschnittspräzision, R-Präzision und Präzision an Standard-Messpunkten nicht-zufällig beurteilte Dokumente können in den Schätzprozess einbezogen werden (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) 35

36 Ergebnisse TREC 2007 Vergleich der Ergebnisse TREC-Standardmethode über Terabyte-Corpus MTC über MillionQueries-Corpus statmap über MillionQueries-Corpus Übereinstimmung in der relativen Ordnung der Systeme statmap vermutlich bessere Schätzung der mean average precision (MAP) MTC vermutlich ein korrektes Ranking der Systeme MTC bessere Konfidenz (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) 36

37 Literatur James Allan, Ben Carterette, Javed A. Aslam, Virgil Pavlu, Blagovest Dachev, Evangelos Kanoulas (2007). Million Query Track 2007 Overview. Proceedings of TREC Ben Carterette, James Allan, and Ramesh K. Sitaraman. Minimal test collections for retrieval evaluation. In: Proceedings of SIGIR, pages , Eliah Ninyo, Keren Kenzi (o.j.). Minimal Test Collections for Retrieval Evaluation. B. Carterette et al. Test Collections for Retrieval Evaluation-Eli+Keren.ppt Versionen: 2.1: , 2.0: , 1.0: