Information Retrieval Übung

Größe: px

Ab Seite anzeigen:

Download "Information Retrieval Übung"

Markus Acker
vor 9 Jahren
Abrufe

1 Information Retrieval p. 1/15 Information Retrieval Übung Raum LF052, Montags 8:30-10:00 Dipl.-Inform. Sascha Kriewel, Raum LF137 Institut für Informatik und Interaktive Systeme Universität Duisburg-Essen Campus Duisburg

2 Information Retrieval p. 2/15 Abgaben bis Mittwochs 13:30 in Briefkästen vor den Räumen LF135 LF140 alternativ als an nur als Adobe PDF (gleiche Deadline) spätere Abgaben können nicht mehr bis zur nächsten Woche korrigiert werden

3 Information Retrieval p. 3/15 40 % der Übungspunkte Teilnahme an der Übung Vorführen einer eigenen Lösung

4 Information Retrieval p. 4/15 Abstraktionsstufen aus der Vorlesung: Syntax Semantik Pragmatik In welchen Bereich gehören Wissen, Information oder Daten?

5 Information Retrieval p. 5/15 Übung zu Evaluation Fallbeispiel: Eine Schülerin soll ein Referat zur Passat schreiben, einem der größten Segelschiffe der Welt, das vor Travemünde liegt. Sie benutzt Google, um Information zu diesem Schiff zu suchen.

6 Information Retrieval p. 6/15 Suche mit Google: Rangliste

7 Information Retrieval p. 7/15 Google: Relevanzurteile

8 Information Retrieval p. 8/15 Distribution = ( )

9 Information Retrieval p. 8/15 Distribution = ( ) Bestimmung von Precision und Recall: p = REL GEF GEF r = REL GEF REL

10 Information Retrieval p. 8/15 Distribution = ( ) Bestimmung von Precision und Recall: p = REL GEF GEF r = REL GEF REL Was ist Prec@1, Prec@5, Prec@10?

11 Information Retrieval p. 9/15 Precision an Rang x p = REL GEF GEF

12 Information Retrieval p. 9/15 Precision an Rang x p = REL GEF GEF Menge der gefundenen Dokumente = 10

13 Information Retrieval p. 9/15 Precision an Rang x p = REL GEF GEF Menge der gefundenen Dokumente = 10 Menge der relevanten gefundenen Dokumente an den Punkten 1, 5 und 10 = 0, 3 und 3

14 Information Retrieval p. 9/15 Precision an Rang x p = REL GEF GEF Menge der gefundenen Dokumente = 10 Menge der relevanten gefundenen Dokumente an den Punkten 1, 5 und 10 = 0, 3 und 3 Prec@1 = 0 1

15 Information Retrieval p. 9/15 Precision an Rang x p = REL GEF GEF Menge der gefundenen Dokumente = 10 Menge der relevanten gefundenen Dokumente an den Punkten 1, 5 und 10 = 0, 3 und 3 Prec@1 = 0 1 Prec@5 = 3 5

16 Information Retrieval p. 9/15 Precision an Rang x p = REL GEF GEF Menge der gefundenen Dokumente = 10 Menge der relevanten gefundenen Dokumente an den Punkten 1, 5 und 10 = 0, 3 und 3 Prec@1 = 0 1 Prec@5 = 3 5 Prec@10 = 3 10

17 Information Retrieval p. 10/15 Precision Rang

18 Information Retrieval p. 11/15 Bestimmung des Recall Wie lässt sich der Recall an diesen Punkten bestimmen?

19 Information Retrieval p. 11/15 Bestimmung des Recall Wie lässt sich der Recall an diesen Punkten bestimmen? Eine Möglichkeit: wir nehmen an, dass alle relevanten Dokumente unter den angezeigten Dokumenten sind.

20 Information Retrieval p. 11/15 Bestimmung des Recall Wie lässt sich der Recall an diesen Punkten bestimmen? Eine Möglichkeit: wir nehmen an, dass alle relevanten Dokumente unter den angezeigten Dokumenten sind. z.b.: Recall an Punkt 3 = 2 3 = 0.66

21 Information Retrieval p. 11/15 Bestimmung des Recall Wie lässt sich der Recall an diesen Punkten bestimmen? Eine Möglichkeit: wir nehmen an, dass alle relevanten Dokumente unter den angezeigten Dokumenten sind. z.b.: Recall an Punkt 3 = 2 3 = 0.66 Probablistische Interpretation: die Wahrscheinlichkeit, dass ein zufälliges relevantes Dokument im Web unter den ersten 3 Antworten ist, beträgt 66%...

22 Information Retrieval p. 11/15 Bestimmung des Recall Wie lässt sich der Recall an diesen Punkten bestimmen? Eine Möglichkeit: wir nehmen an, dass alle relevanten Dokumente unter den angezeigten Dokumenten sind. z.b.: Recall an Punkt 3 = 2 3 = 0.66 Probablistische Interpretation: die Wahrscheinlichkeit, dass ein zufälliges relevantes Dokument im Web unter den ersten 3 Antworten ist, beträgt 66%... offensichtlich zu optimistische Schätzung

23 Information Retrieval p. 12/15 Abschätzungen für REL Wie kann man die Menge der relevanten Dokumente besser abschätzen, um bessere Annäherungen für den Recall zu bekommenn

24 Information Retrieval p. 12/15 Abschätzungen für REL Wie kann man die Menge der relevanten Dokumente besser abschätzen, um bessere Annäherungen für den Recall zu bekommenn Vollständige Relevanzbeurteilung: selbst für eine Stichprobe völlig inpraktikabel

25 Information Retrieval p. 12/15 Abschätzungen für REL Wie kann man die Menge der relevanten Dokumente besser abschätzen, um bessere Annäherungen für den Recall zu bekommenn Vollständige Relevanzbeurteilung: selbst für eine Stichprobe völlig inpraktikabel mehr Resultate ansehen (insgesamt ca Treffer)

26 Information Retrieval p. 12/15 Abschätzungen für REL Wie kann man die Menge der relevanten Dokumente besser abschätzen, um bessere Annäherungen für den Recall zu bekommenn Vollständige Relevanzbeurteilung: selbst für eine Stichprobe völlig inpraktikabel mehr Resultate ansehen (insgesamt ca Treffer) Experten zu Rate ziehen

27 Information Retrieval p. 12/15 Abschätzungen für REL Wie kann man die Menge der relevanten Dokumente besser abschätzen, um bessere Annäherungen für den Recall zu bekommenn Vollständige Relevanzbeurteilung: selbst für eine Stichprobe völlig inpraktikabel mehr Resultate ansehen (insgesamt ca Treffer) Experten zu Rate ziehen mit anderen Suchmaschinen suchen, Metasuchmaschinen benutzen

28 Information Retrieval p. 12/15 Abschätzungen für REL Wie kann man die Menge der relevanten Dokumente besser abschätzen, um bessere Annäherungen für den Recall zu bekommenn Vollständige Relevanzbeurteilung: selbst für eine Stichprobe völlig inpraktikabel mehr Resultate ansehen (insgesamt ca Treffer) Experten zu Rate ziehen mit anderen Suchmaschinen suchen, Metasuchmaschinen benutzen Frageerweiterung: z.b. mit zusätzlichen Termen Segelschiff oder Schiff

29 Information Retrieval p. 13/15 alternative Retrievalsysteme bietet automatische Kategorisierung von Ergebnissen MetaGer: meta.rrzn.uni-hannover.de als Metasuchmaschine Liste von Suchmaschinen: Wissenschaftliche Suche, z.b. mit Metasuche mit forschungsportal.net bietet Suchoperatoren wie Phrase, nah, nicht, oder, sollte CiteSeer: citeseer.ist.psu.edu zur Suche in Publikationen

30 Information Retrieval p. 14/15 Google: Frageerweiterung

31 Information Retrieval p. 15/15 Google: Frageerweiterung

Ähnliche Dokumente

Evaluierung und Retrievalmaße. Seminar experimentelle Evaluierung In Information Retrieval WS05/06

Evaluierung und Retrievalmaße. Seminar experimentelle Evaluierung In Information Retrieval WS05/06 Evaluierung und Retrievalmaße Seminar experimentelle Evaluierung In Information Retrieval WS05/06 Einleitung - Evaluierung Wichtig für IR Zusammenhang zwischen einer Suchanfrage und den zurückgegebenen