Anfrage Erweiterung Jan Schrader

Transkript

1 Anfrage Erweiterung Jan Schrader

2 Vocabulary Mismatch Problem Anfrage und Dokument passen nicht zusammen obwohl Dokument zur Anfrage relevant Grund: Synonymproblem verschiedene Menschen benennen ein wohlbekanntes Objekt nur mit 20% Wahrscheinlichkeit gleich Noch extremer bei unterschiedlichen Ausgangsdomänen (Fachtermini vs. Umgangssprache) Desto mehr Dokumente desto mehr Unterschiede Suchanfragen in der Regel sehr kurz

3 Definition Thesaurus Altgriechisch Schatz Auch Wortschatz Sammlung genannt Systematisch geordnete Begriffe die zu einander in Beziehung stehen Beispiele: Synonym Thesaurus, Onomasiologischer Thesaurus, statistischer Th. Beispiele: Roget's, Dornseiff, Word/GermanNet, OpenThesaurus (OpenOffice)

4 Manuell erstellte Thesauri Erstellt von Experten (Linguisten) Größe und Abdeckung begrenzt Keine Abdeckung bei Fachvokabular Wartung schwer möglich Schnelle Veraltung des Inhalts Keine Multilingualtität Beispiele: Dornseiff, Roget's, Word/GermaNet

5 Kollaborative Thesauri Automatisch aus Wissensbasen erstellt Beispiele: Wiktionary, Wikipedia, Google Sets, Tag mining Synonyme, Über/Unterbegriffe Ein/Ausgehende Links zu einem Thema werden diesem Thema als zugehörig betrachtet Listen die ein Anfrageelement enthalten werden als Anfrage Erweiterung eingesetzt

6 Automatisch erstellte Thesauri Keine Nachteile der manuell erstellten Thesauri Statistisch d.h. Keine Qualitätskontrolle durch Experten fehlerbehaftet Beispiele: LDA, Kookurrenzen basiert, Google snippets, Valenz basierte Ansätze (Pseudo) Relevanz Feedback (Rocchio)

7 WordNet 1985 in Princeton von George Miller entwickelt Thesaurus unterteilt in Nomen, Verben, Adjektive und Adverben Unterteilt in Synsets zwischen denen semantische Verbindungen/Beziehungen bestehen Beziehungen: Synonyme, Antonyme, Hyperonyme, Hyponyme, Meronyme, Troponyme Frei zugänglich im Gegensatz zum GermaNet

8 Dornseifflexikon Erstellt von Franz Dornseiff 1933 Wortschatz nach Sachgruppen (Themen) 22 Hauptgruppen, 970 Sachgruppen, Wörter Aktuelle Version optimiert für den maschinellen Gebrauch

9 Anwendungen von Thesauri Wenig Erfolge mit allgemeinen Thesauri WordNet hat zu viele Ambiguitäten Dornseiff bringt aber 10% Verbesserung Thesauri müssen domänenspezifisch sein Thesauri kombinieren Thesauri einsetzen wenn Anfrage wenig Resultate erbringt

10 Google Snippets Erweiterung Annahme: Wörter definieren einen Kontext in dem auch verwandte Wörter z.b. Synonyme auftreten Basiert auf (Google) Suchanfragen mit zu erweiternden Term Beispiel: relaxen, entspannen Ergebnis: Wellness, Entspannung, Urlaub, Hotel, wohlfühlen, chillen, Musik, Massage, genießen, Sauna, träumen, Erholung, Gesundheit,... Ist Kontext sensitiv

11 Google Snippets Erweiterung (2) Besonders geeignet für Anfragen mit wenigen Resultaten Sprachunabhängig Besser als Language Modelling Automatisches Erstellen von Thesauri möglich Nachteil: Hochfrequente Wörter werden hinzugefügt

12 Interaktives Relevanz Feedback Nutzer bewertet Dokumente hinsichtlich Relevanz (positives/negatives Feedback) Relevanz ist meist binär Nutzer kann auch einzelne Wörter auswählen Kann mehrfach wiederholt werden um Ergebnisse zu verbessern Häufig im Bildretrieval angewandt Auch automatisch aus Klickströmen ableitbar

13 Pseudo Relevanz Feedback Vorteil bei unbekannter Dokumentensprache Terme zur Erweiterung bringen immer noch Verbesserungen Quality in Quality out (QiQo) Ansatz Zentroid der Anfrage bewegt sich auf Zentroiden der rel. Dokumente zu und von nicht rel. weg Kann zu sogenanntem query drift führen

14 Rocchio Algorithmus Neg. Feedback Gewicht << pos. Feedbackgewicht < original Anfrage Gewicht Neg. Feedbackgewicht häufig = 0 Nachteil: rel. Dokumente müssen in einem Cluster sein Nachteil: für den Nutzer nicht immer intuitiv Bewertete/bekannte Dokumente stehen ganz oben Besser auch zur Evaluation herausrechnen

15 Kookurrenzen Gemeinsames Auftreten von Termen Alle Wörter die um ein Wort (der Anfrage) herum gruppiert sind werden als Erweiterungsterme verwendet Findet nicht: tumour<->tumor, astro<->cosmonaut Nachteil: wie groß muss die Fenstergröße gewählt werden? Mit (pseudo) Relevance Feedback kombinierbar

16 Valenz basierte Ansätze Valenzwörter sind Verben, Substantive, Adjektive Terme sind von einander (grammatikalisch/syntaktisch) abhängig I.d.R. PoS-Tagger notwendig Beispiel: <etwas> essen Gruppe Essen (Döner, Weißwurst, Brot, Salami, Pizza, ) Sind oft thematisch zu grob gefasst

17 Genetische Programmierung [1] Motivation: Viele Formeln sind durch herumexperimentieren entstanden Motivation: Gene und Evolution Average Precision als Optimierungskriterium Test, Train und Validation Sets Probleme der lokalen Minima und des Overfitting Formeln kompliziert, nicht nachvollziehbar

18 Literatur Verzeichnis Wikipedia :) [0] A. Borji and M.Z. Jahromi: Evolving Weighting Functions for Query Expansion Based on Relevance Feedback [1]