Klassisches Information Retrieval Jan Schrader

Transkript

1 Klassisches Information Retrieval Jan Schrader

2 Information Retrieval (IR) Information retrieval (IR) is finding material (usually documents) of an unstructured nature (usually text) that satisfies an information need from within large collections (usually stored on computers). (nach [2]) Abgrenzung zu Information Filtering (Pull vs. Push) Abgrenzung zu Empfehlungssystemen (keine Benutzerpräferenzen)

3 Infromation Retrieval (IR) (2) Informationsbedürfniss Formalisierung Anfrage 1 Dokument1 Anfragesprache 2 Dokument Index Ähnlichkeitsbestimmung n DokumentN

4 Boolesches Retrieval Inspiriert von der Booleschen Algebra UND ODER NICHT A, B true A,B true A false A,-B false A,-B true -A true -A,B false -A,-B false -A,B true -A,-B false Alle Gesetze zur Booleschen Algebra nutzbar

5 Boolesches Retrieval (2) Seit den 1950er Jahren Indexieren per Hand Es gibt nur die Werte 0 (falsch) und 1 (wahr) Wörter der Anfrage werden mit Boolschen Operatoren (UND, ODER, NICHT, ()) verknüpft Kein relevance ranking Komplizierte Anfragen z.b. falsche Klammerung

6 Boolesches Retrieval (3) Beispiel: (Jaguar ODER Puma) UND Raubkatze UND NICHT (Auto ODER Schuhe) Antwortmenge schwer zu kontrollieren Keine Häufigkeiten bzw. Gewichtungen möglich Zu schwach (x1 ODER x2 ODER ODER xn) Zu stark (x1 UND x2 UND UND xn)

7 Erweitertes Boolesches Retrieval Anfrage und Dokumenten Terme werden gewichtet [0...1] ( Fuzzy Logik) Woher kommen die Gewichte? Ranking Fuktion z.b. AND_MIN(w1,w2), OR_MAX(w1,w2), NOT_MINUS(1 - w1) Auch + *, Paice, P-Norm, Operatoren möglich Trotz weiterer Operatoren kann man Fälle konstruieren die gegen die Intuition laufen Immer noch schlechte Retrieval Qualität

8 Erweitertes Boolesches Retrieval Beispiel: q = ((w1 ODER w2 ODER w3) UND (w4 ODER w5)) ODER w6 0,2 0,9 0,5 0,2 0,5 0,3 0,2 0,1 0,2 0,9 W1 W2 W3 w4 W5 W6

9 Vektorraummodell 1960er erfunden von Salton in Harvard/Cornell Dokumente und Anfragen als Punkte im n- dimensionalen Vektorraum Suche nach ähnlichen Vektoren Ähnlichkeitsmaße notwendig Anschaulich Gute Retrieval Ergebnisse

10 Klassisches probabilistisches Modell Nach Robertson/Sparck Jones 1976 Schätzung der Wahrscheinlichkeit, dass ein Dokument d für eine Anfrage q relevant ist P(d q) wird berechnet Unabhängigkeit der Terme wird vorausgesetzt Bietet keine Verbesserungen Deshalb nur experimenteller Charakter

11 Ähnlichkeitsmaße Skalarprodukt: [3] Beispiel: D1: (0) D2: (2) A: (3) sk(d1,a) = 2 Kosinusmaß: (5) (1) (0) sk(d2,a) = 16 (1) (5) (2) [3] Normiertes Skalarprodukt (mehr Rechenzeit nötig) Wertebereich (-1,...,1) ( Übereinstimmung in %) Berücksichtigt nicht die Länge der Vektoren Schwer im Mehrdimensionalen zu veranschaulichen

12 Ähnlichkeitsmaße (2) Dice Koeffizient: D1 = {t1,t3,t4} D2 = {t1,t2,t4,t5,t6} [3] (2*2)/(3+5)=4/9=0,44 Normiert zwischen [0...1] Jaccard Koeffizient 2/6=1/3=0,33 [3] Distanzmaße möglich (z.b. Manhattan Distanz)

13 TF-IDF tf = Termfrequenz N = Anzahl der Dokumente df (t i ) = Anzahl Dokumente in denen t vorkommt Auch normiert möglich Bevorzugt lange Dokumente Bei Einfügen eines neuen Dokuments sollte der gesamte Index neu erstellt werden

14 SMART Seit den 1960er Jahren von Salton entwickelt Eine der ersten Suchmaschinen Inzwischen Version 11 Bevorzugt kurze Dokumente

15 OKAPI (BM25) Familie von Suchfunktionen Bietet Platz für Parameteroptimierung Normiert über unterschiedlich Textlängen [0] f(qi,d) = Termfrequenz, D = Länge von D in Wörtern, avgdl = Durchschnittslänge Gewöhnlich k1 = 2.0, b = 0.75

16 Divergence from Randomness (DFR) Ähnlich TF-IDF The more the divergence of the within-document term-frequency from its frequency within the collection, the more the information carried by the term t in the document d. [ TF = TF in Sammlung, tf = TF in Dokument, p = 1/Anzahl Dokumente in Sammlung, q = 1-p

17 Terrier (Terabyte Retriever) Open source Suchmaschine entwickelt in Glasgow Geschrieben in Java z.z. Version 3.5 Bietet verschiedene Retrieval Ansätze [

18 Literatur Verzeichnis Wikipedia :) [0] Ricardo Baeza-Yates und Bertheir Ribeiro-Neto: Modern Information Retrieval (1999) [1] [2] [3]