T = {t 1,..., t n } sei die Menge der Terme. D = {d 1,..., d m } sei die Menge der Dokumente.

Transkript

1 Vektorraummodell T = {t 1,..., t n } sei die Menge der Terme. D = {d 1,..., d m } sei die Menge der Dokumente. Dokumente und Anfragen werden als Vektoren in einem Vektorraum aufgefaßt. Der Vektorraum wird durch die in der Datenbank enthaltenen Terme aufgespannt (pro Term eine Dimension). Beim Retrieval wird nach Dokumenten gesucht, deren Dokumentvektor ähnlich zum Anfragevektor ist. Definition 3.4. [Vektorraummodell] Für d i D und t k T bezeichnet w i,k IR das Gewicht von Term t k in Dokument d i. Der Vektor w i = (w i,1,..., w i,n ) IR n heißt Dokumentvektor von d i. Ein Anfragevektor q ist ein beliebiger Vektor IR n. Zwischen zwei Dokumenten (bzw. einer Anfrage und einem Dokument) wird durch eine Ähnlichkeitsfunktion s : IR n IR n IR eine Ähnlichkeit definiert. Die Ähnlichkeit wird durch eine geeignete Funktion definiert. Information Retrieval FH Bonn-Rhein-Sieg, SS Information Retrieval FH Bonn-Rhein-Sieg, SS Im Gegensatz zum boolschen Retrieval hat das Vektorraummodell die folgenden Eigenschaften: Terme erhalten von vornherein unterschiedliche Gewichtungen. Für jedes Dokument und jeden Term wird versucht, die Bedeutung des Terms in diesem Dokument zu berücksichtigen. Erstellung einer Rangfolge für die Dokumente der Antwortmenge. Bezeichnungen: n sei die Anzahl der verschiedenen Terme in einer Datenbank. m sei die Anzahl der Dokumente. Information Retrieval FH Bonn-Rhein-Sieg, SS Information Retrieval FH Bonn-Rhein-Sieg, SS 04 98

2 Bemerkungen: Anhand der Ähnlichkeitsfunktion werden Anfragen und Dokumente (oder auch zwei Dokumente) miteinander verglichen. Der sich ergebende Ähnlichkeitswert kann für die Erstellung einer Rangfolge benutzt werden. Die Ähnlichkeitsfunktion hat typischerweise die Eigenschaft, daß ein hoher Wert eine große Ähnlichkeit anzeigt und ein niedriger Wert (evtl. sogar kleiner als Null) eine geringe Ähnlichkeit. Beispiel 3.1. [Vektorraummodell mit Skalarprodukt] text search in knowledge retrieval, but not in lexicons Rangfolge: d 3, d 1, d 4, d 2 t i q k w 1,k w 2,k w 3,k w 4,k text search knowledge retrieval lexicon -2 1 Skalarprodukt Beispielanfrage: In der Praxis kommen verschiedene Ähnlichkeitsfunktionen zur Anwendung. Information Retrieval FH Bonn-Rhein-Sieg, SS Information Retrieval FH Bonn-Rhein-Sieg, SS Eine (allerdings nicht unbedingt geeignete) Möglichkeit zur Definition einer Ähnlichkeitsfunktion besteht in der Verwendung des Skalarprodukts: Definition 3.5. [Skalarprodukt] Das Skalarprodukt < w i, q > für einen Anfragevektor q = (q 1,..., q n ) und einen Dokumentvektor w i = (w i,1,..., w i,n ) ist definiert durch: < w i, q >= n w i,k q k Vektorraummodell vs. boolsches Retrieval Das boolsche Retrieval stellt einen Spezialfall des Vektorraummodells dar. Hierzu erlaubt man in den Dokument- und Anfragevektoren nur die Gewichte 0 und 1, mit w i,j = 1 gdw. Term t j in Dokument d i auftritt. Analog repräsentiert man eine aus mehreren Termen zusammengesetzte Anfrage, d.h. q k = 1 gilt gdw. t k ein Anfrageterm von q ist. Liegt eine konjunktive boolsche Anfrage aus r Termen vor, so ergibt sich die Antwortmenge als die Menge aller Dokumente d i, für die gilt: < w i, q >= r. Bei einer disjunktiven boolschen Anfrage besteht die Anwortmenge aus allen Dokumenten d i, für die gilt: < w i, q > 1. Information Retrieval FH Bonn-Rhein-Sieg, SS Information Retrieval FH Bonn-Rhein-Sieg, SS

3 Beispiel 3.2. [Vektorraummodell vs. boolsches Retrieval] t 1 t 2 t 3 Skalarprodukt d d d d d d d d d d d q q 1 q 2 q 3 Venn-Diagramm: t3 d9 d11 d1 d2 t1 d5 d3 d10 d4 d6 d8 d7 t2 Definition 3.6. [Cosinusmaß] Es sei w i der Dokumentvektor von d i, und es sei q ein Anfragevektor. Dann ist das Cosinusmaß cos(w i, q) gegeben durch: Bemerkungen: cos(w i, q) = w i,kq k n w2 i,k q2 k = < w i, q > w i 2 q 2 Zur Normalisierung der Ähnlichkeit auf der Basis des Skalarprodukts werden die euklidischen Längen von Dokument- und Anfragevektor benutzt. Die Ähnlichkeitswerte sind beim Cosinusmaß unabhängig von der Länge der Vektoren. Information Retrieval FH Bonn-Rhein-Sieg, SS Information Retrieval FH Bonn-Rhein-Sieg, SS Ähnlichkeitsfunktionen Das Skalarprodukt als Ähnlichkeitsfunktion für das Vektorraummodell hat den Nachteil, daß die euklidische Länge eines Dokumentvektors einen starken Einfluß auf den Ähnlichkeitswert hat. Ergeben sich die Gewichte w i,j z.b. auf der Basis der Häufigkeit von t j in d i, so werden im Mittel lange Dokumente bevorzugt. Will man dies vermeiden, dann bieten sich Ähnlichkeitsfunktionen an, die die Länge der Dokument- bzw. Anfragevektoren berücksichtigen. Die wohl am häufigsten benutzte Ähnlichkeitsfunktion im Vektorraummodell ist das Cosinusmaß. Allgemein gilt für x, y IR n : < x, y >= x 2 y 2 cos α Hierbei ist α der Winkel, der durch die beiden Vektoren x und y aufgespannt wird. Das Cosinusmaß stellt demnach den Winkel zwischen Dokumentund Anfragevektor dar. Es gilt: 1 cos(w i, q) 1 Der größte Wert für cos(w i, q) ergibt sich, wenn Dokument- und Anfragevektor in die gleiche Richtung zeigen. Der kleinste Wert für cos(w i, q) ergibt sich, wenn Dokument- und Anfragevektor genau in entgegengesetzte Richtungen zeigen. Information Retrieval FH Bonn-Rhein-Sieg, SS Information Retrieval FH Bonn-Rhein-Sieg, SS

4 Definition 3.7. [Pseudo-Cosinusmaß] Es sei w i der Dokumentvektor von d i, und es sei q ein Anfragevektor. Dann ist das Pseudo- Cosinusmaß gegeben durch: pcos(w i, q) = w i,kq k ( w i,k) ( q k ) = < w i, q > w i 1 q 1 Es wird hier davon ausgegangen, daß negative Werte nur im Anfragevektor auftreten können. Beim Pseudo-Cosinusmaß wird für die Normalisierung die sogenannte Summennorm (L 1 -Norm) verwendet. Diese Ähnlichkeitsfunktion reagiert weniger stark auf große Gewichte im Dokument- oder Anfragevektor. Das Jaccard-Maß ist gegeben durch: jaccard(w i, q) = w i,kq k n w i,k + q k w i,kq k Diesen Ähnlichkeitsmaßen liegen die folgenden Ideen zur Definition einer Ähnlichkeit zwischen zwei Mengen Q und D zu Grunde: Skalarprodukt: Cosinusmaß: Dice-Maß: Q 1/2 D 1/2 2 Q + D Overlap-Maß: Jaccard-Maß: min{ Q, D } Q D Information Retrieval FH Bonn-Rhein-Sieg, SS Information Retrieval FH Bonn-Rhein-Sieg, SS Weiterhin werden im IR die folgenden Ähnlichkeitsfunktionen verwendet: Definition 3.8. [Dice-Maß] es sei q ein Anfragevektor. Das Dice-Maß ist gegeben durch: dice(w i, q) = Das Overlap-Maß ist gegeben durch: Es sei w i der Dokumentvektor von d i, und 2 w i,kq k w i,k + q k overlap(w i, q) = min{w i,k, q k } min{ w i,k, q k } Beispiel 3.3. [Vergleich der Ähnlichkeitsmaße] t 1 t 2 t 3 Sk.-P. cos pcos dice over. jac. d d d d d d d d d d d q q 1 q 2 q 3 Information Retrieval FH Bonn-Rhein-Sieg, SS Information Retrieval FH Bonn-Rhein-Sieg, SS

5 Rangfolgen: Skalarprodukt: 5 {3 10} 1 {6 9 11} {7 8} {2 4} Cosinus: {3 10} 5 {9 11} 1 6 {7 8} {2 4} Pseudo-Cosinus: {9 11} {3 10} { } 6 {2 4} Dice: 5 {3 10} 1 {9 11} 6 {7 8} {2 4} Overlap: { } Jaccard: 5 {3 10} 1 {9 11} 6 {7 8} {2 4} Information Retrieval FH Bonn-Rhein-Sieg, SS