Lernende Suchmaschinen

Transkript

1 Lernende Suchmaschinen Qingchui Zhu PG Intelligence Service (WiSe 07 / SoSe 08)

2 Verzeichnis 1 Einleitung Problemstellung und Zielsetzung 2 Was ist eine lernende Suchmaschine? Begriffsdefinition 3 Realisierung - Funktion und Algorithmus Die Funktion für lernende Suchmaschinen SVM Algorithmus 4 Ein beispielhaftes Experiment Vergleich der zwei Rangordnungen

3 Problemstellung und Zielsetzung Problemstellung und Zielsetzung Problemstellung Anfragen liefern potentiell sehr viele Antworten Aber nur wenige davon sind für den Nutzer interessant Z. B. betrachten bei Internet-Suchmaschinen mehr als 90% aller Nutzer nur die ersten 10 Antworten Wie können potentiell relevante Antworten gehäuft am Anfang der Rangliste auftauchen? Zielsetzung Man entwickelt eine lernende Suchmaschine, die diese Probleme lösen kann.

4 Begriffsdefinition Was ist eine lernende Suchmaschine? Eine lernende Suchmaschine ist eine Suchmaschine mit künstlicher Intelligenz, die selbständig lernt, für wen etwas interessant sein könnte, indem sie die Benutzer befragt.

5 Begriffsdefinition Beispiel 1.1 ein Suchergebnis Die Frage support vector machine (Figure1)

6 Begriffsdefinition Trio (q,r,c) Definition Trio (q,r,c) q: Anfrage r: Die Rangliste der Suchergebnisse c: URL-Liste, die der Benutzer gewählt hat Bei Beispiel 1.1 q: support vector machine r: Liste (1,2,3,4,5,6,7,8,9,10) c: (1,3,7)

7 Begriffsdefinition Welche Information sind relevant? Statistik: die Anzahl der angeklickten Seiten? Nein Niemand will alle Suchergebnisse lesen, wenn sie zu viel sind. Bei Internet-Suchmaschinen betrachten mehr als 90% aller Nutzer nur die ersten 10 Antworten. Man kann nur relativ relevant bestimmen. (bei Beispiel 1.1) Definition r : partielle Information der gesuchte Sortierung der Suchergebnisse link3 < r link2 link7 < r link2 link7 < r link4 link7 < r link5 link7 < r link6

8 Die Funktion für lernende Suchmaschinen Darstellung der Relation r Für eine Suchergebnisliste gibt es m Dokumente D = {d 1,..., d m } Die Relation r kann man mit einer Matrix M darstellen. (M D D) (d i < r d j ) = (M ij = 1 und M ji = 0) Bei Beispiel 1.1 M= (* unbekannt).

9 Die Funktion für lernende Suchmaschinen Kendall s τ Definition Kendall s τ r a und r b : zwei Rangliste mit m Dokumente P : Anzahl der übereinstimmenden Paare Q : Anzahl der nicht übereinstimmenden Paare Q+P := ( m 2 ) τ := P Q P+Q = 1 2Q ( m 2 ) Beispiel für 5 Dokumente (m=5) r a : d 1 <r a d 2 <r a d 3 <r a d 4 <r a d 5 r b : d 3 <r b d 2 <r b d 1 <r b d 4 <r b d 5 Q = 3 ((d 2, d 3 ), (d 1, d 2 ), (d 1, d 3 )) P + Q = ( 5 2 ) = 10; τ = = 0, 4

10 Die Funktion für lernende Suchmaschinen Präzision Definition r f (q) : Rangliste der Suchergebnisse nach Anfrage q Definition τ(r f (q), r ) : Präzision der Suchergebnisse Minimierung Q Maximierung τ und ( 1 τ(r f (q), r ) 1) Wie groß ist τ(r f (q), r ) Wie groß ist die Präzision der Suchergebnisse

11 Die Funktion für lernende Suchmaschinen Präzision Maximierung τ(r f (q), r ) ist equivalent zu Minimierung der Summe der Rangnummer der relevanten Dokumente. AvgPrec(r f (q), r ) = 1 R ΣR i=1 i p i Maximierung (R ist Anzahl der relevanten Dokumente; p i ist die Rangnummer). Untere Schranke für AvgPrec(r f (q), r ) AvgPrec(r f (q), r ) 1 R [ Q + ( R+1 2 ( )] R ) 1 i i=1 (1) Ziel : Maximierung τp(f ) = τ(r f (q), r )d Pr(q, r ) Pr(q, r ) : eine Instanz von r für identische q

12 Die Funktion für lernende Suchmaschinen Beweis zu Formel (1) r rel : die Rangliste, in der alle relevante Dokumente am Anfang auftauchen r sys : Lernende Rangliste p 1, p R : relevante und steigend sortierte Dokumente in r sys. AvgPrec(r sys, r rel ) = 1 R RX i=1 p p R = Q + R+1 2 i p i (2) Beispiel 2,2 für 5 Dokumente mit 3 relevante Dokumente r rel : d 1 <r rel d 2 <r rel d 3 <r rel <r rel r f (q) : d 1 <r d 2 <r <r <r d 3 AvgPrec(r f (q), r rel ) = 1 3 ( ) = 0, 867 p 1 + p 2 + p 3 = = 8 (3)

13 Die Funktion für lernende Suchmaschinen Beweis zu Formel (1) Das Optimierungsproblem (Minimierung Gl.(2) mit Nebenbedingung Gl.(3)) in der sog. Lagrange-Funktion L(p p R, λ) zusammenfassen: L(p p R, λ) = 1 R R i=1 i p i + λ δl(p 1 + +p R,λ) δp i δl(p 1 + +p R,λ) δλ ( Σ R i=1 p i Q ( )) R+1 2 = ir 1 p 2 i + λ =. 0. = 0 Im Prinzip kann man die Minimierung (Formel (1)) errechnen.

14 SVM Algorithmus gewichtete Funktion Für identische q und ihre r : (q 1, r1 ),, (q n, rn ) wählt Lerner L eine Funktion f, so dass τ s (f ) = 1 n n i=1 τ(r f (q i ), ri ) maximiert wird. Man muss ein Algorismus und eine Funktionsfamilie F erzeugen, so dass Lerner f F ein maximales τ s (f ) finden kann. Man definiert eine gewichtete Funktion: (d i, d j ) f ω (q) ωφ(q, d i ) > ωφ(q, d j ) (Definition φ(q, d): siehe Folie 16) Mit unterschiedlichen Gewichtsvektoren ω werden die Dokument unterschiedlich sortiert (siehe Figure2).

15 SVM Algorithmus Figure2 Mit Gewichtsvektor ω 1 werden die 4 Punkte (1,2,3,4) sortiert; Mit Gewichtsvektor ω 2 werden die 4 Punkte (2,3,1,4) sortiert.

16 SVM Algorithmus Gewichtsvektoren bei Suchergebnissen φ(q, d) ist ein Diagramm mit der Dimension, die die Eigenschaft zwischen Anfrage q und Dokument d beschreibt. Das folgende Beispiel illustriert die Anwendung der Gewichtsvektoren bei Suchergebnissen: Beispiel-Frage: side effect of drugs on memory and cognitive abilities, not aging t i ω i d 1i d 2i d 3i d 4i side effect 2 1 0,5 1 1 drugs memory cognitive ability ,5 not aging -2 1 Retrivalgewicht ,5 Entsprechend den Retrivalgewichten werden die Dokumente in der Reihenfolge d 3 ; d 1 ; d 4 ; d 2 ausgegeben.

17 SVM Algorithmus Das Optimierungsproblem der Suchergebnisse Maximierung τ s (f ) ist equivalent zu maximalen Erfüllung der folgenden Ungleichung. (d i, d j ) ri : ωφ(q 1, d i ) > ωφ(q 1, d j ) (d i, d j ) rn : ωφ(q n, d i ) > ωφ(q n, d j ) Aber es ist NP-Schwer Problem.

18 SVM Algorithmus Das Optimierungsproblem der Suchergebnisse Lösung: Einführen SVM Algorithmus Min. V ( ω, ξ) = 1 2 ω ω + C ξ i,j,k mit Nebenbedingung: (d i, d j ) ri : ωφ(q 1, d i ) ωφ(q 1, d j ) + 1 ξ i,j,1 (d i, d j ) rn : ωφ(q n, d i ) ωφ(q n, d j ) + 1 ξ i,j,n i, j, k : ξ i,j,k 0 C ist positiv Konstante, die den Ausgleich zwischen der Minimierung von 1 2 ω ω und der korrekten Klassifizierung der Trainingsbeispiele regelt.

19 SVM Algorithmus Das Optimierungsproblem der Suchergebnisse ω(φ(q n, d i ) φ(q n, d j )) 1 ξ i,j,n (d i, d j ) f ω (q) ω φ(q, d i ) > ω φ(q, d j ) αk,l φ(q k, d l )φ(q, d i ) > αk,l φ(q k, d l )φ(q, d j ) Grundlegende Idee: Der Vektorraum und die zugehörigen Trainingsdaten sind durch eine Kernelfunktion α k,l φ(q k, d l )φ(q, d i ) in einen Raum mit so hoher Dimension zu überführen, dass sich die Trainingsdaten dort linear trennen lassen.

20 Vergleich der zwei Rangordnungen Wie kann man zwei Rangordnungen A und B vergleichen? Man kombiniert A und B zu C top l Links von C enthalten top k a Links von A und top k b Links von B k a k b 1 das bedeutet: Die Benutzer können fast gleiche Anzahl Dokument aus A und B lesen. Vergleich der angeklickten Anzahl des Links aus A und B

21 Vergleich der zwei Rangordnungen Beispiel

22 Vergleich der zwei Rangordnungen Beispiel jeweils 7 links aus A und B 3 Links werden aus A angeklickt 1 Link wird aus B angeklickt A ist deswegen besser als B.