Learning to Rank Sven Münnich

Transkript

1 Learning to Rank Sven Münnich Fachbereich 20 Seminar Recommendersysteme Sven Münnich 1

2 Übersicht 1. Einführung 2. Methoden 3. Anwendungen 4. Zusammenfassung & Fazit Fachbereich 20 Seminar Recommendersysteme Sven Münnich 2

3 Was bedeutet Learning to Rank? EINFÜHRUNG Fachbereich 20 Seminar Recommendersysteme Sven Münnich 3

4 Beispiel: Dokumentensuche Dokumente { } D = d 1, d 2,..., d n Query f, d ( ) Ranking d, 1 d, 2 d, n Fachbereich 20 Seminar Recommendersysteme Sven Münnich 4

5 Beispiel: Produktvorschläge Query Dokumente Fachbereich 20 Seminar Recommendersysteme Sven Münnich 5

6 Learning to Rank 1 d 1, 1 d 1, 2 d 1, n1 m d m, 1 d m, 2 d m, nm Learning System Dokumente { } D = d 1, d 2,..., d n Query m+1 f, d ( ) d m+1, 1 d m+1, 2 d m+1, nm+1 Ranking f ( m+1, d m+1, 1 ) f ( m+1, d m+1, 2 ) f ( m+1, d m+1, nm+1 ) Fachbereich 20 Seminar Recommendersysteme Sven Münnich 6

7 Learning to Rank Learning System: Verlustfunktion zur Evaluierung der Ergebnisse Ranking System: Permutationen von Feature Vektoren Fachbereich 20 Seminar Recommendersysteme Sven Münnich 7

8 Trainingsdaten {( x j, l )} j x j l j Feature Vektor Query-Dokument Relevanz Kann binär sein( relevant nicht relevant ) Bewertet von realen Personen (z.b. Clicktrough Data ) Große Datensätze benötigt: z.b.: 36k Queries, 883k Dokumente, 700 Features Fachbereich 20 Seminar Recommendersysteme Sven Münnich 8

9 Beispiel: Clickhrough Data Ranking Query A B User wählt C B > A Fachbereich 20 Seminar Recommendersysteme Sven Münnich 9

10 Bewertungsverfahren Binäre Relevanz Mean Reciprocal Rank N-äre Relevanz Discounted Cumulative Gain Normalized Discounted Cumulative Gain Kendalls Tau Fachbereich 20 Seminar Recommendersysteme Sven Münnich 10

11 Mean Reciprocal Rank (MRR) MRR = 1 Q Q i=1 1 rank i Mean Durchschnitt Reciprocal Kehrwert Rank Ranges des ersten relevanten Ergebnisses Fachbereich 20 Seminar Recommendersysteme Sven Münnich 11

12 Beispiel: MRR Query A Ranking Relevanz A 0 0 A 1 0 A 2 1 A 3 0 A 4 1 A 5 1 Query B Ranking Relevanz B 0 1 B 1 1 B 2 1 B 3 0 B 4 0 B 5 0 Query C Ranking Relevanz C 0 0 C 1 0 C 2 0 C 3 0 C 4 0 C 5 1 MRR = = 1 " 1 3 rank i % $ ' = 1 # 6 & 2 i= Fachbereich 20 Seminar Recommendersysteme Sven Münnich 12

13 Discounted Cumulative Gain (DCG) DCG p = rel 1 + p i=2 rel i log 2 i ( ) Jeder Treffer mit Relevanz ist Informationsgewinn Gain Gewicht der Relevanz von Ergebnissen mit niedrigem Rang wird reduziert Discounted Fachbereich 20 Seminar Recommendersysteme Sven Münnich 13

14 Beispiel: DCG (A) Platz Relevanz CG A DCG A DCG 7 = rel i=2 rel i log 2 i ( ) = log 2 ( 2) log 2 ( 7) Fachbereich 20 Seminar Recommendersysteme Sven Münnich 14

15 Beispiel: DCG (B) Platz Relevanz CG B DCG B DCG A Welches DCG ist besser? Fachbereich 20 Seminar Recommendersysteme Sven Münnich 15

16 Normalized Discounted Cumulative Gain (NDCG) NDCG p = DCG p idcg p Normalisierung mit idealem DCG ideal : Objekte sind absteigend nach ihrer Relevanz sortiert Ermöglicht Vergleich Fachbereich 20 Seminar Recommendersysteme Sven Münnich 16

17 Beispiel: NDCG Platz Relevanz CG A DCG A NDCG 7,A = DCG 7,A idcg 7,A = NDCG 7,B 0.89 Relevanz CG i DCG i B ist besser! Fachbereich 20 Seminar Recommendersysteme Sven Münnich 17

18 Kendalls Tau τ = C D n n 1 ( ) / 2 Nach sortierte Paare mit und C D x j = i +1,, n ( ) ( x i, y i ), x j, y j : Anzahl von konkordanten Paaren x i < x j, y i < y j : Anzahl von diskordanten Paaren x i < x j, y i > y j i =1,, n Fachbereich 20 Seminar Recommendersysteme Sven Münnich 18

19 Beispiel: Kendalls Tau d X Y A 4 5 B 1 3 C 5 4 D 3 1 E 2 2 d X Y B 1 3 E 2 2 D 3 1 A 4 5 C 5 4 d Y-Paare B (3,2)(3,1)(3,5)(3,4) E (2,1)(2,5)(2,4) D (1,5)(1,4) A (5,4) C Paare konkordant (3,5)(3,4)(2,5)(2,4)(1,5)(1,4) diskordant (3,2)(3,1)(2,1)(5,4) τ = C D n( n 1) / 2 = / 2 = 2 10 = 0.2 C = 6 D = Fachbereich 20 Seminar Recommendersysteme Sven Münnich 19

20 Support Vector Machine (SVM) I Klassifizierung von Objekten Trennung der Trainingsobjekte in Klassen Maximierung des Freien Bereiches zwischen den Klassen Stützvektoren Klassifikation mit SVM, Florian Markowetz Fachbereich 20 Seminar Recommendersysteme Sven Münnich 20

21 Support Vector Machine (SVM) II Hyperebene kann nicht krumm sein Kernel-Trick Klassifikation mit SVM, Florian Markowetz Fachbereich 20 Seminar Recommendersysteme Sven Münnich 21

22 Punkte, Paare, Listen METHODEN Fachbereich 20 Seminar Recommendersysteme Sven Münnich 22

23 Punkte, j ( f ( x j ), l ) j Punkt: einzelnes Objekt, z.b. Dokument Verlustfunktionen: (Ordinal-)Regression Klassifizierung, z.b. ( ) = max( 0, 1 t y) t Fachbereich 20 Seminar Recommendersysteme Sven Münnich 23

24 Paare m i, j, l i >l j ( ( ) f ( x )) j f x i Paar: Dokumentenpaar Klassifizierung auf Basis der Reihenfolge, Verlustfunktionen: Paarweise Klassifizierung ( x i, x j ) x i > x j Fachbereich 20 Seminar Recommendersysteme Sven Münnich 24

25 Paarweise Klassifizierung Ranking Query Paarweise Klassifizierung Query A A A B B B C C C Fachbereich 20 Seminar Recommendersysteme Sven Münnich 25

26 Listen, j { } ( { f ( x ) j }, l ) j Liste: Query-Dokumentengruppe Intuitivster Ansatz für Learning to Rank Verlustfunktionen: Listenweise Fachbereich 20 Seminar Recommendersysteme Sven Münnich 26

27 ANWENDUNGEN Fachbereich 20 Seminar Recommendersysteme Sven Münnich 27

28 Ranking SVM Allgemeines Problem: Die Rankingfunktion ergibt verschiedene, nicht vergleichbare Gruppen A Short Introduction to Learning to Rank, Hang Li Fachbereich 20 Seminar Recommendersysteme Sven Münnich 28

29 Ranking SVM Paarweise Klassifikation mit ( t) = max( 0, 1 t) Allgemein: m i, j, l i >l j ( ( ) f ( x )) j f x i # min 1 2 w 2 + C % $ w T R i, j m i, j, l i >l j R i, j ( f ( x ) i f ( x )) j 1 R i, j 0 & ( ' Fachbereich 20 Seminar Recommendersysteme Sven Münnich 29

30 Ranking SVM A Short Introduction to Learning to Rank, Hang Li Fachbereich 20 Seminar Recommendersysteme Sven Münnich 30

31 ListNet Listenweise Klassifikation: ( f ( x ), l ) Verlustfunktion auf Basis von Permutations- Wahrscheinlichkeiten P s ( π ) = n j=1 ( ) ( ) φ s π j n k= j ( ) φ s π k ( ) Fachbereich 20 Seminar Recommendersysteme Sven Münnich 31

32 Permutations-Wahrscheinlichkeit P s ( π ) = n j=1 ( ) ( ) φ s π j n k= j ( ) φ s π k ( ) Permutation Scores Positive, monoton wachsende Funktion Jede Permutation ist prinzipiell möglich Sehr aufwändig zu berechnen n! Permutationen π = π ( 1), π ( 2),, π n ( ) s = s 1, s 2,, s n ( ) φ ( x) Fachbereich 20 Seminar Recommendersysteme Sven Münnich 32

33 Beispiel: Permutations-Wahrscheinlichkeit Drei Objekte Scores Wahrscheinlichkeit für : P s ( π ') = { 1, 2, 3} ( ) s = s 1, s 2, s 3 π ' = 3, 1, 2 φ ( s 3 ) φ ( s 3 ) +φ ( s 1 ) +φ ( s 2 ) φ ( s 1 ) φ ( s 1 ) +φ ( s 2 ) φ ( s 2) φ ( s 2 ) Fachbereich 20 Seminar Recommendersysteme Sven Münnich 33

34 ListNet Top One Probability für ein Dokument : Die Wahrscheinlichkeit, dass auf Platz 1 ist P s d ( j) = P s ( π ) = π( 1)= j, π Ω n d φ s j n k=1 ( ) ( ) φ s k ListNet: Top One Probability P f x ( ) ( x ) j = ( ) ( ) exp f ( x ) j n k=1 exp f ( x ) k Fachbereich 20 Seminar Recommendersysteme Sven Münnich 34

35 ListNet Verlustfunktion z.b. mit Kreuzentropie: f ( x ), l n ( ) = P l x j j=1 ( ( x )) j ( )log P f x ( ) Vereinfachte Darstellung normal mit Optimierungsparametern des Modells Fachbereich 20 Seminar Recommendersysteme Sven Münnich 35

36 Vergleich Ranking SVM ListNet Methode Paarweise Listenweise Komplexität O(n 2 ) O(m n) Skalierbarkeit je nach Implementierung gut Fachbereich 20 Seminar Recommendersysteme Sven Münnich 36

37 ZUSAMMENFASSUNG & FAZIT Fachbereich 20 Seminar Recommendersysteme Sven Münnich 37

38 Zusammenfassung Verbesserung durch Minimierung des Fehlers(Verlustes) Drei Methoden Punktweise Paarweise Listenweise Viele verschiedene Modelle z.b.: RankingSVM, ListNet Benötigt große Menge an bewerteten Trainingsdaten Verwendung von Clickthrough Data möglich Effizienz hängt stark von Implementierung ab Fachbereich 20 Seminar Recommendersysteme Sven Münnich 38

39 FRAGEN? Fachbereich 20 Seminar Recommendersysteme Sven Münnich 39

40 VIELEN DANK! Fachbereich 20 Seminar Recommendersysteme Sven Münnich 40

41 Quellen T. Joachims, Evaluating Retrieval Performance Using Clickthrough Data, Proceedings of the SIGIR Workshop on Mathematical/Formal Methods in Information Retrieval, B. Bai, J. Weston, D. Grangier, R. Collobert, K. Sadamasa, Y. Qi, O. Chapelle, and K. Weinberger. Learning to rank with (a lot of) word features. Information Retrieval Journal, 13(3): , O. Chapelle, Y. Chang, and T.-Y. Liu, editors. Proceedings of the Yahoo! Learning to Rank Challenge, volume 14 of JMLR Workshop and Conference Proceedings, Evaluation von Retrievalsystemen, uploads/2009/05/evaluation-von-retrievalsystemen-dcg.pdf F. Markowetz, Klassifikation mit Support Vector Machines, Berlin Center for Genome Based Bioinformatics, Fachbereich 20 Seminar Recommendersysteme Sven Münnich 41

42 Quellen Hang Li, Zhe Cao, Tao Qin, Tie-Yan Liu, Ming-Feng Tsai, Learning to Rank: From Pairwise Approach to Listwise Approach, Microsoft Research Asia, Hang Li, A Short Introduction to Learning to Rank, Microsoft Research Asia, Tie-Yan Liu, Learning to Rank for Information Retrieval, International WWW Conference Fachbereich 20 Seminar Recommendersysteme Sven Münnich 42