Multi-label Lazy Associative Classification. Darko Popovic. Seminar aus maschinellem Lernen WS 2007/2008

Transkript

1 Multi-label Lazy Associative Classification Darko Popovic Seminar aus maschinellem Lernen WS 2007/2008

2 Klassifizierung

3 Klassifikatoren Binärer Klassifikator Multi-class Klassifikator eine Klasse pro Instanz Multi-label Klassifikator mehrere Label pro Instanz

4 Gliederung Motivation Grundlagen Multi-class Klassifikator Multi-label Klassifikator Experimente und Ergebnisse Fazit

5 Motivation Große Bedeutung der Multi-label Klassifizierung (z.b. Text-, Genklassifikation, ) Wenig erforscht! Herausforderungen: small disjuncts Abhängigkeiten zwischen Labels

6 Grundlagen Class association rule (CAR) σ, θ Regel der Form: F l F=Menge von Features, l=label Support σ Confidence support(f l) = P(F U l) θ confidence(f l) = P(l F)

7 Beispiel: CARs Trainingsdaten: ID Label Title 1 Drama/Mystery Solaris 2 Drama/Thriller Syriana 3 Crime/Thriller Ocean s Eleven 4 Crime/Thriller Out of Sight 5 Thriller The Peacemaker 6 Action Desperado Actors G. Clooney G. Clooney, M. Damon G. Clooney, M. Damon G. Clooney G. Clooney Q. Tarantino G. Clooney Drama support (G. Clooney Drama) = 2/6 =0.33 confidence (G. Clooney Drama) = 2/5 = ;. Drama

8 Alle CARs ;. Drama ;. Mystery ;. Thriller ;. Crime G. Clooney & M. Damon. ;. Drama G. Clooney & M. Damon. ; Thriller G. Clooney & M. Damon. ;. Crime M. Damon. ;. Drama M. Damon. ; Thriller M. Damon. ;. Crime Q. Tarantino. ; Action

9 Multi-class Klassifikator CAR in Modell aufnehmen, falls: σ σ und θ θ min Modell mit σ min min = 0.2 und θ = 0.4 min G. Clooney & M. Damon. ; Thriller ;. Thriller ;. Drama ;. Crime M. Damon. ; Thriller

10 Multi-class Klassifikator Klassifiziere einem Film mit G. Clooney: ;. Thriller ;. Drama ;. Crime Thriller oder Drama oder Crime? Definiere Score-Funktion: s l ( ) i = σ σ, θ F l M s(thriller)=0,54 s(drama)=0,13 F = Teilmenge von Testinstanz i s(crime)=0,13 θ

11 Multi-label Klassifikator (IEAC) Unabhängiger Klassifizierer für jedes Label Definiere Wahrscheinlichkeits-Funktion: ( ) Weise Label l i zu, falls ( ) ( ) s l f l = i i maxl s l ( ) = f l δ δ i min

12 Beispiel: IEAC small disjuncts Trainingsdaten: Modell: ID Label Title Actors σ min = 0.2; θmin = 0.67; δmin = Drama/Mystery Solaris G. Clooney 2 Drama/Thriller Syriana G. Clooney, M. Damon Crime/Thriller Ocean s Eleven G. Clooney, M. Damon Thriller 4 Crime/Thriller Out of Sight G. Clooney 5 Thriller The Peacemaker G. Clooney M. Damon Thriller 6 Action Desperado Q. Tarantino Testinstanz: 7?[Action] From Tusk till Dawn Q. Tarantino, M. Damon Thriller Starke Assoziation von Q. Tarantino zu Action (ID 6)! Tarantino Action ist ein small disjunct G. Clooney & M. Damon Thriller

13 Multi-label Klassifikator (ILAC) Modell abhängig von Instanz erzeugen benutze Instanz als Filter Original-Trainingsdaten: Gefilterte Trainingsdaten: ID Label Title Actors ID Label Title Actors 1 Drama/Mystery Solaris G. Clooney 2 Drama/Thriller Syriana M. Damon 2 Drama/Thriller Syriana G. Clooney, M. Damon 3 Crime/Thriller Ocean s Eleven M. Damon 3 Crime/Thriller Ocean s Eleven G. Clooney, M. Damon 6 Action Desperado Q. Tarantino 4 Crime/Thriller Out of Sight G. Clooney 5 Thriller The Peacemaker G. Clooney 6 Action Testinstanz: Desperado Q. Tarantino 7?[Action] From Tusk till Dawn Q. Tarantino, M. Damon

14 Beispiel: ILAC Gefilterte Trainingsdaten: ID Label Title Actors 2 Drama/Thriller Syriana M. Damon 3 Crime/Thriller Ocean s Eleven M. Damon 6 Action Desperado Q. Tarantino Modell: σ = 0.2; θ = 0.67; δ = 0.5 min min min M. Damon. ; Thriller Q. Tarantino. ; Action Testinstanz: 7?[Action] From Tusk till Dawn Q. Tarantino, M. Damon s(thriller)=0,67; s(action)=0,33 f(thriller)=1; f(action)=0,5 Thriller/Action ILAC findet das small disjunct

15 8 Beispiel: abhängige Label Testinstanz:?[Thriller/Crime] Welcome to Collinwood Gefilterte Trainingsdaten: ID Label Drama/Mystery Drama/Thriller Crime/Thriller Crime/Thriller Thriller Title Solaris Syriana Ocean s Eleven Out of Sight The Peacemaker G. Clooney Actors G. Clooney G. Clooney G. Clooney G. Clooney G. Clooney Modell: σ = 0.2; θ = 0.4; δ = 0.5 min min min ;. Thriller ;. Drama ;. Crime s(thriller)=0,64 s(drama)=s(crime)=0,16 f(thriller)=1; f(drama)=f(crime)=0,25 Thriller Rang von Drama und Crime gleich bewertet Abhängigkeiten zwischen Labels nicht aufgedeckt

16 Multi-label Klassifikator (CLAC) Zugewiesene Label als Feature benutzen Multi-label class association rule (MCAR) Regel der Form: F L l σ, θ i L=Menge von Labels ohne l i

17 Progressive label focusing Heuristik zur Erforschung des Suchraums für MCARs 1. Iteration: Zu Beginn L=Ø Modell M 1 mit Regeln der Form: Bestimme Label l 1 2. Iteration: L={l 1 } Modell M 2 mit Regeln der Form: Bestimme Label l 2 3. Iteration: L={l 1, l 2 } Modell M 3 mit Regeln der Form: Bestimme Label l 3 σ, θ l i { } σ, θ F l 1 l i { } F l,l l 1 2 bis keine MCARs mehr gebildet werden können F σ, θ i

18 Beispiel: CLAC 8 Testinstanz:?[Thriller/Crime] Welcome to Collinwood G. Clooney Gefilterte Trainingsdaten: ID Label Title Actors 1 Drama/Mystery Solaris G. Clooney 2 Drama/Thriller Syriana G. Clooney 3 Crime/Thriller Ocean s Eleven G. Clooney 4 Crime/Thriller Out of Sight G. Clooney 5 Thriller The Peacemaker G. Clooney Modell: l 1 =Thriller σ = 0.2; θ = 0.4; δ = 0.5 min min min ;. Thriller ;. Drama ;. Crime Neue Testinstanz: 8?[Crime] Welcome to Collinwood G. Clooney ^ Thriller

19 Beispiel: CLAC Testinstanz: 8?[Crime] Welcome to Collinwood G. Clooney ^ Thriller Gefilterte Trainingsdaten: ID Label Title Actors 2 Drama Syriana G. Clooney ^ Thriller 3 Crime Ocean s Eleven G. Clooney ^ Thriller 4 Crime Out of Sight G. Clooney ^ Thriller Modell: σ = 0.2; θ = 0.4; δ = 0.5 min min min G. Clooney Thriller. ;. Crime l 2 =Crime Keine MCARs mehr Thriller/Crime

20 Experimente und Ergebnisse Datensätze: Datensatz Klassifizierungsart # Instanzen # Label Features ACM-DL (first level) ACM-DL (second level) Textklassifikation Titel, Abstract, Zitierung, Autoren YEAST Genklassifikation Mikroarray-Daten, Phylogenetisches Profil

21 Evaluationskriterien 10 x 10-fold cross-validation One-error (O) Relative Häufigkeit, dass Instanz dem echten Top-Label nicht zugeordnet wurde Hamming loss (H) Anteil falsch zugewiesener Labels Ranking loss (R) Anteil falsch geordneter Labelpaare

22 Ergebnisse Ergebnisse für YEAST: BoosTexter ADTBoost.MH Rank-SVM IEAC ILAC CLAC O H R Ergebnisse für ACM-DL: First Level Second Level Rank-SVM IEAC ILAC CLAC Rank-SVM IEAC ILAC CLAC O H R

23 Fazit Erhöhte Klassifizierungsgenauigkeit durch: Behandlung von small disjuncts Untersuchen von Abhängigkeiten zwischen Labels Beste Ergebnisse mit CLAC CLAC scheint den bekannten Verfahren überlegen zu sein

24 Fragen?

25 Evaluationskriterien Ranking-Funktion : X L R bzgl. Ranking: f ( ) f ( x, ) R = l,l,...,l mit f x,l f x,l... f x,l { } ( ) ( ) ( ) 1 2 n 1 2 n Testmenge: ( ) ( ) T x,l,..., x,l = 1 1 n n L i = echte Labels für Testinstanz x i exp r = 1, falls expr wahr 0, sonst

26 Evaluationskriterien One-error (O) Multi-class Klassifikator: ( ) n 1 = ( ) T n i i i=1 Hamming loss (H) 1 ( ) ( ) ( ) H f = l f x l L + l f x l L T Y n j i j i j i j i i= 1 j= 1 Ranking loss (R) n Y O C C l L C ( x) = arg max f l ( x,l) ««n T n L L i l i i i i= 1 { } 1 1 ( ) = ( ) ( L ): ( ) ( ) R f l,l L L f x,l f x,l