HUMBOLDT-UNIVERSITÄT ZU BERLIN. Institut für Informatik Lehrstuhl Wissensmanagement. Textklassifikation. Tobias Scheffer Ulf Brefeld

Transkript

1 HUMBOLDTUNIVERSITÄT ZU BERLIN Insttut für Informatk Lehrstuhl Wssensmanagement Textklassfkaton Tobas Scheffer Ulf Brefeld Textklassfkaton Textklassfkator: Ordnet enen Text ener Menge von nhaltlchen Kategoren zu. Klassfkator wrd aus Sammlung klassfzerter Bespeltexte gelernt. Lneare Klassfkaton. Anwendungsbespele: Enordnung von Webseten n WebDrector, Klassfkaton von Zetungsmeldungen, Erkennung von SpamEmals. 2

2 VektorraumModell Ztoplasma... Aaron 90 Aar 90 Aal Im Vektorraummodell entsprcht eder Text genau enem Punkt m Raum. De Wortrehenfolge blebt dabe unberückschtgt. Text wrd repräsentert durch Punkt m hochdmensonalen Raum, Wortrehenfolge blebt unberückschtgt, Wortstammbldung, nverse document frequenc. 3 VektorraumModell Termfrequenz enes Wortes n enem Text = # Vorkommen des Wortes m Text. Problem: Lange Texte haben lange Vektoren, führt zu Verzerrungen bem Ähnlchketsmaß. Lösung: Normeren TF (Wort )= # Vorkommen von Wort / Vektorlänge. Problem: Enge Wörter snd wenger relevant (und, oder, ncht, wenn, ) Lösung: Inverse Dokumentenfrequenz #Dokumente IDF( wort ) = log #Dokumente, n denen Wort vorkommt 4 2

3 VektorraumModell TFIDF (Wort ) = TF(Wort ) * IDF(Wort ). Repräsentaton enes Textes: TF( Wort) IDF( Wort) TFIDF( Text) = M TF( Wortn) IDF( Wortn) 5 VektorraumModell Ähnlchket zwschen Texten x und x 2 : Cosnus des Wnkels zwschen den Vektoren. x x2 Ähnlchket: sm( x, x2) = cos( θ ) = x x2 Zwschen 0 und. 6 3

4 Bnäre / Mehrwertge Klassfkaton Bnäre Probleme: Spam / ken Spam En Klassfkator für bnäre Entschedung. Mehrere bnäre Probleme: Poltk, Wrtschaft, Fnanzmärkte, Sport, Mehrere bnäre Klassfkatoren. Mehrere dsunkte Klassen: Enordnung von Emals n Folder. One aganst all : Jeder Klassfkator trennt Bespele ener Klasse gegen alle anderen Klassen. Paarwese Dskrmnaton: En Klassfkator für edes Paar von Klassen, Abstmmung. 7 Klassfkator / Entschedungsfunkton Für ene bnäre Klassfkaton (= oder ) wrd ene Entschedungsfunkton f(x) gelernt. Je größer f(x), desto wahrschenlcher st, dass x zur Klasse gehört. Wenn f(x) θ, dann entschede h(x) =, sonst h(x) =. Klassfkator h(x), Entschedungsfunkton f(x). Der Wert für θ verschebt false postves zu false negatves. Optmaler Wert hängt von Kosten ener postven oder negatven Fehlklassfkaton ab. 8 4

5 Evaluaton von Textklassfkatoren Fehlklassfkatonswahrschenlchket Häufg ncht aussagekräftg, wel P() sehr klen. We gut snd 5% Fehler, wenn P()=3%? Idee: Ncht Klassfkator bewerten, sondern Entschedungsfunkton. Precson / Recall PrecsonRecallKurve bewertet Entschedungsfunkton, Jeder Wert für θ entsprcht Punkt auf PRKurve. FMeasure: Durchschntt aus Precson und Recall. Recever Operatng Characterstc (ROCKurve) Bewertet Entschedungsfunkton, Fläche unter ROCKurve = P(postves Bespel hat höheren fwert als negatves Bespel) 9 ROCAnalse Entschedungsfunkton Schwellwert = Klassfkator. Großer Schwellwert: Mehr postve Bsp falsch. Klener Schwellwert: Mehr negatve Bsp falsch. Bewertung der Entschedungsfunkton unabhängg vom konkreten Schwellwert. ReceverOperatngCharacterstcAnalse Kommt aus der Radartechnk, m 2. Weltkreg entwckelt. Bewertung der Qualtät von Entschedungsfunktonen. 0 5

6 ROCKurven Charakterseren das Verhalten des Klassfkators für alle möglchen Schwellwerte. XAchse: False Postves : Anzahl negatver Bespele, de als postv klassfzert werden. YAchse: True Postves : Anzahl postver Bespele, de als postv klassfzert werden. True Postves perfekte Funkton bessere Funkton zufällges Raten False Postves Bestmmen der ROCKurve von f Für alle postven Bespele xp n Testmenge Füge f(xp) n sorterte Lste Lp en. Für alle negatven Bespele xn n Testmenge Füge f(xn) n sorterte Lste Ln en. tp = fp = 0 Wederhole solange Lp und Ln ncht leer snd. Wenn Lp Element Ln Element dann ncrement(tp) und Lp = LP Next. Wenn Ln Element Lp Element dann ncrement(fp) und Ln = Ln Next. Zechne neuen Punkt (fp, tp) 2 6

7 Flächennhalt der ROCKurve Flächennhalt AUC kann durch Integreren (Summeren der TrapezFlächennhalte) bestmmt werden. p = zufällg gezogenes Postvbespel n = zufällg gezogenes Negatvbespel Theorem: AUC = P(f(p) > f(n)). Bewesdee: ROCKurve mt nur enem Postv und enem Negatvbespel (Flächennhalt 0 oder ); Durchschntt veler solcher Kurven = AUC. 3 Varanz des AUCWertes Testdaten n n Tele telen (oder nfold Cross Valdaton durchführen). n ROCKurven bestmmen, AUC ermtteln. Durchschntt und Varanz der n Werte berechnen. Alternatve Methode: nur ene ROCKurve bestmmen, deren AUCWert ermtteln, 2 2 AUC( AUC) (# pos )( Q AUC ) (# neg )( Q2 AUC ) σ = # pos# neg Q = AUC /(2 AUC) 2 Q2 = 2AUC /( AUC) 4 7

8 Precson / Recall Alternatve zur ROCAnalse. Stammt aus dem Informaton Retreval. True postves Precson= True false postves True postves Recall= True postve false negatves Precson: P(rchtg als postv erkannt) Recall: P(als postv erkannt st postv) 5 Precson / Recall Zusammenfassungen der Kurve n ener Zahl: FMeasure: Maxmum über alls (p,r)paare auf der Kurve: 2 Precson Recall Fmeasure= Precson Recall PrecsonRecallBreakevenPont: Derenge Wert PRBEP für den glt: Precson(θ) = Recall(θ) = PRBEP. 6 8

9 Precson / Recall TradeOff recall precson Precson/RecallKurven Welcher Klassfkator st der Beste / Schlechteste 7 Bestmmen der PerformanceMaße Performance auf Tranngsmenge extrem optmstscher Schätzer für Performance für unbekannte Texte. Zum Schätzen der Performance werden Texte verwendet, de ncht zum Traneren verwendet wurden. TranngundTest: Verwende 80% der Daten zum Traneren, 20% der Daten zum Messen der ROC Kurve, PRKurve, oder Fehlklassfkatonswahrsch. NFoldCrossValdaton: Tele Daten n n Tele, wederholtes Traneren mt n Telen. 8 9

10 Fehlerschätzung Algorthmus TranngandTest Auftelen der Datenbank n Tranngsmenge und Testmenge. h = Lernalgorthmus (Tranngsmenge) Bestmme Ê anhand der Testmenge. h = Lernalgorthmus (alle Bespele) Lefere Hpothese h zusammen mt Fehlerschätzer Ê( Ê) Ê ± zδ 2 20% m TranngandTest st für große Datenbanken gut anwendbar. Problematsch für klene Datenbanken 9 NFold CrossValdaton Algorthmus NCV (Bespele S) Blde n etwa glech große Blöcke S,..., Sn von Bespelen, de zusammen S ergeben. Ê=0. For =... N h = Lernalgorthmus (S \ S) Ê = Ê emprscher Fehler von h auf S Ê = Ê/N h = Lernalgorthmus (S) Lefere Hpothese h mt Fehlerschätzer Ê( Ê) Ê ± z δ 2 m Wenn S = n, hesst das Verfahren LeaveoneOut. Nur lecht pessmstscher Schätzer. 20 0

11 KNearestNeghbourAlgorthmus (knn) Ähnlchketsbaserte Klassfkaton enes Textes x: Fnde de k ähnlchsten Tranngsbespele, Mehrhetsentschedung unter desen Bespelen. Problem: Tranngsmenge wrd komplett abgespechert, Für Klassfkaton muss über komplette Tranngsmenge terert werden. Bessere Ergebnsse werden mt lnearen Klassfkatoren erzelt. 2 KNearestNeghborAlgorthmus Lernphase: Füge Bespele (x, )) zur Menge der Bespele S hnzu. Anwendung: Klassfkaton von neuer Instanz x Bestmme de k nächsten Nachbarn x,..., x k zu x. Verwende CosnusÄhnlchket Mehrhetsentschedung unter den Nachbarn: f x) = arg max {( x, ) {( x, ),...,( x, )}: = } ( k k 22

12 NaveBaesKlassfkator Um de Fehlklassfkatonswahrschenlchket gegeben x zu mnmeren, gb für ede Instanz x de wahrschenlchste Klasse zurück. (Instanzen x snd Merkmalsvektoren (x,..., x n )=(v,..., v n )). Unabhänggketsannahme für Attrbute. max = max = max max P( x = ( v,..., v P( x = ( v,..., v P( x P( x n n )) = v )... P( x = v )... P( x ) ) P( ) n n = v n = v n x = v,..., x ) P( ) n = v n, ) P( ) 23 Nave Baes Leder snd de Wahrschenlchketen P() und P(x ) unbekannt. Klassfkaton st nur dann optmal, wenn Attrbute unabhängg snd und Wahrschenlchketen bekannt snd. Wr können se mmerhn schätzen, z.b. # Bespele Klasse mt x = v Px ( = v ) = # Bespele Klasse # Bespele Klasse P ( ) = #Bespele 24 2

13 Nave Baes Problem: Be langem Text werden mehr Wahrschenlchketen aufmultplzert als be Kurzem. Folge: Für lange Texte tendert Wahrschenlchket für ene der Klassen gegen 0, für Komplementärklasse gegen. Entschedungsfunktonswerte unterschedlch langer Texte können nur schlecht verglchen werden. Unabhänggketsannahme sehr problematsch. 25 Lneare Klassfkatoren Postve und negatve Bespele ener Klasse ergeben ewels ene Punktwolke m Merkmalsraum. Gesucht: Trennebene, de de Punktwolken separert. b/ w w f ( x) = wx b Punkte auf der Geraden: f(x)=0 h ( x) = sgn( f ( x)) 26 3

14 Roccho X 0 : Mttelpunkt der neg. Bespele X : Mttelpunkt der pos. Bespele Trennebene: Normalenvektor = (x x 0 ) f ( x) = d( x, x) d( x, x) = ( x x ) x b 0 h( x) = sgn( f ( x)) 0 x Achsenabstand: (x x 0 )/2 muss auf der Ebene legen. w x 0 27 Roccho Trennebenen hat maxmalen Abstand von den Mttelpunkten der Klassen. Tranngsbespele können falsch klassfzert werden. Perzeptron: Trennt de Bespele der Klassen SVM: Trennebene mt maxmalem Abstand zwschen Ebene und Bespelen 28 4

15 PerzeptronAlgorthmus PerzeptronKlassfkaton f ( x) = wx b h( x) = sgn( f ( x)) PerzeptronTranngsalgorthmus: Solange noch Bespele (x, ) mt der Hpothese nkonsstent snd, terere über alle Bespele Wenn ( wx b) 0 dann w w x b b Bespel: ORFunkton Beobachtung: w st Lnearkombnaton der Bespele w = α x =... n 29 Duale Repräsentaton = = Normalenvektor w = α x =... n Entschedungsfunkton n f ( x) = wx b = α x x b = n α ( x x) b { Kernel De Bespele treten nur paarwese als nneres Produkt auf. UpdateRegel: Bespel ( x, ) Wenn 0 dann α x x b α α =... n b b α > 0, wenn Bespel ( x, ) am Rand der Ebene legt ( SupportVektor ) 30 5

16 KernelFunktonen Manche Probleme snd durch lneare Funktonen unlösbar (z.b. XOR). Lösbar nach Umrepräsentaton der Instanzen n höherdmensonalen Merkmalsraum. Φ((0,0)) (0,0,0) Φ ((0,)) = (0,,) Φ((,0)) (,0,) Φ((,)) (,, 4) Bespele müssen ncht explzt repräsentert werden, nur nneres Produkt st wchtg. 2 ( ) Φ (( x, x )) = x, x,( x x ) =Φ Φ = Kernel Funkton K( x, ) ( x) ( ) x x ( x x ) ( ) KernelMaschnen Entschedungsfunkton n f ( x) = wx b= α K( x, x) b = UpdateRegel: Wenn (, ) α K x x b 0 dann α α =... n b b Üblch snd z.b. polnomelle Kernels Φ ( x) =Φ (( x, x )) = x = ( x, x, 2 x x ) K( x, ) =Φ( x) Φ( ) = ( x, x2, 2 xx2)(, 2, 2 2) 2 = ( x) 32 6

17 Kernels: Varanten Polnomelle Kernels K (, ) ( ) d pol x = x 2 Radale Bassfunkton K ( x, ) = exp( γ ( x ) ) Sgmode Kernels, StrngKernels (z.b. zum Klassfzeren von Gensequenzen). rbf 33 KernelFunktonen Polnomeller Kernel 34 7

18 LargeMargnKlassfkatoren Perzeptrons trennen postve von negatven Bespelen (wenn möglch), z.b. so: Besser: Trennebene mt maxmalem Abstand zwschen Ebene und Bespelen. δ 35 SupportVektorMaschnen w b Für alle Punkte: x δ w w Mt möglchst großem δ Äquvalent: ( wx b) Mt mnmalem w. Duale Repräsentaton: Ebene st Lösung des folgenden Optmerungsproblems: Mnmere α αα K( x, x ) 2, Quadratsches Optmerungsproblem; Funkton st konvex (genau en Optmum), lösbar n n 2. α > 0, wenn (x, ) mnmalen Abstand zur Ebene hat ( SupportVektoren ). δ 36 8

19 SupportVektorMaschnen Aufwand bem Lernen: quadratsch n Anzahl der Bespele. Aufwand bem Anwenden ener SVM: Lnear n Anzahl der SupportVektoren. Anwendungsgebete: Handschrfterkennung, Bldverarbetung, Textklassfkaton, Klassfkaton von DNSSequenzen. 37 9