Text Mining - Wissensrohstoff Text

Transkript

1 Text Mnng - Wssensrohstoff Text Gerhard Heyer Unverstät Lepzg heyer@nformatk.un-lepzg.de Insttut für Informatk

2 Klassfkaton rof. r. G. Heyer Text Mnng Wssensrohstoff Text 2

3 roblem: Automatsche Klassfkaton von atenten nach I En Klassfkator st ene möglchst gute Annäherung an de unbekannte Zelfunkton : x {T, F } mt den okumenten und den Kategoren, welche jedem aar <d j,c> x enen Wahrhetswert zuwest. Zelfunkton kann durch Tranngsdaten angenähert werden. rof. r. G. Heyer Text Mnng Wssensrohstoff Text 3

4 Erläuterung der efnton okument Klassfkaton: Berechnung enes Wertes {0,1} zu jedem Entrag n der okument-kategore-matrx. = {c 1,..., c m } st ene Menge vordefnerter Kategoren. = {d 1,... d n } st ene Menge von okumenten. 1 für a j : Zuordnung von d j zu c 0 für a j : kene Zuordnung von d j zu c rof. r. G. Heyer Text Mnng Wssensrohstoff Text 4

5 Machne Learnng Verfahren okumentvektoren spannen enen Vektorraum auf. e mesten alle? Lernverfahren aus dem machne learnng snd für das Klassfkator-Tranng ensetzbar. Enge Klassfkatonsverfahren: Nave Bayes Entschedungsbäume Support vector machnes SVM Kernel Funktonen etc. etc. rof. r. G. Heyer Text Mnng Wssensrohstoff Text 5

6 Lestungsfähgket verschedener Klassfkatoren Messen von recson und Recal F-value be Anwendung nach Tranng und Klassfkaton auf Reuters Korpus Nr. 4 mt 90 Klassen: F-value Nave Bayes 74.7% % ecson Rules 82.2% % Regresson 84.9% Roccho 61.7% % Neural Network 83.8% Example-based k-nn 82% - 86% SVM 84.1% - 87% AdaBoost commtee 87.8% Quelle: [Sebastan 2002], Standardreferenz für Analyse verschedener Klassfkatonssysteme be dversen Klassfkatonsaufgaben

7 Wederholung: Bayes sche Formel h h h mt: h = a posteror Wahrschenlchket von h h = a pror Wahrschenlchket von h h = Wahrschenlchket des Eregnsses unter der Hypothese h = Wahrschenlchket des Eregnsses unabhängg von ener Hypothese Bsp.: Symptom Krankhet Wr hören jemanden nesen. Hat er Schnupfen h? We wahrschenlch st es...? Se bekannt: Nesen Schnupfen = 0.8 Schnupfen = 0.1 Nesen = 0.25 Nesen Allerge=0.6 Allerge=0.2 gesucht: Schnupfen Nesen Nesen Schnupfen Schnupfen Schnupfen Nesen 0.32 Nesen 0.25 rof. r. G. Heyer Text Mnng Wssensrohstoff Text 7

8 Wederholung: e Maxmum a posteror Hypothese Bsp.: e wahrschenlchste Ursache dafür bestmmen, dass jemand nest... h MA argmax h hh argmax hh h h argmax hh h h Maxmum lkelhood Hypothese Falls alle Hypothesen de gleche a pror Wahrschenlchket haben, sprechen wr von der Maxmum lkelhood Hypothese: h ML argmax h hh rof. r. G. Heyer Text Mnng Wssensrohstoff Text 8

9 Nave Bayes as Wahrschenlchketsmodell für enen Klassfkator st de bedngte Wahrschenlchket mt ener Klassenvarablen und Feature Varablen F 1 bs F n. Mt Bayes Theorem erhalten wr de Umformung rof. r. G. Heyer Text Mnng Wssensrohstoff Text 9

10 Nave Bayes 2 er Zähler beschrebt dabe de Wahrschenlchket, dass n enem Text mt der Klasse de Features F 1 bs F n gemensam auftreten: eses Modell der gemensamen Wahrschenlchket kann als bedngte Wahrschenlchket umformulert werden: rof. r. G. Heyer Text Mnng Wssensrohstoff Text 10

11 Nave Bayes 3 e nave Annahme besagt nun, dass jedes Feature F unabhängg von jedem anderen Feature F j st, as Modell der gemensamen Wahrschenlchket kann damt verenfacht werden zu rof. r. G. Heyer Text Mnng Wssensrohstoff Text 11

12 Nave Bayes 4 - Klassfkator er nave Bayes sche Klassfkator verbndet das nave Wahrschenlchketsmodell mt der maxmum a posteror MA Entschedungsregel: Wähle dejenge Klasse, de am wahrschenlchsten st. rof. r. G. Heyer Text Mnng Wssensrohstoff Text 12

13 robleme Enfache Modelle berückschtgen ncht: Herarchsche Strukturerung von okumenten Größe der okumente Relevanz der Wörter für en konkretes okument/ Text Wörter snd n hren Bedeutungen ncht orthogonal Zweg und Ast Rehenfolge der Wörter de Folen zegen vs. zegen de Folen Wortgruppen en Elefant m orzellanladen e Struktur nnerhalb der Wörter Suchanfrage Vorträge matcht ncht Vortrag e Mehrdeutgket von Wörtern Leter als hef vs. Leter zum Erklmmen rof. r. G. Heyer Text Mnng Wssensrohstoff Text 13

14 1. Verbesserungsmöglchket: Lngustsche Vorverarbetung Sehr klene mechansche Sehr klene mechansche Anordnungen, de, de wengstens enen für den Betreb wesentlchen Termgewchtung Sehr klen e mechan sch e An ordn ung en, de weng st en s en en für den Be treb wesen t lch en Morphologe sambguerung Sehr klen e mechan_3 sch e An ordn_1 ung en, de weng st en s en en für den Be treb_2 wesen t lch en Erlaubt detallertere Ähnlchketsvergleche von okumenten rof. r. G. Heyer Text Mnng Wssensrohstoff Text 14

15 r r r Verglech zweer Klassen A pror A posteror 2. Verbesserungsmöglchket: Verglech alternatver Klassfkatonen: Welche st besser? rof. r. G. Heyer Text Mnng Wssensrohstoff Text 15 log log log r r r log log log r r

16 tf k k tf W W,, 1 * * 1 log log log r r r log log log log log log, 1 1,, 1 1, r r k k r k k W tf W tf W tf W tf,, 1 log log log 1 1 r r k k r W W k W W tf tf er Ausdruck beschrebt das Gewcht des Terms W j Entschedungskrterum st jetzt ene gewchtete Summe von Termen log r j j W W Termfrequenz Termgewchte rof. r. G. Heyer Text Mnng Wssensrohstoff Text 16 Konventon: Features snd tf/df gewchtete Terme

17 Lnear scrmnant Analyss Bezungspunkt snd de Erwartungswerte der Termgewchte ener Klasse arameter Erwartungswert ovaranz Matrx V ˆ Vˆ n 1 j x j 1 ' s n k r s x r x ˆ ˆ Termkorrellatonen werden über Kovaranzmatrzen beschreben Annahme e Kovaranz-Matrzen aller Klassen snd glech normalvertelt. rof. r. G. Heyer Text Mnng Wssensrohstoff Text 17

18 Lnear scrmnant Analyss Entschedungskrteren: - Wähle Klasse mt der höchsten log rato of posterors - Lege ene decson hyperplane als äqudstante Gerade zwschen de Erwartungswerte der Klassen log r x x Es werden nur Erwartungswerte und Varanzen verwendet Inverse Kovaranz V -1 n höheren mensonen nstabl x V x x x x x x 1 x o x x x o o o x o 2 o o o o V o rof. r. G. Heyer Text Mnng Wssensrohstoff Text 18

19 Herarchsche Klassfkaton Reale Anwendungen setzten oft ene herarchsch strukturerte Klassfkaton voraus. Es glt dann für alle okumente und Kategoren <d, c j > <d, c k > wenn c j Subkategore von c k Bespel: atente rof. r. G. Heyer Text Mnng Wssensrohstoff Text 19

20 atente En atent st en hohetlch erteltes gewerblches Schutzrecht auf ene Erfndung, das en zetlch begrenztes Ausschlussrecht gewährt. En atent gbt senem Inhaber das Recht, anderen zu untersagen, de patenterte Erfndung zu verwenden. Wkpeda, Entrag atent. derzet ca. 30 Mllonen atentdokumente aus aller Welt atente betreffen de ganze Welt der Erfndungen Aber: Enschränkungen be Software! Anwendungsberech st herarchsch nach I klassfzert vgl. rof. r. G. Heyer Text Mnng Wssensrohstoff Text 20

21 I System für ene Zuordnung der technschen Gebete der Erfndung zu ener oder mehreren Gruppen 8 Hauptklassen Sekton A Täglcher Lebensbedarf Sekton B Arbetsverfahren, Transporteren Sekton heme; Hüttenwesen Sekton Textlen; aper Sekton E Bauwesen; Erdbohren; Bergbau Sekton F Maschnenbau; Beleuchtung; Hezung; Waffen; Sprengen Sekton G hysk Sekton H Elektrotechnk rof. r. G. Heyer Text Mnng Wssensrohstoff Text 21

22 I Klassen n sch herarchsch untergledert, z. B. G hyscs G02 Optcs G02 Spectacles, sunglasses or goggles... G025 onstructon of non-optcal parts G025/14.Sde members G025/20..Adjustable, telescopc rof. r. G. Heyer Text Mnng Wssensrohstoff Text 22

23 I - Recherche Zuordnung erfolgt nach Ermessen des Anmelders aufgrund von verwendeten Schlüsselbegrffen rof. r. G. Heyer Text Mnng Wssensrohstoff Text 23

24 I Stch- und Schlagworte SSW rof. r. G. Heyer Text Mnng Wssensrohstoff Text 24

25 Automatsche Klassfkaton von atenten nach I okumente snd dr durch Vektoren repräsentert: Enträge stehen für Schlüssel-Wörter und snd gewchtet. Stoppwörter werden mest entfernt. Gegeben ene Kollekton von atenten und de I als Kategoren, we können wr bestmmen? rof. r. G. Heyer Text Mnng Wssensrohstoff Text 25

26 Auswahl der Features st wesentlch Nederfrequente Terme snd möglcherwese gute Merkmale für de Klassfkaton rof. r. G. Heyer Text Mnng Wssensrohstoff Text 26

27 okument-klassfkaton mt lustern Was st de Wahrschenlchket, dass en okument zu ener vorgegeben Klasse gehört? lustere ene Kollekton von Texten und wese den lustern ene Klasse zu. as roblem der Zuordnung enes Textes zu ener Klasse kann dann dadurch gelöst werden, dass der Text zum nächstähnlchen okument m Vektorraum geclustert wrd. robleme: Auswahl geegneter Merkmale Berechnen der Ähnlchket zwschen Texten luster-algorthmus rof. r. G. Heyer Text Mnng Wssensrohstoff Text 27

28 okument-klassfkaton mt lustern: Merkmale und Ähnlchket In ener Kollekton von atenten werden für alle Textabschntte de sgnfkanten Terme berechnet. Für jeden seltenen Term t, der n t < n Mal n der Kollekton auftrtt, wrd ene Lste der Textabschntte erstellt, de t enthalten d 1t, d 2t,..., d mt Für alle aare von Texten d, d j wrd berechnet, ob se sgnfkant häufg gemensam n allen Lsten auftreten. Falls ja, können wr daraus schleßen, dass se deselben seltenen Terme enthalten. as Sgnfkanzmaß kann als Ähnlchketsmaß betrachtet werden. rof. r. G. Heyer Text Mnng Wssensrohstoff Text 28

29 okument-klassfkaton mt lustern: lustern Aus der Ähnlchketsmatrze der Textabschntte wrd en Graph erzeugt mt den Textabschntten als Knoten und dem Sgnfkanzmaß als gewchteten Kanten. Für das Tranng wrd jedem Knoten = en Textabschntt, der besonders endeutg ener Klasse zugeordnet werden kann, ene Klasse zugeordnet. Über alle Knoten wrd dann mt dem lusterng- Algorthmus hnese Whspers geclustert. rof. r. G. Heyer Text Mnng Wssensrohstoff Text 29

30 okument-klassfkaton mt lustern Für de Klassfkaton nach Spam/ncht Spam ener vorgegeben Menge an Texten nklusve Verlnkung und ener Tranngsmenge hat das Verfahren de besten Werte erzelt: best precson of 88.72% on the small set best precson of 99.60% on the large set vgl. Bemann/Wtschel, Webspam detecton va Sem-Supervsed Graph arttonng, EML 2007, Warschau rof. r. G. Heyer Text Mnng Wssensrohstoff Text 30

31 Nutzung nederfrequenter Terme be der Klassfkaton atengrundlage I Klassen mt den dre räfxen G01, G06 and G08 Termgewchtung tf/df bm25 w kj = o kj log N/nk w j = k+1 tf / k1-b +b dl / avgdl mest mt k = 1.2 und b = 0.75 SMART w kj = o kj log N-n+0.5 / n+0.5 Klassfkatonsverfahren Nave Bayes, SVM, Entschedungsbaum WEKA 3 Gruppen von Termen I. Anzahl der okumente, de T enthalten, legt zwschen 10 und 100 II. Anzahl der okumente, de T enthalten, legt zwschen 100 und 200 III. Anzahl der okumente, de T enthalten, st größer 200 rof. r. G. Heyer Text Mnng Wssensrohstoff Text 31

32 Nutzung nederfrequenter Terme be der Klassfkaton rof. r. G. Heyer Text Mnng Wssensrohstoff Text 32

33 Weterer Aspekt: Berückschtgung von Unterabschntten 1 9 A B H A9 Terme A Terme: a, b, c, d, e, f, x x 1 9 Terme aller Unterklassen ener Klasse werden A11 Terme a, b, c A19 Terme d, e, f zu ener efnton deser Klasse zusammenfasst. Klassfkaton dann n mehreren Schrtten: Erst auf top-level, baserend auf sehr velen Termen ann auf second-level, baserend auf wenger Termen Entschedend: n jedem Schrtt Auswahl aus nur maxmal 100 Klassen rof. r. G. Heyer Text Mnng Wssensrohstoff Text 33

34 luster baserte Lösung Vererbung Lngustsche Aufberetung: automatsch lusterng mt hnese Whspers Klassfkaton Termgewchtung atente mt Klassen Absätze mt Klassen Morphologe sambguerung Satzkonstruktonen Termrelatonen Absätze mt Klassenmengen rof. r. G. Heyer Text Mnng Wssensrohstoff Text 34

35 Vererbung von Klassenzugehörgket atente Absatz 1 Absatz 2 Absatz 3 Absatz 4 her. Klasse Neue, äquvalente arstellung der aten Absatz 1 B81, B81, B8, B B81 Absatz 2 B81, Absatz 3 B81, Absatz 4 B81, Absatz 5 Absatz 6 Absatz 7 B82A Absatz 5 Absatz 6 B82A, B82, B8, B B82A, Absatz 8 Absatz 7 B82A, Absatz 8 B82A, rof. r. G. Heyer Text Mnng Wssensrohstoff Text 35

36 lusterng mt hnese Whspers Ähnlchketsvergleche lefern Grafen A1 A2 Graf wrd geclustert A1 A2 A3 A3 A4 A5 A4 A5 A7 A6 A7 A6 Je mehr Informaton pro Absatz, umso präzser de Vergleche! A8 A8 rof. r. G. Heyer Text Mnng Wssensrohstoff Text 36

37 Klassfkaton durch lusterng A1 Aus Enzelzuwesungen der Absätze ergbt sch Rangfolge von Klassen für jeden Absatz Im Verglech dazu de Orgnalzuwesungen für Absatz 5 A2 A5 A5 A3 4x B 1x B A4 A5 4x B8 1x B8 3x B81 1x B82 A7 A8 A6 3x B81 1x B82 1x B82A 1x B82A amt möglcherwese auch exsterende Fehlklassfzerungen erkennbar, denn offenbar gehört A5 mehr n B81 als n B82A, baserend auf der Erkenntns, welche anderen Texte noch n B81 snd rof. r. G. Heyer Text Mnng Wssensrohstoff Text 37

38 Lteratur Baker,., Mcallum, A.K 1998: strbutonal clusterng of words for text classfcaton. roc. SIGIR98. E.harnak, Statstcal Language Learnng, MIT ress: ambrdge Mass uttng,.,. Karger, J. edersen, and J. Tukey 1992: Scatter-gather: A cluster-based approach to browsng large document collectons. roc. SIGIR'92. hllon, I., "o-clusterng documents and words usng bpartte spectral graph parttonng", AM Knowledge scovery ata Mnng K 01, pp Mannng und H.Schütze, Foundatons of Statstcal Natural Language rocessng, MIT ress: ambrdge Mass Juravsky, J.Martn, Speech and Language rocessng: An Introducton to Natural Language rocessng, omputatonal Lngustcs and Speech Recognton, rentce Hall: San Francsco 2000 Sebastan, F. 2002: Machne Learnng n Automated Text ategorzaton. AM omputng Surveys, Vol. 34, No. 1, March 2002, pp rof. r. G. Heyer Text Mnng Wssensrohstoff Text 38

39 Lteratur 2 Joachms, T., 2002Learnng to lassfy Text usng Support Vector Machnes. Kluwer. Hand,., Mannla, H., Smyth,. 2001, rncples of ata Mnng, MIT ress. Haste, T., Tbshran, R., Fredman, J. 2001: The Elements of Statstcal Learnng. Sprnger Verlag. Hofmann, T. 2001: Unsupervsed Learnng by robablstc Latent Semantc Analyss. Machne Learnng, Vol. 42, p Hotho,A., A. Nürnberger and G. aaß 2005: A Bref Survey of Text Mnng, GLV- Journal for omputatonal Lngustcs and Language Technology, 20:1, pp: Sebastan, F. 2002: Machne Learnng n Automated Text ategorzaton. AM omputng Surveys, Vol. 34, No. 1, March 2002, pp Shawe-Taylor, J., rstann, N. 2004: Kernel Methods for attern Analyss. ambrdge Unversty ress. Vapnk, V The Nature of Statstcal Learnng Theory. Sprnger-Verlag, New York. Vapnk, V. N. and hervonenks, A. Y. 1971: On the unform convergence of relatve frequences of events to ther probabltes. Theory robab. Apl., 16, Xu, J., W. B. roft. 1996: Query expanson usng local and global document analyss. In roc. SIGIR. rof. r. G. Heyer Text Mnng Wssensrohstoff Text 39