Textmining Wissensrohstoff Text

Transkript

1 Textmining Wissensrohstoff Text Wintersemester 2009/10 Teil 7 Sense Tagging Uwe Quasthoff Universität Leipzig Institut für Informatik quasthoff@informatik.uni-leipzig.de

2 Lexikalische Word Disambiguierung Was ist WSD? Überblick über Forschung insgesamt. Lesk Ursprünglicher Algorithmus Yarowsky 92 Roget s Thesaurus, Kategorien Yarowsky 95 Bootstrapping Algorithmus Sandersen WSD und IR Karov & Edelmann 98?! bootstrapping method (WSD only) Banarjee & Pedersen Evaluierung SENSEVAL-2 Literatur Textmining Wissensrohstoff Text 2

3 1. Was ist WSD? Gegeben: Wörterbuch mit pro Wort einer oder mehr Bedeutungsdefinitionen (differenzierend oder beschreibend) Satz S mit Wort w Gesucht: Welche der Bedeutungen von w wird im Satz S benutzt Textmining Wissensrohstoff Text 3

4 1.1. Bedeutungsdefinitionen lock WordNet (insgesamt 15): 1. [n] any wrestling hold in which some part of the opponent's body is twisted or pressured 2. [n] a fastener fitted to a door or drawer to keep it firmly closed 3. [n] a restraint incorporated into the ignition switch to prevent the use of a vehicle by persons who do not have the key 4. [n] enclosure consisting of a section of canal that can be closed to control the water level; used to raise or lower vessels that pass through it 5. [n] a mechanism that detonates the charge of a gun After breaking the lock they proceeded into the room. Zuweisung der richtigen Bedeutung aufgrund der Umgebung Umgebungsreichweite? (3 Wörter, Satz, Text, extra Info) Suchtiefe Textmining Wissensrohstoff Text 4

5 1.2. Bedeutungsproblematik Bedeutungen können manchmal sehr deutlich, manchmal nur durch feine Unterschiede unterschieden werden, Faktoren sind: Thema Stil (Hochdeutsch, Schriftdeutsch, ) Dialekt Kookkurrenz (idiomatische Ausdrücke, Kind und Kegel ) Part of Speech Valenz Beispiel: WordNet Bedeutung für space: #1: [n] the unlimited 3-dimensional expanse in which everything is located; "they tested his ability to locate objects in space Webster: #2: Place, having more or less extension; room #3: Distance from one thing to another Textmining Wissensrohstoff Text 5

6 1.3. Wissensquellen für Bedeutungsunterscheidungen All dieses Wissen kann genutzt werden, um verschiedene Definitionen eines Wörterbuches einem Satz zuzuweisen Part of Speech Tagging - Wortklassen Semantische Präferenzen Kookkurrenzen Thesauri oder Wortfelder Inhaltswörter oder Wörterbuchdefinitionen Synonymlisten Nicht alle sind gleich gut geeignet: POS unterscheidet zwar gut zwischen Wortklassen, aber innerhalb der gleichen Klasse nicht. Kookkurrenzen unterscheiden gut Bedeutungsgebrauch, aber schlecht zwischen Wortklassen und feineren Unterscheidungen Textmining Wissensrohstoff Text 6

7 1.4. Bedeutungsquellen für Bedeutungsunterscheidungen Ein WSD Algorithmus kann mehrere verschiedene Quellen für Bedeutungsunterscheidungen nutzen: 1. Kategorien in Rogets Thesaurus ist ein Wort in zwei Kategorien, stellen diese die zwei Bedeutungen dar 2. Wörterbucheinträge (Webster, WordNet glosses) 3. Semantische Wortnetze (WordNet, GermaNet) 4. LSI für Clustering von Topics in einem Korpos ist ein Wort Bestandteil mehrerer Topics, sind diese die Bedeutungen des Wortes 5. Automatisch berechnete Bedeutungen eines Wortes Er sollte mit allen zurechtkommen und mit den herkömmlichen am besten (2. oder 3.) Textmining Wissensrohstoff Text 7

8 1.5. Gemeinsamkeiten der meisten Algorithmen Es gibt begriffliche Äquivalenzen: bootstrapping = iterative, converging process = clustering information acquisition bottleneck = circular definition word similarity = co-occurrence statistics = collocations Die meisten Algorithmen benutzen WordNet oder ein anderes MRD (Machine Readable Dictionary) für Bedeutungsdefinitionen Allgemeine Tendenz unsupervised Algorithmen zu erstellen (fast in jedem paper Formulierung: avoid tedious handtagging ) Evaluierung war vor SENSEVAL ein großes Problem ein und der gleiche Algorithmus kann je nach Bewertung 26% bis 97% Precision erhalten Textmining Wissensrohstoff Text 8

9 1.6. Überblick über Forschung insgesamt Lesk 86 dictionary based Veronis & Ide 90 dictionary based Guthrie et al. 91- dictionary based Slator 91 dictionary based Hearst 91 early Bootstrapping Zernik 91 Morphologie zur Disambiguierung Schütze 92 hierarchical clustering of word senses Yarowsky 92 Ausnutzung von Kategorien als Bedeutungen Yarowsky 95 Bootstrapping, bzw. clustering Dagan & Itai 94 co-occurrence statistics of two monolingual corpora of two languages Karov & Edelman 96 Alternative zum Kookkurrenzmaß Wilks & Stevenson 97 Kombinierung verschiedener Quellen für WSD Pederson & Banarjee 02 Hierarchie von WordNet ausnutzen Textmining Wissensrohstoff Text 9

10 2. Lesks ursprünglicher Algorithmus (86) Vergleiche Definitionen des aktuellen Wortes mit allen Definition aller anderen Wörter im Satz Wähle die Bedeutung mit den meisten matches aus Wortgruppe: pine cone pine: 1. kind of evergreen tree with needle-shaped leaves 2. waste away through sorrow or illness cone 1. solid body wich narrows to a point 2. something of this shape whether solid or hollow 3. fruit of certain evergreen tree Algorithmus beachtet nicht die Auswahl von anderen Wörtern Textmining Wissensrohstoff Text 10

11 2.1. Veranschaulichung von Lesk s Algorithmus Jedes Wort (Anzahl) gewichtet gegen inverse document frequency (z.b. auch logarithmisch) evergreen (152 -> lg( )/lg(152) = 3.3) tree (9332 -> lg( )/ lg(9332) = 1.8) pine cone 1. Schritt: für pine wähle Bedeutung aus: 1. kind(0) evergreen(1*3.3) tree(1*1.8) needle-shaped (0) leaves (0) -> = waste(0) sorrow(0) illness(0) -> 0 2. Schritt: für cone wähle Bedeutung aus: 1. solid (0) body (0) narrows (0) point(0) -> 0 2. something(0) shape(0) solid(0) hollow(0) -> 0 3. fruit(0) certain(0) evergreen(3.3) tree(1.8) -> = 5.1 So wurden unabhängig voneinander die richtigen Bedeutungen ausgewählt Textmining Wissensrohstoff Text 11

12 2.2. Evaluierung von Lesk s Algorithmus Die ursprüngliche Version ergibt Precision von 16% Erweiterte Version von Lesk, bei der nicht nur glosses sondern auch Beispieltexte aus WordNet zu jeder Bedeutung genutzt wurden, ergibt Precision von 23% wichtiger Parameter: window of context Phrasen oder kurze Sätze (Originalpaper) 2*n + 1 um das Wort herum ( 1..n W n+1 2n ) (Bei Senseval) (Für grosse n sehr rechenintensiv) Wörter, die nicht definiert sind, fallen nicht in diese Regeln, ebenfalls Stoppwörter Part of Speech Precision Recall F-Measure Lexical Sample Noun Verb Adjective Textmining Wissensrohstoff Text 12

13 3. Yarowsky 92 Kategorien aus Roget s Thesaurus dienen hier als Approximationen von Konzeptuellen Klassen Wenn ein Wort mehreren Kategorien zugeordnet wird, entspricht jede dieser Kategorien in etwa den verschiedenen Bedeutungen des Wortes Dementsprechend ist WSD hier das Auswählen der richtigen Kategorie Dies wird erreicht, indem Wörter gesucht und gewichtet werden, die für eine Kategorie repräsentierend sein können oder nicht. Erreicht hohe Precision allerdings nicht nach SENSEVAL (da noch nicht existent) Textmining Wissensrohstoff Text 13

14 3.1. Yarowsky Sammle Kontexte, die Repräsentativ für eine Kategorie sein können d.h. für jedes Wort (lemma) aus dieser Kategorie werden alle Sätze(Fenster n=50) gesammelt, in denen diese auftritt 2. Berechne in diesen Kontexten häufig auftretende Wörter (salient words) ähnlich wie Kookkurrenzen (Maß: Mutual Information) Gewichtung: Weil ein Wort k mal in einem Korpus auftritt, hat es Gewicht 1/k (um häufige Wörter niedriger zu gewichten) ergibt im Schnitt Listen mit 3000 Wörtern 3. Nutze Resultate von 2, um Bedeutung zuzuweisen Für jedes Wort im zu disambiguierenden Fenster (n=50) dessen Bewertung zu einer Kategorie aufsummieren, Kat. mit größter Summe gewinnt Textmining Wissensrohstoff Text 14

15 3.2. Die sogenannten Yarowskys Wörter (pre SENSEVAL) Word Sense Roget Category Freq Accuracy per Sense star mole galley cone bass bow space object celebrity star-shaped object quantity mammal skin blemish digging mashine ancient ship printer s tray ship s kitchen part of tree shape of object part of eye musical senses fish weapon front of ship violin part ribbon UNIVERSE ENTERTAINER INSIGNIA CHEMICALS ANIMAL DISEASE SUPPORT SHIP, BOAT PRINTING COOKING PLANT ANGULARITY VISION MUSIC ANIMAL ARMS SHIP, BOAT MUSICAL_INSTR ORNAMENTATION % 95% 82% 98% 100% 100% 100% 97% 100% 50% 99% 61% 69% 99% 100% 92% 94% 100% 25%. Total Accuracy 96% 99% 95% 77% 91% 93% Textmining Wissensrohstoff Text 15

16 4. Yarowsky 95 Hier Idee: Eine Bedeutung pro Kookkurrenz: Nahestehende Wörter geben starke und vor allem sich nicht widersprechende Hinweise auf verwendete Bedeutung Eine Bedeutung pro Diskurs: In einem Dokument wird höchstwahrscheinlich nur eine Bedeutung eines Wortes verwendet Algorithmus findet weitere Definitionswörter Algorithmus benötigt Saatwörter: Wörter aus Wörterbuchdefinitionen Wörter aus Wortnetzen (WordNet) (einziger Unterschied zu Neills Algorithmus) Textmining Wissensrohstoff Text 16

17 4.1. Bootstrapping Algorithmus 1. Schritt: Finde alle Vorkommen des zu disambiguierenden Wortes 2. Bestimme Saatwörter für jeweils Bedeutung A und B und finde Sätze mit diesen 3. Trainere Klassifikationsalgorithmus anhand der A/B getaggten Sätze, um weitere Wörter entweder A oder B zuzuordnen (da heisst es den Klassifikator zu trainieren) 4. Stoppe genau dann, wenn alle Wörter A oder B zugeordnet sind Verfahren generiert sich zwischendurch unterscheidende Definitionen der verschiedenen Wortbedeutungen (siehe auch Neill) 97% Genauigkeit auf ausgewählten Wörtern Textmining Wissensrohstoff Text 17

18 5. Sandersen WSD & IR Ambiguität als Problem für IR erkannt Untersucht, indem künstliche Ambiguitäten eingefügt wurden Ergebnis, dass nur dann Problem, wenn Queries sehr kurz (genau der Fall bei google) Ausserdem kann ein WSD nur dann für IR nützlich sein, wenn er ziemlich gut ist, mittelmässige schaden dabei eher Textmining Wissensrohstoff Text 18

19 6. Karov & Edelman 96 Hier interessant, dass zwar ein MRD verwendet wird, um Bedeutungsdefinitionen zu erlangen, dieses aber noch durch training verbessert wird Dabei Verwendung von Wortähnlichkeit, um Kontextähnlichkeit zu berechnen und diese Wiederum, um Wortähnlichkeiten besser zu berechnen; iterativ Dabei wird eine Wortähnlichkeitsmatrix berechnet, wobei an jeder Stelle ein Wert aus dem Intervall [0;1] steht und 1 absolute Ähnlichkeit bedeutet und der Wert sich daraus berechnet, wie ähnlich die entsprechenden Sätze einander sind. Parallel dazu läßt sich eine Satzähnlichkeitsmatrix berechnen Der Iterative Prozess berechnet dabei stets das eine aus dem anderen und umgekehrt (Anfang mit einer Identitätswortmatrix) Insgesamt interessante aber aufwändige Alternative zum Kookkurrenzmaß Evaluierung auf dem TreeBank-2 Korpus Textmining Wissensrohstoff Text 19

20 6.1. Beispiel Iteration 1. Schritt: 1. Satzähnlichkeit: (eat banana, eat apple) = 0.5, da sie ein gemeinsames Wort besitzen. (eat banana, taste banana) = 0.5 wegen banana 2. Wortähnlichkeit: (banana, apple) = 0.5, weil es ein Wort gibt, welches jeweils in gleich Sätzen auftritt (taste,eat) = 0.5 (taste,apple) = Schritt: 1. Satzähnlichkeit: (taste banana, eat apple) = 0.25 und sind jetzt ähnlich 2. Wortähnlichkeit: (taste, apple) = 0.25 und sind leider auch damit ähnlicher geworden, aber 0.5 zwischen (tast,eat) immer noch besser Textmining Wissensrohstoff Text 20

21 7. Banarjee & Pederson s Verbesserungen Insgesamt größtes Problem: data sparseness daher sind die meisten Strategien darauf abgerichtet hier: nicht nur direkt im Satz vorkommende Wörter vergleichen, sondern auch mit denen Verbundene Übereinstimmung von längeren Strings wie evergreen tree wird als besser bewertet als evergreen tree Global disambiguation strategy (Einbeziehen bereits disambiguierter Wörter) Evaluierung nach strengen Richtlinien und genauer Anpassung an SENSEVAL-2 Textmining Wissensrohstoff Text 21

22 7.1. Weitere Informationsquellen Lösung des data sparseness Problems: gloss(sentence#n#2) = the final judgment of guilty in criminal cases and the punishment that is imposed hype(sentence#n#1) = {string, string of words, word string, linguistic string} hypo(sentence#n#2) = {murder conviction}, {rape conviction}, {robbery conviction} gloss(hype(sentence#n#2)) = a judgment disposing of the case before the court of law gloss(hypo(sentence#n#2)) = conviction for murder conviction for rape conviction for robbery Textmining Wissensrohstoff Text 22

23 7.2. Bessere Vergleichsfunktion higher count for multitoken overlaps Übereinstimmung von längeren Strings wie evergreen tree wird als besser bewertet als evergreen tree Overlaps dürfen nicht mit Funktionswörtern anfangen oder aufhören, damit entfallen and the oder on the automatisch, da sie kaum dem Disambiguierungsprozess helfen können. Ausserdem wird dann aus the United States of A. United States of A. Entsprechend dem Zipfschen Gesetz lohnt es sich auch, Matchlängenbewertungen zu quadrieren, da sie seltener auftreten und damit je länger, umso höher bewertet werden sollten. Beispiel: zwei einzelne Wörter und eine 3 Wörter lange Wortgruppe match, score: *3 = 11 Textmining Wissensrohstoff Text 23

24 7.3. Globale Disambiguierungsstrategie Einbeziehen bereits disambiguierter Wörter Berechnen von Bewertung für eine Kombination von Bedeutungszuweisungen wenn für Wort w bereits Bedeutung n zugewiesen wurde, kann für Wort x nicht Bedeutung n+1 des Wortes w als Matchkandidat dienen. Das hat mindestens den Vorteil, dass sich die Entscheidungen dieses Algorithmus seltener selbst widersprechen würden. Während von einem Wort die technische Bedeutung gewählt wird, kann nicht gleich vom nächsten Wort eine z.bsp. Pflanzenbedeutung gewählt werden. Größtes Problem hier ist der exponentiell steigende Rechenaufwand Textmining Wissensrohstoff Text 24

25 7.4. Beispiel gloss(sentence#n#1) = a string of words satisfying the grammatical rules of a language gloss(sentence#n#2) = the final judgment of guilty in criminal cases and the punishment that is imposed gloss(bench#n#1) = a long seat for more than one person gloss(bench#n#2) = persons who hear cases in a court of law gloss(offender#n#1) = a person who transgresses law Combination 1: sentence#n#1 bench#n#1 offender#n#1 Combination 2: sentence#n#1 bench#n#2 offender#n#1 Combination 3: sentence#n#2 bench#n#1 offender#n#1 Combination 4: sentence#n#2 bench#n#2 offender#n#1 Textmining Wissensrohstoff Text 25

26 7.5. Beispiel II First Gloss Second Gloss Overlap String Norm. Score hype(sentence#n#2) bench#n#2 court of law, case 10 sentence#n#2 bench#n#2 cases 1 hype(sentence#n#2) offender#n#1 law 1 sentence#n#2 hypo(offender#n#1) criminal 1 hype(bench#n#2) hype(offender#n#1) person 1 hype(bench#n#2) offender#n#1 person 1 hype(bench#n#2) hype(offender#n#1) person 1 bench#n#2 hype(offender#n#1) person 1 bench#n#2 offender#n#1 person, law 2 bench#n#2 hypo(offender#n#1) person 1 Total score for sentence#n#2 bench#n#2 offender#n#1 20 Textmining Wissensrohstoff Text 26

27 8. Evaluierung Vier unterscheidbare Probleme, mit denen Evaluierungen zu kämpfen haben: 1. Anwenden auf ein großes Korpus oder nur auf ein paar wenige gute Wörter 2. Anwendbarkeit von WSD überhaupt (Kilgariff 93), da es Probleme gibt, eine und nur eine Bedeutung zuzuweisen (vor allem bei theoretischen, von Linguisten ausgedachten!) 3. Erscheinen von neuen Bedeutungen, die gar nicht definiert sind, führt zu garantiert Fehlentscheidungen und ist schwer quantifizierbar 4. Gibt es eventuell Quellen, die zu theoretische Bedeutungsunterscheidungen treffen? Textmining Wissensrohstoff Text 27

28 8.1. Evaluierung: SENSEVAL-2 Grosse Mengen Text, mit WordNet 1.7 senses per Hand getaggt zum Testen von WSD Algorithmen English lexical sample training set test set 73 tasks, wobei all-words-test Im Test set hat jeder Task eine Menge von Beobachtungen jeweils eines Wortes ist, welche disambiguiert werden sollen jede Beobachtung ist von der gleichen Wortklasse ein Wort kann mit mehreren verschiedenen senses getaggt sein zu einem Wort existiert bereits die Information über die Wortklasse Textmining Wissensrohstoff Text 28

29 8.2. Evaluierung SENSEVAL-2 SENSEVAL-1: VE/index.html SENSEVAL-2: Senseval Daten sind frei verfügbar und als Referenz gemeint Jeder kann eigenen Algorithmus implementieren und Anerkennung einer Arbeit über diesen steigt deutlich, wenn sie diesen anhand von SENSEVAL misst SENSEVAL Daten sind nicht prefekt, aber ein Vergleich ist noch wichtiger Textmining Wissensrohstoff Text 29

30 8.3. SENSEVAL-2 Vergleich Team Name Precision Recall F-Measure UNED-LS-U WordNet 1st sense ITRI-WASPS Workbench Banarjee CL-Research DIMAP IIT 2 ( R ) IIT 1 ( R ) IIT IIT Random Textmining Wissensrohstoff Text 30

31 8.4. SENSEVAL-2 Daten Word Nouns Num Inst. Senses/word test WN data Word Nouns Num Inst. Senses/word test WN data Nouns art begin blind authority call colourless bar carry cool bum collaborate faithful chair develop fine channel draw fit child dress free church drift graceful circuit drive green day face local detention ferret natural dyke find oblique facility keep simple fatigue leave solemn feeling live vital grip match hearth play holiday pull lady replace material see mouth serve nation strike nature train post treat restraint turn sense use spade wander stress wash yew work Total Average 5,1 8,2 16,4 12,2 4,7 7,1 Std 2,5 3,6 9,9 6,9 2,7 5,9 Word Num Inst. Senses/word test WN data Textmining Wissensrohstoff Text 31

32 8.5. SENSEVAL-2 Bemerkungen 1st sense ist auch daher so gut, weil die 1 Bedeutung aus einem grossen Korpus extrahiert wurde (SemCor, manualles Sensetagging für sehr viele Sätze) und damit eher einen supervised Algorithmus darstellt Ausserdem sind die Bedeutungen oft weit von der Gebrauchswirklichkeit entfernt: #13: [v] build locks in order to facilitate the navigation of vessels #14: [v] hold fast (in a certain state); "He was locked in a laughing fit" #15: [v] pass by means through a lock in a waterway Die wenigen tatsächlich gebrauchten Bedeutungen sind auch noch teils extrem unbalanciert Vermutung: Zipfsches Gesetz in Verteilung von Bedeutungsgebrauch Textmining Wissensrohstoff Text 32

33 9. Literatur Karov, Y., Edelman, S., Learning similaroty-based word sense disambiguation from sparse data, 1996 Lesk, M., Automatic Sense Disambiguation: How to tell a Pine Conde from an Ice Cream Cone Proceesing of the 1986 SIGDOC Conference, Association for Computing Machinery, New York, 1986 Schütze, H., Dimensions of meaning. In Proceedings of Supercomputing '92, pages , Minneapolis, MN, 1992 Wilks, Y., & Stevenson, M., Combining independent knowledge sources for word sense disambiguation. In Proceedings of the Third Conference on Recent Advances in Natural Language Processing Conference (RANLP-97), pages 1-7, Tzigov Chark, Bulgaria, 1997 Yarowsky, D. Word-Sense Disambiguation Using Statistical Models of Roget s Categories Trained on Large Corpora, in Proceedings, COLING-92, Nantes, France, 1992 Banarjee, S., Adapting the Lesk Algorithm for Word Sense Disambiguation to WordNet, Master Thesis, 2002 Textmining Wissensrohstoff Text 33