A Topical/Local Classifier for Word Sense Idendification (TLC) Anne Schwartz

Transkript

1 A Topical/Local Classifier for Word Sense Idendification (TLC) Anne Schwartz

2 A Topical/Local Classifier for Word Sense Idendification (TLC) entwickelt von: - Martin Chodorow (Dep. of Psychology, Hunter College of CUNY, New York) - Claudia Leacock (Dep. of Cognitive and Instructional Science, Educational Testing Service, Princeton) - George A. Miller (Cognitive Science Laboratory, Princeton University) Evaluation im Rahmen des 1. SENSEVAL-Workshops

3 Was ist SENSEVAL? erster offener, community-based Evaluations- Workshop für WSD-Programme fand zum ersten Mal im Sommer 1998 statt Evaluationen für Englisch, Französisch und Italienisch Teilnehmer: 23 Forschungsgruppen Ziel: Objektive Evaluationsmaßstäbe, die Vergleich verschiedener Systeme ermöglichen

4 Einordnung von TLC Supervised (-> Korpus) benutzt Bayes sches statistisches Modell und Kontext-Features: - topical context (thematische Hinweise/cues) - local context (Wörter in schmalem Fenster um Zielwort) - Kombination der beiden

5 Wie arbeitet TLC [1]? 3 Phasen: Korpus vorverarbeiten, den Classifier trainieren und testen 1) Aufbereitung des Korpus: - PoS-Tagging durch den Brill-Tagger - flektierte open-class-wörter werden durch ihr Lemma ersetzt 2) Training: - Zählen der Häufigkeiten der verschiedenen Kontext- Features für die jeweilige Wortbedeutung

6 3) Testen: Wie arbeitet TLC [2]? - Satz von Bayes, um die wahrscheinlichste Wortbedeutung s i zu berechnen, gegeben die cues c j, die sich in einem Kontextfenster von -k bis k um das zu disambiguierende Wort befinden Folgende Wahrscheinlichkeitsberechnung für jedes s i : p(s i c -k,...,c k ) = p(c -k,...,c k s i ) p(s i ) p(c -k,...,c k )

7 Wie arbeitet TLC [3]? - Konsequenzen des Sparse Data -Problem: 1) Annahme, dass die Vorkommen der Kontext-Wörter unabhängig voneinander sind -> Naive Bayes: k p(c -k,...,c k s i ) = Π p(c j=-k j s i ) 2) Smoothing der Werte von p(c j s i ): Good-Turing-Formel, um Wahrscheinlichkeiten für ungesehene Ereignisse bereit zu stellen

8 TLCs 4 Feature-Typen 1) Topical cues bestehend aus Wörtern offener Wortklassen (Nomen, Verben, Adjektive und Adverbien) 2) lokale Wörter offener Wortklassen, die innerhalb eines engen Fensters um das Zielwort herum vorkommen 3) lokale Wörter geschlossener Wortklassen (bspw. Präpositionen, Artikel, Pronomen) 4) lokale PoS-Tags

9 Wahrscheinlichkeiten p(c j s i ) [1] 1) Zählen der topical cue -Wörter ohne Miteinbeziehen ihrer Position: bag of words -Methode (ganzer Satz als Kontextfenster) 2) - für open-class-wörter, die in den drei Positionen links vom Zielwort vorkommen (j = -3, -2, -1): p(c j s i ) = Wahrscheinlichkeit, dass Wort c j in irgendeiner dieser drei Positionen erscheint - gleiches Verfahren für drei Positionen rechts vom Zielwort

10 Wahrscheinlichkeiten p(c j s i ) [2] 3) - für closed-class-wörter, die an den Positionen j = -2, -1, 1, 2 vorkommen: p(c j s i ) = Wahrscheinlichkeit, dass Wort c j genau an Stelle j vorkommt - Die globalen Wahrscheinlichkeiten, bspw. p(the -1 ), basieren auf Zählungen der closed-class-wörter, die an der jeweiligen Position relativ zu den Nomen im Korpus vorkommen. 4) - PoS-Tags an den Stellen j = -2, -1, 0, 1, 2 - Wahrscheinlichkeiten für diese Tags werden genau wie in 3) für die spezifische Position berechnet

11 Mögliche Konfigurationen von TLC 1) Feature-Typ 1 allein benutzen, um sich nur auf topical cues zu stützen 2) Feature-Typen 2, 3 und 4 für lokale Informationen benutzen 3) Kombination aus allen vier Feature-Typen Beste Konfiguration in 36 Testbeispielen: - kombinierte Konfiguration für 24 Wörter - lokale Konfiguration für 10 Wörter - topical cues für 2 Wörter

12 Multiword Expressions Da Mehrwortausdrücke normalerweise nicht polysem sind, sollen diese bereits im Vorfeld herausgefiltert werden. Filterverfahren für Senseval: Kommt ein Mehrwortausdruck im Hector-Lexikon vor, so wird automatisch ein regulärer Ausdruck erzeugt, der morphologische und andere Varianten matcht. Anfrage /rubber band[s]?/ bspw., um Instanzen von rubber band zu finden -> Jedem Treffer wird die rubber band -Bedeutung von band zugewiesen.

13 Eigennamen Keine Berücksichtigung von Eigennamen durch TLC, da diese auch nicht polysem Arbeitsannahme: Ein separater Eigennamen-Filter soll vor TLC auf den Text angewandt werden Da TLC in der Textaufbereitungsphase keinen solchen Filter benutzt, wurden Eigennamen in Senseval als separate Bedeutungen behandelt und trainiert

14 Ergebnisse Part of speech TLC Precision Recall Best S System Precision Recall Mean of S Systems Precision Recall Alle.756 (.755).771 (.771).733 (.657) Nomen.806 (.806).850 (.850).789 (.787) Verben.709 (.709).709 (.709).687 (.686) Adjektive.744 (.743).761 (.761).724 (.723) Multiwords.785 (.704).907 (.906).757 (.682) Eigennamen.811 (.360).937 (.937).758 (.480)

15 Verbesserungen des Systems 1) auf Modell-Seite: Falsche Annahme der Unabhängigkeit der Kontextwörter voneinander mit TLCs Bayes schen Modell Andere Modelle, die dies nicht annehmen, wie Maximum Entropy und TiMBL 2) auf Feature-Seite: Ersetzen des verwendeten Tagsets der Penn Treebank durch angereicherte Tags, die gerade entwickelt werden und auch konfigurationelle Informationen enthalten, wie bspw. Supertags

16 Eine mögliche Anwendung von Bedeutungs-Tagging [1] Erstellung eines von Hand getaggten Korpus (durch Miller, et al.) für mehrere hundert gebräuchliche Wörter des Englischen als Hilfsquelle für die zukünftige Entwicklung statistischer WSD-Systeme sehr zeitaufwändig und arbeitsintensiv, zum Teil da viele Wörter sekundäre Bedeutungen haben, die extrem selten vorkommen Bsp. bank : von 100 Vorkommen haben 78 die Bedeutung Geldinstitution ; 22 repräsentieren die weiteren 8 Bedeutungen (wie Anhöhe, Böschung, Ufer, Damm etc.)

17 Eine mögliche Anwendung von Bedeutungs-Tagging [2] Aufgabe von TLC: Vor-Überprüfen des Textes, indem er die vielen mit primärer Bedeutung vorkommenden Wörter kennzeichnet Experiment: - 8 Wörter, die jeweils eine hervorstechende Bedeutung haben - Training von TLC: primäre Bedeutung oder Vereinigung aller anderen Bedeutungen - TLC soll in neuen Beispielen also bewerten, ob es sich bei der Wortbedeutung eher um primary oder other handelt

18 Eine mögliche Anwendung von Bedeutungs-Tagging [3] Ergebnis: sehr wenige Fehlklassifikationen bei Beispielen, die mit hoher Wahrscheinlichkeit als primary und mit niedriger Wahrscheinlichkeit als other klassifiziert wurden. Beschleunigung des Tagging-Verfahrens, da menschliche Tagger sich auf die Sätze konzentrieren können, in denen eher eine nicht-primäre Bedeutung vorliegt Durch Assistieren beim manuellen Tagging von Trainingskorpora soll TLC zur zukünftigen Entwicklung aller supervised training -Systeme beitragen, einschließlich der seines eigenen!

19 Danke für die Aufmerksamkeit!