Word Sense Disambiguation: Ein einfaches Beispielsystem. Katrin Erk

Größe: px

Ab Seite anzeigen:

Download "Word Sense Disambiguation: Ein einfaches Beispielsystem. Katrin Erk"

Arnim Holzmann
vor 6 Jahren
Abrufe

1 Word Sene Diambiguation: Ein einfache Beipielytem Katrin Erk

2 Da Sytem im Überblick Frame-Zuweiung für Zielwörter im Sala-Korpu Naive Baye Feature: Kontextwörter Verwendet Korpu im JS-Textformat Im Zweifelfall immer einfachtmögliche Deign F-Score: 70.1% Baeline immer häufigten Frame zuweien: F-Score 41.0% Implementierung in Ruby: /home/m/erk/rojekteminar/beipielytem Evaluationkripte: /home/m/erk/rojekteminar/eval

3 Kontruktion de Sytem Schritt für Schritt Schritt 1: Klaen und Intanzen fetlegen Schritt 2: Feature auuchen und berechnen Schritt 3: Statitiche Modell wählen und trainieren Schritt 4: Modell anwenden Schritt 5: Modell evaluieren

4 Kontruktion de Sytem Schritt für Schritt Schritt 1: Klaen und Intanzen fetlegen Schritt 2: Feature auuchen und berechnen Schritt 3: Statitiche Modell wählen und trainieren Schritt 4: Modell anwenden Schritt 5: Modell evaluieren

5 Zielklaen fetlegen Zielklaen: Wortbedeutungen. Hier:FN-Frame Aber: Frame ind wortübergreifend Entcheidung: Zielklae Lemma&Frame : Wortpezifiche Bedeutungen Zielklae Frame: Trainingdaten von mehr al einem Lemma nutzen

6 Intanzen fetlegen Zu klaifizierende Intanz: Zielwort Entcheidung: Lemma oder Wortform? Entcheidung: Wa tun mit Mehrwortaudrücken? Nur da Lemma al Intanz alle beteiligten Wörter der Audruck zuammen al Intanz

7 Kontruktion de Sytem Schritt für Schritt Schritt 1: Klaen und Intanzen fetlegen Schritt 2: Feature auuchen und berechnen Schritt 3: Statitiche Modell wählen und trainieren Schritt 4: Modell anwenden Schritt 5: Modell evaluieren

8 Kontextwörter Hier: Nur Kontextwörter al Feature Entcheidung: Wie groß oll der Kontext ein? Satz Fete Kontextfenter, z.b. 20 Wörter auf jeder Seite Entcheidung: Lemma oder Wortform? Entcheidung: Nur Wörter oder auch part of peech? Entcheidung: Auch Satzzeichen oder nicht? Entcheidung: Kontextwörter alle kleingechrieben oder nicht?

9 Kontruktion de Sytem Schritt für Schritt Schritt 1: Klaen und Intanzen fetlegen Schritt 2: Feature auuchen und berechnen Schritt 3: Statitiche Modell wählen und trainieren Schritt 4: Modell anwenden Schritt 5: Modell evaluieren

10 Naive Baye für WSD Gegeben Kontext bag of word c Betimme wahrcheinlichte Leart = argmax c Satz von Baye: c c = c Naive Baye: Wir nehmen an, die Vorkommen der Kontextwörter ind voneinander unabhängig c = { v j v j in c } = v in c j j v

11 Naive Baye: Berechnungformel Satz von Baye Kontanter Faktor c kann augelaen werden Logarithmu, um Berechnung zu vereinfachen: Logarithmu der Wahrcheinlichkeiten einmal berechnen Danach immer Addition tatt Multiplikation ] arg arg max max arg max arg max c c [log = = = arg max [ c log = c f f = = + j w log v v v in c j j = f f v c j ], + log

12 Smoothing roblem Spare Data: Nicht alle Frame kommen in den Training-Daten vor Längt nicht alle Kontextwörter kommen in den Trainingdaten vor Smoothing: einen Teil der Wahrcheinlichkeitmae an ungeehene Ereignie abgeben Entcheidung: Welche Smoothing-Formel? Laplace law: adding one e f e + 1 = N + num_event Idee: einheitliche rior robability für alle Ereignie Weitere iehe z.b. Manning/Schütze, Kap. 6

13 Skripte: Vorkommen zählen = f f w v j = f v j f, Anzahl Vorkommen jede Zielworte ruby count_lemma.rb../corpu/traintxt > count_lemma.txt Zählt die Anzahl der Sätze in jedem Subkorpu in TrainTxt. Anzahl Vorkommen Zielwort+Frame ruby count_frame.rb../corpu/traintxt > count_frame.txt Zählt die Vorkommen jede Frame für da jeweilige Subkorpu in TrainTxt. Bei Unterpezifikation werden alle beteiligten Frame gezählt. Anzahl Vorkommen Zielwort+Frame+Kontextwort ruby count_context.rb../corpu/traintxt > count_context.txt Keine Lemmatiierung Entcheidung: Al Ziel markierte Wörter bleiben außenvor. Mehrwortaudrücke weder al Ziel noch al Kontext gezählt!

14 Skript: Wahrcheinlichkeiten berechnen ruby log_prob.rb count_lemma.txt count_frame.txt count_context.txt../corpu/frame_for_each_lemma.txt DurchlaufNr Smoothing:Laplace law f frame lemma + 1 log frame lemma = log f lemma + num_framelemma f cw, frame lemma + 1 log cw frame lemma = f frame + num_frame_cwlemma lemma eudo-kontextwort <UNSEEN> erzeugt Dateien: DurchlaufNr.logprob.ene.txt DurchlaufNr.logprob.cx.txt

15 Kontruktion de Sytem Schritt für Schritt Schritt 1: Klaen und Intanzen fetlegen Schritt 2: Feature auuchen und berechnen Schritt 3: Statitiche Modell wählen und trainieren Schritt 4: Modell anwenden Schritt 5: Modell evaluieren

16 Overfitting Overfitting: Da Modell kann nicht untercheiden zwichen Allgemeinen Regularitäten die ollten gelernt werden, und Korpupezifichen Beonderheiten die ollten nicht gelernt werden Nicht auf Trainingdaten teten: Teten, wieweit Overfitting tattgefunden hat Modelle funktionieren typicherweie auf Trainingdaten beer al irgendwo ont

17 Training-, Development- und Tet-Korpu Trainingkorpu: Modell kontruieren Development-Korpu: Zwichentet de Modell während der Entwicklung Tetkorpu: Nur ganz am Ende zur Evaluation de Modell verwendet Modell al Hypothee darüber, wie die Welt it auf den Trainingdaten gebildet auf unabhängigen Daten getetet Wie maximale Unabhängigkeit der Daten ichertellen?

18 Skript: Modell anwenden ruby naive_baye.rb../corpu/devtxt DevAigned DurchlaufNr.logprob.ene.txt DurchlaufNr.logprob.cx.txt Liet Sätze au../corpu/devtxt Schreibt zugewieene Frame nach DevAigned Nutzt die log-wahrcheinlichkeiten in DurchlaufNr.logprob.ene.txt und DurchlaufNr.logprob.cx.txt = arg max c = arg max [log c + log ] Entcheidung: Jeweil nur einen Frame zuweien? Bei gleicher max. Wahrcheinlichkeit mehrere Frame zuweien?

19 Kontruktion de Sytem Schritt für Schritt Schritt 1: Klaen und Intanzen fetlegen Schritt 2: Feature auuchen und berechnen Schritt 3: Statitiche Modell wählen und trainieren Schritt 4: Modell anwenden Schritt 5: Modell evaluieren

20 Evaluationmaße Accuracy: % korrekte Klaifikationen Coverage: Wie viele der Intanzen wurden klaifiziert? Informativere Maße: reciion: Wieviele der zugewieenen Learten entprechen der Gold-Klaifikation? Recall: Wieviele der Gold-Klaifikationen wurden vom Sytem gefunden? reciion ohne Recall, Recall ohne reciion hilft nicht viel F-Score kombiniert beide:

21 Skript: Evaluation reciion, Recall, F-Score Für Jede Lemma/Frame-aar Jede Lemma Alle Intanzen ingeamt ruby eval_txt.rb../corpu/devtxt DevAigned/../Corpu/frame_for_each_lemma.txt Unterpezifikation: Jeder der Frame al einzelne Gold-Klaifikation gezählt minimaler Vorteil für Syteme, die mehr al einen Frame zuweien

22 Übericht: Skripte rojekteminar/beipielytem aign_mot_frequent_ene.rb: Baeline-Sytem, weit jeweil häufigte Leart zu count_context.rb: Zählt Auftreten: Lemma+Frame+Kontextwort count_frame.rb: Zählt Auftreten: Lemma+Frame count_lemma.rb: Zählt Auftreten: Lemma log_prob.rb: Berechnet log Leart, log Kontextwort Leart naive_baye.rb: Klaifiziert auf Bai der gelernten Wahrcheinlichkeiten baeline.h: Shellcript, Komplettdurchlauf Baeline-Sytem train_claify_tet.h: Shellcript, Komplettdurchlauf Naive Baye-Sytem rojekteminar/eval eval_txt.rb: Evaluiert Syteme auf Bai de JS-Textformat

Ähnliche Dokumente

Einfacher loop-shaping Entwurf

Einfacher loop-shaping Entwurf Intitut für Sytemtheorie technicher Prozee Univerität Stuttgart Prof. Dr.-Ing. F. Allgöwer 6.4.24 Regelungtechnik I Loophaping-Entwurf t http://www.it.uni-tuttgart.de/education/coure/rti/ Einfacher loop-haping