Part-of-Speech Tagging. Machine Language Processing Heike Zinsmeister WS 2008/09

Transkript

1 Part-of-Speech Tagging Machine Language Processing Heike Zinsmeister WS 2008/09

2 Motivation Part of Speech = Wortart Tokenisierung Zerlegung einer Sprache in Wörter Lexikon Wortinventar einer Sprache Anzahl von Wörtern einer Sprache unendlich Anzahl von Wortarten in einer Sprache endlich Klassisch: 8 Wortarten Wortartenklassifikation in der Computerlinguistik: , je nach Sprache und Anwendungskontext

3 Motivation Large number of rare events: LNRE- Verteilung von Wörtern in Korpora

4 Motivation Token Wortvorkommnisse im Korpus Anzahl aller Token = Korpusgröße Typen Unterschiedliche Tokentypen unterschiedliche Abstraktionen Groß-/Kleinschreibung Lemmatisierung Anzahl aller Typen = Vokabulargröße offene Wortklassen viele Typen geschlossene Wortklassen wenig Typen aber normalerweise hohe Tkenanzahl

5 Motivation Suche auf ungetaggtem versus getaggtem Korpus CQP-Online-Demo Gehen Sie auf "CQP Mode" Suchen Sie nach [word=kernkraft] Wechseln Sie auf " CQPMode" [pos="nn"][pos="appr"] ([])? [word="kernkraft"]

6 Motivation Vorverarbeitungsschritt für viele Anwendungen Ambiguität saw => N saw => V

7 Motivation PoS-Tags versus Wörter: höherer Abstraktionsgrad Suche Frequenzzählungen Wie hoch ist die Wahrscheinlichkeit, dass auf "einem" "unvergessenen" "Rückenschwimmer" "qualmen" folgt? Wie hoch ist die Wahrscheinlichkeit, dass auf einen Artikel ein Adjektiv Nomen Verb folgt?

8 Motivation PoS-Tags erlauben Rückschlüsse auf syntaktische Eigenschaften einer Wortfolge PWAV VVAFIN PPER VVPP ART NN VVFIN NN KON NN PPER VVFIN VVIZU

9 Motivation Anwendungen Textindizierung für Information Retrieval Nomen und Adjektive sind informativer als als Adverbien, Verben oder Präpositionen Sprachgenerierung unterschiedliche Betonung bei Homographen verschiedener Wortarten contact, that,

10 Architektur eines PoS-Tagger roher Text Vorverarbeitung tokenisierter Text Lexicon Look-Up ambige Analyse Guesser (Lücken) ambige Analyse Disambiguierung (aller Token) vollständig und eindeutig getaggter Text

11 Architektur eines PoS-Tagger roher Text Vorverarbeitung tokenisierter Text Lexicon Look-Up ambige Analyse Guesser (Lücken) ambige Analyse Disambiguierung (aller Token) vollständig und eindeutig getaggter Text

12 Architektur eines PoS-Tagger roher Text Vorverarbeitung tokenisierter Text Lexicon Look-Up ambige Analyse Guesser (Lücken) ambige Analyse Disambiguierung (aller Token) vollständig und eindeutig getaggter Text

13 Architektur eines PoS-Tagger roher Text Vorverarbeitung tokenisierter Text Lexicon Look-Up ambige Analyse Guesser (Lücken) ambige Analyse Disambiguierung (aller Token) vollständig und eindeutig getaggter Text

14 Architektur eines PoS-Tagger roher Text Vorverarbeitung tokenisierter Text Lexicon Look-Up ambige Analyse Guesser (Lücken) ambige Analyse Disambiguierung (aller Token) vollständig und eindeutig getaggter Text

15 Herausforderungen unbekannte Wörter Fremdwörter Ambiguitäten seltene Konstruktionen ungrammatischer Input (Tokenisierung)

16 Evaluierung Geschwindigkeit Speicherbedarf Informationsgehalt (informativeness) des Tagsets Größe des Tagsets Ambiguitätsrate im Lexikon Spezifizierbarkeit (specifiability) des Tagsets interjudge agreement Akkuratheit der Tagzuweisung (accuracy) Vergleich mit "Goldstandard" (auch: benchmark corpus)

17 Spezifizierbarkeit Inter-Judge Agreement/ Inter-Annotator Agreement Übereinstimmung zwischen 2 oder mehr Annotatoren Intra-Annotator Agreement zeitlich versetzte Doppelannotation des selben Annotators

18 Kappa Measure of agreement / reliability n coders place some kind of units into m exclusive classes The kappa coefficient measures pairwise agreement among a set of coders making category judgements, correcting for expected chance agreement: κ = p(a) - p(e) / 1 - p(e) p(a) is the proportion of times that the coders agree. p(e) is the proportion of times that the coders are expected to agree by chance

19 Kappa Beispiel es gibt 4 Wortartentags, die alle gleich wahrscheinlich sind: 0.25 zufällige Übereinstimmung von zwei Annotatoren: ebenfalls 25 % der Fälle bei 25% => k=0 bei 50% => k= ist ein Drittel der Spanne zwischen 25 und

20 Kappa-Skala Do the coders reach a satisfying level of agreement when they perform the same coding task? κ range: 0 κ 1 Agreement is not different from chance: κ = 0 Perfect agreement: κ = 1 Scale to evaluate kappa values (Krippendorff, 1980): κ 0.67 : to be discarded 0.67 κ 0.80 : allows tentative conclusions 0.80 κ : allows definite conclusions

21 Kappa-Parameter p(e) depends on whether the distribution of proportions over the categories is taken to be equal for the judges: κ Cohen (Cohen, 1960): personal distributions for coders, κ S&C (Siegel and Castellan, 1988): one distribution for all κ is affected by skewed distributions of categories (the prevalence problem) and by the degree to which the coders disagree (the bias problem). Extension to several coders, e.g. Krippendorff s alpha

22 Evaluation Model ( selected ) tn Gold Standard ( target ) fp tp fn tp: true positives fp: false positives system target actual target tn: true negatives fn: false negatives selected selected tp fn fp tn

23 Evaluation Klassische Maße des Document Retrieval Precision:» proportion of selected items that the system got right ( fp» P = tp / (tp + Recall:» proportion of the target items that the system selected ( fn» R = tp / (tp + F-Score:» trade-off between precision and recall ( 1/R» F = 1 / (α 1/P + (1-α) ( mean» α = 0.5 (weighted harmonic ( R» F = (2 P R) / (P

24 Evaluierungsergebnis Akkuratheit beim PoS-Tagging: % Wie viele Fehler sind das auf Satzebene? eine Akkuratheit von 96 % bedeutet für eine Satz von 20 Wörter Länge: Einen so heißen Sommer, hat * 0.96 * 0.96 * 0.96 * 0.96 * 0.96 *... (0.96) % der Sätze mit 20 Wörtern sind korrekt

25 Folien von Stefanie Dipper

26 Einschub: n-gramme n-gram: sequence of n words» bigram: sequence of 2 words» trigram: sequence of 3 words... n-grams are the basis for language models, to predict the next word given the previous word(s): p(w n ) = p(w n w 1,,w n-1 ) Restrictions on n:» number of parameters and sparse data» full-form words vs. lemmata» corpus transfer Application (examples): spelling correction, machine translation, speech recognition

27 Tagging mit Markov-Modellen Sequence of tags in a text is regarded a Markov chain. Limited horizon: A word s tag only depends on the previous tag: p(x i+1 = t j x 1,..., x i ) = p (x i+1 = t j x i ) Time invariant: This dependency does not change over time: p(x i+1 = t j x i ) = p(x 2 = t j x 1 ) Task: Find the most probable tag sequence for a sequence of words. Maximum likelihood estimate of tag t k following t j : p(t k t j ) = f(t j,t k ) / f(t j ) Optimal tags for a sentence: t^1,n = arg max p(t 1,n w 1,n ) = p(w i t i ) p(t i t i-1 )

28 Grundlagen: Markov-Ketten Endlicher Automat (Finite State Automata, FSA) mit Übergangswahrscheinlichkeiten? -- 0,9-- 0,5-- 0,4-- 0,8 -- 0,1-- a 0,5 -- b? -- b Wohlgeformtheitsbedingung? Wahrscheinlichkeit der Sequenz baa!? Welcher Pfad wurde durch die Zustände genommen?

29 Grundlagen: HMM Frage: Welche Sequenz ist wahrscheinlicher?

30 Grundlagen: HMM Hidden Markov Model erlauben effiziente Berechnung Erweiterung der Markovkette um Ambiguitäten, so dass Pfad durch die Zustände nicht von der beobachtbaren Sequenz ableitbar ist z.b. Wörter (=beobachtbar), die ambig zwischen mehreren Wortarten (=Zustand) sind Emissions-Wahrscheinlichkeiten, dass beobachtbares Ereignis durch einen gegebenen Zustand i hervorgerufen wurde. z.b. Wahrscheinlichkeit P( race VB), dass race durch VB bedingt ist versus P( race NN), dass race durch NN bedingt ist. auch: observation likelihoods

31 Grundlagen: HMM (1) Secretariat is expected to race tomorrow. Frage Welche Tagsequenz passt am besten zu dieser Wortfolge?

32 Umformen Bayes Gesetz

33 Vereinfachen (1) Die Wahrscheinlichkeit für die Wortkette P(w) ist für alle Kandidaten t gleich

34 Vereinfachen (2) Markov-Annahmen Wort ist nur von seinem Wortart-Label ( tag ) abhängig und unabhängig von den anderen Wörtern und Wortarten Worarten-Tag ist nur vom vorhergehenden Tag abhängig und unabhängig von den restlichen vorhergehenden Tags (Bigram)

35 Bigramm-Tagger Zwei Wahrscheinlichkeiten tag transition probabilities word likelihoods

36 Ermitteln der Wahrscheinlichkeiten Quelle: 45-Tag Brown-Korpus

37 Grundlagen: HMM Frage: Welche Sequenz ist wahrscheinlicher?

38 Grundlagen: HMM Hidden Markov Model Frequenzzählungen auf dem 1 Mill. Brown Korpus

39 Grundlagen: HMM Hidden Markov Model Frequenzzählungen auf dem 1 Mill. Brown Korpus

40 HMM: Definition Hidden Markov Model

41 Übergangswahrscheinlichkeiten Hidden States

42 Übergangswahrscheinlichkeiten Hidden States

43 Emissions-Wahrscheinlichkeiten

44 Emissions-Wahrscheinlichkeiten

45 Viterbi-Algorithmus findet die beste Sequenz durch die versteckten Zustände (gegeben eine Sequenz von beobachtbaren Ereignissen und ein HMM) Anwendung des dynamischen Programmierens (vgl. Minimum Edit Distance)

46 Viterbi-Algorithmus Input HMM Sequenz von beobachtbaren Ereignissen, hier: Wortsequenz Output Sequenz der wahrscheinlichsten Zustände, hier: Wortarten-Tags, und ihre Wahrscheinlichkeit

47 Viterbi-Algorithmus Wahrscheinlichkeitsmatrix Spalten: Beobachtung zu Zeitpunkt t Reihen: Zustände s Initialisierung Pseudowort in Zustand 0 Übergänge zu Zustand 1 s 0,1 = 1, wenn s1 der definierte Startzustand ist, andernfalls s 0,1 =

48 Viterbi-Algorithmus

49 Viterbi-Algorithmus notiert in jeden Zustand q zum Zeitpunkt t den wahrscheinlichsten Übergang, der zu q geführt hat: [q,t] Maximierung viterbi wobei

50 Trellis

51 Algorithmen Finden der wahrscheinlichsten versteckten Sequenz Viterbi-Algorithmus Optimieren der Überganswahrscheinlichkeiten forward/backward-algorithmus (Variante des Expectation-Maximization (EM)-Algorithmus)

52 Tagging mit Markov Modellen TnT - Trigram Tagger Thorsten Brants (2000): "TnT - A statistical part-of-speech tagger." In Proceedings of the 6th Applied Natural Language Processing Conference

53 Transformation-based Tagging Tags can be conditioned on words and on more context: TbT exploits a range of lexical and syntactic regularities. TbT encodes interdependencies between words and tags by selecting and sequencing transformations that transform an imperfect tagging into one with fewer errors. Components:» specification of transformations» learning algorithm Procedure: 1. Each word is tagged with its most frequent tag. 2.The learning algorithm constructs a ranked list of transformations

54 Transformation-based Tagger A transformation consists of two parts:» triggering environment» rewrite rule Examples: Triggering Environment Source Tag Target Tag previous tag is PTKZU next tag is VAFIN next tag is ADJD one of previous words is VVFIN NN VVFIN ADJA VVFIN VVINF VVPP ADJD VVINF

55 Transformation-based Tagging Ranking der Transformationen Greedy search for the optimal transformation sequence Steps: 1. Each word is tagged with its most frequent tag. 2. The transformation that reduces the error rate most is chosen. 3. Step 2 is repeated iteratively until no transformation is left that reduces the error rate by more than a prespecified threshold. The error rate is measured as the number of mistagged words

56 Transformation-based Tagging Brill Tagger Eric Brill (1995): "Transformation-based error-driven learning and Natural Language Processing: A case study in part-of-speech tagging". Computational Linguistics, 21(4):

57 TreeTagger ein statistischer Tagger PoS- und Lemmainformation Parameterdateien für Deutsch, Englisch, Italienisch, (Alt-)Französisch,Spanisch, Bulgarisch, Russisch, Griechisch, Portugiesisch Verzeichnisinhalte bin - die eigentlichen Programme cmd -Shell-Skripte zum Aufruf des Taggers, einschließlich einer Präprozessierung doc - relevante Aufsätze lib - gespeicherte Modelle

58 TreeTagger The decision tree automatically determines the appropriate size of the context to estimate the part-of speech transition probabilities. Possible contexts include bigrams, trigrams, etc., as well as negations of them, such as tag-1 DET. The probability of an n-gram is determined by following the corresponding path through the tree until a leaf is reached. Improves on sparse data, compared to Markov Models; avoids zero frequencies

59 TreeTagger Disambiguierung über einen trainierten Entscheidungsbaum

60 TreeTagger Eingabe im Verzeichnis TreeTagger cmd/tree-tagger-english Text liest robust von der Standardeingabe. Der Text muss praktisch nicht vorverarbeitet sein. Ausgabeformat

61 TreeTagger Tree Tagger Helmut Schmid (1994): "Probabilistic Part-of-Speech Tagging Using Decision Trees". In Proceedings of the International Conference on New Methods in Language Processing

62 Referenzen Dipper, Stefanie POS-Tagging. Universität Potsdam. Seminarfolien. Frank, Anette Einführung in die Computerlinguistik. Seminar für CL, Universität Heidelberg. Seminarfolien. Reiter, Nils Methoden-Vorkurs. Seminar für CL, Universität Heidelberg. Foliensatz 4. Schmid, Helmut Probabilistic part-of-speech tagging using decision trees. In Proceedings of the International Conference on New Methods in Language Processing Schulte im Walde Introduction to Corpus Resources, Annotation and Access. ESSLLI summer school 2006, Málaga, Spanien. Seminarfolien. Voutilainen, Atro Part-of-Speech Tagging. In Ruslan Mitkov (Hrsg.) The Oxford Handbook of Computational Linguistics. OUP. Kapitel