Morphologie mit Endlichen Automaten

Transkript

1 Morphologie mit Endlichen Automaten Annika Scheffler, Lothar Zauner Lehrstuhl für Computerlinguistik Sommersemester 2003 HS Parsing, Dr. Karin Haenelt

2 Gliederung Grundlagen Verknüpfung von Stamm-und Endungsautomat Evaluierung 2

3 1. Grundlagen Ziel Aufgaben Lösungsansatz Komponenten für morphologischen Modellierung Phänomene Two-Level-Morphology 3

4 Ziel Ziel Analyse: Erkennung von Wortformen Zuordnung einer Grundform Erkennung einer morphotaktischen Strukturbeschreibung Generierung: Erzeugung von Wortformen zu einer gegebenen Grundform und gegebenen morphologischen Attributen 4

5 Aufgaben Aufgaben Behandlung von Item-and-Arrangement (ohne Stammveränderung) Behandlung von Item-and-Process (mit Stammveränderung) Behandlung von abweichenden Rechtschreibregeln Behandlung von Mehrdeutigkeiten 5

6 Lösungsansätze Modell: Two-Level-Morphology zur Behandlung von phonologischen und orthographischen Regelhaftigkeiten zur wechselseitigen Verwendung der Automaten für Analyse und Generierung Ausführung: Finite State Tranducer 6

7 Komponenten für morphologische Modellierung Transducer: Stämme Endungen Morphotaktik Regeln Systemarchitekturen: Kaskade Verknüpfung Traversionsalgorithmen: Backtracking Agenda 7

8 Überblick Wörter Wortformen Flexion Wortbildung Derivation Komposition 8

9 Morpheme Freie Morpheme (Stamm) Können allein stehen Gebundene Morpheme (Affixe) Können nicht allein stehen Präfixe un + endlich Suffixe ess + bar Zirkumfixe ge + lauf + en Infixe (U.S. Umgangssprache) abso + bloddy + lutely 9

10 Phänomene I: Flexion Änderung der grammatikalischen Funktion durch Affigierung Keine Änderung der Wortart Bildung von Paradigmen Konjugation, Deklination Item-and-Arrangement (ohne Stammveränderung) Stamm + Affix cat + s Item-and-Process (mit Stammveränderung) goose geese 10

11 Phänomene II: Derivation Bildung von neuen Wörtern Änderung der Wortart durch Affigierung (Einem freien Morph wird ein gebundenes Morph hinzugefügt) Suffix -ation Base Verb/Adjective to computerize (V) Derived Noun computerization Suffix Base Noun/Verb Derived Adjective -al computation (N) computational -ee to appoint (V) apointee -able embrace (V) embracable -er to kill (V) killer -less clue (N) clueless -ness fuzzy (A) fuzziness 11 Jurafsky, Martin: Morphology and Finite State Transducers, 2000: 64

12 Phänomene III: Komposition Allgemein: Das Zusammenfügen von zwei freien Morphen Wörter + Buch Ambiguitäten: Staubecken, Druckerzeugnis Stau - becken oder Staub - ecken? Druck - erzeugnis oder Drucker - zeugnis? 12

13 Unregelmäßigkeiten für Englisch Stammänderung goose - geese; mouse - mice Null-Morphem fish, sheep Endung auf -es (-en) nach Wörtern, die auf x,s,z enden fox - fox-e-s, ox - ox-e-n 13

14 Einige abweichende Rechtschreibregeln Name Description of Rule Example Consonant doubling E deletion E insertion Y replacement K insertion consonant doubled before ing/ ed Silent e dropped before ing and ed e added after s, z, x, ch, sh before s y changes to ie before s, i before ed verbs ending with vowel + c add k before -ed beg/begging make/making watch/watches try/tries panic/panicked Jurafsky, Martin: Morphology and Finite-State-Transducers, page 77 14

15 Two-Level-Morphology zuerst vorgeschlagen von Koskenniemi (1983) Ziele: Erzeugung der Strukturausgabe des morphologischen Parsings direkt aus dem Erkennungsautomaten Generierung von Wortformen direkt aus der Erkennung der morphologischen Beschreibung Ansatz: Repräsentation von Wörtern als Korrespondenz zwischen lexikalischer Ebene: Konkatenation von Morphemen Oberflächenebene: Repräsentation der Schreibung des Wortes 15

16 Two-Level-Morphology, Teil 1 Item-and-Arrangement/Konkatenative Morphologie C A T +N +PL C A T S lexical level surface level Item-and-Process/Nicht-konkatenative Morphologie G O O S E +N +PL lexical level G E E S E # surface level 16

17 Beispiel 1 Item-and-Arrangement Σ = {c, a,t, ε, s } = {c, a, t, +N, +PL} Q = {q 0,q 1,q 2,q 3,q 4,q 5 } S = {q 0 } F = {q 5 } δ (q, i:o, q ) Übergänge in Form von Drei-Tupeln: (q 0, c:c, q 1 ) (q 1, a:a, q 2 ) (q 2, t:t, q 3 ) (q 3,ε:+N,q 4 ) (q 4, s:+pl,q 5 ) q 0 c:c q 1 a:a q 2 t:t q 3 ε:+n q 4 s:+pl q 5 17

18 g:g Σ = {g, e, e, s, e, ε, #} = {g, o, o, s, e, N, PL} Q = {q 0 - q 7 } S = q 0 F = q 7 δ (q,i:o,q ) q 0 q 1 o:e o:e s:s Beispiel 2 Item-and-Process e:e q 2 q 3 q 4 q 5 ε:n #:+PL q 6 q 7 Anweisungen (Übergänge): (q 0, g:g, q 1 ) (q 1, o:e, q 2 ) (q 2, o:e, q 3 ) (q 3, s:s, q 4 ) (q 4, e:e, q 5 ) (q 5, ε:+n, q 6 ) (q 6, #: +PL, q 7 ) 18

19 Two-Level-Morphology, Teil 2 Zwei Einträge für das gleiche Wort C A N T O +N +Masc +Sg C A N T O C A N T A R +V +Prs +1p +Sg C A N T O 19

20 Beispiel 3 Ambiguitäten Backtracking Σ = {c, a, n, t, o} = {c, a, n, t, o, a, r, +N, +Msc, + Sg, +V +Prs, +1p, +Sg} Übergänge: (q0, c:c, q1) (q1, a:a, q2) (q2, n:n, q3) (q3, t:t, q4) (q4, o:o, q5),(q4,o:a,q6) (q5,e :noun,q7) (q6,e :r,q8) (q7,e :masc,q9) (q8,e :verb, q10) (q9,e :sg,q11) (q10,e :presind, q12) (q11,no arcs) (q12,e :1p,q9) c:c a:a n:n t:t o:o q 0 q 1 q 2 q 3 q 4 o:a ε:+noun ε:+masc ε:+sg q 5 q 7 q 9 q q ε:r ε:+verb 12 6 q 8 q 10 ε:+pres 20 q 11 ε:+1p

21 2. Grundlagen Morphologisches Parsing Morphologisches Parsing Komponenten für einen morphologischen Parser Verknüpfung der Komponenten Systemarchitektur Kaskadierung Systemarchitektur Verknüpfung 21

22 Input cats cat cities geese goose merging Morphologisches Parsing Morphological Parsed Output cat +N +PL cat +N +SG city +N +PL goose +N +PL goose +N +SG merge +V +PRES-PART Jurafsky, Martin: Morphology and Finite-State-Transducers, 2000:65 22

23 Komponenten für einen morphologischen Parser Lexikon: Liste von Stämmen und Affixen, zusammen mit grundlegenden Informationen (z.b. Nomen, Verb etc.) Morphotaktik: Modell der Morphemordnung, die festlegt, welche Morphemklassen auf andere folgen können. Bsp..: In europäischen Sprachen folgt das Plural-Morphem dem Nomen Rechtschreibregeln: legen die Änderungen fest, die in einem Wort auftauchen, wenn zwei Morpheme miteinander kombiniert werden. 23

24 Verknüpfung der Komponenten Kaskadierung: Hintereinanderschalten von mehreren Transduktoren in Serie. Der Output des ersten ist der Input des zweiten usw.: A:B B:C C:D D:E Zur Laufzeit werden mehrere Automaten durchlaufen Integrierter Gesamtautomat: A:E Zur Laufzeit wird nur ein integrierter Automat durchlaufen Variante a) Konkatenation und Vereinigung Variante b) Komposition 24

25 Systemarchitektur Kaskadierung Input: Zeichenkette Output: Morpheme Input: Morpheme Output: Wörter 25

26 Systemarchitektur Konkatenation Spezifikation des Lexikons: Nominalstämme Lexikon Compiler Lexikon als FST Nominalendungen Verbstämme Lexikon Compiler Lexikon Compiler Lexikon als FST Lexikon als FST Kombination: Verkettung Vereinigung, (Sequentialisierung) Gesamt FST Verbendungen Lexikon Compiler Lexikon als FST Größenordnung: 2 GB 26

27 Intersection and Composition of Transducers LEXICON - FST LEXICON - FST LEXICON FST compose FST A FST 1... FST N intersect FST A (= FST 1 ^ FST 2 ^ FST N ) Jurafsky, Martin: Morphology with Finite-State-Transducers, 2000:82 27

28 2. Verknüpfung von Stamm- und Endungsautomat Verarbeitungsvarianten: Kaskade Integrierter Gesamtautomat Variante a) Konkatenation und Vereinigung Variante b) Komposition Automaten für Konkatenation und Vereinigung Stammautomaten, Endungsautomaten Automaten für Komposition Stammautomat und Endungsautomat, Regelautomat Ergebnis: Integrierter Gesamtautomat 28

29 Komponenten: Kaskade Lexikonautomaten mit Ausgabe der Morpheme Morphotaktik-Automat, der die Ausgabe aus den Lexikonautomaten verarbeitet 29

30 Kaskadierung von T lex und T rule F O X E S F O X ^ S # F O X ^ S # Surface level Intermediate level F O X +N +PL Lexical level Kaskadierung: Es handelt sich um zwei in Serie geschaltete Transducer. Der Output des ersten Transducers dient dem zweiten als Input. Die Rechtschreibregel fügt ein e auf dem Surface Level ein, wenn nach der Morphemgrenze ein s folgt 30

31 Generating or Parsing with FST Lexicon and Rules Lexical f o x +N +Pl LEXICON - FST Intermediate f o x ^ s FST 1 orthographic rules FST n Surface f o x e s Jurafsky, Martin: Morphology with Finite-State-Transducers, 2000:80 31

32 level 1 Kaskade preterite -ed reg.-verb-stem past part. -ed level 2 w a l k w a l k reg.-verb-stem e d preterite past part. 32

33 Kaskade Beispiel: FSA Flexion irreg-past-verb-form reg-verb-stem preterite (-ed) q 0 q 1 q 3 past participle (-ed) reg-verb -stem prog (-ing) irreg-verb-stem q 2 3-sing (-s) Jurafsky, Martin: Morphology and Finite-State-Transducers, 2000 : 67 33

34 Übersicht des integrierten Stammautomat durch Konkatenation und Vereinigung Konkatenation Vereinigung stem 1 end 1 stem 1 end 1 stem 1 end 1 stem 2 end 2 stem 2 end 2 stem 2 end 2 stem 3 end 3 stem 3 end 3 stem 3 end 3 34

35 Lex. Basic dog reg. noun 1 fox reg. noun 2 goose irreg. noun sg. geese irreg. noun pl. lex. reg. noun 1 ε sg. s pl. lex. reg. noun 2 ε sg. es pl. lex. irreg. noun sg. ε sg. lex. irreg. noun pl. ε pl. Konkatenation reg.noun 1 d o g reg.noun 2 f o x g o o s e g e e s e 35 sg. ε pl. s sg. ε pl. es irreg.sg. irreg.pl.

36 Konkatenation Komponenten: Stammautomaten mit Referenz auf die Endungsautomaten (ergibt Bündelung von Endzuständen des Stammautomaten) Endungsautomaten, die den einzelnen Referenzen entsprechen 36

37 Stammautomaten für Konkatenation T stem11 f o x c a t T stem12 d o g g o o s e T stem13 s h e e p m o u s e g e:o e:o s e T stem14 s h e e p m i:o e:u s:c e 37

38 Endungsautomaten für Konkatenation T num11 T num12 T num13 T num14 e:+n #:SG ^es#:pl T num11 e:+n #:SG ^s#:pl T num12 e:+n #:SG T num13 e:+n #:PL T num14 38

39 Lexikonautomat nach Konkatenation und Vereinigung f o x c a t d o g g o o s e e:+n s h e e p e m o u s g e:o e:+n e:o s e s e:+n ^es#:pl #:SG ^s#:pl e:+n #:SG #:PL #:SG m h e e p i:o e:u s:c e 39

40 Komposition Beschreibung der Varianten der Flexion durch Regelautomaten Erforderliche Ergänzungen bei den Automaten für die Komposition: Zustandsübergang am Ende des Stammautomaten sorgt dafür, dass bei Schnittbildung mit dem Endungsautomaten der gesamte Endungsteil Element Durchschnittsmengen wird und unter Schnittbildung erhalten bleibt Zustandsübergang (q0,other : other,q0) am Beginn der Regelautomaten sorgt dafür, dass bei Schnittbildung mit dem Lexikonautomaten der gesamte Lexemteil Element der Durch-schnittsmengen wird und unter Schnittbildung erhalten bleibt 40

41 Endungsautomat für Komposition T num2 reg-noun-stem q 1 ε:+n q 4 ^s:+pl #:+SG q 0 irreg-sg-noun-stem q 2 ε:+n q 5 #:+SG q 7 irreg-pl-noun-stem ε: +N #:+PL q 3 q 6 41 Jurafsky, Martin: Morphology and Finite-State-Transducers, page 74

42 Stammautomat für Komposition T stem2 reg-noun-stem d o g reg-noun-stem c a t reg-noun-stem f o x irreg-sg-noun-stem g o o s * irreg-sg-noun-stem s h e e p q 0 q 1 irreg-sg-noun-stem m o u s e irreg-pl-noun-stem g o:e o:e s e irreg-pl-noun-stem s h e e p irreg-pl-noun-stem m o:i u:e s:c e Jurafsky, Morphology with Finite-State-Transducers, page 75 wildcard; steht für jedes realisierbare Paar 42

43 T rule : FST E-Insertion Regelautomat ^:ε other # other z,s,x z,s,x z,s,x ^:ε s q 5 ^:ε other: f o (q0,x:x,q1) (q1,^:ε,q2) (q2, ε:e,q3) (q3, s:s, q4) (q4, #:#,q0) other: f o (q0,x:x,q1) (q1,^:ε,q2) (q2,s:s,q5) (q5,#:#, -) rejected! s q 0 q 1 q 2 #, other z, x ε:e q 3 q 4 #, other # 43 Jurafsky, Martin: Morphology and Finite-State-Transducers, 2000 : 78

44 Lexikonautomat nach Komposition von Lexikon- und Regelautomat f o c a t d o g g o o s e e:+n s h e e p e m o u s g e:o e:+n e:o s e s x e:+n #:SG ^s#:pl e:+n #:SG #:PL ^es#:pl #:SG m h e e p i:o e:u s:c e 44

45 Accepting Foxes Lexical f o x +N +Pl T lex Intermediate f o x ^ s # T e-insert Surface f o x e s Jurafsky, Martin: Morphology with Finite-State-Transducers, 2000:81 45

46 Komposition Zwischenschritt: Veranschaulichung des Abgleichs von R und L Rule Stem other other x e s # q 0 q 0 q 0 q 1 q 2 q 3 q 4 q 0 other other x ^ ε s # ε f o x ^ s # l 0 l 1 l 2 l 5 l 6 l 7 l 8 l 9 f o x +N +PL ε ε ε Rule Ergebnis der Komposition ε f o x ^ e s # Stemq 0 l 0 q 0 l 1 q 0 l 2 q 1 l 5 q 1 l 6 q 2 l 7 q 3 l 7 q 4 l 8 q 0 l 9 f o x +N +PL ε s ε Karin Haenelt: FSA-Anwendung, Morphologie, 2003: 11 46

47 R s:s x:x z:z ^:ε ε :e # other q 0 q 1 q 1 q 1 q 0 - q 0 q 0 q 1 q 1 q 1 q 1 q 2 - q 0 q 0 q 2 q 5 q 1 q 1 q 0 q 3 q 0 q 0 q 3 q q q 0 - q 5 q 1 q 1 q 1 q q 0 Transitions- T a q 0l1 q 0l2 b q 0l3 q 0l4 q 0l5 e q 0l6 q 0l7 q 1l5 l q 1l6 q 1l8 l q 3l7 q 4l8 q 0l9 e n L a:a c:c f:f o:o t:t x:x +N:ε +PL:^ ε :s ε :# l0 l3 l1 l1 l2 l 5 l3 l4 l5 l4 l2 l6 l 7 l5 l7 l 8 l8 l9 R o L other other other other other x:x - ε ^: s:sε :e a:a c:c f:f o:o t:t x:x +N:ε +PL:^ ε:s - ε:# q 0l0 q0l3 q0l1 q 0l4 q0l2 q 2l7 q 5l8 q3l7 q0l5 q1l5 Karin Haenelt, FSA-Anwendung: Morphologie, 2003: 13 q0l6 q1l6 q 0l7 q 2l7 l6 q 1l8 q 4l8 q0l9 q0l9 47 l9

48 Integrierter Gesamtautomat T lex o T rule f o x ε ^ e s q 0 l 0 q 0 l 1 q 0 l 2 q 1 l 5 q 1 l 6 q 2 l 7 q 3 l 7 q 4 l 8 # f o x +N +PL ε ε ε q 0 l 9 c a t ε ^ s # c q 0 l 3 q 0 l 4 a t q +N q l 0 6 +PL q l q l 0 l ε 1 8 ε Karin Haenelt, FSA-Anwendung: Morphologie, 2003: 14 48

49 Komposition von Lexikonautomat und Regelautomat: Erläuterung Aufgrund der other-kante im Regelautomaten wird zunächst jeder Nominalstamm geprüft Treffen die Bedingungen zu, wird ein e eingefügt, sonst nicht Durch die Komposition von T lex und T rule entstehen unterschiedliche Pfade für verschiedene Nominalstämme Daher müssen Kanten u.u. vervielfacht werden 49

50 Vorteile Kaskadierung: 3. Evaluierung viele, kleine Automaten verbraucht wenig Speicher größere Portabilität (Einsatzmöglichkeiten in verschiedenen Programmen) Nachteile Kaskadierung: es müssen viele Zwischenergebnisse verarbeitet werden langsamere Laufzeit Vorteile Komposition: schnelle Laufzeit - es müssen keine Zwischenschritte verarbeitet werden Nachteile Komposition: bei der Schnittmengenbildung müssen Teile vervielfacht werden erfordert viel Hauptspeicher (ca. 2GB!!) 50

51 Literatur Beesely, Kenneth R.; Karttunen, Lauri: Finite-State Morphology: Xerox Tools and Techniques, 1999 Haenelt, Karin, Endliche Automaten: Anwendungen: Morphologie. Kursfolien Morph.pdf Jurafsky, Daniel; Martin; Hames H.: Speech and Language Processing. An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition Upper Saddle River, N.J.:Prentince Hall 2000, Kap.3 Morphology and Finite-State-Transducers, p Trommer, Jochen: Morphologie. Carstensen, Ebert, Endriss, Jekat, Klabunde, Langer, Computerlinguistik und Sprachtechnologie, Heidelberg, Berlin 2001, S. Trost, Harald: Morphology. The Oxford Handbook of Computational Linguistics, Oxford 2003, p