Finite-State-Morphologie in XLE. Grammatikentwicklung, SS 2010

Größe: px

Ab Seite anzeigen:

Download "Finite-State-Morphologie in XLE. Grammatikentwicklung, SS 2010"

Brigitte Brodbeck
vor 6 Jahren
Abrufe

1 Finite-State-Morphologie in XLE Grammatikentwicklung, SS / 20

2 Worum es heute geht: Nutzen von Finite-State-Morphologien... und wie man sie in XLE einbaut 2 / 20

3 Lexikon in XLE Bis jetzt: so genanntes Vollformenlexikon: student N student). students N student). kill V @INFIN }. kills V kill) killed V 3 / 20

4 Lexikon in XLE Zu lang, zu kompliziert! Nachteil von Vollformenlexika: ALLE Wortformen eines Wortstammes müssen gelistet werden Umständlich bei Lexikonerstellung Lexikon wird größer als nötig Umständlich bei Verbesserungen Mögliche Lösung: Integration von sog. Finite-State-Morphologien 4 / 20

5 Finite-State-Morphologien Enthalten Paradigmen für Verben, Substantive, Adjektive,... Außerdem: Morphologische Analyse in Form von Tags Werden oft als eigene Module entwickelt Teilweise auch von Fremdfirmen (bei größeren Grammatikprojekten) Basierend auf endlichen Automaten Modell aus der Informatik perfekt geeignet, um Morphologie abzubilden äußerst effizient und schnell 5 / 20

6 Finite-State-Morphologien Morphologien basieren auf Endlichen Automaten : Computerprogramme mit einer endlichen Anzahl Zuständen und Übergängen Schnell und effizient Sehr gut geeignet zum Abbilden von regelmäßiger Morphologie in natürlicher Sprache (Pfeile: Übergänge; Kreise: Zustände, Doppelkreise: Endzustände) 6 / 20

7 Finite-State-Morphologien In der Grammatikentwicklung arbeiten wir mit sogenannten Transducern : Transducer sind 2-seitige endliche Automaten: untere und obere Seite; oder Oberflächen- und Analyse-Seite; oder Wort, wie es im Text auftaucht und Analyse von Wort Transducer machen morphologische Analyse möglich (durch ihre 2 Ebenen) 7 / 20

8 Finite-State-Morphologien Wie werden solche Morphologien definiert? Beispiel: regelmäßige englische Substantive: Multichar Symbols +Sg +Pl +Noun LEXICON Root NounStems; LEXICON NounStems tiger AreNouns; dog AreNouns; LEXICON AreNouns +Noun:0 Number; LEXICON Number +Sg:0 #; +Pl:s #; 8 / 20

9 Finite-State-Morphologien Programm zur Erstellung: xfst xfst Xerox Finite-State Tools Werkzeuge für das Erstellen von Morphologien zur morphologischen Analyse und Generierung Dokumentiert in Beesly & Karttunen (2003): Finite State Morphology Das ist eine eigene Wissenschaft; es werden eigene Kurse dazu angeboten... 9 / 20

10 Finite-State-Morphologien Programme wie xfst erstellen/bearbeiten/laden Finite-State-Morphologien: xfst[1]: up run run+verb+pastperf+123sp run+verb+pres+non3sg run+noun+sg rot: Wortstamm grün: Morphologische Tags Morphologische Analyse: Wortart, Numerus, Person, Tempus, / 20

11 Finite-State-Morphologien DEMO: FINITE-STATE-MORPHOLOGIE ENGLISCHE PARGRAM-GRAMMATIK 11 / 20

12 XLE und Finite-State-Morphologien Solche Morphologien können Vollformenlexika in XLE ersetzen Wie funktioniert das? Es sind 2 weitere Dateien nötig: Taglexikon: Alle benutzten morphologischen Tags + evtl. funktionale Information Wie sollen Tags von XLE interpretiert werden? Sublexikalische Regeln: legen fest, aus welchen Tags Worte bestehen können Abfolge der Tags 12 / 20

13 Taglexikon Einträge im Taglexikon: Tag + Kategorie des Tags + oblig. XLE + evtl. funktionale Annotation MORPH ENGLISH LEXICON (1.0) +Verb V-POS XLE. +Pres TNS XLE (^ TENSE) = present. +PastTense TNS XLE (^ TENSE) = past. +3sg PERS +Non3sg PERS 13 / 20

14 Taglexikon Einträge im Taglexikon funktionieren genau wie im normalen Grammatiklexikon: Disjunktion Constraining Equations Existential Constraints... sind möglich. Beispiel: Partizip Perfekt im Englischen: +PastPerf TNS XLE (^ TENSE) = perfect (^ AUX-FORM) =c { have be } 14 / 20

15 Sublexikalische Regeln Regeln wie syntaktische Regeln auch: Wort besteht aus + Abfolge von Tags (MÜSSEN mit BASE enden) MORPH ENGLISH RULES (1.0) V --> V-S BASE Verbstamm V-POS BASE Wortartensuffix: +Verb TNS BASE Tense-Suffix, z.b.: +Pres PERS BASE. Person-Suffix, z.b. +Non3sg 15 / 20

16 Sublexikalische Regeln Sublexikalische Regeln definieren Abfolge von Tags! Dabei werden nicht die Tags selbst benutzt, sondern die Kategorie der Tags. V --> V-S BASE Verbstamm V-POS BASE Wortartensuffix: +Verb TNS BASE Tense-Suffix, z.b.: +Pres PERS BASE. Person-Suffix, z.b. +Non3sg... liest sich also: ein Verbstamm plus das Wortartensuffix plus irgendein Tense-Suffix (+Pres, +PastTense, +PastPerf,...) plus irgendein Person-Suffix (+3sg, +Non3sg,...) 16 / 20

17 Sublexikalische Regeln Sublexikalische Regeln funktionieren genau wie syntaktische Regeln auch: Optionalität Disjunktion Constraining Equations... sind möglich. Beispiel: Substantive können optional (Vor-)Namen sein: N --> N-S BASE N-POS BASE... (PROPER BASE) (FIRST-NAME BASE). 17 / 20

18 Eine Grammatik Mehrere Lexika Wichtig: Nicht alle lexikalische Information kann durch Morphologien abgedeckt werden! Lexikoneinträge für Verben (bis jetzt): sleeps V sleep) Output von Morphologie: fst[1]: up sleeps sleep+verb+pres+3sg Was ist da und was fehlt? 18 / 20

19 Eine Grammatik Mehrere Lexika Manche Wortarten können durch eine Finite-State-Morphologie abgedeckt werden andere nicht: Meist in FSM abgedeckt: Adjektive Nomen Adverbien Zahlen Meist in FSM & Lexikon abgedeckt: Verben Meist nur im Lexikon abgedeckt: Funktionswörter (Pronomen, Quantoren, Artikel...) Table: Verwendung von Lexika in XLE Wie Wörter integriert werden sollten, hängt ab von mehreren Faktoren: Wird das Wort flektiert? Lohnt es sich also, das Wort in die Morphologie einzufügen? Ist das Wort syntaktisch besonders? 19 / 20

20 GRAMMATIK DEMO ADJEKTIVE EINBAUEN 20 / 20

Ähnliche Dokumente

Generierung & Übersetzung mit XLE

Generierung & Übersetzung mit XLE Grammatikentwicklung, SS 2010 1 /25 Worum es heute geht: Generierung mit XLE Übersetzung mit XLE 2 /25 Allgemein: Generierung Generierung ist: der Gegenbegriff zum Parsing