Automatische Lexikonakquisition aus Textkorpora. Vortrag von Peter Adolphs Forschungskolloquium Korpuslinguistik 14. Juni 2006

Transkript

1 Automatische Lexikonakquisition aus Textkorpora Vortrag von Peter Adolphs Forschungskolloquium Korpuslinguistik 14. Juni 2006

2 Inhalt Vorüberlegungen zu meiner Diplomarbeit Thema: (semi-)automatische Akquisition eines deutschen Flexionslexikons für computerlinguistische Anwendungen

3 Motivation viele computerlinguistische Anwendungen brauchen eine Komponente zur Flexionsanalyse von Wortformen ( Deflexion ): Zuordnung einer Wortform zu einem Lexem (Lemmatisierung) Bestimmung von morpho-syntaktischen Eigenschaften

4 Motivation eine linguistisch adäquate Flexionsanalyse benötigt ein Lexikon (s.u.) die manuelle Erstellung eines Lexikons ist aber sehr aufwändig

5 Motivation selbst bestehende Flexionslexika stoßen auf unbekannte Wörter produktive Wortbildungen Vokabular einer Sprache ändert sich fachspezifisches Vokabular wünschenswert wäre daher eine möglichst automatische Lexikonerstellung und -erweiterung

6 Linguistische Grundbegriffe Wortform Lexem morpho-syntaktische Eigenschaften: Wortart, Numerus, Kasus, Person, etc. Flexionsparadigma Flexionsklasse Wortstamm Lemma

7 Flexionsanalyse gegeben: Wortform f Aufgabe: bestimme alle möglichen Analysen von Lemma + morphosyntaktische Eigenschaften Bsp: f = Träumen (Traum, N2), N, Dat, Pl (Träumen, N4), N, Nom, Sg (traum, VR3), V, Imp, Pl...

8 Lexikonlose Verfahren Geht eine linguistische Flexionsanalyse nicht doch ohne Lexikon? lexikonlose Verfahren üblich im Information Retrieval ( Stemming ) Rückführung von Wortformen in Dokumenten auf Stämme Ziel: mehr relevante Dokumente zu einer Suchanfrage finden

9 Lexikonlose Verfahren viele linguistisch relevanten Eigenschaften können aber nicht direkt von der Wortform abgeleitet werden z.b. Wortart: Träumen N (Akk Pl) Träumen V (Imp Pl)

10 Lexikonlose Verfahren z.b. Flexionssuffix vs. Bestandteil des Stamms: Lieder Nom Pl mit Stamm Lied Schläfer Nom Pl mit Stamm Schläfer z.b. Umlaut als Flexionsmarker vs. Bestandteil des Stamms: schläfst (2 Sg Präs) Stamm schlaf- vs. träumst (2 Sg Präs) Stamm träum-

11 Lexikonlose Verfahren gleiche Wortformen eines Lexems mit verschiedener morpho-syntaktischer Funktion (Synkretismus): Träume Nom Pl Gen Pl Akk Pl Schäfchen Nom Sg Dat Sg Akk Sg Nom Pl Gen Pl Dat Pl Akk Pl gleiche Formen zu versch. Lexemen: Plane Dat Sg von PLAN Dat Sg von PLANE

12 Lexikonlose Verfahren - Fazit lexikonlose Verfahren für deutsche Flexionsanalyse sind für linguistische Zwecke i.a. nicht geeignet

13 Mögliche Ansätze Wie entwickelt man ein computerlinguistisches Werzeug zur Flexionsanalyse? Extrem 1: vollständig manuelle Kodierung morphologischer Grammatiken und morphologischer Einheiten Extrem 2: vollständig automatische Induktion von Morphologie

14 Mögliche Ansätze Mittelweg: vergleichsweise einfach formulisierbare linguistische Generalisierungen nutzen, um reguläre Lexeme offener Wortklassen zu erschließen

15 1. Grundidee morphologische Paradigmen zur Erkennung von Wortformen eines Lexems nutzen d.h. verschiedene Wortformen eines regulär gebildeten Lexems erlauben es, auf dessen Wortstamm und die Flexionsklasse zu schließen

16 1. Grundidee Beispiel: in einem Textkorpus sind schlafe, schläfst, schlafend, geschlafen attestiert Hypothese: verschiedene Formen des Flexionsparadigmas zu einem hypothetischen Verbstamm schlaf- mit Flexionsklasse VR4

17 1. Grundidee diese Idee wurde schon mehrfach erprobt: Russisch (Oliver et al., 2003) Kroatisch (Oliver & Tadić, 2004) Französisch (Clément et al., 2004) Slovak (Sagot, 2005) deutsche Nomen (Perera & Witte, 2005)

18 2. Grundidee grammatischen Kontext nutzen, um morpho-syntaktische Eigenschaften zu erschließen Beispiel: attestierte Wortsequenz im Korpus: Der Traum möglicher Schluss: Traum ist ein Nomen

19 2. Grundidee morphosyntaktische Eigenschaften von Wortformen durch Rektions- und Kongruenzbedingungen erschließen Beispiel: attestierte Wortsequenz im Korpus: Der Traum möglicher Schluss: Traum ist Nom Sg Masc Gen Sg Fem Gen Pl Masc Gen Pl Fem Gen Pl Neu

20 2. Grundidee diese Idee wurde ebenfalls schon genutzt: zur Akquisition von inhärenten morphosyntaktischen Eigenschaften von Nomen für ein Lexikon des Italienischen (Zanchetta & Baroni, 2006) zur Bestimmung der Wortart bei dem französischen Lexikon von Clément et al. zur Bestimmung der Wortart und von morpho-synaktischen Eigenschaften bei der Lemmatisierung deutscher Nomen (Perera & Witte, 2005)

21 Benötigte Ressourcen i. Flexionsmodell für's Deutsche (Analyse und Generierung) ii. tokenisiertes Textkorpus iii. Liste geschlossener Wortklassen (Präpositionn, Konjunktionen, etc.) iv. lokale Grammatiken (z.b. Wortart- Vorhersage auf Trigram- oder Entscheidungsbaum-Basis)

22 Paradigmenbasierte Methode bilde für jeden Wortformtyp im Korpus eine Menge von regulären Lemma- Hypothesen (Lemma = Wortstamm + Flexionsklasse) Beispiel: Wortform schläfst hypothetische Wortstämme: schlaf, schläf, schlafs, schläfs

23 Paradigmenbasierte Methode bilde zu jeder Lemmahypothese das vollständige Flexionsparadigma und bestimme, welche Formen davon im Korpus attestiert sind

24 Paradigmenbasierte Methode Beispiel: in einem Textkorpus sind schlafe, schläfst, schlafend, geschlafen attestiert zur Hypothese mit Wortstamm schlaf: schlafe, schläfst, schläft,..., schlafend,... zur Hypothese mit Wortstamm schläf: schläfe, schläfst, schläft,..., schläfend,...

25 Ranking Verfahren von Clément et al (2004) und Sagot (2005) Lemmahypothesen nach Plausibilität ranken: Plausibilität eines Lemmas korreliert mit Anzahl der attestierten Wortformtypes eines Flexionsparadigmas außerdem mit den Wortformtoken des Flexionsparadigmas (selten attestierte Wortformtypes haben weniger Gewicht)

26 Ranking gerankte Hypothesenliste durch Muttersprachler validieren lassen (vgl. Clément et al, 2004; Sagot, 2005): Lemmahypothese ist korrekt Lemmahypothese ist falsch weil die Wortformen selbst fehlerhaft waren weil sie falsch geraten wurde Reiteration unter Berücksichtigung der neu gewonnen Informationen

27 Ranking experimentieren, wie gut die Ergebnisse werden, wenn man die ersten n Lemmahypothesen pauschal akzeptiert

28 Vielen Dank!

29 Literatur (1) Clément, Lionel; Sagot, Benoît & Lang, Bernhard Morphology based automatic acquisition of large-coverage lexica. In: Proceedings of the 4th International Conference of Language Resources and Evaluation (LREC 2004). Lisbon, Portugal. Oliver, Antoni; Castellón, Irene & Màrquez, Lluis Use of internet for augmenting coverage in a lexical acquisition system from raw corpora. In: Proceedings of the International Workshop on Information Extraction for Slavonic and Other Central and Eastern European Languages (IESL 2003). Borovets, Bulgaria. Held at the International Conference RANLP Oliver, Antoni & Tadić, Marko Enlarging the Croatian Morphological Lexicon by Automatic Lexical Acquisition from Raw Corpora. In: Proceedings of the 4th International Conference of Language Resources and Evaluation (LREC 2004), pp Lisbon, Portugal.

30 Literatur (2) Perera, Praharshana & Witte, René A Self-Learning Context- Aware Lemmatizer for German. In: Proceedings of Human Language Technology Conference and Conference on Empirical Methods in Natural Language Processing (HLT/EMNLP 2005), pp Vancouver, Canada. Sagot, Benoît Automatic acquisition of a Slovak Lexicon from a Raw Corpus. In: Matoušek, Václav; Mautner, Pavel & Pavelka, Tomáš (eds.) Text, Speech and Dialogue: 8th International Conference, TSD 2005, Karlovy Vary, Czech Republic, September 12-15, Proceedings., vol of Lecture Notes in Computer Science, pp Berlin / Heidelberg: Springer. Zanchetta, Eros & Baroni, Marco Morph-it! A free corpus-based morphological resource for the Italian language. In: Corpus Linguistics 2005, vol. 1 of Proceedings from the Corpus Linguistics Conference Series. Birmingham, UK.