Extraktion von prädikativen Präpositionalphrasen aus deutschen Korpora

Transkript

1 Extraktion von prädikativen Präpositionalphrasen aus deutschen Korpora Anita Gojun Universität Stuttgart Institut für maschinelle Sprachverarbeitung Computerlinguistik Azenbergstr. 12 D Stuttgart gojunaa@ims.uni-stuttgart.de 30. September 2009 Gojun (IMS) GSCL-Workshop gscl_folien.tex 1 / 25

2 Überblick 1 Einführung Prädikative Präpositionalphrasen Motivation zur lexikalischen Erfassung von prädikativen PPen 2 Extraktion Korpus Extraktionsverfahren 3 Morphosyntaktische Präferenzen der prädikativen PPen Festigkeit als Indiz für die Idiomatizität Berechnung von Präferenzen Tests zur Überprüfung der morphosyntaktischen Festigkeit 4 Verlässlichkeit der ausgerechneten Präferenzen 5 Erweiterung der Arbeit 6 Ausblick Gojun (IMS) GSCL-Workshop gscl_folien.tex 2 / 25

3 Einführung Prädikative Präpositionalphrasen Was sind prädikative Präpositionalphrasen (PPen)? Beispiele für prädikative PPen Er war völlig von den Socken. DOS bleibt im Rennen. Insofern wird die Deputation zu einer Farce. Eigenschaften: 1 Auftreten mit Kopulaverben (sein, bleiben, werden) 2 Prädikative Verwendung: PP = Prädikatsnomen 3 Oft idiomatisch 4 Relativ feste Oberflächenstruktur kompositionell vs. idiomatisch Gojun (IMS) GSCL-Workshop gscl_folien.tex 3 / 25

4 Einführung Motivation zur lexikalischen Erfassung von prädikativen PPen Nützlich für: 1 NLP * Generierung bei Sinnen/*Sinn ( Plural, kein Artikel) bei bester/guter/geistiger Gesundheit ( relativ variabel) * Maschinelle Übersetzung völlig aus dem Häuschen complete from the little house (SYSTRAN) 2 Menschen * Deutschlerner Paraphrasierung von idiomatischen prädikativen PPen: nicht ganz bei Trost (sein) = leicht verrückt (sein) * Textproduktion Selektionsrestriktionen: Der Mann/*Der Bus ist ständig auf Achse. Gojun (IMS) GSCL-Workshop gscl_folien.tex 4 / 25

5 Extraktion Korpus HGC-Korpus: Zeitungstexte Größe: 242 Mio. Wörter (Tokens) Korpusannotationen Annotation lemma pos <pp>...</pp> pp_h pp_agr Verwendung lemmatisierte Form eines Tokens Part-of-Speech Tag Markierung der Grenzen einer PP Kopf einer PP (Präposition + Nomen) PP-Agreement (Kasus, Genus, Numerus, Definitheit) Gojun (IMS) GSCL-Workshop gscl_folien.tex 5 / 25

6 Extraktion Extraktionsverfahren CQP als Extraktionstool Einschränkung des Kontextes mit Hilfe von PoS-Tags und Phrasengrenzen Extraktionsmuster - Beispielsatz: Modifikator (ADV, NEG) PP Kopula Aber um uns selbst sicher zu sein, daß wir nicht auf dem falschen Dampfer sind brauchten wir Belege. Gojun (IMS) GSCL-Workshop gscl_folien.tex 6 / 25

7 Extraktion Extraktionsverfahren Spätere Erweiterung durch weitere Verben Manuelle Trennung von prädikativen PPen von anderen Arten von PPen (lokalisierenden, temporalen usw.) Extraktionsergebnisse Anzahl aller Herausgefilterte extrahierten PPen prädikative PPen Gojun (IMS) GSCL-Workshop gscl_folien.tex 7 / 25

8 Morphosyntaktische Präferenzen der prädikativen PPen Festigkeit als Indiz für die Idiomatizität Hypothese: Festigkeit von Phrasen weist auf ihre Idiomatizität hin (Burger 07, Higi-Wydler 89) Berechnung von morphosyntaktischen Präferenzen zur Überprüfung der Hypothese Betrachtete Merkmale: Verb, Numerus, Kasus, Definitheit, alte Dativform, Präposition-Artikel-Verschmelzung, Modifikatoren (Adverbiale, Adjektive), Koordinierte NP, Genitiv-NP Gojun (IMS) GSCL-Workshop gscl_folien.tex 8 / 25

9 Morphosyntaktische Präferenzen der prädikativen PPen Berechnung von Präferenzen Präferenzen stellen Wahrscheinlichkeitsverteilung der möglichen Werte eines Merkmals dar Verfahren: 1 Gruppieren des Extraktionsergebnisses nach PPen 2 Berechnung von MLE-Wahrscheinlichkeiten (außer für Kasus) anhand der im Korpus vorhandenen Annotationen (z.b. Agreement-Angaben, PoS-Tags) 3 Speicherung der ausgerechneten Präferenzen in einer Datenbank Gojun (IMS) GSCL-Workshop gscl_folien.tex 9 / 25

10 Morphosyntaktische Präferenzen der prädikativen PPen Sind prädikative PPen idiomatisch? Hypothese: Idiome sind meist morphosyntaktisch fest Tests zur Überprüfung der morphosyntaktischen Festigkeit 1 Morphosyntaktische Restriktionen: Vollständige Festigkeit, grammatikalische Kategorie (Numerus, Kasus, Definitheit), Präposition-Artikel-Verschmelzung 2 Lexikalische Unveränderbarkeit: Ersetzung von PP-Komponenten durch Synonyme Gojun (IMS) GSCL-Workshop gscl_folien.tex 10 / 25

11 Morphosyntaktische Präferenzen der prädikativen PPen Morphosyntaktische Restriktionen Beispiele für die vollständige Festigkeit von PPen: für die Katz, in Amt und Würden, in aller Munde; auf Diät, außer Frage, auf Entzug usw. PP Eigenschaften PP Eigenschaften für in die def. Artikel kein Artikel kein Modif. kein Modif. Katz morph. Sonderfall Amt Sg und Würden Koord-NP Gojun (IMS) GSCL-Workshop gscl_folien.tex 11 / 25

12 Morphosyntaktische Präferenzen der prädikativen PPen Morphosyntaktische Restriktionen Grammatikalische Kategorie: Kasus Darstellung von Kasus als Konfidenzintervall wegen Ambiguität bei fehlendem Artikel (Evert 04) # PP kas 77 über + Berg {Dat,0.07},{Akk,0.09} 91 auf + Fuß {Dat,0.97},{Akk,0.99} idiomatische Varianten von über + Berg: Beide Kasuswerte möglich (# Dat: 6, # Akk: 43) So ganz über dem/den Berg ist der Verein auch jetzt noch nicht. über alle Berge: Mit dem Adjektiv alle nur Akkusativ möglich auf freiem Fuß: nur Dativ möglich (sowie Singular, Adjektiv frei und kein Artikel) Gojun (IMS) GSCL-Workshop gscl_folien.tex 12 / 25

13 Morphosyntaktische Präferenzen der prädikativen PPen Morphosyntaktische Restriktionen Grammatikalische Kategorie: Numerus, Definitheit # PP Numerus Definitheit 42 von + Rolle {Sg,1.0} {D,0.9},{N,0.1} 42 in + Stimmung {Sg,1.0} {N,0.8},{D,0.14},{I,0.06} 1060 in + Stadt {Sg,1.0} {D,0.73},{N,0.23},{I,0.04} von + Rolle: Definitheit: 90% definit (D), 10% kein Artikel (N) Numerus: 100% Singular (Sg) in + Stimmung: Definitheit: 73% definit, 23% indefinit, 4% kein Artikel (N) Numerus: 100% Singular Gojun (IMS) GSCL-Workshop gscl_folien.tex 13 / 25

14 Morphosyntaktische Präferenzen der prädikativen PPen Morphosyntaktische Restriktionen Änderung von präferierten Werte führt zum Verlust der Idiomatizität oder zu unnatürlich klingenden Ausdrücken Jetzt ist der Bürgermeister am Zug/*an den Zügen. Sind sie noch ganz bei(*m) Trost? in + def. Art. Stimmung erfordert den zu-infinitiv (vgl. Arbeit von Seemann 09) Der Kanzler ist nicht in der Stimmung, an einem Ball teilzunehmen. Gleiche Beobachtungen für alte Dativform und Präposition-Artikel-Verschmelzung Gojun (IMS) GSCL-Workshop gscl_folien.tex 14 / 25

15 Morphosyntaktische Präferenzen der prädikativen PPen Lexikalische Unveränderbarkeit Änderung von PP-Komponenten durch Synonyme Er ist schon längst über alle/*sämtliche Berge. Sie sterben auf der Straße, weil sie ohne Obdach/*Dach sind. Variabiliät bei inneren Modifikatoren Fest: am Ruder, an der Macht, auf freiem Fuß, im Eimer Variabel: auf dem /aktuellen/jetztigen/niedrigen Stand (+ Gen-NP), in der/einer /schwierigen/glücklichen Lage, bei bester/guter (geistiger, körperlicher) Gesundheit 1 Mod. 2 Mod. ab 3 Mod. Anzahl (insg. 220) Mehrzahl der prädikativen PPen ist morphosyntaktisch relativ fest Gojun (IMS) GSCL-Workshop gscl_folien.tex 15 / 25

16 Morphosyntaktische Präferenzen der prädikativen PPen Lexikalische Unveränderbarkeit Beispiele für PPen mit variablen inneren Modifikatoren 2 Modifikatoren: von /großem Vorteil, unter /erheblichem Zeitdruck, ohne /psychologische Wirkung 3 Modifikatoren: bei /vollem/klarem Verstand, von /langer/kurzer Dauer, in /großer/panischer Angst 8 Modifikatoren: in /gehobener/richtiger/aggressiver... Stimmung, von guter/unterschiedlicher/schlechter... Qualität 10 Modifikatoren: von historischem/bleibendem/unschätzbarem/zweifelhaftem/ besonderem... Wert Gojun (IMS) GSCL-Workshop gscl_folien.tex 16 / 25

17 Morphosyntaktische Präferenzen der prädikativen PPen Prädikative PP Idiom? Sind alle (morphosyn. festen) prädikativen PPen idiomatisch? Nein! Gegenbeispiele: im Handel, im Einsatz, in der Überzahl, von Bedeutung, bei Verstand, ohne Wirkung usw. Schlussfolgerungen: 1 feste prädikative PPen nicht unbedingt idiomatisch 2 varänderliche PPen nicht unbedingt nicht-idiomatisch von /großem/besonderem/politischem Gewicht 3 oft unübliche Verbindung der Wörter: in etwa 50% der Fälle wird der Artikel ausgelassen in Gefahr, ohne Ziel, auf Trab, in Panik, gut in Schuss Festigkeit relevant für NLP, aber allein kein eindeutiges Indiz für Nichtkompositionalität Gojun (IMS) GSCL-Workshop gscl_folien.tex 17 / 25

18 Verlässlichkeit der ausgerechneten Präferenzen Evaluation Automatische Erstellung der morphosyn. Klassen und Zuordnung von PPen zur entsprechenden Klasse als Evaluation Gespeicherte Präferenzen ermöglichen Berechnung des typischen morphsyn. Musters einer PP Precision: 93% (bei 220 extrahierten und überprüften PPen) Morphosyn. Gruppe Praep + N PraepFus + N Praep + Modif + N PP von Interesse bei Kräften im Anflug im Busch in seinem Element von großem Wert Gojun (IMS) GSCL-Workshop gscl_folien.tex 18 / 25

19 Verlässlichkeit der ausgerechneten Präferenzen Probleme Extraktionsanfrage berücksichtigt nicht alle Kontexte Extraktion vom nicht passenden Material Verunreinigung von Daten in trockenen/*dunklen Tüchern, von (schlechten) Eltern Sparse data: Kleine Anzahl an gefundenen Korpusbelegen in Angst - 1 Korpusbeleg: Geschütze donnern; der Junge muß weg nach Mogadischu, die Frau bleibt zurück in der Angst. 100%-ige Wahrscheinlichkeit des bestimmten Artikels (?) Gojun (IMS) GSCL-Workshop gscl_folien.tex 19 / 25

20 Erweiterung der Arbeit Auftreten von prädikativen PPen mit anderen Verben Fragestellungen: 1 Mit welchen Verben hinsichtlich ihrer Aktionsart können extrahierte prädikative PPen auftreten? 2 Weisen Idiome ihre für sein, bleiben, werden typischen morphosyn. Präferenzen bei anderen Verben auf? Vorgehensweise 1 Extraktion von prädikativen PPen mit anderen Verben aus geparstem Korpus (Größe: 230 Mio. Tokens) 2 Berechnung von Präferenzen 3 Vergleich von Präferenzen für verschiedene Verben Gojun (IMS) GSCL-Workshop gscl_folien.tex 20 / 25

21 Erweiterung der Arbeit Auftreten von prädikativen PPen mit anderen Verben Beispiel: auf + Sprung helfen (364), sein (74), stehen (56) Interpretation von Daten: PP Verben Eigenschaften auf + Weg sein, bringen definit, Sg, sich machen meist ohne Adj. in + Gespräch sein, bleiben idm: definit kommen idm: indefinit auf + Trab bringen, halten kommen kein Artikel, Sg Prädikative PPen scheinen ihre morphsyn. Präferenzen in Kombination mit verschiedenen Verben beizubehalten Gojun (IMS) GSCL-Workshop gscl_folien.tex 21 / 25

22 Ausblick Weitere Erweiterungen der Arbeit Entwicklung eines automatischen Tools zur Trennung von prädikativen PPen von anderen Arten von PPen (lokalisierenden, temporalen usw.) anhand ihrer Festigkeit Ermittlung des Gesamtfestigkeitswerts (GFW) zur automatischen Trennung der idiomatischen PPen von den Nicht-idiomatischen Einbindung der Daten in ein Lexikon für Menschen und NLP (Spohr 09) Gojun (IMS) GSCL-Workshop gscl_folien.tex 22 / 25

23 Ausblick Bisherige Experimente zum Gesamtfestigkeitswert GFW Aufsummierung von Wahrscheinlichkeiten der präferierten Werte aller gespeicherten Merkmale (insg. 9, max. GFW = 9) Reihenfolge der PPen: 9.0 : auf + Diät 9.0 : außer + Kurs 9.0 : außer + Frage :bei + Kasse : an + Wendepunkt Fehler bei der Sortierung (an + Wendepunkt idiomatisch) Welche Merkmale sollen betrachtet werden? Haben alle Merkmale das gleiche Gewicht? Weitere Arbeiten hierzu nötig Gojun (IMS) GSCL-Workshop gscl_folien.tex 23 / 25

24 Vielen Dank für Ihre Aufmerksamkeit Gojun (IMS) GSCL-Workshop gscl_folien.tex 24 / 25

25 Literaturverzeichnis Evert, S. The Statistical Analysis of Morphosyntactic Distributions in Proceedings of the 4th International Conference on Language Resources and Evaluation (LREC 2004), Lissabon 2004 Higi-Wydler, M. Zur Übersetzung von Idiomen. Eine Beschreibung und Klassifizierung deutscher Idiome und ihrer französischen Übersetzungen, Europäische Hochschulschriften, Verlag Peter Lang, 1989 Gojun, A. Extraktion von prädikativen Präpositionalphrasen aus deutschen Korpora, Studienarbeit Nr. 76, Inst. für maschinelle Sprachverarbeitung, Uni Stuttgart, 2009 Seelbach, D. Prädikative adjektivale Ausdrücke: Kodierung und kontrastive Aspekte Frz.-Dtsch in Gippert, J.; Olivier, P. (Hrsg.) Multilinguale Korpora. Codierung, Strukturierung, Analyse. Tagungsband zur 11. Jahrestagung der GLDV. Prag 1999 Steinitz, R. Valenznotwendige Präpositionalphrasen: weder Argument- noch Adjunktposition in Dürscheid, C. et al (Hrsg.) Sprache im Fokus 1997 Steyer, K. (Hrsg.) Wortverbindungen - mehr oder weniger fest; Institut für Deutsche Sprache, Jahrbuch 2003, de Gruyter, Berlin 2003 Gojun (IMS) GSCL-Workshop gscl_folien.tex 25 / 25