Korpusvorverarbeitung. Hauptseminar: Einführung in die Korpuslinguistik. Kodierung/Annotationsmaximen. Vorverarbeitung: erste Schritte.

Transkript

1 Hauptseminar: Einführung in die Korpuslinguistik Anke Lüdeling Wintersemester 2002/2003 Korpusvorverarbeitung Beispiel: DIE ZEIT aufbereitet für journalistische Zwecke, mitgeliefertes Suchprogramm man bekommt pro Suchbegriff einen ganzen Artikel; man kann die Kontextgröße nicht festlegen man kann nicht nach Lemmata suchen man hat nicht die volle Mächtigkeit regulärer Ausdrücke man kann keine Wortarteinschränkung angeben umzug* wird Umzugsunternehmen, umzugestalten,... Format kann (darf) nicht exportiert werden Vorverarbeitung: erste Schritte Dokumentstruktur Tokenisierung Wortarten-Tagging Lemmatisierung Voraussetzung: man hat die Rohtexte vorliegen Kodierung/Annotationsmaximen 7 Annotationsmaximen von Leech (1993) Annotationen sollten so kodiert sein, dass man den Ursprungstext wiederherstellen kann (technisch an einigen Stellen sehr schwierig: phonologische Annotation Abkürzungs- und Satzendepunkte) es sollte möglich sein, die Annotationen ohne den Ursprungstext auszuwerten Kodierung/Annotationsmaximen Repräsentation die Annotationsrichtlinien sollten zugänglich sein die Annotatoren und die Annotationsumstände (ein Annotator vs. mehrere Annotatoren) sollten bekannt sein der Benutzer/die Benutzerin sollte wissen, dass Annotationen Fehler enthalten Annotationen sollten, so weit möglich, theorieneutral sein kein Annotationsschema kann a priori als Standard gelten Standards bilden sich durch Konsens der BenutzerInnen heraus logische Repräsentation physikalische Repräsentation Textformat vs. Binärformat Korpusposition

2 Kodierung/Annotationsmaximen es gibt Kodierungsstandards, die von Ressourcengesellschaften (ELRA European Languages Ressources Agency, LDC Linguistic Data Consortium, EAGLES Expert Advisory Group on Language Engineering Standards) entwickelt wurden: TEI Text Encoding Initiative, CES Corpus Encoding Standard, XCES XML-CES Dokumentstruktur außerlinguistische Information (Metadaten) Datum Textherkunft Informationen über TextproduzentIn Informationen über Publikum Zugänglichkeit... Tokenisierung 1 Token kleinste Einheit eine von Leerzeichen (das umfasst Tabulatorzeichen und Zeilenumbrüche) oder Interpunktion begrenzte Folge von Buchstaben oder Ziffern (Evert & Fitschen 2001, 371) graphemisches Wort (?) Tokenisierung 2 alle Satzzeichen, Interpunktionszeichen etc. werden von den Wörtern abgetrennt ( reguläre Ausdrücke, Listen, Heuristiken) "Wir sind in der Defensive", sagt etwa Larry Williams " Wir sind in der Defensive ", sagt etwa Larry Williams Tokenisierung 3 größere Einheiten können danach wieder zusammengefügt werden Zahlen: , , BLZ reguläre Ausdrücke, Heuristiken Namen, feste Verbindungen: New York, Weil der Stadt, en passant, Vereinte Nationen, der Deutsche Bundestag Listen enthalten schon Entscheidungen, sind endlich Partikelverben: syntaktische Analyse nötig Tokenisierung 4 einige Token können noch aufgeteilt werden beim, zum, gibt s, siehste Listen, reguläre Ausdrücke, Heuristiken (will man Informationen über die ursprüngliche Form behalten?) bestimmte Sonderzeichen in Formeln u. ä.: Desambiguierung schwierig 42,195, 8:04:08 Patienten der WOS-(West of Scotland)-Studie

3 NB: Satzendeerkennung 1 automatische Desambiguierung des nicht trivial, aber wichtig für alle späteren Verarbeitungsschritte Satzende Abkürzung (Gehört der Punkt zum Token? Was macht man dann, wenn der Satz mit einer Abkürzung endet?) Ev. Elisabeth-Krankenhaus, usw., George W. Bush in Zahlen 5. Versuch, Teilnehmer, 7.00 Uhr Ortszeit in bestimmten chemischen/medizinischen Namen E.coli-Bakterien NB: Satzendeerkennung 2 Liste von Abkürzungen statisch statistische Verfahren Trainingskorpus Heuristiken (nächstes Wort wird groß geschrieben etc.) mehr linguistisches Wissen notwendig Tokenisierung 6 auf dieser Ebene werden bereits Entscheidungen getroffen/fehler gemacht, die sich auf alle späteren Vorverarbeitungsschritte auswirken einige Entscheidungen lassen sich ohne weiteres linguistisches Wissen nicht sicher treffen Tagging 1 beim Taggen fügt man in den Text linguistische Information ein part-of-speech tagging/ Wortartentagging als Eingabe für weitere computerlinguistische Anwendungen (Parser, sem. Verarbeitung, MT,...) man möchte ambige Wortformen einschränken können (COSMAS, Wendekorpus) schreiben Sie meinen Namen in Bild es ist also, meinen wir, ein Erfolg für alle Berliner Tagging 2 man möchte alle Wörter in einer bestimmten Position in einer gegebenen Sequenz von Wortarten finden Bsp.: Sequenzen, in denen vor einem Nomen drei Adjektive stehen (Verbmobilkorpora, Suche mit CQP) Was halten Sie von <richtig schönen deutschen Universitätsstädten>? Aber bitte vergessen Sie auch nicht, ein schönes, <frisch gezapftes Radeberger Bier>. und das geht <ganz schlecht nächste Woche> bei mir die <einzigste wirklich freie Woche>, die ich habe ist im August hm... Tagging 3 Ergebnis: jedes Token erhält ein pos-tag was/pws halten/vvfin Sie/PPER von/appr richtig/adjd schönen/adja deutschen/adja Universitätsstädten/NN?/$ Tagset: man muss sich eine Menge von pos-tags definieren

4 Tagging 4: Wortarten Anzahl der Wortarten wurde schon in der klassischen griechischen Grammatik diskutiert. Dionysius Thrax (100 v. Chr.): Nomen, Verb, Pronomen, Präposition, Adverb, Konjunktion, Partizip, Artikel positionsbasierte Definitionen (Position im Satz/ relativ zu anderen Wörtern), merkmalsbasierte Definitionen (bestimmte Flexionsmerkmale, semantische Merkmale etc.) syntaktische Funktion, morphologische Eigenschaften,... sprachübergreifende Definition? Tagging 5: Tagset Tagset: Abwägen zwischen Genauigkeit (soll z.b. die grammatische Information kodiert werden?) und Handhabbarkeit Schlafmütze/NN Schlafmütze/NN NOM SG Schlafmütze/NN GEN SG Schlafmütze/NN DAT SG Schlafmütze/NN AKK SG Tagging 6: Tagsets Tagsets für deutsche Korpora (Rapp & Lezius 2001): IBM Heidelberg Uni Münster STTS (Stuttgart/Tübingen Tag Set) 50 ISSCO (Genf) 56 Morphy (Paderborn) Tagging 7: Zuweisung eines Tags Wie weist man einem Wort das passende Tag zu? Man schaut in s Lexikon. Was macht man, wenn ein Tag ambig ist? meinen/vvfin vs. meinen/pposat Oder wenn das Wort gar nicht im Lexikon steht? Einschub: Hausaufgabe Vorgehen (auf einem tokenisierten Text) man gibt ein Lexikon an, in dem die Wortarten verzeichnet sind (je nach Tagset) man weist jedem Wort alle im Lexikon zugewiesenen Wortarten zu (hat niemand von Ihnen so gemacht) Probleme: Wörter, die nicht im Lexikon stehen, Wörter mit mehreren möglichen Tags Einschub: Hausaufgabe mehrteilige Wörter/Eigennamen, Kollokationen/feste Verbindungen (Jim Jontz (= Jontz), Vereinigte Staaten, League of Conservation Voters, rund um, zum einen, zum zweiten, sich auf den Weg machen Partikelverben) nicht im Lexikon: englische Wörter grammatische Fehler (fünften Wahlbezirk) gehaltene, ergraut etc.: Partizip oder Adjektiv systematische Ambiguität?

5 Tagging 8: Zuweisung eines Tags Möglichkeiten Lexikon Regeln absolute Wahrscheinlichkeiten Mischung der Verfahren Tagging 9: Lexikon plus Regeln zweistufige Architektur im ersten Schritt werden die pos-tags für alle bekannten Wörter aus dem Lexikon annotiert einige Wörter haben mehrere Tags einige Wörter haben keinen Tag dann werden Regeln angewendet, um die Ambiguitäten aufzulösen/die fehlenden tags zu ergänzen Tagging 10: Lexikon plus Regeln Ich/PPER habe/vafin im/apprart August/NN meinen/pposat/vvfin Urlaub/NN./$ (keine besonders gute) Regel: nimm PPOSAT, wenn es im Satz bereits ein finites Verb gibt und wenn auf das ambige Wort nur noch ein Nomen und das Satzende folgt Tagging 11: Lexikon plus Regeln Ich/PPER habe/vafin im/apprart August/NN meinen/pposat Urlaub/NN./$ (keine besonders gute) Regel: nimm PPOSAT, wenn es im Satz bereits ein finites Verb gibt und wenn auf das ambige Wort nur noch ein Nomen und das Satzende folgt Tagging12: Lexikon plus Regeln Probleme: Formulierung der Regeln schwierig (man hat keine syntaktischen Abhängigkeiten zur Verfügung und je nach Tagset vielleicht auch keine Kongruenzinformation) man muss alle Eventualitäten voraussehen große Menge an Regeln: Reihenfolge schwierig Verfahren sprachspezifisch Tagging 13: Lexikon plus absolute Wahrscheinlichkeiten man rechnet auf einem großen (handgetaggten) Korpus die Wahrscheinlichkeiten aus, mit der eine gegebene Wortform ein bestimmtes Tag zugewiesen bekommt P(tag wort) bei Ambiguitäten aus dem Lexikon wird dann immer das wahrscheinlichste Tag genommen Problem: unwahrscheinliche Tags werden nie vergeben

6 Tagging14: Lexikon plus man rechnet (auf einem handgetaggten Korpus) die Wahrscheinlichkeiten von pos-folgen aus dann wird das Tag vergeben (aus den lexikalisch möglichen), das am wahrscheinlichsten auf die n (meistens 2) vorhergehenden Tags folgt n-gramme (Bigramme für n = 1, Trigramme für n = 2), Hidden Markov Models, Mathematik siehe Manning & Schütze (1999), Kapitel 10 Tagging 15: Lexikon plus Ich/PPER habe/vafin im/apprart August/NN meinen/pposat/vvfin Urlaub/NN./$ angenommen, alle Tags bis auf das Tag für meinen sind eindeutig Tagging16: Lexikon plus Ich/PPER habe/vafin im/apprart m-2 August/NN m-1 meinen/pposat/vvfin m Urlaub/NN./$ dann rechnet man die Wahrscheinlichkeiten aus für die Sequenzen der Wortarten der Positionen m-2 m-1 m, wenn an Position m das Wort meinen steht Tagging 17: Lexikon plus im/apprart August/NN meinen/pposat Wahrscheinlichkeit, dass meinen den Tag PPOSAT hat wenn es auf die Tagsequenz APPRART NN folgt im/apprart August/NN meinen/vvfin Wahrscheinlichkeit, dass meinen den Tag VVFIN hat wenn es auf die Tagsequenz APPRART NN folgt Nimm die höhere der Wahrscheinlichkeiten. Tagging 18: Lexikon plus man braucht ein hangetaggtes Korpus der passenden Größe passende Größe ist abhängig von der Größe des Tagsets (je größer das Tagset, desto größer muss das Korpus sein, da man sonst bestimmte Sequenzen nicht oder zu selten findet (sparse data problem)) Lemmatisierung/ morphologische Analyse Wir haben gesehen, dass man bestimmte Entscheidungen nur mit (flexions)morphologischer Information treffen kann: daher wollen wir die Token lemmatisieren (auf ein Lemma zurückführen) im gleichen Schritt erhalten wir die morphologische Analyse der Wortform (Vorsicht: morphologisch bezieht sich hier immer auf Flexionsmorphologie!)

7 kleine Erinnerung Lemma: abstrakte Grundform : Name mit Flexionsklasse Wortform: bestimmte Form in einem Paradigma Problem: Synkretismus grammatisches Wort: Wortform mit eindeutiger morphologischer Zuweisung Lemmatisierung zum Lemmatisieren braucht man also ein Lexikon, in dem die Lemmata mit ihrer Flexionsklasse stehen ein Regelapparat, der flektierte Formen auf die Lemmata zurückführen kann und dabei die Wortform analysiert (meistens Two-Level-Morphology) oder ein Vollformenlexikon Lemmatisierung Lemmatisierung und pos-tagging ja/ja,/, und/und was/was sagt/sagen Ihre/pposat Frau/Frau dazu/dazu,/, wenn/wenn Sie/pper so/so spät/spät heimkommen/heimkommen?/? ja/itj/ja,/$,/, und/kon/und was/pws/was sagt/vvfin/sagen Ihre/PPOSAT/pposat Frau/NN/Frau dazu/pav/dazu,/$,/, wenn/kous/wenn Sie/PPER/pper so/adv/so spät/adjd/spät heimkommen/vvinf/heimkommen?/$./? (Verbmobil-Korpus, STTS, mehrere Schritte (siehe Schema McEnery & Wilson) einige Ambiguitäten bleiben erhalten Bank lying Problem: unbekannte Wörter heuristische Kompositaanalyse (Morphy, dmor) echte morphologische Analyse (DeKo, WordManager, GerTWOL,...) zum Erinnern... zum Erinnern... Tagger & Lemmatisierer verwenden Lexika (& evtl Regeln) Qualität abhängig vom Lexikon Tagger verwendet statistische Analyse, trainiert auf einem handgetaggten Trainingskorpus Qualität abhängig vom Trainingskorpus Tokenisierer (und vielleicht die anderen Komponenten) verwendet Heuristiken Qualität abhängig von den Heuristiken in allen Komponenten werden linguistische Entscheidungen getroffen in allen Komponenten können Fehler gemacht werden und nun: Demo Morphy

8 Literatur Evert, Stefan & Fitschen, Arne (2001) Textkorpora. In: Carstensen et al. (Hrsg) Computerlinguistik und Sprachtechnologie. Eine Einführung. Spektrum Akademischer Verlag, Heidelberg, Leech, Geoffrey (1993) Corpus Annotation Schemes. In: Literary and Linguistic Computing 8(4), Manning, Christopher D. & Schütze, Hinrich (1999) Foundadtions of Statistical Natural Language Processing. MIT Press, Cambridge, Kapitel 10