Wortarten und Tagsets. Korpuslinguistik Dr. Heike Zinsmeister WS 2009/10

Transkript

1 Wortarten und Tagsets Korpuslinguistik Dr. Heike Zinsmeister WS 2009/10

2 Wortarten - Hintergrund Kategorien Grundbegriffe eines Systems Philosophie: Kategorienlehre von Aristoteles als Systematik der Grundformen des Seins Substanz, Quantität, Qualität, Relation, Ort, Zeit, Lage, Haben, Wirken und Leiden syntaktische/grammatische Kategorien: Wortarten (Englisch: (' speech 'parts of Dionysios Thrax (ca v.chr), Alexandria erste griechische Grammatik 8 Wortarten: Adverben, Artikel, Konjunktionen, Nomen, Partizipien, Präpositionen, Pronomen und Verben

3 Wortarten - Kriterien Morphologische Kriterien flektierbar oder nicht, Art der Flektion wortartenspezifische Affigierung in der Wortbildung Semantische Kriterien teilweise Bildung von Unterklassen durch Bedeutungsunterschiede Distributionelle Kriterien Wortartenkontexte / Positionen im Satz, in denen ein Element typischerweise auftritt Keines der Kriterien gilt absolut. Es gibt Interaktionen und Ausnahmen.

4 Klassifizierung nach morphologischen Kriterien Wort flektierbar nicht-flektierbar deklinierbar konjugierbar Substantive Konjunktionen Adjektive Verben Präpositionen Artikel Adverbien Partikeln Interjektionen ( 15 Berman: 2004: (nach Pittner &

5 Einschub: Tagsets STTS (Deutsch) und Penn ( Englisch ) Treebank Tagset

6 STTS ( 1999 al. das Stuttgart-Tübingen Tagset (Schiller et Wortarten-Analyse für die manuelle (und automatische) Annotation von deutschen Textkorpora Vereinfachung: Leerzeichen = Wortgrenze es werden zunächst keine Mehrwortlexeme berücksichtigt Analog zum Standard der Text Encoding Initiative ( TEI ) 11 Hauptwortarten, spezifiziert in 54 Wortarten-Tags (48 & 6 Zusatztags: Interpunktion, Fremdsprachliches, Nicht-Wörter, Truncs)

7 STTS-Hauptwortarten Aufbau der Labels hierarchisch von links nach rechts: vom Allgemeinen zum Spezifischeren Bsp. Pronomen (1) Diese Lösung klappt. (2) Diese klappt nicht. ad (1): Pronomen demonstrativ attribuierend, PDAT ad (2): Pronomen demonstrativ substituierend, PDS ( 1999:4 al. (Schiller et

8 ( 1 ) Das Penn Treebank Tagset ( 1991 ) vgl. Santorini (' tags 45 Tags (36 & 9 'punctuation basiert auf dem umfangreicheren Tagset des Brown ( 1982 Corpus (Francis & Kučera Typen von Tags Hauptklassen: noun (common and proper); verb; adjective; adverb Funktionswörter: determiners, prepositions, conjunctions, pronouns, etc. wichtige Einzelwörter: to, there Interpunktion Fremdsprachl. Material, Symbole, Interjektionen, List Marker

9 ( 2 ) Das Penn Treebank Tagset Tagnamen sind weniger hierarchisch aufgebaut als im STTS Manche Tags sind nicht intuitiv, z.b. JJ für Adjektive RB für Adverb To ist immer als TO getaggt (1) to_to go_vb to_to university_nn existenzielles there ist als EX getaggt (2) There_EX is_vbz a_dt unicorn_nn in_in the_dt garden_nn

10 Zurück zu den Wortarten im Allgemeinen

11 ( 1 ) Nomen: Morphologische Eigenschaften (auch: Substantiv) festes Genus - Maskulin, Feminin, Neutrum - Aber: dialektale bzw. regionale Schwankungen (1) der/das Teller, der/die Butter, der/das Radio - Aber: Neue Wörter und andere Unsicherheiten (2) der/das Jogurt, der/das Virus, der/das Chip

12 Nomen: Morphologische Eigenschaften ( 2 ) (Fortsetzung) werden nach Numerus und Kasus dekliniert - Aber: Pluralia Tanta (treten nur im Plural ( auf (3) Geschwister, Alpen,... - Stoffsubstantive und manch andere (sind nicht zählbar) treten nur im Singular auf ( Reis (... ist (4) Reis, Mehl, Sand, Ruhe, Hass, Wut,...

13 Eigenschaften Nomen: Semantische Konkreta Abstrakta - Gegenständliches Vorstellungen/ Handlungen/ Vorgänge/Zustände/Eigenschaften/... (1) Stuhl / Obst Meinung / Ruhe Belebt unbelebt (2) Katze / Alge Weg / Schule Gattungsbezeichnungen (Appellativa) Eigennamen (3) ein/der Hund Fido Diskret / zählbar nicht zählbar (4) zwei Stühle vs. zwei *Obst (5) zwei Meinungen vs. zwei *Ruhen

14 Kriterien Nomen: Distributionelle Typische Kontexte: Artikel (Adjektiv)* Nomen (1) Er liest ein neues Buch. Notation: * = Kleene Star (x)* = x kommt null mal, ein mal oder beliebig oft vor (x)? = x kommt nicht oder genau einmal vor - Aber: Eigennamen, Plurale, Stoffsubstantive, Funktionsverbgefüge (z.b. Freundschaft schließen),... (2) Max liest gerne Comics. (3) Er isst Obst. (4) Er hat Freundschaft mit ihr geschlossen. Präposition (Artikel)? (Adjektiv)* Nomen (5) Sie zieht die Option in Betracht.

15 Tagsets Nomen in den STTS: (' noun NN: normales Nomen ('common NE: Eigenname Penn Treebank NN: noun, singular or mass NNS: noun, plural NNP: proper noun, singular NNPs: proper noun, plural

16 ( 1 ) Verb Morphologische Eigenschaften werden konjugiert Dt.: Tempus, Modus, Numerus, Person Semantische Eigenschaften ( Verben Vollverben (lexikalische eigene Semantik ( Auxiliare ) Hilfsverben grammatische Bedeutung: Tempus, Konjunktiv,Passiv Modalverben drücken Möglichkeit, Notwendigkeit, Erlaubnis, Einschätzung der Wahrscheinlichkeit u.ä. aus Kopulaverben drücken Zustand oder Fortdauern aus: sind grammatischer Kitt für nicht-verbale Prädikate

17 ( 2 ) Verb Distributionelle Eigenschaften Vollverben ( Argumenten treten selbstständig auf (mit ihren Hilfsverben treten nur zusammen mit einem infiniten Vollverb auf (im ( Infinitiv Partizip Perfekt oder (1) haben, sein, werden Modalverben treten mit infiniten Vollverben und Kopulaverben auf (2) können, dürfen, müssen, sollen, wollen, mögen [Halbmodalverben mit Vollverb im zu-infinitiv (3) scheint zu schlafen, verspricht zu bleiben, droht zu...]

18 ( 3 ) Verb ( Fortsetzung ) Distributionelle Eigenschaften Kopulaverben treten mit nicht-verbalem Prädikat auf zählen mehr zu den Vollverben als zu den Auxiliaren sein, bleiben, werden (1) Er ist [ NP ein guter Fußballer]. (2) Sie wird [ AdjP gesund]. (3) Ein Gewitter ist [ PP im Anmarsch].

19 Tagsets Verben in den STTS: Vollverben VVFIN: Vollverb, finit VVIMP: Vollverb, Imperativ VVINF: Vollverb, Infinitiv VVIZU: Vollverb, zu-infinitiv VVPP: Vollverb, Partizip Perfekt ( VA Auxiliare: VAFIN, VAIMP, VAINF, VAPP (haben/sein immer als Modalverben: VMFIN, VMINF,VMPP Penn Treebank VB: Verb, base form VBD: Verb, past tense VBG: Verb, gerund or present participle VPN: Verb, past participle VBP: Verb, non-3 rd person singular present VBZ: Verb, 3 rd person singular present

20 ( 1 ) Adjektiv Morphologische Eigenschaften deklinierbar: großer, große, großes,... komparierbar: große, größere, größte Semantische Eigenschaften, Beispiele: Qualitität (1) rot, rund, laut, gut, angeblich,.. Relation (2) asiatisch, ärztlich, hölzern,.. Quantifizierend (3) viel, wenig, eine, hundert, dritter, vierter,... Adjektivisch gebrauchte Partizipien (4) suchend, belastend, gesucht, belastet,...

21 ( 2 ) Adjektiv Distributionelle Eigenschaften ( flektiert prädikativ mit Kopulaverb (nicht (1) Der Ball ist rot. / Die Freunde sind quitt. ( flektiert adverbial verwendet mit Vollverb (nicht (2) Das Auto fährt schnell. ( lila attribuierend (normalerweise flektiert, Ausnahme z.b. (3) Der rote Ball / Das lila Kleid können Argumente selegieren (4) Er ist [ PP auf seinen Sieg] stolz. (5) Sie ist [ VP zu gehen] imstande.

22 Tagsets Adjektive in den STTS ADJA: Adjektiv, attribuierend ADJD: Adjektiv, adverbial oder prädikativ anderen Wortklassen zugeordnet PIS/PIAT: viele, manche,... CARD: zwei Männer,.. Penn Treebank JJ: adjective JJR: adjective, comparative JJS: Adjective, superlative CD: two men,...

23 ( 1 ) Pronomen Morphologische Eigenschaften flektieren Semantische Eigenschaften Beitrag zur Referenz ( dort ersetzen Nomen (siehe Unterklassen, z.b. Personalpronomen: ich, du,... Possessivpronomen: mein, dein,... Demonstrativpronomen: dieser, jener Reflexivpronomen: sich, einander Fragepronomen: wer, wie, was, warum Relativpronomen: der, die, das,

24 ( 2 ) Pronomen Distributionelle Eigenschaften ( Artikel attribuierend (ersetzen einen (1) dieser Baum (2) welcher Baum? substituierend (ersetzen eine Nominalphrase, oder ( ähnliches (3) Er hat diesen gefällt. (4) Welchen hat er gefällt.

25 ( 1 ) Pronomen in den Tagsets STTS PDS, PDAT: Demonstrativpronomen PIS, PIAT, PIDAT: Indefinitepronomen: viele, man, wenig,... PPER: Personalpronomen PPOSS, PPOSAT: Possessivpronomen PRELS, PRELAT:Relativpronomen PRF: Reflexiv- und Reziprokpronomen: sich, einander,... PWS, PWAT:Interrogativpronomen PWAV: adverbiales Interrogativ- oder Relativpronomen: warum PAV, Pronominaladverb: dafür, dabei, deswegen, trotzdem,... in STTS keine w-pronominaladverbien, sind alle PWAV PAV heißt in der Tübinger Baumbank PROP, vgl. ausgeteilte STTS-Übersicht und in der TIGER Baumbank PROAV

26 ( 2 ) Pronomen in den Tagsets Penn Treebank PRP, PRP$: personal pronoun, possessive pronoun WDT, WP, WP$, WRB: Wh-determiner, Wh-pronoun, possessive Whpronoun, Wh-adverb

27 Determinierer auch: Artikel Morphologische Eigenschaften werden flektiert Semantische Eigenschaften legen Referenz des Substantivs fest definit/indefinit, bestimmt/unbestimmt Distributionelle Eigenschaften treten stets zusammen mit einem Substantiv auf Scheinbare Ausnahme: Ellipsen (1) Ich nehme das große Stück. Du bekommst [das kleine ].

28 Tagsets Determinierer in den STTS ART anderen Wortarten zugeordnet APPART: Präposition mit Artikel: zum PDAT: attribuierende Demonstrativpronomen: diese NN Penn Treebank DT

29 ( 1 ) Adverb Morphologische Eigenschaften ( kompariert wird nicht flektiert (manche werden Engl.: werden mit -ly gebildet ( Adverb ) aber: friendly (Adjektiv), seldom/often Semantische Eigenschaften, Beispiele: temporal: heute, oft,.. lokal: dort, hier, unten, dorthin,... modal: eilend, flugs, gerne,.. kausal: deswegen, umständehalber,...

30 ( 2 ) Adverb ( Fortsetzung ) Semantische Eigenschaften : Satzadverbien Stellungnahme: leider, hoffentlich Wahrscheinlichkeit: vielleicht, möglicherweise,... Bewertung: dummerweise,... : Konjuktionaladverbien Beziehung zum Vortext: Trotzdem/ infolgedessen /deshalb... : Pronominaladverbien da-/hier-/wo-+präposition (1) Er kümmert sich darum, dass nichts passiert.

31 ( 3 ) Adverb Distributionelle Eigenschaften Deutsch: Können am Satzanfang alleine vor dem finiten Verb auftreten (1) Leider/Heute/Hier regnet es.

32 Tagsets Adverben in den STTS ADV oder anderen Hauptklassen zugeordnet: PWAV, adverbiales Fragepronomen: warum, wann, worüber, wobei,... PAV, Pronominaladverb: dafür, dabei, deswegen, trotzdem,... in STTS keine w-pronominaladverbien, sind alle PWAV PAV heißt in der Tübinger Baumbank PROP, vgl. ausgeteilte STTS-Übersicht und in der TIGER Baumbank PROAV Penn Treebank RB, RBR, RBS - Steigerungsformen

33 ( 1 ) Präposition allgemeiner: Adposition Morphologische Eigenschaften werden nicht flektiert Semantische Eigenschaften ( temporal ) Zeitangaben (1) Sie besucht uns in drei Wochen ( Weise Modalangabe (Art und (2) Die Tür wird in Rot gestrichen. ( Grund ) Kausalangabe (3) Er weint vor Freude.

34 ( 2 ) Präposition (' Eigenschaften (Fortsetzung: Semantische Lokalangabe (Ort), Temporalangabe (Zeit) (4) Sie wartet auf dem Bahnsteig Neutral (grammatikalisiert) (5) Sie wartet auf den Zug.

35 ( 3 ) Präposition Distributionelle Eigenschaften treten normalerweise mit Nominalphrasen auf, bestimmen ( regieren ) deren Kasus (1) neben dem Haus, *neben des Hauses ( lokal ) (2) in das Haus (direktional) / in dem Haus ( Adverb (3) Er ist von hier (mit Präposition geht dem Nomen voran: vor dem Nomen Postposition: folgt dem Nomen nach: den Zaun entlang Zirkumposition: zweigeteilt: um.. willen, um... herum

36 Tagsets Präpositionen in den STTS APPR: Präposition APPRART: Präposition mit Artikel: zum, am,... APPO: Postposition APZR: rechter Teil einer Zirkumposition (1) Um ihn herum stehen viele Leute (1 ) Um_APPR ihn_pper herum_apzr stehen_vvfin viele_piat Leute_NN Penn Treebank IN: Präpositionen und subordinierende Konjunktionen ( 39 (siehe Folie

37 Konjunktion auch: Koordinierende Konjunktion Morphologische Eigenschaften wird nicht flektiert Semantische Eigenschaften verbindet zwei (oder mehr) gleichwertige Sätze oder Satzteile (1) und, oder, sowohl... als auch STTS: KON ( conjunction Penn Treebank: CC (coordinating

38 Subjunktion auch: subordinierende Konjunktion Morphologische Eigenschaften wird nicht flektiert Semantische Eigenschaften bindet Sätze in andere Sätze ein, z.b. Argumentsatz:..., dass... temporal:..., dann... kausal:..., weil... Distributionelle Eigenschaften tritt (fast) nur an der ersten Position im Teilsatz auf

39 Tagsets Subjunktionen in den STTS KOUS: subordinierende Konjunktion mit Satz (1)..., weil er nach Hause geht. KOUI: subordinierende Konjunktion mit zu-infinitiv (2)... um nach Hause zu gehen. Penn Treebank IN: gemeinsames Tag für subordinierende Konjunktionen und Präpositionen (3) I think that_in he left early. (4) The kettle is on_in the fire.

40 Partikeln Morphologische Eigenschaften nicht flektiert Semantische Eigenschaften Modalpartikel: Abtönungspartikel (1) Er hat ja/doch/einfach keine Zeit Alternativenbezug Fokuspartikel: (2) Auch/nur/sogar Peter kommt. Steigerungspartikel: intensifier (3) ziemlich/sehr/ungemein dumm Antwortpartikel: ja, nein

41 Partikeln in den Tagsets STTS PTKZU: zu mit zu-infinitiv PTKNEG: Negationspartikel nicht PTKVZ: abgetrennte Verbpartikel (1) er kommt_vvfin hier mit_ptkvz. Vergleiche: (2) dass er hier mitkommt_vvfin. PTKANT: Antwortpartikel (3) ja, nein, danke, bitte PTKA: Partikel mit Adjektiven/Adverbien (4) am schönsten, zu schnell Penn Treebank RP

42 0ffene und geschlossene Klassen ( Inhaltswörter ) lexikalische Klassen offene Klassen: erlauben Neubildungen Nomen, Verben, Adjektive, Adverbien Funktionswörter geschlossene Klassen: kaum Neubildungen Präpositionen, Artikel, Modalpartikel Grammatikalisierung Verlust der lexikalischen Bedeutung bei gleichzeitiger Verwendung als Funktionswort (1) Das ist voll gut

43 Sind Wortarten universell? Wortarten sind nicht universell Bsp.: Latein besitzt, anders als Griechisch, keine Artikel. Folge: Anpassung der klassischen 8 Wortarten von Thrax an die Gegebenheiten des Lateinischen durch Ersetzung der Wortart Artikel mit Interjektion ('uh'). Grammatiken durch das Griechische / das ( verzerrt Lateinische geprägt (bzw. Standardisierungsbestrebungen EAGLES-Empfehlungen für europäische Sprachen GOLD-Ontologie

44 Beispiele für sprachspezifische Wortarten ( 1 ) bzw. deren Fehlen Deutsch Verschmelzung von Präposition und definitem Artikel. Unterklasse: Kontrahierte Form (1) am, zum, beim usw. Dänisch Definiter Artikel als Affix, wenn kein Adjektiv beim Nomen: Unterklasse: definites Nomen ( Buch (2) en bog (ein Buch) / bogen (das Japanisch, Latein, Polnisch, Russisch, Inuktitut,... besitzen keine Artikel (. singt (3) Polnisch: chłopiec śpiewa (Ein/Der Junge

45 Beispiele für sprachspezifische Wortarten bzw. ( 2 ) deren Fehlen Inuktitut Ist stark agglutinierend, d.h. es werden sehr komplexe Wörter aus vielen Morphemen gebildet keine subordinierenden Konjunktionen keine Präpositionen (sondern Kasusmorpheme) Adjektive existieren nur als gebundene Morpheme (1) silaluk sila -luk = Wetter-schlecht "schlechtes Wetter" (2) ijiluktunga iji -luk -tunga = Auge-schlecht-1.singular_intransitiv "Ich habe schlechte Augen" ( 41 (Nowak 2007:

46 Referenzen Meibauer Jörg et al. (2007). Einführung in die germanistische Linguistik. Stuttgart / Weimar: Metzler, Kapitel 4.1-2, 4.4.1, 4.5 Dudenverlag: Duden Die Grammatik (Bd. 4). W. Nelson Francis und Henry Kučera Frequency analysis of English usage : lexicon and grammar. Boston : Houghton Mifflin, 1982; Elke Nowak Einführung ins Inuktitut. Manuskript. TU Berlin. board.cgi?id=angli&action=view&gul=83&page=1&go_cnt=0 Karin Pittner und Judith Berman Deutsche Syntax. Ein Arbeitsbuch. Tübingen: Narr. Anne Schiller, Simone Teufel, Christine Stöckert und Christine Thielen Guidelines für das Tagging deutscher Textcorpora mit STTS. Technischer Bericht. Institut für maschinelle Sprachverarbeitung, Stuttgart. Beatrice Santorini Part-of-Speech Tagging Guidelines for the Penn Treebank Project. Technischer Bericht. University of Pennsylvania. ftp://ftp.cis.upenn.edu/pub/treebank/doc/tagguide.ps.gz