WortartenannotaGon: Tagging

Transkript

1 WortartenannotaGon: Tagging BASIEREND AUF FOLIEN VON DR. H. ZINSMEISTER Gertrud Faaβ Universität StuNgart, InsGtut für maschinelle Sprachverarbeitung Azenbergstr. 12, StuNgart stungart.de 1

2 Einleitung Kategorien: Parts of Speech Philosophie: Kategorienlehre von Aristoteles als SystemaGk der Grundformen des Seins Substanz, QuanGtät, Qualität, RelaGon, Ort, Zeit, Lage, Haben, Wirken und Leiden 2

3 Einleitung Dionysios Thrax (ca v.chr), Alexandria erste griechische GrammaGk 8 Wortarten: Adverben, ArGkel, KonjunkGonen, Nomen, ParGzipien, PräposiGonen, Pronomen und Verben 3

4 Kriterien Morphologische Kriterien flekgerbar oder nicht, Art der FlekGon wortartenspezifische Affigierung in der Wortbildung SemanGsche Kriterien teilweise Bildung von Unterklassen durch Bedeutungsunterschiede DistribuGonelle Kriterien Wortartenkontexte / PosiGonen im Satz, in denen ein Element typischerweise auorin Keines der Kriterien gilt absolut. Es gibt Interaktionen und Ausnahmen. 4

5 MASCHINELLE SPRACHVERARBEITUNG Gertrud Faaß Basierend auf Folien von Dr. H Zinsmeister Klassifizierung Klassifizierung nach morphologischen Kriterien (PiNner & Berman, 2004:15): Wort flekGerbar nicht flekGerbar deklinierbar SubstanGve AdjekGve ArGkel konjugierbar Verben KonjunkGonen PräposiGonen Adverbien ParGkeln InterjekGonen 5

6 Zwei Tagsets StuNgart Tübingen TagSet (STTS) Deutsch Penn Treebank Tagset Englisch 6

7 STTS STTS (Schiller et al. 1999) Wortarten Analyse für die manuelle (und automagsche) AnnotaGon von deutschen Textkorpora Vereinfachung: Leerzeichen = Wortgrenze, keine Mehrwortlexeme 7

8 STTS OrienGerung am Standard der Text Encoding IniGaGve (TEI): 11 Hauptwortarten, spezifiziert in 54 Wortarten Tags (48 & 6 Zusatztags) (Schiller et al., 1999:4) 8

9 STTS: Label Tag ( Label ) Struktur: vom Allgemeinen zum Besonderen (Spezifischeren) Beispiel: Pronomen (1) Diese Lösung klappt. (2) Diese klappt nicht. ad (1): Pronomen demonstragv attribuierend, PDAT ad (2): Pronomen demonstragv subsgtuierend, PDS 9

10 Penn Treebank Tagset Penn Treebank Tagset Santorini (1991) 45 Labels (36 Wortarten und 9 punctuagon tags basiert auf umfangreicheren Tagset des Brown Corpus (Francis & Kudera 1982) Typen von Tags Hauptklassen: noun (common and proper), verb, adjekgve, adverb FunkGonswörter: determiners, preposigons, conjuncgons, pronouns, etc. 10

11 Penn Treebank Tagset Typen von Tags Hauptklassen: noun (common and proper), verb, adjekgve, adverb FunkGonswörter: determiners, preposigons, conjuncgons, pronouns, etc. wichgge Einzelwörter: to, there InterpunkGon Fremdsprachl. Material, Symbole, InterjekGonen, List Marker 11

12 Penn Treebank Tagset Labels sind weniger hierarchisch aufgebaut als im STTS Manche Tags nicht intuigv, JJ = AdjekGve RB = Adverb To ist immer als to annogert ( getaggt ) (1) to_to go_vb to_to university_nn (2) There_EX is_vbz a_dt unicorn_nn in_in the_dt garden_nn 12

13 WortartenannotaGon technisch Wie wird annogert? ImplemenGerungsabhängig university_nn university NN university/nn <word university <pos NN>> Hilfreich: Abfragen auf POS Ebene CWB [(pos= NN )&(word= uni.* )] (Corpus WorkBench, Christ (1994)) 13

14 Wortartenübersicht DIE WORTARTEN DES DEUTSCHEN 14

15 Nomen NOMEN (auch SubstanGv), Pl.: Nomina Morphologische Eigenschaoen: festes Genus Maskulin, Feminin, Neutrum aber: dialektale bzw. regionale Schwankungen:» der/das Teller, der/das Radio aber: Neue Wörter und andere Unsicherheiten:» der/das Joghurt, das/die , der/das Virus Werden nach Numerus und Kasus dekliniert 15

16 Nomen NOMEN(2) Pluralia Tanta: Geschwister, Alpen StoffsubstanGve: nur Singular Reis, Mehl, Sand, Ruhe Hass, Wut, etc. 16

17 Nomen: semangsche Eigenschaoen SemanGsche Eigenschaoen Konkreta Abstrakta Gegenständliches Vorstellungen / Handlungen / Vorgänge / Zustände/Eigenschaoen... (1) Stuhl / Obst Meinung / Ruhe belebt unbelebt (2) Katze / Alge Weg / Schule GaNungsbezeichungen (AppellaGva) Eigennamen (3) ein/der Hund Wolfie 17

18 Nomen: semangsche Eigenschaoen diskret / zaehlbar nicht zaehlbar (4) zwei Stuehle (Sitzmöbel) zwei *Obst (5) zwei Meinungen zwei *Ruhen 18

19 Nomen: semangsche Eigenschaoen Ontologien: Germanet (Deutsche Fassung von Wordnet) Idee: Eine Hierarchie vom Allgemeinen zum Besonderen (in sets) z.b. (Terme: Hypernym (drüber), Hyponym (drunter)) Es gibt EnGtäten (das Seiende) EnGtäten bezeichnen Belebtes, Unbelebtes (Teilweise auch abstrakte Begriffe wie Prozesse) Zu den Belebten zählen Menschen und Tiere Kinder sind Menschen Mädchen sind Kinder, Menschen, Belebtes, EnGtäten 19

20 Nomen: semangsche Eigenschaoen CL Idee MÜ e.g. Englisch Deutsch: Menschen haben doch am Ende in allen Sprachen dieselbe EnGtätshierarchie: könnte mit Hilfe zwei solcher hierarchischen Lexika eine maschinelle Übersetzung vereinfacht werden? Antwort wie Radio Eriwan: Im Prinzip Ja... Beispiel Demo: Schaf versus sheep Wordnet vs. Germanet 20

21 Nomen: semangsche Eigenschaoen Beispiel Hypernyme: Schaf:..ziegenarGger Hohlhörner, Hohlhörner, Wiederkäuer, Paarhufer,...,Plazenta SäugeGer...EnGtät sheep:...bovid (hollow horned ruminants), ruminant, even toad,... placental mammal,...engty... ok 21

22 Nomen: semangsche Eigenschaoen Beispiel Hyponyme: Schaf: Schafsbock, Widder Schaf Lamm Mufflon sheep: hnp://wordnetweb.princeton.edu/perl/webwn 22

23 Nomen: semangsche Eigenschaoen Problem: In den weiteren Begriffen sind sich die Menschen wohl über die meisten Sprachen hinweg einig, aber wenn es um konkrete Gegenstände geht, differieren die Ontologien (unerwartet) stark: Demo Sauerkraut 23

24 Nomen: distribugonelle Eigenschaoen DistribuGonelle Kriterien, typische Kontexte ArGkel (AdjekGv) Nomen (1) Er liest ein neues Buch Aber: Eigennamen, Plurale, StoffsubstanGve, FunkGonsverbgefüge, (2) Max liest gerne Comics. (3) Er isst Obst (ein *Obst) (4) Er hat mit ihr geschlossen 24

25 Nomen: distribugonelle Eigenschaoen DistribuGonelle Kriterien, typische Kontexte PräposiGon (ArGkel)? (AdjekGv)* Nomen (5) Sie zieht die OpGon in Betracht NotaGon: * = Kleene Star (x)* = x kommt null mal, ein mal oder beliebig oo vor (x)? = x kommt nicht oder genau einmal vor 25

26 Nomen: Labels STTS NN: normales Nomen (common noun) NE: Eigenname Penn Treebank NN: noun, singular or mass NNS: noun, plural NNP: proper noun, singular NNPs: proper noun, plural 26

27 Verben: (semangsche) Eigenschaoen VERBEN werden konjugiert: tempus, modus, numerus, person Kategorien / SemanGsche Eigenschaoen: Vollverben (eigene SemanGk) Hilfsverben (Auxiliare, grammagsche Bedeutung) Modalverben (Moeglichkeit, Notwendigkeit, Erlaubnis, Einschaetzung der Wahrscheinlichkeit) Kopulaverben (Zustand oder Fortdauern) 27

28 Verben: distribugonelle Eigenschaoen Verben: distribugonelle Eigenschaoen Vollverben treten selbstständig auf Hilfsverben treten nur zusammen mit einem infiniten Vollverb auf (im ParGzip oder InfiniGv): haben, sein, werden Modalverben treten mit infiniten Vollverben und Kopulaverben auf: können, dürfen, müssen, sollen, wollen, mögen Halbmodalverben mit Vollverb im zu InfiniGv: scheint zu schlafen, verspricht zu bleiben, droht zu kommen,... 28

29 Verben: distribugonelle Eigenschaoen Verben: distribugonelle Eigenschaoen Kopulaverben Sind grammagscher KiN für nicht verbale Prädikate Zählen mehr zu den Vollverben als zu den Auxiliaren (sein,bleiben, werden) (1) Er ist [ NP ein guter Fußballer] (2) Sie wird [ AdjP gesund] (3) Ein GewiNer ist [ PP im Anmarsch] 29

30 Verben: Labels STTS: Vollverben VVFIN: Vollverb, finit VVIMP: Vollverb, ImperaGv VVINF: Vollverb, InfiniGv VVIZU: Vollverb, zu InfiniGv VVPP: Vollverb, ParGzip Perfekt Auxiliare: VAFIN, VAIMP, VAINF, VAPP (haben/sein immer als VA) Modalverben: VMFIN, VMINF,VMPP 30

31 Verben: Labels Penn Treebank VB: Verb, base form VBD: Verb, past tense VBG: Verb, gerund or present pargciple VPN: Verb, past pargciple VBP: Verb, non 3 rd person singular present VBZ: Verb, 3 rd person singular present 31

32 AdjekGve ADJEKTIVE: morphologische Eigenschaoen deklinierbar: groß, große, großes,... Komparierbar: große, größere, größte SemanGsche Eigenschaoen: Qualität: rot, rund, gut, angeblich,... RelaGon: asiahsch, ärztlich, hölzern,... QuanGtät: viel, zweiter, eine, hundert,... adjekgvisch gebrauchte ParGzipien: suchend 32

33 AdjekGve: distribugonelle Eigenschaoen ADJEKTIVE: distribugonelle Eigenschaoen PraedikaGv mit Kopulaverb (nicht flekgert) (1) Der Ball ist rund. Die Freunde sind quin. adverbial verwendet mit Vollverb (nicht flekgert) (2) Das Auto fährt schnell anribuierend (normalerweise flekgert) (3) Der rote Ball. Die roten Linken. können Argumente selegieren (4) Er ist stolz (auf seinen Sieg), Sie ist imstande (zu gehen) 33

34 AdjekGve: Labels STTS ADJA: anribuierendes AdjekGv ADJD: adverbiales oder prädikagves AdjekGv anderen Wortklassen zugeordnet: PIS/PIAT: viele, manche,... CARD: zwei Männer,... 34

35 AdjekGve: Labels Penn Treebank JJ: adjecgve JJR: adjecgve, comparagve JJS: AdjecGve, superlagve CD: two men,... 35

36 Andere Wortarten Pronomen er, sie, es,... Determiner (ArGkel) der, die, das, ein,... Adverb: Satzadverb (leider), KonjunkHonaladverb (infolgedessen),... PräposiGon (AdposiGon) in, vor, auf KonjunkGon (koordinieren) und SubjunkGon (subordinierende KonjunkGon) dass ParGkel ja, doch, auch, ziemlich 36

37 Wortarten: Zusatz Sind Wortarten universell? NEIN! Latein kennt keine ArGkel, NSotho keine PräposiGonen, Anpassungen! Versuch einer Standardisierung: hnp:// (EAGLES: Empfehlungen für europäische Sprachen) 37

38 Referenzen Christ Oliver (1994). A modular and flexible architecture for an integrated corpus query system. COMPLEX 94, Budapest, 199 hnp:// stungart.de/projekte/corpusworkbench/#papers Meibauer Jörg et al. (2007). Einführung in die germanisgsche LinguisGk. StuNgart / Weimar: Metzler, Kapitel 4.1 2, 4.4.1, 4.5 Dudenverlag: Duden Die GrammaGk (Bd. 4). W. Nelson Francis und Henry Kučera Frequency analysis of English usage : lexicon and grammar. Boston : Houghton Mifflin, 1982; hnp://icame.uib.no/brown/bcm.html Elke Nowak Einführung ins InukGtut. Manuskript. TU Berlin. hnp:// berlin.de/fak1/ el/ board.cgi?id=angli&acgon=view&gul=83&page=1&go_cnt=0 Anne Schiller, Simone Teufel, ChrisGne Stöckert und ChrisGne Thielen Guidelines für das Tagging deutscher Textcorpora mit STTS. Technischer Bericht. InsGtut für maschinelle Sprachverarbeitung, StuNgart.hNp:// stungart.de/projekte/corplex/tagsets/ sns 1999.pdf Beatrice Santorini Part of Speech Tagging Guidelines for the Penn Treebank Project. Technischer Bericht. University of Pennsylvania.op://op.cis.upenn.edu/pub/treebank/doc/ tagguide.ps.gz Germanet: hnp:// tuebingen.de/germanet wordnet: hnp://wordnet.princeton.edu 38