Stefan Engelberg (IDS Mannheim), Workshop Corpora in Lexical Research, Bucharest, Nov [Folie 1] DWDS-Kernkorpus / DWDS corpus analysis

Transkript

1 Content 1. Empirical linguistics 2. Text corpora and corpus linguistics 3. Concordances 4. Application I: The German progressive 5. Part-of-speech tagging 6. Fequency analysis 7. Application II: Compounds 8. Co-occurrence analysis 9. Application III: Word senses in lexicography 10. Keyword analysis 5.1 Software III: DWDS corpora and analysis 5.2 Using POS tags Stefan Engelberg (IDS Mannheim), Workshop Corpora in Lexical Research, Bucharest, Nov [Folie 1] DWDS-Kernkorpus / DWDS corpus analysis Developer: Berlin-Brandenburgische Akademie der Wissenschaften. Version: (no versioning). Search: online. Software: online. Access: free, registration. Corpora: online; DWDS-Kernkorpus (100 mio. running words) and other corpora (more than 500 mio. running words). Languages: German. URL: Stefan Engelberg (IDS Mannheim), Workshop Corpora in Lexical Research, Bucharest, Nov [Folie 2] 1

2 5.1 Software II: DWDS corpora & analysis text basis Basis of the Digitales Wörterbuch der Deutschen Sprache des 20. Jahrhunderts 100 mio. running words (public part), distributed evenly over 10 decades lemmatized, POS-tagged Texts in the DWDS-Kernkorpus : Fiction (ca. 26%) newspapers / journals (ca. 27%) specialized texts (ca. 22%) other non-fiction (ca. 20%) (transcribed) spoken language. (ca. 5%) Stefan Engelberg (IDS Mannheim), Workshop Corpora in Lexical Research, Bucharest, Nov [Folie 3] search filters search expression (hier: national) Filter option Zeitraum (period) (here: ) Filter option Textsorte (text type) (here: science) Stefan Engelberg (IDS Mannheim), Workshop Corpora in Lexical Research, Bucharest, Nov [Folie 4] 2

3 Results Stefan Engelberg (IDS Mannheim), Workshop Corpora in Lexical Research, Bucharest, Nov [Folie 5] Syntax of search language Some examples Funktion Lemmasuche Wortformensuche Wortkettensuche Wortteilsuche Abstandssuche und-suche Suche mit Tags Beispiel "spielen Domino" Domino" *spiel "spielen #3 Domino" Domino && Schach "haben Suchziel: Belege mit beliebigen Wortformen des Lexems spielen der Wortform spielte Wortketten, die aus einer beliebigen Wortform von spielen gefolgt von einer beliebigen Wortform von Domino bestehen Wortketten, die aus der Wortform spiele gefolgt von einer beliebigen Wortform von Domino bestehen einer Wortform, die auf spiel endet Wortketten, die aus einer beliebigen Wortform von spielen gefolgt im Abstand von bis zu 3 Wörtern von einer beliebigen Wortform von Domino bestehen sowohl der Wortform Domino als auch der Wortform Schach Wortketten, die aus einer beliebigen Wortform von haben gefolgt von einem Infinitiv und der Wortform können bestehen Stefan Engelberg (IDS Mannheim), Workshop Corpora in Lexical Research, Bucharest, Nov [Folie 6] 3

4 5.2 Using POS tags Part-of-speech tagging Part-of-speech tagging (POS tagging or POST), also called grammatical tagging or word-category disambiguation, is the process of marking up the words in a text as corresponding to a particular part of speech, based on both its definition, as well as its context i.e., relationship with adjacent and related words in a phrase, sentence, or paragraph.. "Part-of-speech tagging." Wikipedia, The Free Encyclopedia. 31 Oct 2008, 03:11 UTC. 1 Nov 2008 < Warning Part-of-speech tagging is not throughout reliable. The definition of the parts of speech are not always accessible to the corpus user. Part-of-speech tagger always cover the data with a theory-dependent structure. Stefan Engelberg (IDS Mannheim), Workshop Corpora in Lexical Research, Bucharest, Nov [Folie 7] Tag sets 5.2 Using POS tags Part of the tag set used for the DWDS corpora ADJA attributives Adjektiv [das] große [Haus] ADJD adverbiales oder [er fährt] schnell prädikatives Adjektiv [er ist] schnell ADV Adverb schon, bald, doch APPR Präposition; Zirkumpos. links in [der Stadt], ohne [mich] APPRART Präposition mit Artikel im [Haus], zur [Sache] APPO Postposition [ihm] zufolge, [der Sache] wegen APZR Zirkumposition rechts [von jetzt] an ART bestimmter oder der, die, das, unbestimmter Artikel ein, eine,... CARD Kardinalzahl zwei [Männer], [im Jahre] 1994 (Ordinalzahlen sind als ADJA getaggt) FM Fremdsprachliches Material [Er hat das mit ``] A big fish ['' übersetzt] ITJ Interjektion mhm, ach, tja KOUI unterordnende Konjunktion um [zu leben], mit ``zu'' und Infinitiv anstatt [zu fragen] KOUS unterordnende Konjunktion weil, daß, damit, mit Satz wenn, ob KON nebenordnende Konjunktion und, oder, aber KOKOM Vergleichskonjunktion als, wie Stefan Engelberg (IDS Mannheim), Workshop Corpora in Lexical Research, Bucharest, Nov [Folie 8] 4

5 Korpusrecherchesysteme search expression: "haben DWDS-Kernkorpus (form of haben + Infinitive +Das können), DWDS-Kernkorpus, KWICs Stefan Engelberg (IDS Mannheim), Workshop Corpora in Lexical Research, Bucharest, Nov [Folie 9] search expression: $p=appr (form of reden + sich + preposition), full text, DWDS-corpus Berliner Zeitung Stefan Engelberg (IDS Mannheim), Workshop Corpora in Lexical Research, Bucharest, Nov [Folie 10] 5

6 search expression: um $p=art $p=nn herum (um + determiner + noun + herum), full text, DWDS-corpus Berliner Zeitung Stefan Engelberg (IDS Mannheim), Workshop Corpora in Lexical Research, Bucharest, Nov [Folie 11] 6