Was ist ein Korpus. Zitat aus: Carstensen et al. Computerlinguistik und Sprachtechnologie: Eine Einführung. Kap. 4.2, Textkorpora

Transkript

1 Was ist ein Korpus Korpora sind Sammlungen linguistisch aufbereitete(r) Texte in geschriebener oder gesprochener Sprache, die elektronisch gespeichert vorliegen. Zitat aus: Carstensen et al. Computerlinguistik und Sprachtechnologie: Eine Einführung. Kap. 4.2, Textkorpora

2 Wozu sind Korpora gut? Belegsammlung für die linguistische, z.b. lexikografische Arbeit Material zum Testen/zur Evaluierung von Analyse Grundlage für die automatische Gewinnung von linguistischer Information Grundlage für das Training statistischer Analyseverfahren

3 Suchmaschine als wichtiges Werkzeug

4 Wozu sind Korpora gut? Belegsammlung für die linguistische, z.b. lexikografische Arbeit Material zum Testen/zur Evaluierung von Analyse

5 Wozu sind Korpora gut? Belegsammlung für die linguistische, z.b. lexikografische Arbeit Material zum Testen/zur Evaluierung von Analyse Grundlage für die automatische Gewinnung von linguistischer Information

6 Statistische Korpusauswertung: Beispiel schwächeln Häufigkeit Jahr Vorkommen Vorkommen 0 in 1996 in 1997 in 1998 in 1999 in 2000

7 Statistische Korpusauswertung: Beispiel schwächeln 90 Gesamt Sport Andere Reihe2 Reihe1 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Reihe2 Reihe1

8 Wozu sind Korpora gut? Belegsammlung für die linguistische, z.b. lexikografische Arbeit Material zum Testen/zur Evaluierung von Analyse Grundlage für die automatische Gewinnung von linguistischer Information

9 Wozu sind Korpora gut? Belegsammlung für die linguistische, z.b. lexikografische Arbeit Material zum Testen/zur Evaluierung von Analyse Grundlage für die automatische Gewinnung von linguistischer Information Grundlage für das Training statistischer Analyseverfahren

10 Wie kommt ein Korpus zustande? Auswahl und Beschaffung der Texte... und der Rechte!

11 Beispiel: Das Wahrig-Korpus Korpus mit (bisher) 6 Jahrgängen deutschsprachiger Periodika Berliner Zeitung Süddeutsche Zeitung Der Spiegel Neue Zürcher Zeitung Der Standard Spektrum der Wissenschaft (ab 1993) Brigitte (ab 1997)

12 Beispiel: Das Wahrig-Korpus 450 Mio. Textwörter Verteilung auf Publikationsorgane Standard 12% Brigitte 1% Spektrum 1% Süddeutsche Zeitung 34% Neue Zürcher Zeitung 24% Spiegel 5% Berliner Zeitung 23%

13 Wie kommt ein Korpus zustande? Auswahl und Beschaffung der Texte... und der Rechte! Normalisierung: Überführung in ein einheitliches Dokumentformat (z.b. XML), ggf. hinzufügen von Information über das Dokument ( metalinguistische Information )

14 Beispiel: Formatierte Header-Information <abschnitt> <titel> <ressort>nachrichten</ressort> <rubrik>sport AKTUELL</rubrik> </abschnitt> <dt>neue Ideen, Kraftfahrzeuge optimal erscheinen zu lassen</dt> </titel> <t>wenn die Lichter angehen</t> <ut>bei Hecklichtern und Innenraumbeleuchtung werden Sicherheit und Komfort ausgebaut</ut>

15 Wie kommt ein Korpus zustande? Auswahl und Beschaffung der Texte... und der Rechte! Normalisierung: Überführung in ein einheitliches Dokumentformat (z.b. XML), ggf. hinzufügen von Information über das Dokument ( metalinguistische Information )

16 Wie kommt ein Korpus zustande? Auswahl und Beschaffung der Texte... und der Rechte! Normalisierung: Überführung in ein einheitliches Dokumentformat (z.b. XML), ggf. hinzufügen von Information über das Dokument ( metalinguistische Information ) Tokenisierung: Identifikation von Textwörtern (allgemeiner: Tokens) und Sätzen

17 Terminologie Token Textwort Wortform Wort (stamm) Lemma

18 Wie kommt ein Korpus zustande? Auswahl und Beschaffung der Texte... und der Rechte! Normalisierung: Überführung in ein einheitliches Dokumentformat (z.b. XML), ggf. hinzufügen von Information über das Dokument ( metalinguistische Information ) Tokenisierung: Identifikation von Textwörtern (allgemeiner: Tokens) und Sätzen Ggf.: Aussortieren von irrelevanten Tokens (Nicht- Wörtern) und Dokumenten (Nicht-Texte)

19 Nicht-Wörter Zahlen DM 240,-- ; (0681) Abkürzungen Verschreiber u.a. (ßenseiter, schööön, Fremdsprachiges Material Eigennamen irrelevante Wörter (Straßennamen, Ortsableitungen, Wörter mit vielen Bindestrichen...)

20 Schrott <p>primärmarktkurse für Franken-Neuemissionen </p><p>betrag Emissions-Rendite(inMio.) CouponZeichnungsfristLiberierungpreisGeldBrief(in%)Inlandsch uldner12513/4eurofima99/ ,900-2,000-1,80 01, /4KantonBern99/ ,800-1,350-1,1 502, /8KantonalbankAargau99/08... </p> (NZZ 1999) <p>1. Bundesliga Herren: Alba Berlin - TuS Herten 115:94, Bayer Leverkusen - TVG Trier 91:69, Tally Oberelchingen - MTV Gießen 55:59, Hitachi Landshut - Steiner Bayreuth 80:89; Spitze: 1. Bayer Leverkusen 28:2 Pkt., 2. Alba Berlin 24:4, 3. Brandt Hagen 22:8, 4. TTL Bamberg 20:8.</p> (Berliner Zeitung 1996)

21 Linguistisch annotierte Korpora Annotation auf Wortebene: Wortart- (Part-of-Speech) Tagger Lemmatisierung und morphologische Analyse

22 Morphologische Analyse z.b. Kategorisierung von Nomina und Artikeln: Kasus Numerus Nom, Akk, Dat, Sg, Pl, Bsp: Der Skandal nützt der SPD ART NN ART NE Masc.Nom.Sg Masc.Nom.Sg Fem.Dat.Pl Fem.Dat.Pl

23 Syntaktische Information: Das TIGER-Korpus