Inhalt und Typen von Korpora. Welche Sprachinhalte können Korpora haben und welche Arten von Korpora gibt es

Transkript

1 Inhalt und Typen von Korpora Welche Sprachinhalte können Korpora haben und welche Arten von Korpora gibt es

2 Inhalt von Korpora Korpora können die verschiedensten Texte in den unterschiedlichsten Zusammensetzungen enthalten Beipackzettel für Medikamente Sportreportagen Predigten Cockpit-Gespräche

3 Vielfalt menschlicher Sprache menschliche Sprache umfasst viele Bereiche es existieren viele Variablen, nach denen man Sprache beschreiben kann mündlich/schriftlich formell/informell vorbereitet/spontan sachlich/erdichtet

4 Textsorten die Zusammensetzung von Korpora hängt eng mit der Textsortenproblematik zusammen eine Textsorte klassifiziert eine sprachliche Äußerung nach 1) internen und 2) externen Kriterien 1) z.b. Lexik, Syntax, Aufbau, 2) z.b. Kommunikationssituation,

5 Textsortenbeispiele Radiosendungen Kochrezepte informelle Unterhaltung Verträge politische Reden Science Fiction Liebesbriefe

6 Auswahlkriterien im Idealfall wäre ein Korpus eine vollständige oder repräsentative Sammlung der Texte einer (Sub-)Sprache dieser Anspruch ist nur für kleine Ausschnitte aus einer Sprache einlösbar z.b. alle in der Bundesrepublik verkündeten Gesetze für große Mehrheit der Korpora ist nur Annäherung an das Ideal möglich

7 Repräsentativität da Vollständigkeit selten möglich ist, wäre eine repräsentative Auswahl eine Alternative das Korpus müsste ein genaues Abbild der zu untersuchenden (Sub-)Sprache darstellen zu jedem Parameter (z.b. mündlich/schriftlich) müssten daher gleiche Anteile enthalten sein

8 Repräsentativität eine Stichprobe ist repräsentativ, wenn sie Aussagen über die Grundgesamtheit zulässt die Grundgesamtheit des Deutschen, selbst für das Jahr 2004, lässt sich nicht ermitteln daher kann ein Korpus einer Sprache nicht repräsentativ sein

9 Repräsentativität selbst wenn Grundgesamtheit (z.b. für Zeitungskorpus) ermittelt werden könnte, blieben Fragen wie kann Beliebtheit bestimmter Zeitungen berücksichtigt werden entscheidet Anzahl der Leser oder Höhe der Auflage? wie kann repräsentative Auswahl bei Fachzeitschriften aussehen? ``Wild und Hund, ja/``fleckvieh, nein?

10 Ausgewogenheit wenn man eine Alternative zu repräsentativen Korpora sucht, kann man ``ausgewogene Korpora erstellen in einem ausgewogenen Korpus werden ein oder mehrere Parameter festgelegt und die anderen möglichst gleichmäßig variiert

11 Ausgewogenheit Beispiel: George Bernard Shaws Frühe Theaterstücke Autor festgelegt (G.B. Shaw) Zeit festgelegt (bis 1914) Textsorte festgelegt (Theaterstücke) in diesem Fall kann Untermenge sogar vollständig angegeben werden

12 Ausgewogenheit Beispiel: Bonner Zeitungskorpus festgelegt: Sprache: Deutsch Zeit: (alle fünf Jahre) Zeitungen (Die Welt; Neues Deutschland) nicht festgelegt: welche Ausschnitte aus den jeweiligen Jahrgängen der Zeitungen

13 Ausgewogenheit Beispiel: British National Corpus (BNC) enthält 4055 Texte, 6,25 Mio. Sätze, 100 Mio. Token (Wörter) konstante Parameter: modernes britisches Englisch, variable Parameter: Alter, Geschlecht, regionale und soziale Herkunft der Sprecher, Textsorte, Domäne, Erscheinungsort, Zielgruppe,

14 Ausgewogenheit Variable Parameter umfassen: Region: South, Midlands, North Domäne: Natural science, Commerce, Arts, Belief & thought, Leisure, Zielgruppe: Alter, Geschlecht, Bildungsniveau

15 Ausgewogenheit verhindert, dass einseitige oder zufällige Zusammensetzung des Korpus zu falschen Rückschlüssen führt wenn z.b. nur Texte einer Zeitung, eines Autors, einer Region usf. enthalten sind kann natürlich trotzdem nicht ``die Sprache darstellen

16 Typen von Korpora Drei Typen von Korpora: Referenzkorpus ist in sich abgeschlossen Monitorkorpus ist wachsend ``Datensammlung ist opportunistisch zusammengestellt

17 Referenzkorpus feste Größe (Datensammlung abgeschlossen) meist gut annotiert und ausreichend dokumentiert (man weiß, was man kriegt!) Forschungsergebnisse können reproduziert werden leider veraltet Referenzkorpus mit seinem Erscheinen

18 Monitorkorpus wird beständig mit aktuellen Daten versorgt wächst und veraltet nicht sein Inhalt kann daher aber auch nicht genau definiert werden eignet sich vorzüglich zur Lexikographie (Lexikonerstellung)

19 ``Datensammlung opportunistisch zusammengestellte Ansammlung von Sprachdaten meist unsaubere Daten, d.h. z.b., dass noch Steuerzeichen (z.b. HTML) <br> enthalten sind Zeichensätze falsch kodiert sind ``Datensammlungen haben nur den Vorteil, dass sie schnell und billig zu kriegen sind

20 Typen von Korpora (Inhalt) Nationalkorpora: z.b. BNC, ANC, Deutsches Referenzkorpus (DeReKo) historische Korpora: Helsinki Corpus of English Texts, DeutschDiachronDigital Lernerkorpora: International Corpus of Learner English (ICLE), Fehler annotiertes Lernerkorpus (Falko) HU Berlin gesprochene Sprache: VerbMobil, The Bergen Corpus of London Teenager English (COLT)

21 Deutsches Referenzkorpus DeReKo (Deutsches Referenzkorpus): deutsche Gegenwartssprache entwickelt am IMS, Stuttgart, IDS Mannheim und SfS Tübingen Textauswahlprinzipien nicht dokumentiert (?) über COSMAS II (IDS Mannheim) verfügbar linguistische Annotation bis zu Chunks

22 Helsinki Corpus historisches Korpus: Old English bis Early Modern English, 1 Mio Wörter ausgewogen nach Region (Dialekt) und Genre Schwierigkeit: Verfügbarkeit in den älteren Sprachstufen

23 DeutschDiachronDigital (DDD) Projekt in Planung 15 Universitäten beteiligt (u.a. HU Berlin) historisches Korpus des Deutschen, Althochdeutsch bis 1900 "opportunistisch" (alles, was da ist) AHD ausgewogene Textauswahl (nach Zeit, Region und Textsorte) in MHD, FNHD, MND exemplarisch 3 Textsorten (Brief, Zeitung, Roman) NHD

24 Fehler annotiertes Lernerkorpus z.z. Monitorkorpus wächst an der HU (und FU) Berlin Falko enthält: Texte von Lernern verschiedener Muttersprachen aller Lernstufen Vergleichstexte von deutschen Muttersprachlern ist ``multi-layer -annotiert

25 Beispiel Deutsch: Verbmobil Korpus wurde gesammelt als ein Beispiel und Trainingskorpus für ein großes computerlinguistisches Projekt zur maschinellen Übersetzung von gesprochener Sprache ``gestellte Dialoge, Themen: Terminabsprache, Reiseplanung, Abendgestaltung

26 Welches Korpus brauch ich? Auswahl des Korpus hängt von linguistischer Fragestellung ab. bisweilen muss Korpus selbst zusammengestellt werden z.b. zum Vergleich der Textstruktur in katholischen und evangelischen Predigten zunächst sollte aber der Ansatz auf bereits bestehenden Korpora getestet werden z.b. Vergleich Textstruktur in polit. Reden