Einführung in die Korpuslinguistik

Transkript

1 Einführung in die Korpuslinguistik SE: Quantitative Analyse linguistischer Variation Dozentin: Ines Rehbein Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 1 / 31

2 Überblick 1 Was sind Korpora? 2 Kurze Geschichte der Korpuslinguistik 3 Können Korpora Antworten auf linguistische Fragestellungen geben? 4 Referenzen Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 2 / 31

3 Korpus - Achtung, Genusfalle! der Korpus (die Korpusse) Resonanzkörper eines Saiteninstuments (Klangkörper) das Grundteil eines Möbelstücks (ohne Türen usw.) die Korpus (kein Plural) Schriftgrad von 10 Punkt das Korpus (die Korpora) lat. corpus/corporis Körper Sammlung schriftlicher oder gesprochener Äußerungen (Lemnitzer/Zinsmeister) Englisch: corpus, corpora Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 3 / 31

4 Und was ist ein Korpus? Carstensen et al. (2004) Sammlungen linguistisch aufbereitete(r) Texte in geschriebener oder gesprochener Sprache, elektronisch gespeichert Manning and Schütze (1999) Gewisse Menge an Daten von einer bestimmten, interessanten Domäne Kilgariff (2003) Eine Sammlung von Texten Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 4 / 31

5 Und was ist ein Korpus? (2) Ein Korpus ist eine Sammlung schriftlicher oder gesprochener Äußerungen. Die Daten des Korpus sind typischerweise digitalisiert, d.h. auf Rechnern gespeichert und maschinenlesbar. Die Bestandteile des Korpus, die Texte, bestehen aus den Daten selbst sowie möglicherweise aus Metadaten, die diese Daten beschreiben, und aus linguistischen Annotationen, die diesen Daten zugeordnet sind. (Lemnitzer and Zinsmeister 2006, S. 7) Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 5 / 31

6 Und was ist ein Korpus? (3) Daten SPK0 Transkription Guck mal! Pxxx berlinert auch. Annotation SPK0 Part-of-Speech VVIMP ADV $. NE VVFIN ADV $. Table: VVIMP: Vollverb, imperativ; ADV: Adverb; NE: Eigenname; VVFIN: Vollverb, finit Metadaten Sigle: Name: Alter: Geschlecht: Sprache: Hintergrundsprache: SPK0 Pxxx 14 Jahre weiblich Deutsch Türkisch Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 6 / 31

7 Und was ist ein Korpus? (4) Definition hängt im Wesentlichen davon ab wer definiert wozu das Korpus gebraucht wird Beispiele für Korpora: geschriebene Texte (z.b. Zeitungstexte, historische Texte, Kochrezepte, transkribierte gesprochene Sprache,...) Textkorpora Audiodateien (Sprachaufnahmen, evt. mit Transkription und phonetischer Annotation) Sprachkorpora Videos (z.b. Gebärdensprache, evt. mit Transkription) multimodale Korpora... Oft mit linguistischen Annotationsebenen (phonetische Annotation, Wortartenauszeichnung, Syntax, Semantik, Diskurs,...) Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 7 / 31

8 Beispiel: Textkorpora DDR-Korpus 1150 Texte von 1949 bis 1990, die in der DDR erschienen sind, bzw. von DDR-Schriftstellern geschrieben und in der BRD veröffentlicht wurden 9 Millionen Textwörter (tokens) in 1150 Dokumenten DWDS-Kerncorpus zeitlich und nach Textsorten ausgewogenes Korpus des gesamten 20. Jahrhunderts 100 Millionen Textwörter (tokens) in Dokumenten Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 8 / 31

9 Beispiel: Textkorpora DDR-Korpus 1150 Texte von 1949 bis 1990, die in der DDR erschienen sind, bzw. von DDR-Schriftstellern geschrieben und in der BRD veröffentlicht wurden 9 Millionen Textwörter (tokens) in 1150 Dokumenten unausgewogen, nur für bestimmte Fragestellungen geeignet DWDS-Kerncorpus zeitlich und nach Textsorten ausgewogenes Korpus des gesamten 20. Jahrhunderts 100 Millionen Textwörter (tokens) in Dokumenten ausgewogen, balanciertes Korpus Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 9 / 31

10 Beispiel: Sprachkorpus Alcohol Language Corpus (ALC) Ziel dieses Projektes ist die Schaffung eines umfangreichen Sprachkorpus mit Sprache unter Alkoholeinfluss. Anhand dieses Korpus soll es erstmals möglich werden, auf einer soliden statistischen Basis und auch für weibliche Sprecher den Einfluss von Alkohol auf die Sprache zu untersuchen (150 Sprecher). Das Korpus enthält eine Vielzahl von Sprachstilen, von einfachen Zahlenketten, über gelesene Sprache, Zungenbrecher, Kommandos (situational prompting), Monologe bis hin zu echter Konversation. Der Grad der Alkoholisierung wird über Atem- und Blutalkohol gemessen. ALC wird in enger Kooperation mit dem Institut für Rechtsmedizin, LMU München, und dem Bund gegen Alcohol und Drogen im Straßenverkehr (B.A.D.S.) durchgeführt. Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 10 / 31

11 Beispiel: Sprachkorpus (II) Datenerhebung Das Korpus ALC enthält Aufnahmen von Sprechern, die entweder nüchtern oder alkoholisiert waren. Der Sprachtyp rangiert von gelesenen Einzelziffern bis hin zu echter Dialogsprache. Die Aufnahmen wurden bei offiziellen Trinkversuchen des Instituts für Rechtsmedizin, LMU, durchgeführt, bei welchen die Versuchspersonen Bier oder Wein zu sich nahmen, um einen von ihnen selber gewählten Blutalkohollevel zu erreichen. Der echte Blutalkohollevel wurde anhand der Atem- bzw. Blutalkoholkonzentration unmittelbar vor der Sprachaufnahme ermittelt. Aufgenommen wurde in zwei Versuchsfahrzeugen, um ein gleichbleibendes akustisches Umfeld in verschiedenen Aufnahmeorten zu gewährleisten; beide Aufnahmen desselben Sprechers (alkoholisiert und nicht alkoholisiert) wurden im selben Versuchsfahrzeug und mit dem selben Dialogpartner durchgeführt. Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 11 / 31

12 Beispiel: Sprachkorpus (III) Datenerhebung Intoxicated Prompt Set 001 Bitte lesen Sie die Telefonnummer: Bitte sprechen Sie mit dem Versuchsleiter: Unterhalten Sie sich über einen Ihrer Urlaube. 003 Bitte so schnell wie möglich lesen: Messwechsel, Wachsmaske, Wachsmaske, Messwechsel 004 Bitte lesen die Adresse: Ernst-Fahlbusch-Straße 79, Göttingen Weende Bitte so schnell wie möglich lesen: Die Köchin mit dem Tupfenkopftuch kocht Karpfen in dem Kupferkochtopf. 017 Bitte Adresse lesen: Schwester-Hermenegildis-Straße Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 12 / 31

13 Beispiel: Gebärdensprachkorpus (multi-modal) American Sign Language Linguistic Research Project Corpus (ASLLRP) künstlich erzeugte Sätze, die bestimmte Satzstrukturen in ASL abbilden Sätze mit festem Vokabular für Computer Vision Research, Kurzgeschichten, Dialoge, verschiedene Sichten auf Handformen in ASL geringe Größe, aufwendig in der Erstellung, nicht repräsentativ Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 13 / 31

14 Zwischenfazit Welche Texte ein Korpus enthält, ist abhängig von der Fragestellung Abbildung des gesamten Wortschatzes des 20. Jahrhunderts Sprache in der DDR Sprache unter Alkoholeinfluss Wichtig: Kontrolldaten! z.b. Daten der gleichen Sprecherin: akoholisiert - nüchtern z.b. Daten aus der DDR - BRD z.b. Daten aus verschiedenen Dekaden (ist ein Wort typisch für eine bestimmte Dekade?) Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 14 / 31

15 Outline 1 Was sind Korpora? 2 Kurze Geschichte der Korpuslinguistik 3 Können Korpora Antworten auf linguistische Fragestellungen geben? 4 Referenzen Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 15 / 31

16 Erste Korpora Schon im 19. Jhdt. (und früher) Verwendung von Textsammlungen zur Beschreibung von Sprachwandel Wörterbucherstellung (z.b. Grimmsches Wörterbuch) Dokumentation von Spracherwerb Belege für grammatische Aussagen meist Belege aus der Literatur nicht repräsentativ Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 16 / 31

17 Frühe korpusbasierte Forschung (nicht digital) Feldforschung (Amerikanischer Strukturalismus): Boas (1940): Untersuchung aussterbender indianischer Sprachen wenige tausend Wörter; v.a. phonologische und morphologische Studien Kindlicher Spracherwerb: : Tagebuchstudien von Eltern; wurden bis vor kurzem als Referenzdaten genutzt (z.b. von Ingram 1978) : Large Sample Studies: Daten von vielen verschiedenen Kindern (z.b. McCarty 1954) 1957-heute: Langzeitstudien: Daten von wenig Kindern über einen langen Zeitraum (z.b. Brown 1973, Bloom 1970) Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 17 / 31

18 Frühe korpusbasierte Forschung (nicht digital) Lauthäufigkeiten/Frequenzverteilung von Buchstaben(sequenzen) im Deutschen (Käding 1897) Fremdsprachunterricht (Fries & Traver 1940, Bongers 1947): Vokabellisten aus Korpora abgeleitet Historische, diachrone Linguistik z.b. Deutsches Wörterbuch von Jakob und Wilhelm Grimm (1854) Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 18 / 31

19 Erste digitale Korpora Anfang 60er: Brown University Standard Corpus of Present-Day American English (Francis & Kucera) synchron, ausgewogen (balanced) ca. 1 Mio. Token (500 Samples mit je 2000 Token) geschriebene Sprache von 1961 Korpus fertiggestellt in 1964 Andere Korpora folgten: Lancaster-Oslo/Bergen (LOB) Corpus (Leech) London-Lund Corpus (LLC, Swartvik) Kolhapur Corpus of Indian English (Shastri) Australian Corpus of English (ACE) Wellington Corpus of Written New Zealand English Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 19 / 31

20 Erste Reaktionen auf linguistische Korpora 1957: Noam Chomsky, Syntactic Structures Empirismus als herrschendes Paradigma in der Linguistik (und anderen Kognitionswissenschaften) wird vom Rationalismus abgelöst Empirismus: Erkenntnis durch Beobachtung Beschreibung real vorkommender Daten Aussagen, die nicht von anderen Aussagen abgeleitet werden können, müssen auf sinnlicher Erfahrung basieren Rationalismus: Erkenntnis durch Vernunft Existenz erfahrungsunabhängiger Begriffe (angeborene Ideen) Aussagen werden durch vernünftige Einsicht gewonnen und sind erfahrungsunabhängig Basis ist Vernunft Erfahrung als Basis nicht ausgeschlossen, aber unwichtig (vgl. Lemnitzer und Zinsmeister 2006, S.15 ff.) Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 20 / 31

21 Erste Reaktionen auf linguistische Korpora (2) Vom Empirismus zum Rationalismus: Trendwende in der linguistischen Forschung Fokus auf Sprachkompetenz; Sprachperformanz und quantitative Aspekte von Sprache gelten als uninteressant: Linguistic theory is concerned primarily with an ideal speaker-hearer in a completely homogeneous speech-community, who knows its language perfectly, and is unaffected by such grammatically irrelevant conditions as memory limitations, distractions, shifts of attention and interest, and errors (random or characteristic) in applying his knowledge of the language in actual performance. (Chomsky, 1965:3) Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 21 / 31

22 Erste Reaktionen auf linguistische Korpora (3) Wenig Interesse an empirischen, korpus-linguistischen Projekten Korpora als zufällige, nicht repräsentative Sammlungen von Texten, die keinen wirklichen Einblick in die Sprachkompetenz geben Any natural corpus will be skewed. Some sentences won t occur because they are obvious, others because they are false, still others because they are impolite. The corpus, if natural, will be so wildly skewed that the description [of language based on the corpus] would be no more than a mere list. (Chomsky, 1962:159) Methodik: Introspektion (armchair linguistics) Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 22 / 31

23 Introspektion versus Korpuslinguistik - Pro & Kon The Armchair Linguist: He sits in a deep soft armchair, with his eyes closed and his hands clasped behind his head. Once in a while he opens his eyes, sits up abruptly shoutin, Wow, what a neat fact!, grabs his pencil, and writes something down... having come still no closer to knowing what language is really like. (Fillmore, 1992:35) Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 23 / 31

24 Introspektion versus Korpuslinguistik - Pro & Kon (2) Kritik an der Methodik der Korpuslinguistik: Korpora nicht nützlich, um Sprachkompetenz zu erforschen Korpora sind unvollständig können Sprache nie wirklich abbilden Korpora geben ein verzerrtes Bild von Sprache was bedeutet es, wenn ein Phänomen im Korpus selten/häufig ist? (Typos, zufällig Auswahl, nicht repräsentativ) Warum Daten sammeln, wenn man Kompetenzdaten viel schneller und einfacher erhalten kann? Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 24 / 31

25 Exkurs: Können Korpora Antworten auf linguistische Fragestellungen geben? 2 Beispiele: Beispiel I: Partikelverben (Müller & Meurers, 2006) Beispiel II: Idiome (Geyken et al., 2004) Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 25 / 31

26 Beispiel I: Partikelverben (Müller & Meurers, 2006) Theorie: Verbpartikeln können nicht vorangestellt werden (Ausnahme: prädikative Partikeln wie auf in aufmachen) Korpusevidenz: Los PART ging es schon in dieser Woche. (taz, ) Vor PART hat er das jedenfalls. (taz, ) Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 26 / 31

27 Beispiel II: Idiome (Geyken et al., 2004) Theorie: klassische Ansätze betonen die Invariabilität von Idiomen (Katz, 1973; Chomsky, 1980) Korpusevidenz: kein Blatt vor den Mund nehmen Pluralisierung: ohne Blätter vor den Mund zu nehmen Quantifizierung: Hier nahm er manches Blatt vor den Mund der sich 100 Blätter vor den Mund nimmt Adjektivische Modifikation eines oder beider Nomen: mit einem postmodernen Blatt vor dem Munde kein Blatt vor seinen republikfeindlichen Mund Nomen-Modifikation: ohne das geringste (Klee-)Blatt vor den vorlauten Mund zu nehmen Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 27 / 31

28 Können Korpora Antworten auf linguistische Fragestellungen geben? (2) Korpora erweisen sich als fruchtbare Hilfsmittel für linguistische Forschung: ermöglichen die Überprüfung linguistischer Theorien sinnvolle Ergänzung der Introspektion Daher seit den 80ern: steigender Bedarf nach mehr Korpusdaten mehr Annotationsebenen (Syntax, Semantik, Prosodie, Metadaten,...) mehr Sprachen Seitem viele neue Korpusprojekte Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 28 / 31

29 Linguistische Daten - Fazit Introspektion Frage nach der Sprachkompetenz (was ist grammatisch?) qualitativ (kategorial) Ist eine bestimmte Konstruktion grammatikalisch? Ja/Nein nicht empirisch Korpusdaten Frage nach der Performanz (welche Konstruktionen kommen tatsächlich vor?) qualitativ und quantitativ (probabilistisch, Frequenzdaten) Wie häufig ist eine bestimmte Konstruktion? empirisch Was ist am besten? Eignung der verschiedenen Methoden hängt ab von der jeweiligen Forschungsfrage Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 29 / 31

30 Referenzen I Korpuslinguistik Viele der hier gezeigten Folien basieren auf Lehrmaterial von Anke Lüdeling: korpuslinguistik/mitarbeiter-innen/anke/pdf/bochumfolien.pdf und auf Lehrmaterial von Steffi Dipper und Bettina Schrader Graeme Kennedy An Introduction to Corpus Linguistics. Longman. Corpus Linguistics. Tony McEnery and Andrew Wilson. Edinburgh Textbooks in Empirical Linguistics. Lemnitzer & Zinsmeister Korpuslinguistik: Eine Einführung. Tübingen: Narr. Walter Hoffmann: Probleme der Korpusbildung in der Sprachgeschichtsschreibung und Dokumentation vorhandener Korpora. In: Werner Besch (Hrsg.): Sprachgeschichte: ein Handbuch zur Geschichte der deutschen Sprache und ihrer Erforschung. S De Gruyter, Berlin (1998). Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 30 / 31

31 Referenzen II Heutige Korpora DWDS: DDR-Korpus: Alcohol Language Corpus: American Sign Language Linguistic Research Project Corpus: Frühe digitale Korpora Brown Corpus A Standard Corpus of Present-Day Edited American English, for use with Digital Computers (Brown). 1964, 1971, Compiled by W. N. Francis and H. Kučera. Brown University. Providence, Rhode Island. Lancaster-Oslo/Bergen (LOB) Corpus The LOB Corpus, original version ( ), compiled by Geoffrey Leech, Lancaster University, Stig Johansson, University of Oslo (project leaders), and Knut Hofland, University of Bergen (head of computing). The LOB Corpus, POS-tagged version ( ), compiled by Geoffrey Leech, Lancaster University, Stig Johansson, University of Oslo (project leaders), Roger Garside, Lancaster University, and Knut Hofland, University of Bergen (heads of computing). London-Lund Corpus (LLC) Svartvik, J. & R. Quirk, eds A Corpus of English Conversation. Lund Studies in English, 56. Lund: Liber/Gleerups. Svartvik, J., ed The London Corpus of Spoken English: Description and Research. Lund Studies in English, 82. Lund: Lund University Press. Kolhapur Corpus of Indian English Shastri, S. V The Kolhapur Corpus of Indian English and work done on its basis so far. ICAME Journal 12: Andere Arbeiten: Pittner Freie Relativsätze und die Kasushierarchie. In: Elisabeth Feldbusch, Reiner Pogarell und Cornelia Weiá (eds.), Neue Fragen der Linguistik. Akten des 25. Linguistischen Kolloquiums, Paderborn Band 1. Tübingen: Niemeyer, (Linguistische Arbeiten 270) Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 31 / 31