Organisatorisches. VL: Einführung in die Korpuslinguistik. Wiederholung: linguistische Daten. Diskussion

Transkript

1 Organisatorisches VL: Einführung in die Korpuslinguistik Anke Lüdeling Sommersemester 2004 Mailingliste: Sie können sich auf der eintragen Übung: Di 10:00-11:30 Uhr Gebrauchstexte Di 11:30-13:00 Uhr persönliche Kommunikation Wiederholung: linguistische Daten "Die korpuslinguistische Analyse ist erst mit der Entwicklung von Computern in den letzten Jahrzehnten möglich geworden. [...] Bevor es möglich war, mit elektronischen Texten zu arbeiten, benutzten Linguisten konstruierte und daher oft künstliche Beispiele, um ihre Hypothesen zu überprüfen. Elektronische Korpora ermöglichen es, große Mengen von authentischen Texten in Betracht zu ziehen und statistisch begründete Schlussfolgerungen zu ziehen." (aus einem studentischen Referat, 2004) Diskussion "Die korpuslinguistische Analyse ist erst mit der Entwicklung von Computern in den letzten Jahrzehnten möglich geworden." viele Methoden und Verfahren, die in der modernen Korpuslinguistik verwendet werden, stammen aus der historischen Linguistik, Soziolinguistik,... Analyse ist jetzt einfacher, standardisierter, Ergebnisse sind leichter reproduzierbar

2 Diskussion "Bevor es möglich war, mit elektronischen Texten zu arbeiten, benutzten Linguisten konstruierte und daher oft künstliche Beispiele, um ihre Hypothesen zu überprüfen." Indogermanisten, Junggrammatiker, Strukturalisten etc. haben immer authentische Beispiele verwendet konstruierte Beispiele und Grammatikalitätsurteile (Introspektion) sind nicht 'schlechter', sie beantworten aber andere Fragen Diskussion "Elektronische Korpora ermöglichen es, große Mengen von authentischen Texten in Betracht zu ziehen und statistisch begründete Schlussfolgerungen zu ziehen." man muss aber genau darauf achten, welche Texte man für welche Fragestellungen heranzieht statistische (quantitative) Auswertung nicht für alle Fragestellungen sinnvoll wenn statistische Aussagen gemacht werden, muss man genau wissen, was man rechnet (Verfahren, Verteilungen) Geschichte der Korpuslinguistik Textsammlungen werden schon im 19. Jhd. (und früher) verwendet, um Sprachwandel zu beschreiben grammatische Aussagen zu belegen/illustrieren Spracherwerb zu dokumentieren Wörterbücher zu erstellen Sprachvergleiche anzustellen... Geschichte der Korpuslinguistik Anm.: Gelegentlich erscheint auch sonst ein s in der Kompositionsfuge nach Femininum, ohne daß es in die Schriftsprache durchgedrungen ist, vgl. z.b. Gemeindsversammlung Hebel 452, 24, Huldszeichen Heine 2, 111, über Naturs Größe Le. 11, 209, 5, Sprachsverbesserer, Leibniz, Unvorgreifl. Ged. 67,3, Vernunftswahrheiten Le. 12, 434, 32. Belege für Anfügung eines s an einen weiblichen Genitiv sind noch: Erdens-Götter Lohenst., Cleop Hermann Paul (1959, Band V, 13)

3 Geschichte der Korpuslinguistik Textsammlungen im Wesentlichen Klassiker, gehobene Schriftsprache für tote Sprachen: alles, was verfügbar ist Wortlisten mit Wörtern in verschiedenen Sprachen keine quantitativen Aussagen möglich keine Ausgewogenheit Strukturalismus synchrone Sprachbetrachtung gesprochene Sprache Amerikanischer Strukturalismus: Boas ( Papa Franz ), Sapir, Bloomfield, Harris einflußreich bis in die 1960er, viele Methoden & Begrifflichkeiten werden heute noch verwendet korpusbasiert (Korpora oft sehr klein) Indianersprachen Strukturalismus Debatte: sollte eine Grammatik nur das gesammelte Fragment (das Korpus) beschreiben oder kann man Aussagen über ungesehene Daten machen Grundsätzliche Idee: eine Sprache ist endlich; wenn man lange genug sammelt, kann man ein komplettes Korpus erhalten Generative Theorie (Chomsky) neues Forschungsziel: SprecherInnen produzieren und verstehen unendlich viele Sätze/Wörter. Deswegen muss die Linguistik die zugrundeliegende Sprachfähigkeit beschreiben (und nicht nur eine gegebene Sammlung von Sätzen). Kompetenz vs. Performanz I-language vs. E-language

4 Generative Theorie in einem Korpus sind Performanzdaten gesammelt, d.h. es gibt viele außersprachliche Faktoren, die die Daten beeinflussen man kann daraus kein Kompetenzmodell ableiten (weil man die außersprachlichen Faktoren nicht herausfiltern kann) daher sollte sich der Linguist/die Linguistin auf Introspektion verlassen Generative Theorie Wenn es unendlich viele Sätze gibt, ist jede Auswahl zufällig. "Any natural corpus will be skewed. Some sentences won't occur because they are obvious, others because they are false, still others because they are impolite. The corpus, if natural, will be so wildly skewed that the description [based upon it] would be no more than a mere list." (Chomsky 1962, 159) Lösung: Introspektion? Introspektion und Korpusdaten Wie produktiv ist das deutsche Suffix -tum? Partikeln aus Partikelverben können nicht topikalisiert werden (Neeleman/Weermann 1993, Stiebels/Wunderlich 1994 u.v.a.) dem letzten Loch pfeifen kann man ins Gras beißen modifizieren? kommt im Korpus vor kommt im Korpus nicht vor Grammatikalität und Korpusdaten grammatisch immer, Wirtschaftskrise, nach 14 Jahren Kohl,... NPs mit 27 Genitivattributen: das Haus der Großmutter der Schwester des Verwalters der... ungrammatisch immmer, letzendlich, unkaputtbar, ich habe fertig,... "Some sentences won't occur because they are obvious, others because they are false, still others because they are impolite." (Chomsky 1962, 159, Hervorhebung AL)

5 Introspektion und Korpusdaten Introspektion und Korpusdaten aber: man braucht eine Norm (Introspektion!), um Korpusdaten zu filtern VM: ja, das scheint mir etwas zu weit auseinandergerissen, ich sehe auch gerade, achtundzwanzigster bis einunddreissigster bin ich also auch nicht da, habe ich gerade gesehen, das deckt sich also auch wieder mit Ihren, ich würde schon mal sagen, wir lassen es alle vierzehn Tage,... Korpusdaten zufällig, nicht ausgewogen Performanzdaten nachvollziehbar, überprüfbar natürliche Kontexte Frequenzanalysen möglich Introspektion jederzeit verfügbar nicht objektiv, nicht überprüfbar manchmal artifizell keine Frequenzdaten Fragestellungen Chomskys zur Korpuslinguistik Theoretische Linguistik Kompetenz, I-language, Struktur: Was ist grammatisch? Introspektion unendlich viele Typen, produktiv synchron Korpuslinguistik Performanz, E-language, Was kommt vor? Instanzen endliche Anzahl von Typen Variabilität, Frequenzdaten in einer Zeit verankert "It doesn't exist" (Chomsky in an interview, answering a question by Bas Aarts "What do you think of corpus linguistics?", 2001)

6 Korpuslinguistik nach 1950 weiterführende Korpusstudien in einigen Gebieten (Dialektologie, historische Linguistik,...) neues Interesse an der Korpuslinguistik, weil man für computerlinguistische und psycholinguistische Fragestellungen Frequenzdaten brauchte allerdings: immer noch keine maschinenlesbaren Korpora Frühe maschinenlesbare Korpora Roberto Busa: Korpus von mittelalterlichen Philosophietexten (Projekt mit IBM ), Konkordanzer (nett: Arbeit von Busa führte später zu folgender CD: Thomae Aquinatis Opera Omnia cum hypertextibus in CD-ROM ) andere Arbeiten an historischen Texten (griechische Bibel, andere religiöse Texte, etc.) Morton s Analyse von Autorenschaft Juillands Mechanolinguistik Frühe maschinenlesbare Korpora Memories of the early days are all of paper tape. It waved in and out of every machine, it dried and then cracked and split or it got damp when it lay limp and then sagged and stretched. Sometimes it curled round you like a hungry anaconda, at others it lay flat and lifeless and would not wind. Above all it extended to infinity in all directions. A Greek New Testament, half a million characters, ran to a mile of paper tape, and the complete concordance of it ran to seven miles (Morton 1980, 197). (zitiert nach Frühe maschinenlesbare Korpora Englisch Quirk (1960s) Survey of English Usage Francis & Kucera: Brown Corpus Svartvik (1970s): London-Lund Corpus Leech: Lancaster-Oslo-Bergen Corpus (LOB) verschiedene korpuslinguistische Zentren in Europa Firth: Kontext, Kollokationen Sinclair: COBUILD, Bank of English

7 Frühe maschinenlesbare Korpora 1 m Wörter (Francis/Kuceras Wortfrequenzen immer noch Standard) Annotationsmethoden werden entwickelt Suchmethoden werden entwickelt Diskussion der Zusammensetzung (sampling method) Second generation corpora viel größer (> 100 m Wörter) Standardisierungsinitiativen Netzwerke viel mehr korpusbasierte Forschung die Feindschaft zwischen generativen LinguistInnen und KorpuslinguistInnen scheint zu schwinden Grundbegriffe: Korpus "corpus linguistics is not a branch of linguistics, but the route into linguistics". Michael Hoey, remark at TALC 1998 Korpora sind Sammlungen von Texten (geschriebener Text, transkribierte gesprochene Sprache) Textkorpora Texte mit syntaktischer Struktur Baumbanken Sprachdaten (Sprachsignal evtl. mit Transkription, phonetische Annotation) Sprachkorpora Sprachdaten mit Transkription und weiterer Information wie Gestik, Mundbewegung etc. multimodale Korpora

8 Grundbegriffe: Korpus "Korpus" wird unterschiedlich definiert im Prinzip kann jeder Text/jede Textsammlung ein Korpus sein in der Korpuslinguistik geht man aber meistens (stillschweigend) davon aus, dass ein Korpus sinnvoll zusammengesetzt ist maschinenlesbar ist eine festgelegte Zusammensetzung & Größe hat Grundbegriffe: Korpus "Korpus" wird unterschiedlich definiert im Prinzip kann jeder Text/jede Textsammlung ein Korpus sein in der Korpuslinguistik geht man aber meistens (stillschweigend) davon aus, dass ein Korpus sinnvoll zusammengesetzt ist eine festgelegte Zusammensetzung & Größe hat maschinenlesbar ist linguistisch annotiert ist /12.05./ Grundbegriffe: Annotation Headerinformation strukturelle Annotation graphische Annotation logische Annotation positionelle Annotation Grundbegriffe: Annotation Headerinformation: Informationen über einen Text (oder Textausschnitt im Korpus) Informationen zum Text: Autor, Textsorte, Entstehungszeit, bibliographische Informationen Informationen zur Erstellung des Korpus: Digitalisierungsverfahren, Annotationsverfahren, beteiligte Personen, verwendete Programme,...

9 Grundbegriffe: Annotation strukturelle Annotation: Informationen zur Struktur eines Textes graphische Annotation: Zeile, Seite, Absatz, Überschrift logische Annotation: Satz, Phrase, Vers Grundbegriffe: Annotation positionelle Annotation: Annotation, die sich auf eine Korpusposition bezieht Einschub: Korpusposition das Korpus ist komplett sequenziert, jedes Wort ( Token) hat eine eindeutige Korpusposition Wenn heute schon zwei Drittel der Bergunfälle auf Unkenntnis oder Selbstüberschätzung der Akteure zurückzuführen sind, bedeutet dies auch,... daß die Absicherungshysterie am Ende genau das Gegenteil von dem bewirkt, was sie bezwecken will. Grundbegriffe: Annotation positionelle Annotation: Annotation, die sich auf eine Korpusposition bezieht zu jedem Token zb Lemmainformation, Wortart, flexionsmorphologische Information, Lesart,... zu jedem Satz zb Struktur, Satzmodus,...

10 Literatur Abney, Steven (1996) Statistical Methods in Linguistics. In: Klavans, Judith & Resnik, Philip (eds) The Balancing Act, MIT Press, Cambridge, MA Evert, Stefan & Fitschen, Arne (2001) Textkorpora. In: Carstensen, Kai-Uwe et al. (eds) Computerlinguistik und Sprachtechnologie. Eine Einführung. Spektrum Akademischer Verlag, Heidelberg McEnery, Tony & Wilson, Andrew (1996) Corpus Linguistics, Edinburgh University Press, Edinburgh The Encyclopedia of Language and Linguistics (1994) (R.E. Asher, editor) Pergamon Press, Oxford