Spezifizierung des Gemeinsamen Europäischen Referenzrahmens für Sprachen mithilfe von korpuslinguistischen Methoden Masterarbeit Kornél Kovács Erstbetreuer: Prof. Dr. Anke Lüdeling Zweitbetreuer: Prof. Dr. Brigitte Handwerker Humboldt-Universität zu Berlin 07.11.2012
Gliederung Historischer Hintergrund Gemeinsamer Europäischer Referenzrahmen für Sprachen (GER) Probleme mit dem GER Forschungsfrage Korpustypologie (Datensammlung, Transkription, Annotation, Analyse) Vorteile und Gewinn des Projektes 2
Historischer Überblick Bewertung der Fremdsprachkenntnisse 1. China, ca. 1000 v. Chr., Prüfung für Beamten, aufgrund klassischer klassischer Werke in niveauvollem Stil philosophische Abhandlungenschreiben -> keine Einstufung 2. Comenius: Didactica Magna (1632): Vorstufe, Halle, Palais, Schatz 3. Vor dem ersten Weltkrieg in den USA, zur Reglementierung der Einwandererströme (Perlman-Balme 2001) -> das erste Institutionalisierte Testverfahren 3
Gemeinsamer Europäischer Referenzrahmen für Sprachen 1991 Europaratssymposion in Rüschlikon (Schweiz): Es soll ein umfassender, kohärenter und transparenter Referenzrahmen zur Beschreibung von kommunikativer Sprachkompetenz entwickelt werden. Gemeinsamer Europäischer Referenzrahmen für Sprachen: Lernen, lehren, beurteilen (Europarat 2000: engl. u. fr. Fassung; 2001: dt. Fassung): Eine umfangreiche Orientierungsbasis für Lehrer, Lehrwerkautoren und Prüfungen, die die Kenntnisse von Fremdsprachlernern für 6 Stufen (A1-C2) mithilfe von Deskriptoren detailliert beschreibt. 4
Gemeinsamer Europäischer Referenzrahmen für Sprachen Illustrative Deskriptoren Prozesse des Sprachlernens- und Lehrens Kompetenzen der Sprachverwendenden Rolle von kommunikativen Aufgaben Sprachenvielfalt Curriculumentwicklung Funktionen des Prüfens und Beurteilens 5
Gemeinsamer Europäischer Referenzrahmen für Sprachen Aufteilung der Referenzniveaus im GER A B C Elementare Sprachverwendung Selbstständige Sprachverwendung Kompetente Sprachverwendung A1 A2 B1 B2 C1 C2 Breakthrough Waystage Threshold Vantage Effective Operational Proficiency Mastery 6
Gemeinsamer Europäischer Referenzrahmen für Sprachen Illustrative Deskriptoren, z. B. Allgemeine Beschreibung für die Stufe B2: Kann die Hauptinhalte komplexer Texte zu konkreten und abstrakten Themen verstehen; versteht im eigenen Spezialgebiet auch Fachdiskussionen. Kann sich so spontan und fließend verständigen, dass ein normales Gespräch mit Muttersprachlern ohne größere Anstrengung auf beiden Seiten gut möglich ist. Kann sich zu einem breiten Themenspektrum klar und detailliert ausdrücken, einen Standpunkt zu einer aktuellen Frage erläutern und die Vor- und Nachteile verschiedener Möglichkeiten angeben. 7
Probleme mit dem GER Theoretische Basis Beruht nicht auf empirischen Daten, sondern auf subjektiven Entscheidungen handlungsorientierter Ansatz Handlung ist schwaches Kriterium Referenzstufen unterspezifiziert Nicht sprachenbezogen Anwendung subjektive Beurteilung durch Testler und Prüfler wenig Hilfe für Lehrer, Lehrbuchautoren und Curriculumautoren Linguistische Forschung 8
Lösungsversuch: Profile deutsch Inhalt von Profile deutsch (Glaboniat et al. 2005) (Beispiele auf der B2-Stufe) Globale Kannbeschreibungen, Sprachproduktion Detaillierte Kannbeschreibungen, Sprachproduktion Thematischer Wortschatz (produktiv) Sprachhandlungen (produktiv) Systematische Grammatik Funktionale Grammatik Kann etwas zusammenhängend beschreiben oder erzählen, dabei wichtige Aspekte darstellen und mit relevanten Details und Beispielen stützen. Kann Erfahrungen, Ereignisse und Einstellungen darlegen und dabei seine/ihre Meinung mit Argumenten stützen. Anschrift, ausweisen, Buchstabe, Gemeinde, Kosename, Ortschaft, Postleitzahl usw. oder nicht?; wie nennt man das?; sowohl als auch; beispielsweise; da fällt mir ein: usw. abhängig von, Adverb als Pro-Form (z. B. Leg die Zeitung bitte dorthin!), alles (z. B. Bitte alles aussteigen. [sic!]), auch (z. B. Habt ihr euch auch gut informiert?) wenn + Konjunktiv II (z. B. Wenn die Stunde doch zu Ende wäre!), Angabe von Seiten, Angabe von Kapiteln, darüber hinaus, das Gesagte (z. B. Das bisher Gesagte hat gezeigt, dass ) 9
Lösungsversuch: Profile deutsch Die Mehrheit der Probleme bleibt ungelöst. Profile deutsch ist eine Sammlung von Meinungen mitwirkender Experten und fachlichen Beratern Man weiß immer noch nicht, was Deutschlerner können und was sie nicht können. 10
Forschungsfrage Wie kann die Sprache von Deutschlernern aufgrund des GER exakt beschrieben werden? Wie kann man die einzelnen Stufen des GER empirisch spezifizieren? Was wissen Deutschlerner auf bestimmten Stufen und was wissen sie nicht? Was für grammatische und lexikalische Phänomene sind typisch für die einzelnen Stufen? 11
Antwort Neue Herangehensweise: Korpuslinguistik Es muss ein Korpus erstellt und ausgewertet werden, das annotierte (geschriebene und gesprochene) Texte von Sprachprüfungen enthält. Vorbildkorpus: Cambridge Learner Corpus (http://www.cambridge.org) Für Englisch als Fremdsprache, geschrieben, 45 Million Wörter, getaggt, geparst und ungefähr 21 Millionen Wörter sind fehlerannotiert; Quelle: Cambridge ESOL Sprachprüfungen 12
Korpustypologie 1. Datensammlung Essaytexte und Audioaufnahmen von Sprachprüfungen notwendige Metadaten 2. Transkription Problematik der Verschriftlichung von geschriebenen und gesprochenen Prüfungstexten 4. Analyse statistische Berechnung von grammatischen und lexikalischen Phänomenen Fehleranalyse 3. Annotation Annotation (Tokenisierung, POS-Tagging, Lemmatisierung, Parsing) Fehlertypologie 13
Datensammlung Primärdaten Vorschlag: die Primärdaten sollen Prüfungstexte sein, die an den GER angepasst sind und die Antworten auf offene Fragestellungen sind Beispiel: Zertifikat Deutsch B1, schriftlicher Ausdruck: Situation: Ein Bekannter schreibt in einem Brief über seinen Geburtstag. XXXX Antworten Sie Ihrem Bekannten. 14
Datensammlung Metadaten: Modifiziertes Set aufgrund des Dublin Core Metadata Sets: Technische Variablen: Identifier: Kürzel für die Datei; Format: Format der Datei, z. B. text, audio Inhaltliche Variablen: Language: Zielsprache Medium (gesprochen, geschrieben) Texttyp: Genre des Textes, (z. B. Essay, Brief, Vortrag, Diskussion usw.) Subject: Thema, in (mehreren) Schlagwörtern (z. B. Urlaub, Hobby) Variablen zum Autor: Muttersprache, Sprachbiographie Alter des Autors, Geschlecht des Autors Contributor: Kürzel für Gesprächspartner (beim mündlichen Ausdruck) Prüfungsvariablen: Referenzstufe, Datum Prüfungskontext, Rightsholder: Prüfungsstelle (Institut); Land 15
Repräsentativität Die Gesamtpopulation kann man nicht erfassen: Alle Prüfungstexte von allen Deutschlernern, die eine Sprachprüfung (angepasst zum GER) in der Welt ablegen. Vorschlag: die Texte so auszuwählen, dass sie bezüglich ihrer Variablen ein möglichst reiches Bild darstellen (Atkins/Clear 1992). Metadatenvariablen festhalten -> virtuelle Korpora erstellen (Repräsentativität für bestimmte Forschungsfragen erhöhen) 16
2. Transkription Vorschlag: Prüfungstexte vom schriftlichen Ausdruck sollen orthographisch transkribiert werden. Prüfungstexte vom mündlichen Ausdruck sollen modifiziert orthographisch transkribiert werden. Beispiel aus dem KiKoDaZ: tok bisschen Süßikalt für Kinder disfluency [äh] [äh] -> Disfluencies, Geräusche, Pausen usw. auf einer anderen Annotationsebene. 17
3. Annotation Schritte der Annotation (mehr-ebenen, standoff) 1. Tokenisierung der Transkripte (rftagger, Schmid & Laws 2008) 2. Korrektur der Tokenisierung 3. pos-tagging (STTS), Lemmatisierung, morphologische Analyse (rftagger Schmid & Laws 2008), Parsing mit (Berkeley, Stanford, MaltParser?) 4. Minimale Zielhypothese zu nicht-kanonischen Formen und Strukturen (Lüdeling 2008, Reznicek et al. 2012) 5. pos-tagging, Lemmatisierung, Parsing der Zielhypothese (Hirschman et al. 2007) 6. Fehlerannotation 18
Annotationsschema: Beispiel Transkription Es ist diese Gesetze die wichtig für die Gesellschaft ist um sie vor Gefahren zu schützen. tok Es ist diese Gesetze die wichtig für die Gesellsc ist haft tok korrigiert Es ist diese Gesetze die wichtig für die Gesellsc ist haft pos PPER VAFIN PDAT NN ART ADJD APPR ART NN VAFIN lemma es sein dies Gesetz d wichtig für d Gesellsc sein haft morph 3 Nom 3 Sg Pr Nom Pl Nom Pl Nom Sg Acc Sin Acc Sin 3 Sg Pr Pos Sg Neut es Ind Neut Neut Fem g Fem g Fem es Ind pars Falko, Reznicek et al. 2012 19
Annotationsschema: Beispiel Zielhypothese Es ist dieses Gesetz, das wichtig für die Gesellsc haft ist, pos PPER VAFIN PDAT NN $, ART ADJD APPR ART NN VAFIN $, lemma es sein dies Gesetz d wichtig für d Gesellsc haft sein morph 3 Nom 3 Sg Pre Nom Sg Nom Sg Acc Sg Acc Sing Acc Sing 3 Sg Pre Pos Sg Neut s Ind Neut Neut Neut Fem Fem s Ind pars Falko, Reznicek et al. 2012 Fehler CHA CHA INS CHA INS 20
Fehlertypologie Was ist ein Fehler? Differenz zwischen Zielhypothese und Ausgangssatz. (Reznicek et al. erscheint) Formen und Strukturen, die Muttersprachler nicht äußern würden. (Hawkins&Buttery 2010) Orientierungspunkt: deutsche Standardsprache 21
Fehlertypologie Vorschlag: allgemeine Fehlertags, die Oberflächenfehler dokumentieren (Dulay et al. 1982), z. B. omission, oversuppliance, misformation, misordering z.b. Falko, ein Teil vom Cambridge Learner Corpus 22
Fehlertypologie Fehlertypen in Falko (Reznicek et al. erscheint) tag INS DEL CHA MOVS MOVT MERGE SPLIT Description inserted token in TH deleted token in TH changed token in TH source location of moved token in TH target location of moved token in TH tokens merged in TH tokens splitted in TH 23
Fehlertypologie Fehlertags in Cambridge Learner Corpus (Nicholls 2003): Allgemeine Fehlertypen: F wrong Form used M something Missing R word or phrase needs Replacing U word or phrase is Unnecessary D word is wrongly Derived + linguistische Fehlertypen, z. B.: MP punctuation Missing RP punctuation needs Replacing ID IDiom error L inappropriate Register (Label) W Word order error 24
Fehlertypologie Vorschlag: 1. Allgemeine Ebene, allgemeine Fehlertags: omission, misformation, redundance, etc. 2. linguistische Ebene, z. B.: CL CoLlocation error ID IDiom error L inappropriate Register (Label) Kriterium: alles, was man mit den allgemeinen Fehlertags nicht berechnen kann. 25
Analyse Statistische Analyse z. B. der folgenden Phänomene auf jeder Referenzstufe: Wortfrequenz Typische Argumentenstrukturen Fehleranalyse (typische Fehler) Progression von positiven features, Regression von negativen fetures und noch vieles mehr (lexikalische Komplexität, Länge der Sätze, usw. vgl. u.a. Lu 2010, Housen & Kuiken 2009) 26
Analyse Frequenz von Fehlern und Chunks, z. B. CLC, Neue Wörter und Ausdrücke auf A2 (http://vocabulary.englishprofile.org) be able to do sth, How/What about...?, bookshelf, build, click, climbing, these days, dinosaur, railway, spare time, take off usw. 27
Analyse Konstituentenanalyse, Argumentstrukturen - Cambridge Learner Corpus: Stufe A2 (Hawkins & Buttery 2010): NP-V NP-V-PP NP-V-NP NP-V-Part-NP NP-V-NP-Part NP-V-NP-PP NP-V-NP-PP NP-V-VPinf NP-V-S He went They apologized [to him] He loved her She looked up [the number] She looked [the number] up She added [the flowers] [to the bouquet] (P = for) She bought [a book] [for him] (Subj Control) I wanted to play They thought [that he was always late] 28
Analyse Fehleranalyse (Hawkins & Buttery 2010) 29
Vorteile und Gewinner Feststellung der Lernerstufen auf empirischer Basis Versuch, subjektive Entscheidungen bei der Unterrichtsplanung, der Einstufung der Sprachlerner und beim Erstellen von Lehrbüchern zu vermeiden Schwer messbarer handlungsorientierter Ansatz kann mit quantifizierbarem Ansatz ergänzt werden Detaillierte Spezifizierung der Stufen mit exakten Tendenzen und konkreten Informationen Einzelsprachenbezogenheit (Deutsch als Fremdsprache) Konkrete Hilfen für Lehrer, Lehrbuchautoren, Curriculumautoren Ausführliche Beschreibung der Fremdsprachenkenntnisse für die linguistische Forschung 30
Literatur Atkins, B. T. S. / Clear, J. / Ostler, N. (1992): Corpus Design Criteria. Literary and Linguistic Computing 7 (1), S. 1-16. Europarat (2001): Gemeinsamer europäischer Referenzrahmen für Sprachen: lernen, lehren, beurteilen. Niveau A1-A2-B1- B2-C1-C2. Langenscheidt: Berlin u. a. Glaboniat, Manuela/Müller, Martin/Rusch, Paul/Schmitz, Helen/Wertenschlag, Lukas (2005): Profile deutsch : gemeinsamer europäischer Referenzrahmen; Lernzielbestimmungen, Kannbeschreibungen, kommunikative Mittel, Niveau A1-A2, B1-B2, C1-C2. Langenscheidt: Berlin/München/Wien/Zürich/New York [Handbuch und CD-ROM] Hirschmann, Hagen; Doolittle, Seanna & Lüdeling, Anke (2007) Syntactic annotation of non-canonical linguistic structures. In: Proceedings of Corpus Linguistics 2007, Birmingham Housen, A. & F. Kuiken (2009). Complexity, Accuracy, and Fluency in Second Language Acquisition. Applied Linguistics 30(4), 461 473. URL Lu, X. (2010). Automatic analysis of syntactic complexity in second languagewriting. International Journal of Corpus Linguistics 15(4), 474 496. Reznicek, M.& Walter, M. & Schmidt, K. & Lüdeling, A. & Hirschmann, H.; Krummes, C. & Andreas, T. 2010. Das Falko- Handbuch. Kor-pusaufbau und Annotationen. Version 1.0. Berlin: Institut für deut-sche Sprache und Linguistik, Humboldt- Universität zu Berlin Reznicek, Marc/ Lüdeling, Anke/ Hirschmann, Hagen (erscheint): Competing Target Hypotheses in the Falko Corpus: A Flexible Multi-Layer Corpus Architecture Osborne, John (2011): Oral learner corpora and the assesment of fluency in the Common European Framework. In: Frankenberg-Garcia, Anna/ Flowerdew, Lynne/ Aston, Guy: New Trends in Corpora and Language Learning. Continuum International Publishing Group: New York. S. 181 197. 31