Mehrdeutigkeiten und Kategorisierung: Probleme bei der Annotation von Lernerkorpora

Transkript

1 Mehrdeutigkeiten und Kategorisierung: Probleme bei der Annotation von Lernerkorpora Anke Lüdeling Humboldt-Universität zu Berlin Ziele Überlegungen zur Architektur von Lernerkorpora flache Architektur vs. Mehrebenenarchitektur gemischte Tags vs. saubere Tags Architektur von Falko Lernerdaten Intuition Elizitationstests, gezielte Erhebungen Fehlersammlungen Korpusdaten - Lernerkorpora elektronische Sammlungen von Lerneräußerungen für EFL schon weit verbreitet (ICLE, Hong Kong Corpus etc.) in DaF noch wenig eingesetzt bisher gibt es kaum frei zugängliche (fehlerannotierte) Lernerkorpora für das Deutsche über Lernerkorpora (EFL): Granger (2002, erscheint), Nesselhauf (2002), Pravec (2002), Tono (2003) über Lernerkorpora des Deutschen: Belz (2004), Weinberger (2002), ESF Korpora ( Korpusarchitektur Lernerkorpora Forschungsfragen abhängig von Design Architektur Annotation: Tagsets und Richtlinien aufwändig zu erheben und zu annotieren Architektur soll flexibel sein so dass möglichst viele Fragestellungen auf denselben Daten möglich sind verteiltes Arbeiten möglich ist Fehlerannotation technisch flache Architekturen Basistext und Annotation in derselben Datei für große L1-Korpora und die meisten Lernerkorpora bisher Tabellen modelle Baummodelle (XML, SGML) Tabellenmodelle zu jedem Token werden Tags (Wortart, Lemma etc.) angegeben oft vorher Anzahl der Tags festgelegt schnelles Indizieren und Suchen für automatisches Tagging gut geeignet 1

2 Tabellenmodelle die Erklärung für <MoArInGn> diese Phänomen ist Mo morphology, Ar article, In Inflection, Gn gender <LxPhCh> Es gibt eine veränderte Gesellschaft und Lx- lexical, Ph phrase, Ch incorrect choice (Weinberger 2002) Ausdehnung eines Fehlers kann nicht direkt kodiert werden man kann nicht beliebig viele Fehlertags vergeben, geschachtelte Fehler können nicht kodiert werden keine konkurrierenden Annotationen möglich Baummodelle I belong to two baseball <n_num crr= teams >team</n_num> (Izumi, Uchimoto & Isahara 2005) Ausdehnung eines Fehlers kann kodiert werden Probleme bei verschachtelten Fehlern (komplexe Verschachtelungskonventionen, konfligierende Hierarchien) keine konkurrierenden Annotationen möglich Fehlerannotation - inhaltlich Was ist ein Fehler? unterschiedliche Zielhypothesen Interpretationsebenen Tagsets Fehleranalyse was ist ein Fehler? Bruch einer Regel ungrammatisch Woher bekommt man die Regeln explizite Regeln vs. implizite Regeln strukturelle Fehler, müssen algorithmisch zu finden sein (?) Abweichung von einer Norm, "breaches of code" (Corder 1973) unakzeptabel, 'inappropriate' Norm erfordert Setzung verschiedene Normen (sprachliche, soziale,...) strukturelle und nichtstrukturelle Fehler, nicht unbedingt algorithmisch zu finden Fehleranalyse was ist ein Fehler? "A linguistic form,... which, in the same context would in all likelihood not be produced by the learner's native speaker counterparts." (Lennon 1991, 182) brauchbare Definition? kontrollierte Erhebungen notwendig Fehleranalyse Zielhypothese jede Fehlerannotation setzt Interpretation eine Zielhypothese voraus reconstruction of those utterances in the target language (Ellis 1994: 54) oft implizit (Weinberger 2002), manchmal explizit (Izumi, Uchimoto & Isahara 2005) Problem: oft sind mehrere Zielhypothesen möglich in flachen Architekturen nicht darstellbar 2

3 Zielhypothese Beispiele die Erklärung für dieses Phänomen ist die Erklärung für diese Phänomene ist Zielhypothese - Beispiele Der Realismus ist eine im 19. Jahrhunder, als Gegenbewegung zu klassisch-romantischen Kunstauffassung literarische Richtung, die sich bis zum Ende des Jahrhunderts international weit erstreckte. (Falko L2 1.2) Der Realismus ist eine literarische Richtung, die im 19. Jahrhundert als Gegenbewegung zur klassischromantischen Kunstauffassung gegründet wurde und sich Der Realismus ist eine im 19. Jahrhundert, als Gegenbewegung zur klassisch-romantischen Kunstauffassung gegründete literarische Richtung, die sich Tagsets unterschiedliche Fehlerexponenten generic tagset (Degneaux et al. 1996, Izumi et al. 2005) vs. spezifische Tagsets für spezifische Forschungsfragen gemischte Tagsets: Fehlerort, Fehlerart, Grund etc. in einem gemeinsamen Tag unterschiedliche (konkurrierende) Tagsets für dieselben Daten Architektur Anforderungen Fehlerexponent: Token oder Sequenz von Tokens unterschiedliche (konkurrierende) Zielhypothesen unterschiedliche (konkurrierende) Tagsets für jede Ebene Architektur: Mehrebenenmodelle entwickelt für multimodale Korpora (Sprachsignal, Transkription, Gestik etc.) 'timeline' oder Referenzebene jede Annotationsebene kann in einer unabhängigen Datei gespeichert werden, verbunden werden alle Ebenen durch Pointer auf die Referenzebene Bird & Liberman 2001, Carletta at al. 2003, Dipper et al. 2004, Wittenburg (erscheint), ANC, NITE Falko Architektur Mehrebenenmodell (EXMARaLDA) Referenzebene: transkribierter Originaltext explizite Zielhypothese(n) konkurrierende Tagsets Lüdeling et al. (2005), Falko: 3

4 Falko Design Falko (für fehlerannotiertes Lernerkorpus) Kernkorpus: (handschriftliche) Zusammenfassungen von linguistischen und literaturwissenschaftlichen Texten, kontrollierte Erhebungssituation, ca Tokens, fortgeschrittene LernerInnen (DSH Prüfung, abgeschlossenes Grundstudium der Germanistik), Kontrollkorpus von MuttersprachlerInnen, ca Tokens Annotationsebenen bisher: Wortart, Lemma, Zielhypothese, Wortstellung, Kongruenz & Rektion, Definitheit Erweiterungskorpora: Longitudinaldaten der Georgetown University, Daten der Copenhagen Business School, Daten aus Seminaren, Essays, wächst neue Genres neue Annotationsebenen Suchfunktionalität nach Ellis (1994) wird jede Fehlerannotationsebene in drei Schichten aufgeteilt Beschreibung Erklärung nach Ellis (1994) wird jede Fehlerannotationsebene in drei Schichten aufgeteilt Beschreibung Erklärung Unsicherheit nimmt zu Fehlerhypothese 1 Beschreibung 1 Erklärung 1.1. Erklärung 1.n Beschreibung m Erklärung m.1. Erklärung m.o Fehlerhypothese 2 Beispiel: Ebenen und Schichten Beispiel Um plausibel es zu begründen, erläutert er einen Beispiel. (Falko L2) ZH I - WS um plausibel x es es plausibel zu begründen, erläutert er einen ein Beispiel B - WS TAG E - WS transfer I - R B - R E -R x TAG lex 4

5 Zusammenfassung Korpusarchitektur als ein wichtiger Faktor beim Aufbau eines Spezialkorpus konkurrierende Analysen verteiltes Arbeiten Mehrebenenarchitektur Umsetzung für ein Lernerkorpus Ausblick Architektur verteiltes Arbeiten? Inter-Annotator Agreement Zielhypothese Anwendung von Tagsets Falko mehr Daten, andere Genres Arbeit am Suchinterface weitere Einzelstudien Vielen Dank! bisherige Arbeiten mit Falko-Daten Hagen Hirschmann Platzhalterphrasen bei fortgeschrittenen Lernern des Deutschen als Fremdsprache (Staatsexamensarbeit, Juli 2005) Eva Lippert Probleme von Nichtmuttersprachlern mit der Definitheit von Nominalphrasen (Magisterarbeit, Nov 2005) Vicky Oketch Einflüsse von Muttersprache und erster Fremdsprache Englisch auf den Syntaxerwerb von kenianischen Deutschlernern (Dissertation, laufend) Karin Schmidt Pronominaladverbien als Lehr- und Lerngegenstand des Deutschen als Fremdsprache (Dissertation, laufend) Maik Walter Der Gebrauch von Konnektoren in fortgeschrittenen Lernervarietäten des Deutschen als Fremdsprache (Dissertation, laufend) Walter, Maik (2006): Hier wird die Wahl schwer, aber entscheidend. Konnektorenkontraste im Deutschen. Erscheint in: Österreichisches Jahrbuch Deutsch als Fremdsprache Referenzen Belz, Judy A. (2004) Learner Corpus Analysis and the Development of Foreign Language Proficiency, In: System: An International Journal of Educational Technology and Applied Linguistics. 32.4: Degneaux, E,; Denness, S.; Granger, S. & Meunier, F. (1996) Error Tagging Manual Version 1.1. Centre for English Corpus Linguistics, Universite Catolique de Louvain Granger, Sylviane (2002) A bird's-eye view of learner corpus research, in S. Granger, J. Hung, S. Petch-Tyson (Hrsg.) Computer Learner Corpora, Second Language Acquisition and Foreign Language Teaching. John Benjamins, Amsterdam, Granger, Sylviane (erscheint) Learner corpora, in A. Lüdeling and M. Kytö (eds) Corpus Linguistics.An International Handbook (Berlin: Mouton de Gruyter). Izumi, Emi; Uchimoto, Kiyotaka & Isahara, Hitoshi (2005) Error Annotation for Corpus of Japanese Learner English. In: Proceedings of the Sixth International Workshop on Linguistically Interpreted Corpora (LINC 2005) Lüdeling, Anke; Walter, Maik; Kroymann, Emil & Adolphs, Peter (2005) Multi-level error annotation in learner corpora. In: Proceedings of corpus linguistics 2005, Birmingham. Online unter Referenzen Pravec, N. A. (2002) Survey of learner corpora. In: ICAME Journal 26, Online unter Rayson, Paul; Archer, Dawn & Smith, Nicholas (2005) VARD vs. Word: A comparison of the UCREL variant detector and modern spell chackers on English historical corpora. In: Proceedings of Corpus Linguistics 2005, Birmingham van Rooy Bertus & Schäfer Lande (2003), Automatic POS tagging of a learner corpus: the influence of learner error on tagger accuracy. In Archer, D., Rayson, P., Wilson, A. & McEnery T. (eds.) Proceedings of the Corpus Linguistics 2003 conference. UCREL, Lancaster University, Schumacher, Nicole (2005) Tempus als Lerngegenstand. Ein Modell für Deutsch als Fremdsprache und seine Anwendung für italienische Lernende. Narr, Tübingen Tono, Yukio (2003) Learner corpora: design, development, and applications. In: Pre-conference workshop on learner corpora, Corpus Linguistics 2003, Lancaster 5