Conference Presentation

Transkript

1 Conference Presentation Maschinelle Übersetzung für Dialekte SCHERRER, Yves Reference SCHERRER, Yves. Maschinelle Übersetzung für Dialekte. In: 5. Tage der Schweizer Linguistik / 5èmes Journées Suisses de la Linguistique, Winterthur, Nov 2008, 2008 Available at: Disclaimer: layout of this document may differ from the published version. [ Downloaded 12/01/2017 at 12:03:36 ]

2 Maschinelle Übersetzung für Dialekte Yves Scherrer Université de Genève 5. Tage der Schweizer Linguistik Winterthur Yves Scherrer (Université de Genève) Maschinelle Übersetzung für Dialekte 5. TdL, Winterthur 1 / 18

3 Dialektologie und Computerlinguistik Neuliche Konvergenzerscheinungen Computerlinguistik Probabilistische Modelle ( Variation) Verwandte Sprachen Wirtschaftlich und militärisch interessante Sprachen mit ausgeprägter Dialektpräsenz Maschinelle Übersetzung von Dialekten Dialektologie Datenbanken Geografische Informationssysteme (Karten) Dialektometrie (Ähnlichkeitsmessungen) Yves Scherrer (Université de Genève) Maschinelle Übersetzung für Dialekte 5. TdL, Winterthur 2 / 18

4 Dialektologie und Computerlinguistik Ein Projekt Fragestellungen: Wie können klassische Methoden der Computerlinguistik angepasst werden, um Dialektdaten zu verarbeiten? Wie können Resultate der Dialektforschung interaktiver und dynamischer dargestellt werden? Projekt: Maschinelle Übersetzung von standarddeutschem Text in einen beliebigen schweizerdeutschen Dialekt Eine standardisierte Quellsprache Relativ homogene Daten Mögliche Verwendung von existierenden Sprachanalyseprogrammen Ein Kontinuum von nicht standardisierten Zielvarietäten Diatopische Variation als Parameter des Übersetzungsprozesses Yves Scherrer (Université de Genève) Maschinelle Übersetzung für Dialekte 5. TdL, Winterthur 3 / 18

5 Übersicht Einführung Computerlinguistik und Dialektologie Maschinelle Übersetzung Regelbasierte und statistische Systeme 1. Etappe Übersetzung in einen einzigen Zieldialekt Systemarchitektur Analyse des Quelltextes Transformationsregeln 2. Etappe Übersetzung in ein Zieldialekt-Kontinuum Systemarchitektur Georeferenzierung der Regeln Zusammenfassung Arbeitshypothesen, Erweiterungen und Anwendungen Yves Scherrer (Université de Genève) Maschinelle Übersetzung für Dialekte 5. TdL, Winterthur 4 / 18

6 Maschinelle Übersetzung (MÜ) Zwei Ansätze Regelbasierte MÜ Sprachexperten erarbeiten Transformationsregeln und Wörterbücher Grosser Arbeitsaufwand Theoretisch: genaue Beschreibung, hohe Qualität möglich Praktisch: extrem komplex, daher fehleranfällig Statistische MÜ Grosse mehrsprachige Textkorpora (Parallelkorpora) als Hauptdatenquelle Linguistische Regelmässigkeiten werden gelernt Kleiner Arbeitsaufwand, Toolkits und Korpora frei verfügbar Erfolgreich für geringe Qualitätsansprüche Robust Yves Scherrer (Université de Genève) Maschinelle Übersetzung für Dialekte 5. TdL, Winterthur 5 / 18

7 Maschinelle Übersetzung Spezifische Eigenschaften des gewählten Sprachpaars Verfügbare Daten: Wenig Dialektkorpora Sehr heterogen (schriftlich/transkribiert, nicht normiert) Kaum Parallelkorpora (Diglossie) Ziel: Linguistische Genauigkeit ist höher zu gewichten als Entwicklungsdauer oder Robustheit Ein statistisches System ist nicht unbedingt geeignet. Nah verwandte Sprachvarietäten Überschaubare Komplexität der Regeln Linguistisch aufbereitete Daten sind vorhanden Dialektologische Studien, Sprachatlanten Der traditionelle, regelbasierte Ansatz ist in der vorliegenden Situation sinnvoller. Yves Scherrer (Université de Genève) Maschinelle Übersetzung für Dialekte 5. TdL, Winterthur 6 / 18

8 Übersicht Einführung Computerlinguistik und Dialektologie Maschinelle Übersetzung Regelbasierte und statistische Systeme 1. Etappe Übersetzung in einen einzigen Zieldialekt Systemarchitektur Analyse des Quelltextes Transformationsregeln 2. Etappe Übersetzung in ein Zieldialekt-Kontinuum Systemarchitektur Georeferenzierung der Regeln Zusammenfassung Arbeitshypothesen, Erweiterungen und Anwendungen Yves Scherrer (Université de Genève) Maschinelle Übersetzung für Dialekte 5. TdL, Winterthur 7 / 18

9 Systemarchitektur 1. Etappe Text deutsch Parser deutsch Syntaxregeln Lexikon Satzbaum deutsch Transfer Transformationsregeln (Syntax, Lexikon,... ) Satzbaum Dialekt Text Dialekt Yves Scherrer (Université de Genève) Maschinelle Übersetzung für Dialekte 5. TdL, Winterthur 8 / 18

10 Analyse des Quelltexts (Parsing) Um die Transformationen korrekt anwenden zu können, benötigen wir eine möglichst präzise Analyse des Eingangstextes: Morphologische Merkmale (Flexion) Grammatikalische Kategorien Phrasenstruktur Wir benutzen existierende Programme, um diese Informationen zu gewinnen. Fips (Unige) Das Resultat dieser Analyse ist ein Satzbaum mit detaillierter Annotation. Format: XML Yves Scherrer (Université de Genève) Maschinelle Übersetzung für Dialekte 5. TdL, Winterthur 9 / 18

11 Analyse des Quelltexts (Parsing) Ein Beispiel das grosse Haus <?xml version= " 1.0 "?> <!DOCTYPE LATLPARSE SYSTEM h t t p : / /www. l a t l. unige. ch / xml / l a t l p a r s e. dtd > <LATLPARSE xml:lang= " de "> <ANALYSIS complete= " yes " score= " 275"> <PROJ case= "nom" cat="dp" > <HEAD case= " Akk " cat="art" cathead= "D" gender= " Neut " lexeme= " der " number= "Sg"> das < /HEAD> <PROJ case= "nom" cat="np" > <PROJ case= "nom" cat="ap" > <PUNC key= " space " / > <HEAD case= " Akk " cat="adja" cathead= "A" degree= " Pos " gender= " Neut " lexeme= " gross " number= grosse < /HEAD> < /PROJ> <BAR cat="n" > <PUNC key= " space " / > <HEAD case= " Akk " cat="nn" cathead= "N" gender= " Neut " lexeme= " haus " number= "Sg"> haus < /HEAD> < /BAR> < /PROJ> < /PROJ> < / ANALYSIS> < /LATLPARSE> Yves Scherrer (Université de Genève) Maschinelle Übersetzung für Dialekte 5. TdL, Winterthur 10 / 18

12 Systemarchitektur 1. Etappe Text deutsch Parser deutsch Syntaxregeln Lexikon Satzbaum deutsch Transfer Transformationsregeln (Syntax, Lexikon,... ) Satzbaum Dialekt Text Dialekt Yves Scherrer (Université de Genève) Maschinelle Übersetzung für Dialekte 5. TdL, Winterthur 11 / 18

13 Transfer Gezielte Veränderung des annotierten Satzbaums 1 Anpassung der syntaktischen Struktur Diese Regeln ändern die Struktur des Satzbaums. 10 Regeln versuchsweise implementiert Änderung der Wortreihenfolge der Verb-Cluster in Nebensätzen Verwandlung des Präteritums in Perfekt Verwandlung von Genitivattributen in PPs oder Possessivkonstruktionen 2 Lexikalischer Transfer: Ersetzung der Wortstämme Diese Regeln ändern den Inhalt der Knoten des Satzbaums. Traditioneller Ansatz: gespeicherte Wortpaare Marienkäfer Himugüegeli Verwandte Sprachen: phonetische Regeln fliegen flüüge, biegen büüge, giessen güüsse,... 3 Generierung der Wortendungen Verbalflexion Präsens versuchsweise implementiert Yves Scherrer (Université de Genève) Maschinelle Übersetzung für Dialekte 5. TdL, Winterthur 12 / 18

14 Übersicht Einführung Computerlinguistik und Dialektologie Maschinelle Übersetzung Regelbasierte und statistische Systeme 1. Etappe Übersetzung in einen einzigen Zieldialekt Systemarchitektur Analyse des Quelltextes Transformationsregeln 2. Etappe Übersetzung in ein Zieldialekt-Kontinuum Systemarchitektur Georeferenzierung der Regeln Zusammenfassung Arbeitshypothesen, Erweiterungen und Anwendungen Yves Scherrer (Université de Genève) Maschinelle Übersetzung für Dialekte 5. TdL, Winterthur 13 / 18

15 Systemarchitektur 2. Etappe Wahl des Zieldialekts Text deutsch Parser deutsch Syntaxregeln Lexikon Satzbaum deutsch Transfer Transformationsregeln (Syntax, Lexikon,... ) + Georeferenzierung Satzbaum Dialekt Text Dialekt Yves Scherrer (Université de Genève) Maschinelle Übersetzung für Dialekte 5. TdL, Winterthur 14 / 18

16 Georeferenzierung der Regeln Daten SDS (Sprachatlas der Deutschen Schweiz): Flexionsmorphologie, Phonetik, Wortschatz Nicht digitalisiert Veraltend (Aufnahmen zwischen 1939 und 1958) SADS (Syntaktischer Atlas der Deutschen Schweiz): Im Aufbau, digitalisiert Georeferenzierte Wörterbücher könnten eine zusätzliche Quelle darstellen (z. B. WBÖ, Wörterbuch der bairischen Mundarten Österreichs), existieren aber m. W. nicht für die Deutschschweiz. Yves Scherrer (Université de Genève) Maschinelle Übersetzung für Dialekte 5. TdL, Winterthur 15 / 18

17 Georeferenzierung der Regeln Ein Beispiel aus dem SADS (F9, natürlichste Variante) Grabs Wildhaus Ebnat-Kappel..., ob er ämal hürate wett 50% 25% 0%..., ob er ämal wett hürate 20% 62% 100% Aktionen: nichts tun Modalverb verschieben Regeln (siehe PCFGs): P(Modalverb verschieben Grabs) = = 0.28 P(Modalverb verschieben Wildhaus) = = 0.71 P(Modalverb verschieben Ebnat-Kappel) = = 1 Was für Werte gelten in den nicht erfassten Ortschaften? Yves Scherrer (Université de Genève) Maschinelle Übersetzung für Dialekte 5. TdL, Winterthur 16 / 18

18 Georeferenzierung der Regeln Interpolation Eine Inspiration Das Chochichästli-Orakel Daten aus dem SDS Daten der Fragepunkte werden auf die umliegenden Flächen ausgedehnt Wahrscheinlichkeiten können durch Farbabstufungen dargestellt werden Methode: Rein mathematische Interpolation? Sollen politische, konfessionelle und topografische Faktoren berücksichtigt werden? Yves Scherrer (Université de Genève) Maschinelle Übersetzung für Dialekte 5. TdL, Winterthur 17 / 18

19 Zusammenfassung Arbeitshypothesen: Mangel und Heterogeneität von Dialektrohdaten: Regelbasiertes System am sinnvollsten Übersetzungsrichtung Standarddeutsch Dialekte Phonetische Transformationen ersetzen einen Teil des Lexikons Transformationsregeln werden georeferenziert: Eine kleine Auswahl von Daten aus dem SDS und dem SADS Interpolation Mögliche Erweiterungen und Anwendungen: Sprachsynthese ( Diglossie) Andere Übersetzungsrichtungen: Dialekt Standarddeutsch, Dialekt Dialekt Sprachdidaktik: Schweizerdeutsch als Zweitsprache Yves Scherrer (Université de Genève) Maschinelle Übersetzung für Dialekte 5. TdL, Winterthur 18 / 18