Noisy-Channel Model. Beispiel: Ambiguitäten (1) Übersetzungsprobleme. Rekapitulation der Geschichte der MÜ

Transkript

1 Rekapitulation der Geschichte der MÜ 21. Jh.: Parallele Korpora & SMT Geschichte der MÜ / Übersetzungsprobleme / Systemtypen 1991: www Ling 232 Maschinelle Übersetzung Dr. Heike Zinsmeister 1977: PC SS Zinsmeister: Maschinelle Übersetzung 1 Rekapitulation der Geschichte der MÜ 1949: Weaver-Memorandum ( Translation ) 1954: Öffentliche MÜ-Demonstration von IBM/Georgetown Univ. 1950er: Forschung in den USA, der Sowjetunion, Europa, Japan 1960: Bar-Hillel: FAHQMT ist unmöglich 1966: ALPAC-Bericht 1970: SYSTRAN bei der USAF 1976: Europäische Kommission kauft SYSTRAN 1977: Météo, MÜ von Wettervorhersagen in Kanada 1980er: EG fördert EUROTRA 1990er: Deutschland fördert Verbmobil (regelbasierte- und statistische MÜ) : Kommerzielle Systeme, statistische maschinelle Übersetzung, Web-MÜ-Dienste Noisy-Channel Model 2 3 (i) (ii) (iii) Übersetzungsprobleme Lexikalische und strukturelle Ambiguitäten Lexikalische und strukturelle Divergenzen Mehrwortausdrücke, Idiome, Kollokationen Herangehensweise: Beispiele? 1. Beschreibung des linguistischen Phänomens (einzelsprachlich; sprachvergleichend) 2. Welche Informationen nutzt der Mensch für die Übersetzung? 3. Liegen die benötigten Informationen dem System vor? 4. In wie weit können fehlende Informationen approximiert werden? Andere Lösungswege / Heuristiken? 6 Beispiel: Ambiguitäten (1) (1) Cleaning fluids can be dangerous Lexikon: Wortform POS 1 Lemma 1 POS 2 Lemma 2 Cleaning ADJ cleaning V clean cleaning ADJ cleaning V clean Syntax (a) [ VP Cleaning [ NP fluids]] can be dangerous (b) [ NP [ AP Cleaning] fluids] can be dangerous Semantik (a) Reinigen von Flüssigkeiten kann gefährlich sein (b) Reinigungsflüssigkeiten können gefährlich sein 7

2 Beispiel: Ambiguitäten (2) (1) [Cleaning fluids] can be dangerous Beispiel: Ambiguitäten (3) (1) [Cleaning fluids] can be dangerous (2) Reinigende Flüssigkeiten können gefährlich sein (2) Reinigungsflüssigkeiten können gefährlich sein (3) Reinigungsflüssigkeiten können gefährlich sein Abbildungsregeln: lexikalisch: cleaning fluids! Reinigungsflüssigkeiten can 3.P.Sg./Pl.! "können 3.P.Pl. syntaktisch: be dangerous! "gefährlich sein [ VP V XP]! [ VP XP V] Liegen die notwendigen Informationen vor? Ambiguitätsauflösung Mehrwortausdruck (zumindest aus der Sicht des Deutschen) Strukturelle Divergenz 8 9 Beispiel: Head Switch Beispiel: Lexikalische Divergenz (1) I like to swim (1) a. Wir müssen in Bern umsteigen. b. We have to change (trains planes ships) in Bern. (2) Ich schwimme gern. Lexika like V like<subj, XCOMP> swim V swim<subj> Analog: schwimmen gern ADV gern Transfer von Englisch nach Deutsch like ist das finite Verb und der Kopf des Satzes Komplement von like wird zum Kopf des Satzes der Infinitiv to swim wird zum finiten Verb schwimme Subjekt von like wird Subjekt von schwimme like wird zum Modifikator gern 10 Diskussion im leo-forum: Übersetzung von umsteigen (2) Sie können mit dem Ticket so oft umsteigen, wie sie möchten. "You can change as often as you like" (not "you can change trains") sounds to me as though the traveller might be changing his clothes or hairstyle. But I need something that fits with trams, buses and trains, not just one or the other. a. You can change trains and buses as often as you like. b. You can transfer as often as you want. (AE only?) c. You can use the most suitable means of transport available. ( 11 Beispiele: Mehrwortausdrücke und Idiome Eins-zu-viele- / Viele-zu-viele-Abbildung (1) a. Er ging um das Haus herum. b. He walked around the house. (2) a. She made her mind up. b. Sie entschied sich. Wörtliche vs. übertragene Bedeutung (Idiome) (3) a. It s all Greek to me. b. Ich verstehe nur Spanisch / Chinesisch / Bahnhof. Komplexer Lexikoneintrag vs. flexible Teile (3) a. be_all_greek <OBL_to>, SUBJ Experiencer b. nur-spanisch_verstehen <SUBJ> Beispiele: Kollokationen You should know a word by the company it keeps. (1) a. Er ist ein starker Raucher. b. He is a heavy smoker. c. Er mag starken Tee. d. He likes strong tea. (2) a. Sie putzte ihre Nase. b. She blowed her nose. (3) a. Sie gaben sich die Hände. b. They shook hands. (Firth 1957) 12 13

3 Übersicht der Systemtypen Verarbeitungstiefe: Interlingua-basierter Ansatz Transfer-basierter Ansatz Direkte Übersetzung (auch Transformer Systeme ) Verwendete Technik: Intellektuelle Systeme Korpus-basierte Systeme (auch daten-getrieben ) Hybride Systeme 15 Direkte Übersetzung (1) Drehen Sie den Knopf eine Position zurück. Ablauf ART d- ART e- Turn you the button one position back. (Ziel: Turn the button back one position.) Minimale quellsprachliche Analyse durch Lexikon-Lookup (Vollform, Wortart), evtl. morphologische Analyse (Regelhaftes, Erraten von Unbekanntem) Übersetzungsregeln knopf{cat=n} -> button{cat=n} bilinguale Lexikonregel X{cat=v,mood=imperative} Sie -> X monolinguales Re-Ordering Zielsprachliche Erzeugung flektierter Formen 16 Eigenschaften der direkte Übersetzung Robust, auch gegenüber ungrammatischem Input Unbekannte Wörter werden durchgereicht Wenig Wissen über zielsprachliche Eigenschaften (Gefahr des Wortsalats ) System aus vielen, interagierenden Regeln => schwer zu pflegen und zu erweitern Architektur: ein Sprachpaar eine Übersetzungsrichtung DE => EN EN => DE Transfer (1) 1. Analyse der Quellsprache! abstrakte Repräsentation der Quellsprache 2. Bilinguale Übersetzungsgrammatik: Quellsprachliche Struktur Zielsprachliche Struktur 3. Synthese (auch: Generierung) der zielsprachlichen Ausgabe EN => FR Zinsmeister: Maschinelle Übersetzung 18 Transfer (2) The temperature has affected the print density. temperature <-> temperatur print_density <-> druckdichte affect <-> beeinflussen {def=+} <-> {def=+} {aspect=perfective}<->{aspect=perfective} [S HEAD:$H, D-SUBJ:$S, D-OBJ:$O] <-> [S HEAD:$H, D-SUBJ:$S, D-OBJ:$O] Die Temperatur hat die Druckdichte beeinflusst. 19 Eigenschaften des Transfers Weniger robust verlangt zielsprachliche Voll-Analyse Ausweg: Fragmentanalysen Erzeugt immer grammatische Ausgaben Evtl. inhaltlich falsche Übersetzung Erzeugt alternative Ausgaben Problem der Auswahl Deklarative vs. prozedurale Organisation der Regeln Architektur: reversibel (in der Praxis Analyse e eher problematisch!) EN <=> FR EN <=> DE DE- EN- FR- 20

4 Interlingua Transfer-Pyramide Reine Vision? Wenn bestehende Sprache zufällige Konzeptualisierung der Welt Notwendige Spezifizierungen fehlen Wenn ganz abstrakt sehr komplex oftmals redundant spezifisch EN- Analyse Interlingua DE- FR Korpus-basiert Korpus-basiert: EBMT Voraussetzungen parallele Korpora Bsp. Europarl Alignierung Beispiel-basierte MÜ (EBMT) (auch: Case/ Memory/ Instance-based MT) direktes Ausnutzen der im Korpus abgelegten Übersetzungen 1. der Suche nach einem möglichst ähnlichem Alignment (auch Teilsätze) 2. Anpassen des Alignments an den Satz 3. Verwendung des modifizierten Alignments Korpus-basiert: SMT Statistisch-basierte MÜ (SMT): Ermittelt Wahrscheinlichkeitsmodell aus den Frequenzen von Alignierungsvorkommnissen Übersetzungsmodell (translation model) Wahrscheinlichkeit, dass ein Wort der Zielsprache eine Übersetzung eines Wortes der Quellsprache ist: p(ziel Quelle) Sprachmodell (language model) Modelliert die Oberfläche der Zielsprache Wahrscheinlichkeit, dass ein Wort auf ein anderes Wort folgt (n-gramme): p(wort 2 Wort 1 ) Zum Nach- und Weiterlesen Geschichte der MÜ Arnold et al Kap. 1.4, S ergänzt durch Carstensen 2010, Kap.12.2 Übersetzungsprobleme Arnold et al. 1994, Kap. 6 Eberle 2010, S Jurafsky und Martin 2008, Kap (im PDF des Manuskripts: 24.1) Dorr, Jordan und Benoit. 1999, S Systemtypen Arnold et al. Kap. 4 Carstensen 2010, Kap.12.4: u.a. korpus-basierte Systeme Eberle 2010, u.a. Abschn.4: hybride Systeme 25 26

5 Weitere Referenzen Bar-Hillel, Y The present status of automatic translation of languages. In: Alt, F. (Hrsg.), Advances in Computers 1, Academic Press. Firth, J. R Studies in linguistic analysis A synopsis of linguistic theory Oxford, Vauquois, B A survey of formal grammars and algorithms for recognition and transformation in Machine Translation. IFIP congress-68,