Ausgewählte Techniken der Maschinellen Übersetzung. Susanne J. Jekat ZHW Subject: MTZH

Transkript

1 Ausgewählte Techniken der Maschinellen Übersetzung Susanne J. Jekat ZHW Subject: MTZH

2 Übersicht Themenbereiche: 1. Erstellung und Standardisierung von Ressourcen für die Maschinelle Übersetzung 2. Grammatikformalismen für die Maschinelle Übersetzung 3. Maschinelles Dolmetschen 4. Computergestützte Übersetzung 5. Evaluation von MT und CAT 2

3 Thema 5: Evaluation sprachverarbeitender Systeme 1. Grundlegende Bedingungen 2. Übung: Evaluation von Übersetzungen 3. Spezialfall: MT 4. Methoden 5. Beispiel: End-to-End-Evaluation von Verbmobil 6. Übung: Vergleichende Evaluation zweier CAT- Systeme 3

4 Kriterien der Übersetzungsbewertung (Teilnehmer Vorlesung) Verständlichkeit Relation von formaler und inhaltlicher Treue Zielsprachliche Korrektheit 4

5 Ranking der Testübersetzungen aus dem Testkorpus der Universität Genf (Popescu-Belis, A. et al. (2002:19f, Evaluator KL TR CS M&R MH Übersetzerin gut 104, , 104, 105, 102, 103, , 103, 101, 104, ,104, 105, , 106, 105, , , , , , , 111, 113 akzeptabel 111, , 111, , 110, 113, 109, , , , , , , 109 schlecht , 112, , , 103, 107, 108, 109, 110, 111, 112, , 107? 112

6 Ranking der Testübersetzungen Bemerkungen der Teilnehmer: - Inkonsistenter Referenztext (frz toxicomanies als engl dependence oder drug dependence) - schlechte Bewertung bei negativem Transfer vom Ausgangstext in den Zieltext - gute Bewertung bei formaler Treue auf Wortebene - einige der Übersetzungen scheinen identisch zu sein (111 und 113) 6

7 Beispiel: End-to-End Evaluation Verbmobil (maschinelles Dolmetschsystem) Jekat & Tessiore 2000 Allgemeine Bedingungen die Evaluation berücksichtigt die Entwicklerperspektive die Benutzerperspektive die Übersetzungsqualität 7

8 VERBMOBIL 8

9 End-to-End Evaluation: Allgemeine Bedingungen Relation zwischen Eingabe- und Ausgabequalität keine Verarbeitung pragmatischer oder aussersprachlicher Signale Relation zwischen Spracherkennung (abhängig vom Übermittlungsmedium) und Ausgabequalität 9

10 Entwicklerperspektive Vergleich der Worterkenner von Daimler- Chrysler, Universität Aachen, Universität Karlsruhe (z.b. WordErrorRate) Vergleich der Übersetzungsqualität der verschiedenen Systemkonfigurationen (jeweils Auswahl eines Übersetzungsweges: Tiefe Analyse und Transfer, Dialogaktbasierte Übersetzung, Statistische Übersetzung, Fallbasierte Übersetzung) 10

11 Entwicklerperspektive Echtzeitverhalten (vgl. Folie 11 MD1.ppt: Verhältnis der Dauer der Eingabe zur Dauer der Verarbeitung, d.h. hier die Zeit, die zur Ausgabe einer Dolmetscheinheit benötigt wird ) der verschiedenen Systemkonfigurationen (auch Benutzerperspektive) Protokoll der Stabilität der verschiedenen Systemkonfigurationen Vergleich mit der Leistung vorheriger Versionen 11

12 Benutzerperspektive das System wird in der Evaluation von Benutzern getestet, die möglichst keine Kenntnisse der Zielsprache haben und als naive Benutzer eingeschätzt werden können (wenig oder keine Kenntnisse im Bereich sprachverarbeitende Systeme) Laborbedingungen, Aufgabe für Benutzer: mit einem nicht-sichtbaren anderssprachigen Gesprächsteilnehmer (engl., jap.) eine gemeinsame Reise zu vereinbaren Benutzer über Head-Sets mit dem System verbunden, Unterlagen zur Reiseplanung und Instruktionen 12

13 Qualität der Übersetzung angepasst an Verwendungsszenario bewertet von professionellen Übersetzern und zweisprachigen Sprechern (Verschriftung der Gespräche, Bewertung einzelner ATund ZT-Äusserungen mit GET (Jekat & Tessiore 2000) Erhalt der Textfunktion wichtiger als der Erhalt formaler Eigenschaften (Erreichen des kooperativen Handlungsziels) Masseinheiten Übersetzungsfehler syntaktische Korrektheit von Eingabe und Ausgabe semantische Korrektheit von Eingabe und Ausgabe Erzeugung von Missverständnissen 13

14 Qualität der Übersetzung Bewertung Good: semantisch und syntaktisch korrekte Ausgabe, keine Übersetzungsfehler Intermediate: Fehler in der Ausgabe, Übersetzungsfehler, Gespräch wird fortgeführt Bad: Fehler in der Ausgabe, Übersetzungsfehler, Abbruch des Gesprächs 14

15 Qualität der Übersetzung Statistik zum Erhalt der Information: Anzahl informativer Elemente der Eingabe Anzahl wichtiger informativer Elemente der Eingabe Anzahl übersetzter Elemente Anzahl getilgter Elemente Anzahl hinzugefügter Elemente 15

16 Qualität der Übersetzung: Erhalt der Information Beispiel: Eingabe When will we meet? Elemente 1. Wh-Frage Zeit 2. Tempus 3. Gemeinsame Aktion der beiden Sprecher: we 4. Handlung: Treffen 5. Dialog-Act: Request-Suggest 16

17 Einzelne Ergebnisse Auch wenn nur 50% der AT-Informationselemente im ZT erhalten bleiben, wird dennoch die Mehrzahl dieser (50%) Übersetzungen als Good oder Intermediate bewertet Ein Übersetzungsfehler ist für eine Bewertung als Bad ausreichend, aber nicht zwingend (40% aller Ausgaben mit Übersetzungsfehlern werden als Intermediate bewertet) 17

18 Evaluation von CAT Übung Design der vergleichenden Evaluation zweier CAT-Systeme 18

19 Literatur E. Hovy, M. King and A. Popescu-Belis (2002) An Introduction to MT Evaluation, Proceedings of LREC Workshop Machine Translation Evaluation: Human Evaluators meet automated metrics, Las Palmas, Canary Islands, Spain, 27 May 2002 ISO/IEC :2001(E) Information Technology Software Product Evaluation Quality Characteristics and Guidelines for their Use, ISO/IEC:Genf S.J. Jekat and T. Schultz (2004) Evaluation sprachverarbeitender Systeme, in R. Klabunde et al, Einführung in die Computerlinguistik, Spektrum: Heidelberg, 2. überarbeitete und erweiterte Auflage S. J. Jekat and L. Tessiore (2000) End-to-End Evaluation of Machine Interpretation Systems, A Graphical Evaluation Tool, Proceedings of LREC 2000 and Working Papers in Multilingualism, Series B, No. 4:University of Hamburg Popesu-Belis, A., King, M. and Benantar, H. (2002) Towards a Corpus of Corrected Human Translations, Proceedings of LREC Workshop Machine Translation Evaluation: Human Evaluators meet automated metrics, Las Palmas, Canary Islands, Spain, 27 May