Qualitätskriterien für MT-Systeme Machen Mensch und Maschinen dieselben Fehler? Konika Minolta Symposium am 24. Februar 2011 in Langenhagen

Transkript

1 Qualitätskriterien für MT-Systeme Machen Mensch und Maschinen dieselben Fehler? Konika Minolta Symposium am 24. Februar 2011 in Langenhagen D.O.G. Dokumentation ohne Grenzen GmbH Dr. F. Massion

2 Das Problem (Geplanter) Einsatz von MT für: Große Volumina mit einfachem Inhalt (Serviceanleitungen) Infos mit schnellem Reaktionsbedarf (Support/Service) MT zusammen mit CAT MT trainieren Fehler erkennen, aber wie? Am besten: Sofort Ohne viel menschlischem Aufwand Ohne Abgleich mit manuellen Übersetzungen Für alle Sprachen 2

3 Ziele Automatisches System: Fehler erkennen Was ist maschinell zu bzw. nicht zu erkennen? Welche Fehlerkategorien? Fehler messen Was für ein Messverfahren? Was tun mit den Ergebnissen (z.b. Aktionen im Workflow)? Fehler korrigieren Was ist korrigierbar? Im Workflow 3% Qualitätsverbesserung kann Status verändern 3

4 Übersetzer und Maschine Welche Fehler? Übersetzer (= Human Translator HT ): Rechtschreibfehler Typographiefehler Terminologiefehler Konsistenzfehler Zahlenfehler Vergessene Wörter / Satzteile Verständnisfehler Fehlerursachen: Konzentration, Merken vieler Daten, Genauigkeit 4

5 Maschinenfehler: Das Dilemma von MT 5

6 Topologie der Maschinenfehler (1/2) Abhängig von MT-System-, MT-Verfahren, Sprachen und Fachgebiete Forschungsprojekt 2009: D.O.G. / ISIT (Paris) Teilweise selbe Kategoriebezeichnung ( Terminologiefehler ) wie HT, aber andere Inhalte 6

7 Topologie der Maschinenfehler (2/2) Die wichtigsten Fehler: 1. Syntax 2. Terminologie: Allgemeinwortschatz / Fachwortschatz 3. Vergessene Wörter (empirisch nicht validiert) 4. Kollokationen 5. Zahlenformat 6. Typographie 7. Verständnis: Hauptproblem, aber z. T. Ergebnis der anderen Fehler 7

8 Syntaxfehler Satzbau Falsche Präpositionen Verb in der falschen Form Falsche Kollokation Referenzen ( it, dieses ) 8

9 Terminologiefehler Fachwörter wenig problematisch Homonymen in der Alltagssprache Ungenauigkeit (Äquivalenz) Grammatikalische Kategorie eines Wortes 9

10 Zahlenformatfehler Zahlenformate manchmal falsch erkannt und umgesetzt 10

11 Fehler messen (1/2) Etablierte Standards BLEU (Bilingual Evaluation Understudy) Vergleich mit HT (HT erforderlich) Kennzahlen auf der Basis von Fehlerkategorien NIST (National Institute of Standards and Technology) Angelehnt an BLEU, abweichender Algorithmus (unterscheidet Bedeutung n-grams) WER (Word Error Rate) Zahl der Änderungsschritte, die für die Transformation einer MT in eine Referenzübersetzung erforderlich sind. Probleme: Referenzübersetzung (HT) erforderlich Mächtige Parser mit lexikalischer Analyse (Investition, Einrichtung) 11

12 Fehler messen (2/2) Alternativen Ansatz von SAE J2450 Fehlerkategorien Gewichtung Ergebnis ist ein Fehlerindex Aktionen können ausgelöst werden Implementiert im Sprachendienst von Siemens in Erlangen (autom. Workflow) Problem: Verständnisfehler Optionale Kategorie, wenn Human Revisor im Einsatz (mitgewichtet) Teil der Verständnisfehler über andere Kriterien auffindbar 12

13 Bericht: 13

14 Fehlerkorrekturen Zahlenformat Terminologie Typographie Wortstellung 14

15 Ausblick Automatische QA-Task in Workflowsystemen Beispiel 1 MT Output > QA > MT Optimierung > MT Output2 Beispiel 2 Dokument > CAT-Analyse > Fuzzy Matches (bis 85%) durch MT > Autom. Korrektur > Übersetzer Gemeinsame Meßkriterien und Verfahren 15