euroscript taraxű Deutscher Sprachtechnologietag 2013

Transkript

1 euroscript taraxű Deutscher Sprachtechnologietag 2013

2 Das Projekt taraxű

3 Motivation Aktuelle Entwicklungen in der Sprachtechnologie als Auslöser für neuen Schwung in Forschung und Entwicklung im Bereich maschinelle Übersetzung (MT) Anstieg des Übersetzungsvolumens Steigender Preisdruck auf LSPs Fehlender Nachweis der wirtschaftlichen Einsetzbarkeit von MT in professionellen Übersetzungsprozessen euroscript title slide 3

4 Stakeholders und notwendige Expertise euroscript title slide 4

5 euroscript Forschung und Entwicklung Das taraxű-projekt wird finanziert von der TSB Technologiestiftung Berlin Zukunftsfonds Berlin, ko-finanziert von der Europäischen Union European fund for regional development. Konsortium: euroscript Deutschland GmbH Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI) Acrolinx GmbH yocoy GmbH Laufzeit: 3,5 Jahre ( ) Budget: 3,2 Mio. Euro Sprachen: DE-> EN, ES, FR, JA, RU. EN, ES, FR, JA, RU -> DE. EN -> ZH, CS Ziele Kernkomponente: automatische Qualitätsbeurteilung auf Segmentebene basierend auf einem konfigurierbaren Regelset System- and Formatunabhängigkeit Integration von RBMT, SMT and TM Systemen durch Entwicklung und Nutzung von Standardisierungen Vereinfachung der Kombination dieser Systeme in einem Workflow Verarbeitung jedweder Formate (Office, XML, HTML, DTP formats ) Effizienz im Post-Editing Automatische Bestimmung der zu erwartenden MT Qualität auf Basis von Meta-/Systeminformationen Reduktion des manuellen Aufwands struktureller Anpassungen im Zieldokument Generierung verschiedener Qualitäten Verständlichkeit ggü. minimalem Post-Editing-Aufwand

6 Architekturen für MT Statistical Machine Translation Source Text Target Text Text Analysis Text Generation Transfer Rules euroscript title slide 6

7 Warum hybride Architekturen? Input: Wir sollten Ihn auf keinen Fall heute zerstören. RBMT: We should not destroy It in any case today. ( ) SMT: We should, in any case, it today. Input: Für eine ganze Reihe von Bereichen bringt dies die Drosselung und schrittweise Einstellung von Aktivitäten mit sich. RBMT: For a whole series of fields this brings the restriction and step-by-step attitude from activities with themselves. SMT: For a whole series of areas of this brings the restriction and phasing out of activities. ( ) euroscript title slide 7

8 MT Qualität Source: Surprisingly, it turned out that the new council members do not understand the well-known concepts. MT: Überraschend stellte es sich heraus, dass die neuen Ratsmitglieder die wohl bekannten Konzepte nicht verstehen. Judge 1: Acceptable Judge 2: Can easily be fixed euroscript title slide 8

9 Die LSP-Perspektive

10 Die LSP Perspektive Qualitätsziele Angebote Übersetzungswerkzeuge Übersetzungsprozesse Terminologie Projektumgebung Sprachressourcen euroscript title slide 10

11 Zentrale Fragestellungen Wie die Einhaltung von Qualitätsvorgaben in der Zielsprache sicherstellen? Auf welcher Basis faire Angebote erstellen? Wann MT anwenden? Wie unprozessierbare Dateiformate übersetzen? Wie Verwendung der korrekten Terminologie sicherstellen? Was dem Übersetzer servieren? euroscript title slide 11

12 Aufbau der Infrastruktur

13 Komponenten und Infrastruktur Quelle Inhaltsextraktion Übersetzung Web GUI Ziel Formatierung Auswahl euroscript title slide 13

14 Auswahl entsprechend der Zielvorgabe AA TMS Seg SMT Select Seg RBMT Qualitätsbestimmung CMT euroscript title slide 14

15 Generierung der Übersetzung Segmentierung Übersetzung Qualitätsanalyse Auswahl Quelle Ziel euroscript title slide 15

16 Status Quo

17 Die ersten Evaluationsrunden Runde 1: euroscript DFKI Volumen: Wörter je Sprachrichtung Tasks: ranking, post-editing, Fehlerklassifizierung Sprachen: DE -> EN EN -> DE ES -> DE Korpora: WMT shared tasks (Nachrichten) Open Office Dokumentation (TechDoc) Systeme: 1 TMS, 2 SMT, 1 RBMT Runde 3: Acrolinx GmbH Volumen: Wörter je Sprachrichtung Tasks: ranking, post-editing, detaillierte Fehlerklassifizierung Sprachen: DE -> ZH Korpora: Systeme: TechDoc 1 SMT, 1 RBMT Runde 2: euroscript DFKI Volumen: Wörter je Sprachrichtung Tasks: ranking, post-editing, detaillierte Fehlerklassifizierung Sprachen: DE -> EN, FR, ES EN -> DE, CZ FR -> DE ES -> DE CZ -> EN Systemoptimierung durch Terminologie (RBMT) und bilinguales Material (SMT) Korpora: Systeme: WMT shared tasks (Nachrichten) Open Office Dokumentation (TechDoc) 1 TMS, 3 SMT, 3 RBMT

18 Appraise GUI

19 Appraise GUI

20 Appraise GUI Task 4: Detailed Error Classification

21 Ergebnisse erste Evaluationsrunde: Ranking Lucy Moses Google Trados Gesamt DE-EN ES-DE EN-DE WMT OpenOffice Die Ergebnisse wurden mit den Kernsystemen erreicht eine Systemoptimierung hat in der ersten Evaluationsrunde NICHT stattgefunden

22 Ergebnisse erste Evaluationsrunde: Fehlerklassifizierung Lucy Moses Trados Fehlende Inhaltswörter Falsche Inhaltswörter Falsche Funktionswörter Falsche Wortform Falsche Wortfolge Falsche Punktuierung Andere Fehler

23 Automatische Klassifizierung der Post-Edits % der Wörter wurden folgendermaßen editiert: Korrektur der Wortform Korrektur der Wortfolge Hinzufügen fehlender Wörter Löschen überflüssiger Wörter Korrektur der lexikalischen Auswahl Lucy Moses Trados

24 Ergebnisse zweite Evaluationsrunde: Ranking SMT1 RBMT1 RBMT2 SMT2 SMT3 Gesamt DE-EN ES-DE EN-DE WMT OpenOffice

25 Vergleich Ranking der beiden ersten Evaluationsrunden Lucy Moses Google Overall DE-EN ES-DE EN-DE WMT OpenOffice Lucy Moses Google Overall rank DE-EN ES-DE EN-DE WMT OpenOffice

26 Post-Editing vs. Ranking 8.15% der post-edits from-scratch 31.05% aus Übersetzungen mit Rang % aus Übersetzungen mit Rang % aus Übersetzungen mit Rang % aus Übersetzungen mit Rang % aus Übersetzungen mit Rang % aus Übersetzungen aus TMS

27 Post-Editing vs. Ranking: Beispiel Quelle: Kennzeichnung von Hinweisen in der Betriebsanleitung System Rank Marking of references in the manual Google 1 Marking of instructions in the manual Jane 2 Labelling of references in the instructions Moses 3 Labelling of references in the operational guidance RBMT2 4 Marking of references in the manual RBMT1 5 Marking of tips in the operating instruction Post-Edited: Marking of observations in the operating instructions

28 Post-Editing Timing Satzlänge in Worten Durchschnittliche Zeit in Sekunden Übersetzung from scratch post-editing gesamt Sätze, bei denen a) einem Benutzer eine inakzeptablen MT-Übersetzung präsentiert wurde, so dass der Benutzer eine komplette neue Übersetzung erstellte b) einem oder mehreren Benutzer(n) eine akzeptable MT-Übersetzung präsentiert wurde(n), welche sie dann post-editierten. Sätze, bei denen das Post-Editieren länger als 5 min. dauerte, wurden herausgefiltert.

29 Post-Editing Timing: Schlussfolgerung Ein Auswahlmechanismus sollte allgemein die Geschwindigkeit verbessern Vor allem durch das Herausfiltern zu schlechter Sätze Geplante Arbeit: Messen der Zeit in größerem Detail: Zeit, die zum Lesen des Satzes benötigt wird vs. Zeit, die zur Übersetzung selbst bzw. Post-Editieren benötigt wird

30 Automatische Lexikonsadaption durch Terminologie

31 Lexikonsadaption Falsche Inhaltswörter sind die größte Fehlerquelle für regelbasierte Systeme. Dazu gehören sowohl unbekannte (nicht übersetzte) Wörter und falsche Wortwahl. Die Wortwahl ist oft abhängig von der gewählten Domäne. Adaption durch Terminologielisten Terminologie wird automatisch extrahiert Übersetzungsvorschläge werden automatisch hinzugefügt (von SMT, Terminologiedatenbanken, ) euroscript title slide 31

32 Architektur für Terminologieerstellung euroscript title slide 32

33 Fragen?