Softwareprojektpraktikum Maschinelle Übersetzung

Transkript

1 Softwareprojektpraktikum Maschinelle Übersetzung Jan-Thorsten Peter, Andreas Guta, Jan Rosendahl Vorbesprechung 3. Aufgabe 19. Mai 2017 Human Language Technology and Pattern Recognition Lehrstuhl für Informatik 6 Computer Science Department RWTH Aachen University, Germany J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 1 Vorbesprechung 19. Mai 2017

2 Wie lässt sich die Qualität von Übersetzungen beurteilen? Ziele: Vergleich der Performanz verschiedener maschineller Übersetzungssysteme Beurteilung des Effekts inkrementeller Änderungen während der Systementwicklung Optimierung freier Parameter Menschliche Bewertung: zeitaufwändig teuer Beurteilungen verschiedener Evaluatoren stimmen oft nicht überein Entscheidungen ein und desselben Evaluators sind oft nicht konsistent J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 2 Vorbesprechung 19. Mai 2017

3 Adequacy und Fluency Mögliche Kriterien zur Beurteilung von Übersetzungen: Adequacy: Gibt die Übersetzung die Bedeutung des Quellsatzes wieder? Sind keine Inhalte ausgelassen oder hinzugefügt worden? Fluency: Ist die Übersetzung in der Zielsprache ein korrekt formulierter und flüssig lesbarer Satz? Auf einer Skala von 1 bis 5: The dog is barking. Adequacy Fluency Bellen das Hund. 5 2 Das Wetter ist schön. 1 5 Der Hund bellt. 5 5 J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 3 Vorbesprechung 19. Mai 2017

4 Automatische Evaluationsmetriken Automatisierte Bewertung von Übersetzungen (Hypothesen) durch Vergleich mit einer oder mehreren von Menschen erstellten Referenzübersetzungen Gute automatische Metriken sollten eine hohe Korrelation mit menschlicher Bewertung aufweisen Verbreitete Metriken: F-Measure WER (Word Error Rate) PER (Position-independent Error Rate) BLEU (Bilingual Evaluation Understudy) METEOR (Metric for Evaluation of Translation with Explicit Ordering) NIST-Score CharacTER BEER... J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 4 Vorbesprechung 19. Mai 2017

5 Beispiel: F-Measure Übereinstimmungen = Anzahl Wörter aus der Hypothese, die auch in der Referenz gefunden werden können Precision = Übereinstimmungen Hypothesenlänge Recall = Übereinstimmungen Referenzlänge F-Measure = = Precision Recall (Precision + Recall)/2 Übereinstimmungen (Hypothesenlänge + Referenzlänge)/2 J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 5 Vorbesprechung 19. Mai 2017

6 Levenshtein-Distanz Minimale Anzahl an Einfügungs-, Auslassungs- und Ersetzungsoperationen, die nötig sind, um die Hypothese so zu editieren, dass sie mit der Referenz übereinstimmt Beispiel (Zeichenlevel) Hypothese: Referenz: B A N A N E A N A N A S Hypothese: B A N A N E Referenz: A N A N A S Operationen: d m m m m s i insertion (i), deletion (d), substitution (s), match (m) J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 6 Vorbesprechung 19. Mai 2017

7 Dynamische Programmierung Berechnung der Levenshtein-Distanz B A N A N E A N A N A S Referenz vertikal, Hypothese horizontal Match: Nimm Kosten von diagonal links oben Substitution: Nimm Kosten von diagonal links oben, addiere 1 Insertion: Nimm Kosten von oben, addiere 1 Deletion: Nimm Kosten von links, addiere 1 Eintragung in Tabellenzelle ist Minimum aus Match/Substitution, Insertion und Deletion J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 7 Vorbesprechung 19. Mai 2017

8 WER und PER WER: Dividiere Levenshtein-Distanz (Wortlevel) durch Referenzlänge Levenshtein-Distanz = Einfügungen + Auslassungen + Ersetzungen WER = Levenshtein-Distanz Referenzlänge PER: Zähle Anzahl der Übereinstimmungen unabhängig von der Wortreihenfolge PER = 1 Übereinstimmungen max(0, Hypothesenlänge Referenzlänge) Referenzlänge J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 8 Vorbesprechung 19. Mai 2017

9 BLEU n-gram = eine Folge von n Wörtern modified n-gram Precision p n einer Hypothese C: p n = n-gram C Count match(n-gram) n-gram C Count(n-gram ) (1) Brevity Penalty BP (c Länge der Hypothese, r Länge der Referenz): BP = { 1 if c > r e ( 1 r c) if c r (2) BLEU (meist mit N = 4) ( N BLEU = BP exp n=1 1 N log p n ) (3) J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 9 Vorbesprechung 19. Mai 2017

10 Modified n-gram Precision Beispiel Hypothese: the the the the the the the Referenz: the cat is on the mat modified 1-gram Precision: the kommt in der Referenz nur zweimal vor p 1 = 2/7 modified 2-gram Precision: the the kommt in der Referenz niemals vor p 2 = 0/6 = 0 J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 10 Vorbesprechung 19. Mai 2017

11 Brevity Penalty Brevity Penalty: BP = { 1 if c > r e (1 r/c) if c r (4) Problem bei zu kurzen Hypothesen: modified n-gram Precision sehr hoch Bsp: Hypothese: the cat, Reference: the cat is on the mat modified n-gram Precision = 2/2 = 1 Lösung: Brevity Penalty bestraft zu kurze Hypothesen J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 11 Vorbesprechung 19. Mai 2017

12 Aufgabe 3 Automatische Evaluierung der Ausgabe des maschinellen Übersetzungsprogramms aus Aufgabe 2 Einlesen einer Referenzübersetzung und einer zu bewertenden Übersetzung Levenshtein-Distanz mittels dynamischer Programmierung Berechnung von WER, PER und BLEU J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 12 Vorbesprechung 19. Mai 2017

13 Einzelaufgaben Jede Praktikumsgruppe ist für die Vorstellung von einem existierenden Tool zuständig Vorbereitung von einem Vortrag für alle Teilnehmer (10-15 Minuten) über deren Nutzung (mit Beispielen an eurem Quellcode) Beispiele: Software-Dokumentation: z.b. doxygen Programmierung: Profiling mit z.b. gprof, valgrind und Verwendung von unittests Planung: Repository, z.b. mit git und einen Bug-Tracker, z.b. ditz J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 13 Vorbesprechung 19. Mai 2017

14 Fragen? Viel Erfolg! J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 14 Vorbesprechung 19. Mai 2017