Softwareprojektpraktikum Maschinelle Übersetzung

Transkript

1 Softwareprojektpraktikum Maschinelle Übersetzung Jan-Thorsten Peter, Andreas Guta, Jan Rosendahl 5. Mai 2017 Human Language Technology and Pattern Recognition Lehrstuhl für Informatik 6 Computer Science Department RWTH Aachen University, Germany J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 1 Vorbesprechung 5. Mai 2017

2 Was ist statistische maschinelle Übersetzung? It must be recognized that the notion of a probability of a sentence is an entirely useless one, under any interpretation of this term. Noam Chomsky, 1969 J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 2 Vorbesprechung 5. Mai 2017

3 Was ist statistische maschinelle Übersetzung? Gegeben: parallele Sätze von vorübersetztem Trainingsmaterial Beispiel: politische Reden im Europäischen Parlament, TED talks (beste Vorträge als Video im Netz) Untertittel in verschiedenen Sprachen verfuegbar... Typische Größen (in Anzahl der parallelen Sätze): klein: 40 K (IWSLT 05 ) mittel: 3 M (Europarl) groß: > 4 M (BOLT) Ziel: Die beste (d.h.: wahrscheinlichste) Übersetzung eines unbekannten Satzes zu finden J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 3 Vorbesprechung 5. Mai 2017

4 Statistischer Ansatz Idee: die Übersetzung als Entschlüsselungsproblem zu sehen Für einen gegebenen Quellsatz f1 J = f 1... f j... f J berechne P r(e I 1 f 1 J ) für alle möglichen Zielsätze e I 1 = e 1... e i... e I wähle den Satz êî1, der die Wahrscheinlichkeit maximiert êî 1 = arg max e I 1 = arg max e I 1 {p(e I1 f J1 ) } {p(e I1 ) p(f J1 ei1 ) } J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 4 Vorbesprechung 5. Mai 2017

5 Charakteristika der maschinellen Übersetzung Training in zwei Phasen: Wort-Alignment und Phrasenextraktion Verschiedene Modelle: Übersetzungsmodell Sprachmodell Umordnungsmodell Einige weitere zusätzliche Modelle... Alle werden innerhalb eines statistischen Frameworks kombiniert Im Prinzip sollten alle Sätze der Zielsprache als mögliche Übersetzungen in Betracht gezogen werden NP-vollständiges Problem Effiziente Suchalgorithmen erforderlich Einschränkungen des Suchraums J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 5 Vorbesprechung 5. Mai 2017

6 Bestandteile der maschinellen Übersetzung Fünf integrale Bestandteile: Training: Wort-Alignment für f j #e i Wortpaare Extraktion: Extraktion von Fragmenten mit Wahrscheinlichkeiten aus einem bilingualen Trainings-Korpus Log-lineare Modellkombination: Kombination von Einzelmodellen, z.b. Übersetzungsmodell, Sprachmodell,... Suche: Finden des wahrscheinlichsten, plausibelsten Zielsatzes Optimierung: automatische Bewertung der Ausgabe und Optimierung Ähnlichkeiten zur Spracherkennung, aber Nicht-monotone Suche Ausgabe schwerer zu interpretieren (z.b. bei Synonymen, anderer Grammatikstruktur,... ) J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 6 Vorbesprechung 5. Mai 2017

7 Training: Wort-Alignment Eingeführt von IBM Sequenz von IBM-1,..., IBM-5 Modellen Berechnung durch den EM-Algorithmus (iteratives Verfahren) Erweiterungen der RWTH Zusätzliches Modell (HMM), statt IBM-2 Effiziente Implementierung Open Source Toolkit: GIZA++? Act Last s Musharraf le dernier numéro de Moucharraf? J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 7 Vorbesprechung 5. Mai 2017

8 Übung 2 Ziel: Konstruktion eines (einfachen) Übersetzers für Deutsch-Englisch wortweise Übersetzung monoton von links nach rechts, keine Umordnungen in der Wortabfolge Zielsatz hat gleiche Länge wie Quellsatz, d.h. I = J. kein Sprachmodell Eingabe: unbekannte Sätze in Deutsch Ausgabe: Übersetzung in Englisch J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 8 Vorbesprechung 5. Mai 2017

9 Phrase-Based Translation Phrasenbasierte Übersetzung mit Umordnungen (Beispiel von Kevin Knight) 7. Scoring: Try to use phrase pairs that have been frequently observed. Try to output a sentence with frequent English word sequences. J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 9 Vorbesprechung 5. Mai 2017

10 Phrase-Based Translation Phrasenbasierte Übersetzung mit Umordnungen (Beispiel von Kevin Knight) 7. Scoring: Try to use phrase pairs that have been frequently observed. Try to output a sentence with frequent English word sequences. J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 10 Vorbesprechung 5. Mai 2017

11 Phrase-Based Translation Phrasenbasierte Übersetzung mit Umordnungen (Beispiel von Kevin Knight) 7. Scoring: Try to use phrase pairs that have been frequently observed. Try to output a sentence with frequent English word sequences. J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 11 Vorbesprechung 5. Mai 2017

12 Phrase-Based Translation Phrasenbasierte Übersetzung mit Umordnungen (Beispiel von Kevin Knight) 7. Scoring: Try to use phrase pairs that have been frequently observed. Try to output a sentence with frequent English word sequences. J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 12 Vorbesprechung 5. Mai 2017

13 Einzelwortbasierte monotone Übersetzung Einfach: Berechnung des Satzes mit den minimalen Kosten Problematisch: Berechnung der nächstbesten Alternative für beliebig lange Übergänge A A B C D E F G G J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 13 Vorbesprechung 5. Mai 2017

14 Einzelwortbasierte monotone Übersetzung Einfach: (langweilig) Problematisch: Eure Aufgabe (mit dem A*-Algorithmus) A A B C D E F G G J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 14 Vorbesprechung 5. Mai 2017

15 A*-Suche single-best Berechnung einfach: jeweils besten Pfad abspeichern n-best Berechnung durch den A*-Suchalgorithmus informierter Suchalgorithmus untersucht Knoten zuerst, die am vielversprechendsten sind benötigt optimistische Schätzungsfunktion f(x) in unserer Übersetzung: f(x) = g(x) + h(x), mit g(x) sind die Übersetzungskosten h(x) sind die besten Pfade zum Knoten J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 15 Vorbesprechung 5. Mai 2017

16 N-Best Berechnung durch A*-Suche Tabelle: 1.5 # X Y # A A 1.4 # X # B 1.2 # X # C 1.2 # Y # D 1.3 # Y # E 1.5 # Y Z # G G 1.1 # Z # F B A A D F C E G G J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 16 Vorbesprechung 5. Mai 2017

17 N-Best Berechnung durch A*-Suche Tabelle: 1.5 # X Y # A A 1.4 # X # B 1.2 # X # C 1.2 # Y # D 1.3 # Y # E 1.5 # Y Z # G G 1.1 # Z # F A A B D F C E G G J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 17 Vorbesprechung 5. Mai 2017

18 N-Best Berechnung durch A*-Suche Tabelle: 1.5 # X Y # A A 1.4 # X # B 1.2 # X # C 1.2 # Y # D 1.3 # Y # E 1.5 # Y Z # G G 1.1 # Z # F hyp f(x) g(x) h(x) F G G expandiere F A A B D F C E G G J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 18 Vorbesprechung 5. Mai 2017

19 N-Best Berechnung durch A*-Suche Tabelle: 1.5 # X Y # A A 1.4 # X # B 1.2 # X # C 1.2 # Y # D 1.3 # Y # E 1.5 # Y Z # G G 1.1 # Z # F hyp f(x) g(x) h(x) A A F G G D F E F gib A A F aus expandiere G G A A B D F C E G G J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 19 Vorbesprechung 5. Mai 2017

20 N-Best Berechnung durch A*-Suche Tabelle: 1.5 # X Y # A A 1.4 # X # B 1.2 # X # C 1.2 # Y # D 1.3 # Y # E 1.5 # Y Z # G G 1.1 # Z # F hyp f(x) g(x) h(x) C G G B G G D F E F gib C G G aus gib B G G aus expandiere D F A A B D F C E G G J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 20 Vorbesprechung 5. Mai 2017

21 Verstehen was schief geht J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 21 Vorbesprechung 5. Mai 2017

22 Fragen? J.-T. Peter, A. Guta, J. Rosendahl Maschinelle Übersetzung 22 Vorbesprechung 5. Mai 2017