Syntax-basierte maschinelle Übersetzung mit Baumübersetzern

Transkript

1 yntax-basierte maschinelle Übersetzung mit Baumübersetzern Andreas Maletti Leipzig 28. April 2015

2 Maschinelle Übersetzung Original Übersetzung (GOOGLE TRANLATE) The addressees of this paper are students and students will be in the audience are.

3 Maschinelle Übersetzung Original Die Adressaten dieses Vortrags sind tudierende und im Publikum werden sich tudierende befinden. Übersetzung (GOOGLE TRANLATE) The addressees of this paper are students and students will be in the audience are.

4 Maschinelle Übersetzung Original Die Adressaten dieses Vortrags sind tudierende und im Publikum werden sich tudierende befinden. Übersetzung (GOOGLE TRANLATE) The addressees of this paper are students and students will be in the audience are. To scientific lecture, a public discussion follows on.

5 Maschinelle Übersetzung Original Die Adressaten dieses Vortrags sind tudierende und im Publikum werden sich tudierende befinden. An den wissenschaftlichen Vortrag schließt sich eine öffentliche Diskussion an. Übersetzung (GOOGLE TRANLATE) The addressees of this paper are students and students will be in the audience are. To scientific lecture, a public discussion follows on.

6 Maschinelle Übersetzung Dreieck von VAUQUOI: Fremd Deutsch emantik yntax Phrase

7 Maschinelle Übersetzung Dreieck von VAUQUOI: Fremd Deutsch emantik yntax Phrase Übersetzungsmodell: string-to-tree

8 Maschinelle Übersetzung Trainingsdaten paralleler Korpus Wortbeziehungen yntaxbäume der deutschen ätze (Zielsprache)

9 Maschinelle Übersetzung Trainingsdaten paralleler Korpus Wortbeziehungen yntaxbäume der deutschen ätze (Zielsprache) Paralleler Korpus Linguistische Ressource mit Beispielübersetzungen (auf atzebene)

10 Maschinelle Übersetzung paralleler Korpus, Wortbeziehungen, yntaxbaum I would like your advice about Rule 143 concerning inadmissibility Könnten ie mir eine Auskunft zu Artikel 143 im Zusammenhang mit der Unzulässigkeit geben KOU ER ER ART NN AR NN CD AART NN AR ART NN VV

11 Maschinelle Übersetzung paralleler Korpus, Wortbeziehungen, yntaxbaum I would like your advice about Rule 143 concerning inadmissibility Könnten ie mir eine Auskunft zu Artikel 143 im Zusammenhang mit der Unzulässigkeit geben KOU ER ER ART NN AR NN CD AART NN AR ART NN VV per GIZA++ [OCH, NEY, 2003]

12 Maschinelle Übersetzung paralleler Korpus, Wortbeziehungen, yntaxbaum I would like your advice about Rule 143 concerning inadmissibility Könnten ie mir eine Auskunft zu Artikel 143 im Zusammenhang mit der Unzulässigkeit geben KOU ER ER ART NN AR NN CD AART NN AR ART NN VV per BERKELEY-Parser [PETROV et al., 2006]

13 Baumübersetzer Erweiterter absteigender Baumübersetzer (TG) Variante von [M., GRAEHL, HOPKIN, KNIGHT, 2009] Regeln der Gestalt NT ( r, r 1 ) Nichtterminal NT rechte Regelseite r einer kontextfreien Grammatik rechte Regelseite r 1 einer regulären Baumgrammatik

14 Baumübersetzer Erweiterter absteigender Baumübersetzer (TG) Variante von [M., GRAEHL, HOPKIN, KNIGHT, 2009] Regeln der Gestalt NT ( r, r 1 ) Nichtterminal NT rechte Regelseite r einer kontextfreien Grammatik rechte Regelseite r 1 einer regulären Baumgrammatik ER would KOUlike ER advice Könnten eine Auskunft geben KOU ER ER ART NN VV

15 Baumübersetzer Erweiterter absteigender Baumübersetzer (TG) Variante von [M., GRAEHL, HOPKIN, KNIGHT, 2009] Regeln der Gestalt NT ( r, r 1 ) Nichtterminal NT rechte Regelseite r einer kontextfreien Grammatik rechte Regelseite r 1 einer regulären Baumgrammatik ER would KOUlike ER advice Könnten eine Auskunft geben KOU ER ER ART NN VV

16 Baumübersetzer Erweiterter absteigender Baumübersetzer (TG) Variante von [M., GRAEHL, HOPKIN, KNIGHT, 2009] Regeln der Gestalt NT ( r, r 1 ) Nichtterminal NT rechte Regelseite r einer kontextfreien Grammatik rechte Regelseite r 1 einer regulären Baumgrammatik ER would KOUlike ER advice Könnten eine Auskunft geben KOU ER ER ART NN VV

17 Baumübersetzer Erweiterter absteigender Baumübersetzer (TG) Variante von [M., GRAEHL, HOPKIN, KNIGHT, 2009] Regeln der Gestalt NT ( r, r 1 ) Nichtterminal NT rechte Regelseite r einer kontextfreien Grammatik rechte Regelseite r 1 einer regulären Baumgrammatik ER would KOUlike ER advice Könnten eine Auskunft geben KOU ER ER ART NN VV

18 Baumübersetzer Erweiterter absteigender Baumübersetzer (TG) Variante von [M., GRAEHL, HOPKIN, KNIGHT, 2009] Regeln der Gestalt NT ( r, r 1 ) Nichtterminal NT rechte Regelseite r einer kontextfreien Grammatik rechte Regelseite r 1 einer regulären Baumgrammatik (bijektive) ynchronisation der Nichtterminale ER would KOUlike ER advice Könnten eine Auskunft geben KOU ER ER ART NN VV

19 Baumübersetzer ER would KOUlike ER advice Könnten eine Auskunft geben KOU ER ER ART NN VV Regelanwendung 1. Auswahl synchroner Nichtterminale

20 Baumübersetzer ER would KOUlike ER advice Könnten eine Auskunft geben KOU ER ER ART NN VV Regelanwendung 1. Auswahl synchroner Nichtterminale

21 Baumübersetzer ER would KOUlike ER advice Könnten eine Auskunft geben KOU ER ER ART NN VV Regelanwendung 1. Auswahl synchroner Nichtterminale would like 2. Auswahl einer passenden Regel KOU Könnten KOU

22 Baumübersetzer ER would KOUlike ER advice Könnten eine Auskunft geben KOU ER ER ART NN VV Regelanwendung 1. Auswahl synchroner Nichtterminale 2. Auswahl einer passenden Regel 3. Ersetzung auf beiden eiten KOU would like Könnten KOU

23 Baumübersetzer ER would like ER advice AR NN CD Könnten eine Auskunft geben KOU ER ER ART NN AR NN CD VV Regelanwendung 1. Nichtterminal-Auswahl

24 Baumübersetzer ER would like ER advice AR NN CD Könnten eine Auskunft geben KOU ER ER ART NN AR NN CD VV Regelanwendung 1. Nichtterminal-Auswahl

25 Baumübersetzer ER would like ER advice AR NN CD Könnten eine Auskunft geben KOU ER ER ART NN AR NN CD VV Regelanwendung 1. Nichtterminal-Auswahl 2. passende Regel AR NN CD AR NN CD

26 Baumübersetzer ER would like ER advice AR NN CD Könnten eine Auskunft geben KOU ER ER ART NN AR NN CD VV Regelanwendung 1. Nichtterminal-Auswahl 2. passende Regel 3. Ersetzung AR NN CD AR NN CD

27 Regelextraktion nach [GALLEY, HOPKIN, KNIGHT, MARCU, 2004] I would like your advice about Rule 143 concerning inadmissibility Könnten ie mir eine Auskunft zu Artikel 143 im Zusammenhang mit der Unzulässigkeit geben KOU ER ER ART NN AR NN CD AART NN AR ART NN VV

28 Regelextraktion nach [GALLEY, HOPKIN, KNIGHT, MARCU, 2004] I would like your advice about Rule 143 concerning inadmissibility Könnten ie mir eine Auskunft zu Artikel 143 im Zusammenhang mit der Unzulässigkeit geben KOU ER ER ART NN AR NN CD AART NN AR ART NN VV extrahierbare Regeln rot umrandet

29 Regelextraktion nach [GALLEY, HOPKIN, KNIGHT, MARCU, 2004] I would like your advice about Rule 143 concerning inadmissibility Könnten ie mir eine Auskunft zu Artikel 143 im Zusammenhang mit der Unzulässigkeit geben KOU ER ER ART NN AR NN CD AART NN AR ART NN VV extrahierbare Regeln rot umrandet

30 Regelextraktion nach [GALLEY, HOPKIN, KNIGHT, MARCU, 2004] I would like your advice about Rule 143 concerning inadmissibility Könnten ie mir eine Auskunft zu Artikel 143 im Zusammenhang mit der Unzulässigkeit geben KOU ER ER ART NN AR NN CD AART NN AR ART NN VV extrahierbare Regeln rot umrandet

31 Regelextraktion nach [GALLEY, HOPKIN, KNIGHT, MARCU, 2004] I would like your advice about Rule 143 concerning inadmissibility Könnten ie mir eine Auskunft zu Artikel 143 im Zusammenhang mit der Unzulässigkeit geben KOU ER ER ART NN AR NN CD AART NN AR ART NN VV extrahierbare Regeln rot umrandet

32 Regelextraktion Ausschneiden der extrahierbaren Regeln: I would like your advice about Rule 143 concerning inadmissibility Könnten ie mir eine Auskunft zu Artikel 143 im Zusammenhang mit der Unzulässigkeit geben KOU ER ER ART NN AR NN CD AART NN AR ART NN VV

33 Regelextraktion Ausschneiden der extrahierbaren Regeln: ER would like your advice about Rule 143 Könnten ie eine Auskunft zu Artikel 143 geben KOU ER ER ART NN AR NN CD VV

34 Regelextraktion Erneute Regelextraktion: ER would like your advice about Rule 143 Könnten ie eine Auskunft zu Artikel 143 geben KOU ER ER ART NN AR NN CD VV

35 Regelextraktion Erneute Regelextraktion: ER would like your advice about Rule 143 Könnten ie eine Auskunft zu Artikel 143 geben KOU ER ER ART NN AR NN CD VV

36 Regelextraktion Erneute Regelextraktion: ER would like your advice about Rule 143 Könnten ie eine Auskunft zu Artikel 143 geben KOU ER ER ART NN AR NN CD VV extrahierbare Regeln rot umrandet

37 Regelextraktion Erneute Regelextraktion: ER would like your advice about Rule 143 Könnten ie eine Auskunft zu Artikel 143 geben KOU ER ER ART NN AR NN CD VV extrahierbare Regeln rot umrandet

38 Regelextraktion Erneute Regelextraktion: ER would like your advice about Rule 143 Könnten ie eine Auskunft zu Artikel 143 geben KOU ER ER ART NN AR NN CD VV extrahierbare Regeln rot umrandet

39 Regelextraktion Erneute Regelextraktion: ER would like your advice about Rule 143 Könnten ie eine Auskunft zu Artikel 143 geben KOU ER ER ART NN AR NN CD VV extrahierbare Regeln rot umrandet

40 Baumübersetzer Vorteile sehr einfach implementiert in MOE [KOEHN et al., 2007] kontext-frei

41 Baumübersetzer Vorteile sehr einfach implementiert in MOE [KOEHN et al., 2007] kontext-frei Nachteile Probleme mit Diskontinuitäten Komposition und Binarisierung problematisch [M. et al., 2009] und [ZHANG et al., 2006] kontext-frei

42 Regelextraktion ER would like your advice about Rule 143 Könnten ie eine Auskunft zu Artikel 143 geben KOU ER ER ART NN AR NN CD VV sehr spezielle Regel jede Regel für advice liefert atzstruktur (yntax hinderlich)

43 Baumübersetzer Mehrfach-Baumübersetzer (MBOT) Variante von [M., 2010] Regeln der Gestalt NT ( r, r 1,..., r n ) Nichtterminal NT rechte Regelseite r einer kontextfreien Grammatik rechte Regelseiten r1,..., r n einer regulären Baumgr.

44 Baumübersetzer Mehrfach-Baumübersetzer (MBOT) Variante von [M., 2010] Regeln der Gestalt NT ( r, r 1,..., r n ) Nichtterminal NT rechte Regelseite r einer kontextfreien Grammatik rechte Regelseiten r1,..., r n einer regulären Baumgr. advice ART-NN-VV eine Auskunft geben ART NN VV

45 Baumübersetzer Mehrfach-Baumübersetzer (MBOT) Variante von [M., 2010] Regeln der Gestalt NT ( r, r 1,..., r n ) Nichtterminal NT rechte Regelseite r einer kontextfreien Grammatik rechte Regelseiten r1,..., r n einer regulären Baumgr. advice ART-NN-VV eine Auskunft geben ART NN VV

46 Baumübersetzer Mehrfach-Baumübersetzer (MBOT) Variante von [M., 2010] Regeln der Gestalt NT ( r, r 1,..., r n ) Nichtterminal NT rechte Regelseite r einer kontextfreien Grammatik rechte Regelseiten r1,..., r n einer regulären Baumgr. ART-NN-VV about Rule 143 -VV zu Artikel 143 ART NN AR NN CD VV

47 Baumübersetzer Mehrfach-Baumübersetzer (MBOT) Variante von [M., 2010] Regeln der Gestalt NT ( r, r 1,..., r n ) Nichtterminal NT rechte Regelseite r einer kontextfreien Grammatik rechte Regelseiten r1,..., r n einer regulären Baumgr. (surjektive) ynchronisation der Nichtterminale ART-NN-VV about Rule 143 -VV zu Artikel 143 ART NN AR NN CD VV

48 Baumübersetzer ART-NN-VV about Rule 143 -VV zu Artikel 143 ART NN AR NN CD VV Regelanwendung 1. Nichtterminalauswahl

49 Baumübersetzer ART-NN-VV about Rule 143 -VV zu Artikel 143 ART NN AR NN CD VV Regelanwendung 1. Nichtterminalauswahl

50 Baumübersetzer ART-NN-VV about Rule 143 -VV zu Artikel 143 ART NN AR NN CD VV Regelanwendung advice 1. Nichtterminalauswahl 2. passende Regel ART-NN-VV eine Auskunft geben ART NN VV

51 Baumübersetzer advice about Rule 143 -VV eine Auskunft zu Artikel 143 geben ART NN AR NN CD VV Regelanwendung advice 1. Nichtterminalauswahl 2. passende Regel ART-NN-VV eine Auskunft geben 3. Ersetzung ART NN VV

52 Regelextraktion nach [M., 2011] ER would like your advice about Rule 143 Könnten ie eine Auskunft zu Artikel 143 geben KOU ER ER ART NN AR NN CD VV

53 Regelextraktion nach [M., 2011] ER would like your advice about Rule 143 Könnten ie eine Auskunft zu Artikel 143 geben KOU ER ER ART NN AR NN CD VV

54 Regelextraktion nach [M., 2011] ER would like your advice about Rule 143 Könnten ie eine Auskunft zu Artikel 143 geben KOU ER ER ART NN AR NN CD VV extrahierbare Regeln rot umrandet

55 Regelextraktion nach [M., 2011] ER would like your advice about Rule 143 Könnten ie eine Auskunft zu Artikel 143 geben KOU ER ER ART NN AR NN CD VV extrahierbare Regeln rot umrandet

56 Baumübersetzer Vorteile komplizierte Diskontinuitäten auch in MOE [BRAUNE et al., 2013] binarisierbar, komponierbar

57 Baumübersetzer Vorteile komplizierte Diskontinuitäten auch in MOE [BRAUNE et al., 2013] binarisierbar, komponierbar Nachteile Ausgabe nicht regulär (als Baumsprache) nicht symmetrisch (Eingabe kontext-frei; Ausgabe nicht)

58 Diskontinuitäten He bought a new and fuel-efficient car Er hat ein neues und sparsames Auto gekauft ER VAFIN ART ADJA KON ADJA NN VV CAP VP

59 Bewertung Übersetzung ystem BLEU TG Englisch Deutsch MBOT phrasenbasiert hierarchisch GHKM TG Englisch Arabisch MBOT phrasenbasiert hierarchisch GHKM TG Englisch Chinesisch MBOT phrasenbasiert hierarchisch GHKM aus [EEMANN, BRAUNE, M., 2015]

60 Aktuelle Forschung Dekodierung Eingabeseite kontextfreie Grammatik erweiterter CYK-Algorithmus für Übersetzung (Parsen des Eingabesatzes; Übersetzung entsteht)

61 Aktuelle Forschung Dekodierung Eingabeseite kontextfreie Grammatik erweiterter CYK-Algorithmus für Übersetzung (Parsen des Eingabesatzes; Übersetzung entsteht) Beobachtungen phrasenbasierte ystem machen keine uchfehler [CHANG, COLLIN, 2011]

62 Aktuelle Forschung Dekodierung Eingabeseite kontextfreie Grammatik erweiterter CYK-Algorithmus für Übersetzung (Parsen des Eingabesatzes; Übersetzung entsteht) Beobachtungen phrasenbasierte ystem machen keine uchfehler [CHANG, COLLIN, 2011] TG und MBOT sehr wohl Heuristiken (??? BLEU) exakte Dekodierung mit yntaxwald (+2 3 BLEU)

63 Aktuelle Forschung Regelextraktion zu viele extrahierbare Regeln welche Einschränkungen? [EEMANN, BRAUNE, M., 2015] effizientere Darstellung (evtl. symbolisch)

64 Aktuelle Forschung Regelextraktion zu viele extrahierbare Regeln welche Einschränkungen? [EEMANN, BRAUNE, M., 2015] effizientere Darstellung (evtl. symbolisch) nur bester yntaxbaum Regelextraktionen mit yntaxwald (ambitioniert)

65 Aktuelle Forschung I would like your advice about Rule 143 concerning inadmissibility Könnten ie mir eine Auskunft zu Artikel 143 im Zusammenhang mit der Unzulässigkeit geben KOU ER ER ART NN AR NN CD AART NN AR ART NN VV

66 Aktuelle Forschung Regelextraktion zu viele extrahierbare Regeln welche Einschränkungen? [EEMANN, BRAUNE, M., 2015] effizientere Darstellung (evtl. symbolisch) nur bester yntaxbaum Regelextraktionen mit yntaxwald (ambitioniert) Übersetzungsmodelle nur wortbasierte ysteme für Wortbeziehungen effiziente Einschränkungen moderner ysteme unüberwachtes Lernen

67 Aktuelle Forschung Regelextraktion zu viele extrahierbare Regeln welche Einschränkungen? [EEMANN, BRAUNE, M., 2015] effizientere Darstellung (evtl. symbolisch) nur bester yntaxbaum Regelextraktionen mit yntaxwald (ambitioniert) Übersetzungsmodelle nur wortbasierte ysteme für Wortbeziehungen effiziente Einschränkungen moderner ysteme unüberwachtes Lernen Modelle für semantik-basierte Übersetzung graph-basierte Modelle

68 Aktuelle Forschung Übersetzungsmodelle Ausdrucksstärke von TG-Kompositionen (mit FÜLÖP, ENGELFRIET) von Teilklassen von MBOT von kombinatorischen Kategorialgrammatiken (mit KUHLMANN)

69 Aktuelle Forschung Übersetzungsmodelle Ausdrucksstärke von TG-Kompositionen (mit FÜLÖP, ENGELFRIET) von Teilklassen von MBOT von kombinatorischen Kategorialgrammatiken (mit KUHLMANN) Minimierung klassisch basierend auf imulationen und Bisimulationen basierend auf Beinahe-Äquivalenz

70 Literatur Auswahl CHIANG: Hierarchical Phrase-Based Translation Comput. Linguist. 33, 2007 GALLEY, HOPKIN, KNIGHT, MARCU What s in a Translation Rule? Proc. NAACL, 2004 KOEHN: tatistical Machine Translation Cambridge University Press, 2010 OCH, NEY: The Alignment Template Approach to tatistical Machine Translation. Comput. Linguist. 30, 2004