Softwareprojektpraktikum Maschinelle Übersetzung

Transkript

1 Softwareprojektpraktikum Maschinelle Übersetzung Jan-Thorsten Peter, Andreas Guta Vorbesprechung 1. Aufgabe 09. April 2014 Human Language Technology and Pattern Recognition Lehrstuhl für Informatik 6 Computer Science Department RWTH Aachen University, Germany J.-T. Peter, A. Guta Maschinelle Übersetzung 1 Vorbesprechung 09. April 2014

2 Motivation Mark Twain, the famous writer, once said In Paris they just simply opened their eyes and stared when we spoke to them in French! We never did succeed in making those idiots understand their own language. J.-T. Peter, A. Guta Maschinelle Übersetzung 2 Vorbesprechung 09. April 2014

3 Motivation Mark Twain, the famous writer, once said In Paris they just simply opened their eyes and stared when we spoke to them in French! We never did succeed in making those idiots understand their own language. Mark Twain, der berühmte Verfasser, einmal besagtes In Paris öffneten sie gerade einfach ihre Augen und starrten an, als wir mit ihnen auf französisch sprachen! Wir nie folgten, mit, jene Idioten zu bilden, verstehen ihr eigenes language. babelfish J.-T. Peter, A. Guta Maschinelle Übersetzung 3 Vorbesprechung 09. April 2014

4 Motivation Mark Twain, the famous writer, once said In Paris they just simply opened their eyes and stared when we spoke to them in French! We never did succeed in making those idiots understand their own language. Mark Twain, der berühmte Verfasser, einmal besagtes In Paris öffneten sie gerade einfach ihre Augen und starrten an, als wir mit ihnen auf französisch sprachen! Wir nie folgten, mit, jene Idioten zu bilden, verstehen ihr eigenes language. babelfish J.-T. Peter, A. Guta Maschinelle Übersetzung 4 Vorbesprechung 09. April 2014

5 Contents 1 Lehrstuhl i6 6 2 Einführung 7 3 Maschinelle Übersetzung 9 4 Praktikumsablauf 17 J.-T. Peter, A. Guta Maschinelle Übersetzung 5 Vorbesprechung 09. April 2014

6 1 Lehrstuhl i6 Forschung am Lehrstuhl für Informatik 6: Anwendung statistischer Verfahren zur/zum automatischen Spracherkennung Sprachübersetzung Sprachverstehen Bilderkennung Information Retrieval angewandte Methoden: Mustererkennung Signalverarbeitung Informationstheorie und statistische Inferenz Suchverfahren und effiziente Algorithmen Künstliche Intelligenz und Verarbeitung unsicheren Wissens J.-T. Peter, A. Guta Maschinelle Übersetzung 6 Vorbesprechung 09. April 2014

7 2 Einführung Aufgabe in diesem Praktikum: Erstellen eines automatischen maschinellen Übersetzers Sprachpaar: Deutsch Englisch Bewertung und Verbesserung der Übersetzungsresultate J.-T. Peter, A. Guta Maschinelle Übersetzung 7 Vorbesprechung 09. April 2014

8 Das Praktikum Voraussetzungen: Kenntnisse in Algorithmen und Datenstrukturen und objektorientierter Programmierung Ziele: praktische Erfahrung mit der Programmiersprache C++ praktische Erfahrung in der Programmentwicklung unter Linux Softwareentwicklung im Team Implementierung von Datenstrukturen und effizienten Algorithmen Erwerb von Kenntnissen über Methoden der Sprachverarbeitung J.-T. Peter, A. Guta Maschinelle Übersetzung 8 Vorbesprechung 09. April 2014

9 3 Maschinelle Übersetzung Ansätze: regelbasiert, knowledge-driven bilinguale Sprachexperten erstellen manuell Regeln statistisch, data-driven keine harten Regeln festgelegt Computer lernt Sprachzusammenhänge aus Trainingsdaten Siegeszug der statistischen Übersetzung: seit 1993 (Arbeiten bei IBM) J.-T. Peter, A. Guta Maschinelle Übersetzung 9 Vorbesprechung 09. April 2014

10 Statistischer Ansatz It must be recognized that the notion of a probability of a sentence is an entirely useless one, under any interpretation of this term. Noam Chomsky, 1969 Gegeben: Trainingsdaten, d.h. eine Sammlung von Sätzen der Quellsprache und deren Übersetzung in der Zielsprache Beispiel: Reden im Europa-Parlament müssen per Gesetz in alle offiziellen Amtssprachen übersetzt werden Gesucht: Die beste (= wahrscheinlichste) Übersetzung eines unbekannten Satzes Bewertungskriterien für die Qualität einer Übersetzung J.-T. Peter, A. Guta Maschinelle Übersetzung 10 Vorbesprechung 09. April 2014

11 Statistischer Ansatz Terminologie: f bezeichnet einen Satz in der Quellsprache e bezeichnet einen Satz in der Zielsprache Wahrscheinlichkeitsverteilung P r(e f) für alle möglichen Übersetzungen e eines Quellsatzes f Finde Zielsatz, der die Wahrscheinlichkeit maximiert: ê = argmax e {P r(e f)} (1) J.-T. Peter, A. Guta Maschinelle Übersetzung 11 Vorbesprechung 09. April 2014

12 Bayes Nach Bayes Entscheidungsregel können wir P r(e f) umschreiben als: P r(e f) = P r(f e) P r(e) P r(f) (2) Für argmax über alle e ist P r(f) Konstante Damit bleibt: mit ê = argmax e Translation Model P r(f e) Language Model P r(e) {P r(f e) P r(e)} (3) J.-T. Peter, A. Guta Maschinelle Übersetzung 12 Vorbesprechung 09. April 2014

13 Teilaufgaben Teilaufgaben bei der statistischen maschinellen Übersetzung: Training: Translation Model Language Model Suche nach der besten Übersetzung Bewertung der Übersetzungsqualität Optimierung der Modellgewichtung Vor-/Nachverarbeitung für typische Fehler J.-T. Peter, A. Guta Maschinelle Übersetzung 13 Vorbesprechung 09. April 2014

14 Source Language Text Transformation f J 1 Global Search: maximize Pr(e I 1 ) Pr(f J 1 ei 1 ) over e I 1 Pr(f J 1 ei 1 ) Pr(e I 1 ) Lexicon model Alignment model Language model Transformation Target Language Text J.-T. Peter, A. Guta Maschinelle Übersetzung 14 Vorbesprechung 09. April 2014

15 Translation Model Das Translation Model P r(f e) gibt an, wie wahrscheinlich f der Ursprung von e ist Beispiel für einfache Wörter: Kater # tomcat (70%) Kater # cat (23%) Kater # hangover (7%) Vorteil von einzelwortbasierter Übersetzung: Flexibel für ungesehene Satzkonstellation Nachteil von einzelwortbasierter Übersetzung: Modellierung größerer zusammengehöriger Einheiten nicht möglich Verlust von Kontextinformation später im Praktikum: längere Phrasen J.-T. Peter, A. Guta Maschinelle Übersetzung 15 Vorbesprechung 09. April 2014

16 Language Model Das Language Model P r(e) gibt an, wie wahrscheinlich der Satz e in der Zielsprache ist Üblicherweise als Wahrscheinlichkeit bei n 1 Vorgängerwörtern (sog. n-grams) Beispiel für n = 2 (Wahrscheinlichkeit gegeben einem Vorgängerwort): Probleme u. Aufgaben Guten Tag (60%) Morgen (25%) Mut (5%)... Trade-Off zwischen Größe/Genauigkeit Handhabung unbekannter Wörter Bewertung von Teilübersetzungen J.-T. Peter, A. Guta Maschinelle Übersetzung 16 Vorbesprechung 09. April 2014

17 4 Praktikumsablauf sechs Aufgabenblätter Gruppen zu jeweils vier Studenten Koordination, Schnittstellenverwaltung, Programmierung, Testen J.-T. Peter, A. Guta Maschinelle Übersetzung 17 Vorbesprechung 09. April 2014

18 Praktikumsinhalte Training: Wort-Übersetzungstabelle mit relativen Häufigkeiten (Aufgabenblatt 1) Suche: Suchalgorithmus auf Wortebene (Aufgabenblatt 2) Bewertung: Fehlermaße WER, PER und BLEU (Aufgabenblatt 3) Training II: Präfixbaum und Phrasenübersetzungstabelle (Aufgabenblatt 4) Suche II: Erweiterung des Suchalgorithmus auf Phrasen (Aufgabenblatt 5) Sprachmodellierung: Erzeugen eines Bigramm-Sprachmodells, Verwendung im Rescoring auf n-best-listen (Aufgabenblatt 5) Modellkombination: Log-lineare Modellierung (Aufgabenblatt 6) Optimierung: Downhill-Simplex Algorithmus, Minimum Error Rate Training (Aufgabenblatt 6) Zusätzlich: Aufgaben zur Software-Architektur J.-T. Peter, A. Guta Maschinelle Übersetzung 18 Vorbesprechung 09. April 2014

19 Aufgabe 1 Gegeben: Satzpaare Deutsch Englisch Zuordnung zwischen den Wörtern (sog. Alignment), Format: SENT: 0 S 0 8 S 1 9 S 2 1 S SENT: 1 S 0 0 S ocean the, thing complicated very a be can it das Meer kann ziemlich kompliziert sein. Alignment Indizes fangen bei Null an J.-T. Peter, A. Guta Maschinelle Übersetzung 19 Vorbesprechung 09. April 2014

20 Aufgabe 1 Auslesen der Dateien (gzip-format, Klasse gzstream.cpp erforderlich) Erstellen eines Alphabets string integer Berechnung der relativen Häufigkeiten: p(e f) = N(e, f) N(f) (4) N(e, f) p(f e) = N(e) Numerisch stabiler: negative Logarithmen Erstellen eines Makefiles (5) J.-T. Peter, A. Guta Maschinelle Übersetzung 20 Vorbesprechung 09. April 2014

21 Organisatorisches Einführung in die Aufgaben und Ausgabe der Aufgabenblätter: zweiwöchentlich im Seminarraum des Lehrstuhls i6 (Raum 6124) wann? donnerstags, 08:15 Uhr Termine: voraussichtlich / / / / / / Reservierung des Rechnerpools zur Bearbeitung der Aufgaben (nötig?) Kontrolle der Lösungen (im Rechnerpool oder auf Euren Notebooks) jeweils zwei Wochen nach Ausgabe: wann? nach Terminabsprache mit den betreuenden Assistenten J.-T. Peter, A. Guta Maschinelle Übersetzung 21 Vorbesprechung 09. April 2014

22 Sonstiges Zugangsberechtigung im Rechnerpool besorgen Website: web/teaching/labcourses/ss15/softwareprojektpraktikum/ -Verteiler: Fragen & Probleme: möglichst per an oder persönlich bei uns im Büro vorbeikommen (Räume 6125 und 6125a) Bachelorstudiengang: Rücktritt von der Veranstaltung ohne Anrechnung eines Fehlversuchs bis maximal drei Wochen nach Veranstaltungsbeginn möglich Praktikum ist ideale Grundlage für spätere Hiwi-Tätigkeit am Lehrstuhl J.-T. Peter, A. Guta Maschinelle Übersetzung 22 Vorbesprechung 09. April 2014

23 Bitte erwägen Sie sorgfältig, wenn Sie jede Frage haben, links, weil jetzt sein konnte eine leuchtende Zeit, um sie zu bitten J.-T. Peter, A. Guta Maschinelle Übersetzung 23 Vorbesprechung 09. April 2014

24 Bitte erwägen Sie sorgfältig, wenn Sie jede Frage haben, links, weil jetzt sein konnte eine leuchtende Zeit, um sie zu bitten Fragen? J.-T. Peter, A. Guta Maschinelle Übersetzung 24 Vorbesprechung 09. April 2014

25 The Blackslide GoBack