Moses Ein Erfahrungsbericht

Transkript

1 Moses Ein Erfahrungsbericht tekom Jahrestagung Oktober 2017 Norbert Grabowski, Leiter Softwareentwicklung D.O.G. Dokumentation ohne Grenzen GmbH Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 1

2 Überblick Kleine MÜ-Geschichte Was ist Moses? Schritte für das Training Moses direkt nach dem ersten Training (Demo) Phrasenbasierte Übersetzung (Demo) Postediting Wirtschaftlichkeit Fazit Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 2

3 Kleine MÜ-Geschichte (1/2) Es wurden 2 Patente eingereicht für eine mechanische Übersetzungsmaschine. Nach der Entwicklung des ersten Computers (1942), wurde ein Übersetzungssystem im Versuchsstadium vorgestellt. Viel Geld wurde in die MÜ-Forschung investiert. Der für das US-Verteidigungsministerium erstellte ALPAC-Bericht hält maschinelles übersetzen für nicht realisierbar. Die Forschung kam zum erliegen. Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 3

4 Kleine MÜ-Geschichte (2/2) Wenig Forschung in den USA. Fördergelder wurden stark reduziert Gründung von Systran. Comeback der MÜ. Öffentliche Institutionen und internationale Unternehmen melden Bedarf an MÜ. IBM stellt einen rein statistischen Ansatz zur MÜ vor. Idee: Übersetzungsentscheidungen werden aufgrund von Wahrscheinlichkeiten getroffen. Start von Moses. Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 4

5 Was ist Moses? Moses ist ein statistisches MÜ-System. Moses ist kostenlos. Moses ist für Linux, Mac OS X und Windows. Moses bietet viele Übersetzungsmodelle und ist eine ideale Plattform theoretische Ansätze praktisch durchzuführen. Moses ist Open-Source (Lizensiert unter LGPL): Moses kann unverändert benutzt werden. Keine Lizenzbeschränkung. Moses kann in eigene Applikationen integriert werden (libmoses.a). Moses kann modifiziert werden. Wenn kommerziell vermarktet wird, soll der Sourcecode verfügbar sein. Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 5

6 Motivation für MÜ Informationen: Oft ist eine perfekte Übersetzung nicht wichtig, weil die Informationen von Interesse sind. (z. B. Hilfetexte, Microsoft MSDN,..) Wissenschaftlicher Faktor: MÜ hängt mit anderen Forschungsgebieten (KI, Linguistik, Informatik..) zusammen. Kommerzielle Gründe: Verzögerungen bei einer Produktauslieferung kann hohe Kosten erzeugen. Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 6

7 Moses auf Windows Are you running it on Windows? If so, please give us feedback on how it works (Moses.pdf, Kapitel 2.1.5, Seite 27) Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 7

8 Voraussetzung für Moses Das Moses-Handbuch als PDF herunterladen. Linux Ubuntu LTS als Betriebssystem. Alle Ubuntu Updates installieren. Installation GIZA++ für das Alignment. Der GNU C++ Compiler ist bei Ubuntu bereits installiert. Moses wird vom Anwender kompiliert. Eclipse als IDE installieren mit CDT Visual C++ Support, falls Änderungen an Moses vorgenommen werden. Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 8

9 Vorbereitung Weitere Pakete wie python-dev, git, libtool, mit sudo apt-get install [Paketname] über die Kommandozeile. Die Kommandozeile hat eine entscheidende Bedeutung unter Linux. Für Windows wird Cygwin benötigt. Cygwin ist eine Sammlung von GNU und Open Source Tools. Für Mac OSX wird MacPorts empfohlen. Erster Test auf ein leider viel zu schwachem Notebook. Moses kann unter Microsoft Hyper-V virtualisiert werden. Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 9

10 Training Als Corpus dienen 2 Dateien mit Ausgangssprache und Zielsprache getrennt. Die Dateien bestehen aus reinem Fließtext. 3 Schritte werden durchgeführt: Tokenisation Truecasing Cleaning Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 10

11 Tokenisation, Truecasing, Cleaning Tokenisation: Leerzeichen werden eingefügt: Lately, with gold prices up more than 300 % over the last decade, it is Truecasing: Statistische Daten werden ermittelt: Janeiro (17/21) JANEIRO (4) Cleaning: Alle Segmente werden auf z. B. 80 Wörter reduziert. Lange Sätze und leere Sätze werden entfernt. Falsche Alignment-Paare werden entfernt. Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 11

12 Was passiert beim Training Überblick über die Verzeichnisse behalten. Welche Befehle startet man in welchem Verzeichnis? Wo liegen die Ergebnisse. Keine Rückmeldung von Moses außer die Prozessorauslastung. Ein Kern hatte 100%. Es ist möglich mehrere Prozessorkerne für die Performance zu nutzen. Für beide Sprachrichtungen sind 2x Training erforderlich. Fehler in den Kommandozeilenbefehlen: Abhilfe sind Linux-Skripte. Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 12

13 Probleme beim Übersetzen (Beispiele) Problem bei Geschlecht: FR: La barrière (fem.) -> DE: der Schrank (mask.) Problem bei Singular/Plural: DE: Es gibt 5 Häuser -> EN: There are 5 houses Problem bei Präpositionen: DE: hindern an -> EN: prevent from DE: auf der Straße -> EN: in the street Problem bei Verben: DE: eine Entscheidung treffen -> EN: to take a decision Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 13

14 Vergleich Google, Moses, SDL und DeepL Segment Es wird bei den Desinfektionsmitteln gespart Der Flug wurde gestrichen Die Wand wurde gestrichen Er vertreibt Mäuse Google Übersetzer It is saved with the disinfectants The flight was canceled. The wall was painted He drives out mice Moses 1) SDL - Adaptive MT DeepL It will be saved in disinfectants The flight was canceled. The wall was canceled. He will drive out mice. It is saved in the disinfectants The flight was canceled The wall has been deleted He sells mice Saving on disinfectants The flight has been cancelled. The wall was painted He sells mice 1) Ein Korpus mit Segmente Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 14

15 Moses nach dem Training (1/2) Ein Wort in der Ausgangssprache entspricht einem Wort in der Zielsprache. Kontextinformationen werden in der Berechnung der Wahrscheinlichkeit nicht berücksichtigt. Problem (Dow-Jones Index): Seit damals ist er um Punkte gestiegen -> since then he has risen to 10,000 points. ZS aus Korpus: Since then, the index has climbed above 10,000. Anzahl Vorkommen im Korpus: risen (109/109). Anzahl Vorkommen im Korpus: climbed (20/20). Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 15

16 Moses nach dem Training (2/2) Problem: DE: Türklinke FR: poignée de porte Übersetzung DE->FR kein Problem Übersetzung FR->DE problematisch, wegen der 3 Worte in französisch Übersetzung DE-FR: Türklinke -> poignée de porte Übersetzung FR-DE: poignée de porte -> Klinke für Tür Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 16

17 Eine Berechnung von Wahrscheinlichkeiten 1/3 Ausgangssatz S=(ss 1,, ss llss ) der Länge ll ss Zielsatz T=(tt 1,, tt lltt ) der Länge ll tt Lexikalische Übersetzungswahrscheinlichkeit: tttttttttt(tt jj ss aa(jj) ) Wortalinierungsfunktion a : j i bildet ein Wort aus ZS an Pos j auf ein Wort in AS an der Pos i ab. εε ist ein Normierungsfaktor. εε P(TT, aa SS)= (ll ss +1) ll tt jj=1 ll tt tttttttttt(tt jj ss aa(jj) ) IBM Modell 1 Beispiel Philipp Koehn, 2010 Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 17

18 Eine Berechnung von Wahrscheinlichkeiten 2/3 Ausgangswort Übersetzung Häufigkeit Haus house 8000 building 1600 home P Haus (house) = 8000 / = 0,8 P Haus (building) = 1600 / = 0,16 P Haus (home) = 400 / = 0,04 Also wird in diesem Beispiel Haus mit house übersetzt. Beispiel Philipp Koehn, 2010 Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 18

19 Eine Berechnung von Wahrscheinlichkeiten 3/3 das Haus ist klein the 0,7 house 0,8 is 0,8 small 0,4 that 0,15 building 0,16 s 0,16 little 0,4 which 0,075 home 0,02 exists 0,02 short 0,1 who 0,05 Household 0,015 has 0,015 minor 0,06 this 0,025 Shell 0,005 are 0,005 petty 0,04 P(TT, aa SS) = εε 54 tt ttttt dddddd tt hoooooooo HHHHHHHH * tt iiii iiiiii * tt ssssssssss kkkkkkkkkk = εε 625 0,7 * 0,8 * 0,8 * 0,4 = 0,00029εε P(TT, aa SS) = εε 5 4 tt ttttt dddddd tt bbbbbbbbbbbbbbbb HHHHHHHH * tt iiii iiiiii * tt llllllllllll kkkkkkkkkk = εε 625 0,7 * 0,16 * 0,8 * 0,4 = 0,00005εε Bsp.: Philipp Koehn, 2010 Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 19

20 Phrasenbasierte statistische MÜ (1/2) Eine Phrase ist eine syntaktische Einheit in der Linguistik. Man erhält bessere Ergebnisse, wenn man mehrere Wörter in eine Übersetzungseinheit einbezieht. Man kann mehrere Wörter mit einem Wort übersetzen und umgekehrt: DE: Inhaltsverzeichnis EN: Table of contents Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 20

21 Phrasenbasierte statistische MÜ (2/2) Spalte 1: Ausgangs Wortsequenz Spalte 2: Ziel Wortsequenz Spalte 3: Wahrscheinlichkeit In diesem Fall würde Auto mit hoher Wahrscheinlichkeit mit vehicle übersetzt. Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 21

22 Post-Editing Das übersetzte Segment ist korrekt übersetzt, keine Nacharbeit nötig. Das Segment hat Fehler, die mit einfachen Korrekturen behoben werden können. Das Segment ist komplett falsch und muss neu übersetzt werden. Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 22

23 DIN EN ISO DIN ISO Übersetzungsdienstleistungen - Posteditieren maschinell erstellter Übersetzungen - Anforderungen (ISO 18587:2017). Klärung von Begriffen Maschinelles Übersetzen, Sprache und Inhalt und Übersetzung. Prozess des Posteditierens. Kompetenzen und Qualifikation des Posteditoren. Full-Postediting. Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 23

24 Kompetenz Kenntnisse über MÜ-Technologie. Feedback über wiederkehrende Fehler, damit zukünftige MÜ- Texte besser werden. Analog zu DIN ISO Sprachliche Kompetenz ins Ausgang- und Zielsprache. Technische- und Sachgebietskompetenz.... Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 24

25 Full-Postediting Der Zieltext muss verständlich, korrekt und grammatikalisch korrekt sein. Der Text soll sich von einer Humanübersetzung nicht unterscheiden. Es soll so viel MÜ-Text erhalten bleiben wie möglich. Weitere wichtige Aspekte: Falsche oder unklare Sätze Ausgelassene oder zugefügte Informationen Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 25

26 Wirtschaftliche Analyse Installation Moses. Mitarbeiter mit Linux-Kenntnisse sind von Vorteil. Einrichtung: Das Training hat höhere Anforderungen an die Hardware. Pflege: Optimierung der Regeln und Erweiterung der Trainingsdaten durch einen Linguisten. Bei > 20% Korrekturen könnte die Übersetzung mit einem TMS wirtschaftlicher sein. Qualität. Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 26

27 MÜ-Prozess Endversion Text MÜ Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 27

28 Fazit Eine Maschinelle Übersetzung ist einer Humanübersetzung unterlegen. Nicht der Computer ist das Problem, sondern die Vielfalt der Sprachen. Moses bietet ein gute Plattform für Computer-Linguisten. Betreibt man ein eigenes MÜ-System mit Moses bleiben die Daten beim Dienstleister. Große Firmen und Institutionen haben Bedarf an großen Mengen von Übersetzungen. Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 28

29 Links und Literatur zu MÜ Maschinelle Übersetzung (Jörg Porsiel, BDÜ, 2017) Statistical Machine Translation (Philipp Koehn, Cambridge University Press, 2009 (Print-Ausgabe)) Moses Statistical Machine Translation, User manual and Code Guide (PDF Download, Philipp Koehn) Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 29

30 Vielen Dank für Ihre Aufmerksamkeit! Norbert Grabowski D.O.G. Dokumentation ohne Grenzen GmbH Neue Ramtelstr Leonberg, Germany Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 30

31 Ihre Meinung ist uns wichtig! Sagen Sie uns bitte, wie Ihnen der Vortrag gefallen hat. Wir freuen uns auf Ihr Feedback per Smartphone oder Tablet unter oder scannen Sie den QR-Code Das Bewertungstool steht Ihnen auch noch nach der Tagung zur Verfügung! Moses Ein Erfahrungsbericht Oktober 2017 D.O.G. GmbH 31