Übersicht über die Tests

Transkript

1 Übersicht über die Tests Lexikontest Einige Hersteller machen Angaben zum Lexikonumfang ihrer Systeme. Diese Angaben sind jedoch nicht zwischen den Systemen vergleichbar, da es keine standardisierte Zählweise für Lexikoneinträge gibt. Soll zum Beispiel ein Wort, das zwei gänzlich unterschiedliche Bedeutungen hat (DE Bank => EN bank oder bench, zum Beispiel) als ein oder als zwei Einträge gezählt werden? Deshalb haben wir ein Verfahren entwickelt, das einen prozentualen Vergleichswert für die Systemlexika ergibt. Die Vorgehensweise Für jedes Sprachpaar wurde ein Korpus von je 300 Substantiven, Verben und Adjektiven zusammengestellt. Je 100 der 300 Wörter pro Wortart gehören zu einer Häufigkeitsklasse d.h., werden in einem repräsentativen Korpus sehr häufig, mittelhäufig oder selten benutzt. Für das deutsche und das englische Korpus konnten wir die Substantive, Verben und Adjektive der CELEX-Datenbank entnehmen, in der die Wörter bereits mit ihrer jeweiligen Häufigkeit bzgl. eines IdS-Korpus verzeichnet sind. Die Wortliste für den französischen Ausgangstext haben wir manuell erstellt: In einem Textkorpus mit 2,5 Millionen Wörtern wurde die Auftretenshäufigkeit aller Wörter maschinell ausgezählt und dann von Hand den entsprechenden Wortklassen zugeordnet. Da einige Systeme keine Wortlisten, sondern nur Sätze übersetzen können, wurden die ausgewählten Substantive, Verben und Adjektive dann in einfache Sätze gekleidet. Diese Sätze wurden vom jeweiligen System in die Zielsprache übersetzt und manuell bewertet. Jeder Satz wurde mit einer der folgenden Abkürzungen versehen: u (unknown word): Das fragliche Wort der Ausgangssprache ist unbekannt und wird in die Zielsprache übernommen. Seltener: Ein Teil eines Kompositums ist unbekannt. w (wrong translation): Das Wort wird falsch übersetzt, zum Beispiel aufgrund falscher Kompositasegmentierung (Es ist vollstreckbar. => It is executing cash.) oder aufgrund eines falschen Lexikoneintrags. m (missing word): Das Wort wird gar nicht übersetzt und fehlt im Zieltext. wf (wrong form): Das Wort wurde zwar im Lexikon gefunden, aber in einer unangemessenen Weise übersetzt - zum Beispiel als Verb, obwohl es ein Substantiv sein müsste, oder als Substantiv, obwohl es ein Adjektiv sein müsste (This is transoceanic. => Dies ist Übersee.) Zu dieser Kategorie wurden auch die Bindestrich-Adjektive gezählt (This is twin-bedded. => Dies ist Zweibett-.), die vor allem der Personal Translator oft erzeugt hat. IV/1

2 s (sense preservingly segmented): Das Wort wurde segmentiert und die Einheiten einzeln übersetzt (Es ist trostlos. => It is comfort rid.). Zwar nicht korrekt, aber verständlich. Nur für Substantive: f und wd f (missing interfix): Das Substantiv wurde segmentiert und richtig übersetzt, zwischen den einzelnen Teilen des Kompositums fehlt jedoch ein Bindeglied (The wire-puller is nice. => Die Leitung-Abziehvorrichtung ist nett.) wd (wrong determiner): Das Substantiv wurde korrekt übersetzt, der Artikel ist jedoch falsch (The physiotherapist is nice. => Die Physiotherapeut ist schön.) c (correct): Die Übersetzung ist korrekt. Die Punkte-Skala Beurteilung des Satzes c (correct) s (sense preservingly segmented) f (missing interfix) wd (wrong determiner) wf (wrong form) u (unknown word) w (wrong translation) m (missing word) Punktzahl 2 Punkte 1 Punkt 1 Punkt 1 Punkt 1 Punkt 0 Punkte 0 Punkte 0 Punkte Alle mit c annotierten Übersetzungen wurden mit 2 Punkten gezählt, für s, f, wd und wf gab es jeweils einen Punkt. Die mit u, w und m bewerteten Sätze erhielten keine Punkte. Die Ergebnisse In den Tabellen auf den nächsten Seiten wird für jede Sprachrichtung einzeln aufgezeigt, wie die einzelnen Systeme im Test abgeschnitten haben. Die erste Tabelle enthält dabei jeweils die sowie die Prozentzahlen für alle Wortklassen; in den folgenden drei Tabellen sind die Bewertungen je Wortklasse (Adjektive, Nomen, Verben) enthalten. Die ergibt sich aus der Aufaddierung aller Punkte pro Satz, wie sie in obenstehender Tabelle aufgelistet sind. Die Prozentzahlen der korrekten Übersetzungen werden aus dem Verhältnis der realen zur höchstmöglichen Summe der Noten errechnet (d.h., 600 mögliche Punkte je Kategorie für alle Wortklassen, 200 für die einzelnen Wortklassen). IV/2

3 Deutsch-Französisch Alle Wortklassen Häufig ,8 % % Mittel ,8 % ,2 % Selten ,8 % ,2 % Der Power Translator schneidet in allen drei Kategorien besser ab als Reverso. Während die Systeme im oberen Häufigkeitsbereich noch relativ dicht beieinanderliegen, beträgt der Unterschied im seltenen Häufigkeitsbereich beinahe zehn Prozent. Adjektive Häufig % ,5 % Mittel % % Selten ,5 % ,5 % Nomen Häufig % % Mittel % ,5 % Selten ,5 % ,5 % Verben Häufig ,5 % ,5 % Mittel ,5 % % Selten 89 44,5 % ,5 % Die Diskrepanz zwischen Reverso und Power Translator ist am grössten in den Kategorien der seltenen Verben und der mittelhäufigen Adjektive, wo die Zahlen um beinahe zwölf Prozent auseinanderliegen. IV/3

4 Französisch-Deutsch Alle Wortklassen Häufig ,5 % ,7 % Mittel ,8 % ,2 % Selten ,7 % ,8 % Wie auch in der Übersetzungsrichtung Deutsch-Französisch ist der Power Translator in allen drei Kategorien leicht besser als Reverso. Adjektive Häufig % % Mittel % ,5 % Selten ,5 % % Nomen Häufig % ,5 % Mittel ,5 % ,5 % Selten ,5 % % Verben Häufig ,5 % ,5 % Mittel % ,5 % Selten % ,5 % Beide Systeme schneiden im Bereich der häufigen bzw. mittelhäufigen Nomen sehr gut ab Reverso mit 100 bzw. 95,5%, der PowerTranslator mit jeweils 98,5 %. Auffällig ist, dass in dieser Sprachrichtung auch im Bereich der seltenen Adjektive, Nomen und Verben die Werte noch über 80% Prozent liegen, teilweise sogar bei über 90%. IV/4

5 Deutsch-Englisch Alle Wortklassen Häufig 580 (96,7 %) 573 (95,5%) 588 (98,0%) 583 (97,2%) Mittel 584 (97,3%) 559 (93,2%) 487 (81,2%) 529 (88,2%) Selten 429 (71,5%) 397 (66,2%) 297 (49,5%) 375 (62,5%) Spitzenreiter im Sprachpaar Deutsch-Englisch in allen drei Kategorien ist der Personal Translator, dicht gefolgt vom Power Translator und Langenscheidts T1. Systran liegt auf dem letzten Platz, wenngleich das System auch bei der Übersetzung der häufigen Wörter die höchste Prozentzahl erreicht hat. Die übrigen Werte im mittleren und seltenen Häufigkeitsbereich liegen jedoch deutlich unter denen der anderen Systeme. Adjektive Häufig 198 (99,0%) 199 (99,5%) 197 (98,5%) 196 (98,0%) Mittel 199(99,5%) 187 (93,5%) 153 (76,5%) 164 (82,0%) Selten 149 (74,5%) 138 (69,0%) 86 (43,0%) 102 (51,0%) Nomen Häufig 190 (95,0%) 186 (93,0%) 194 (97,0%) 196 (98,0%) Mittel 191 (95,5%) 175 (87,5%) 166 (83,0%) 184 (92,0%) Selten 159 (79,5%) 141 (70,5%) 113(56,5%) 143 (71,5%) Verben Häufig 192 (96,0%) 188 (94,0%) 197 (98,5%) 191 (95,5%) Mittel 194 (97,0%) 197 (98,5%) 168 (84,0%) 181 (90,5%) Selten 121 (60,5%) 118 (59,0%) 98 (49,0%) 130 (65,0%) Betrachtet man die einzelnen Wortarten, so zeigt sich, dass Systran im Bereich der häufigen Verben besser abschneidet als die drei anderen Systeme. Der Personal Translator ist am stärksten in der Kategorie der mittleren und seltenen Adjektive und Nomen. Häufige Adjektive übersetzt der Power Translator am zuverlässigsten. Langenscheidts T1 ist sehr stark im Bereich der häufigen Nomen. IV/5

6 Englisch-Deutsch Alle Wortklassen Häufig 599 (99,8%) 592 (98,7%) 595 (99,2%) 593 (98,8%) Mittel 554 (92,3%) 543 (90,5%) 311 (51,8%) 514(85,7%) Selten 435 (72,5%) 306 (51,0%) 133 (22,2%) 242 (40,3%) Der Personal Translator schneidet im Sprachpaar Englisch-Deutsch eindeutig am besten ab: In allen drei Häufigkeitskategorien erreicht das System die höchsten Prozentzahlen. Die häufigen Wörter übersetzen jedoch auch die drei anderen Systeme sehr zuverlässig zu mindestens 98,7%. Insgesamt liegt der Power Translator an zweiter Stelle, gefolgt von Langenscheidts T1 und Systran. Auffällig ist die extrem niedrige Punktzahl, die Systran im Bereich der seltenen Wörter erreicht das System übersetzt nur zu 22,2% korrekt. Adjektive Häufig 199 (99,5%) 193 (96,5%) 197 (98,5%) 197 (98,5%) Mittel 182 (91,0%) 179 (89,5%) 89 (44,5%) 165 (82,5%) Selten 136 (68,0%) 99 (49,5%) 42 (21,0%) 63 (31,5%) Nomen Häufig 200 (100%) 199 (99,5%) 200 (100%) 200 (100%) Mittel 187 (93,5%) 186 (93,0%) 112 (56,0%) 169 (84,5%) Selten 146 (73,0%) 96 (48,0%) 47 (23,5%) 90 (45,0%) Verben Häufig 200 (100%) 200 (100%) 198 (99%) 196 (98,0%) Mittel 185(92,5%) 178 (89,0%) 110 (55,0%) 180 (90,0%) Selten 153 (76,5%) 111 (55,5%) 44 (22,0%) 89 (44,5%) Sehr zuverlässig übersetzen alle Systeme die häufigen Nomen gleich drei erreichen 100%, der Power Translator immerhin auch 99,5%. Auch bei den häufigen Verben gibt es zweimal 100% (Personal Translator und Power Translator). Die Diskrepanzen im mittleren und seltenen Bereich sind ebenso augenfällig: Bei den seltenen Verben, zum Beispiel, erreicht der Personal Translator 76,5%, der Power Translator immerhin noch 55,5%, T1 schon nur noch 44,5% und Systran gerade mal 22%. Ein ähnliches Bild ergibt sich bei den Adjektiven und Nomen. IV/6

7 Zusammenfassung der Ergebnisse des Lexikontests In beiden Übersetzungsrichtungen des Sprachpaares Deutsch/Französisch schneidet der Power Translator besser ab als Reverso, mit unterschiedlich grossen Abständen zwischen beiden Systemen. Ebenso klar ist das Bild beim Sprachpaar Deutsch/Englisch: Spitzenreiter ist der Personal Translator, gefolgt von Power Translator und Langenscheidts T1. Am schlechtesten schneidet jeweils Systran ab. Ein Vergleich zwischen den Übersetzungsrichtungen: Am schlechtesten sind die Zahlen im seltenen Häufigkeitsbereich in der Sprachrichtung Englisch-Deutsch, wo im Falle von Systran sogar nur 22,2 Prozent aller Wörter richtig übersetzt wurden dies ist ein Indiz dafür, dass der grosse Wortschatz des Englischen offenbar schwer zu erfassen ist. Im Bereich der häufigen Wörter schneiden die Systeme dagegen in der Sprachrichtung Englisch-Deutsch sehr gut ab mit mindestens 98,7%. Zwischen den Sprachpaaren der Ausgangssprache Deutsch (Deutsch-Englisch und Deutsch-Französisch) gibt es keine derart grossen Unterschiede. Die Prozentzahlen liegen zwischen maximal 98 im häufigen und knapp 50 % im seltenen Bereich. Man beachte, dass ein grosses Systemlexikon nicht bedeutet, dass die Wörter jeweils in ihrer korrekten Bedeutung eingesetzt werden. Unser Test hat auch nicht überprüfen können, wieviele Bedeutungen (d.h. zielsprachliche Entsprechungen) zu einem gegebenen Wort vorliegen. IV/7

8 Grammatiktest In diesem Test wurde mit Hilfe von speziell konstruierten Testsätzen überprüft, ob die Übersetzungssysteme mit unterschiedlichen grammatischen Konstruktionen zurechtkommen und diese angemessen in die Zielsprache übertragen können. Die Sammlung enthält Frageund Aufforderungssätze, Sätze mit komplexen Nominal- und Verbalgruppen, Sätze mit Relativ- oder Reflexivpronomen und eine ganze Reihe von Sätzen, die unterschiedliche Wortstellungsvarianten enthalten. Die Sätze wurden durch die Systeme übersetzt und manuell bewertet. Dabei gab es folgende Noten: Note 1 Note 2 Note 3 Die Übersetzung ist korrekt. In der Übersetzung wurde die geprüfte grammatische Eigenschaft korrekt erkannt und übersetzt, es traten jedoch ein oder mehrere andere Fehler auf. Die geprüfte grammatische Eigenschaft ist falsch, zusätzlich gibt es weitere Fehler im Satz. In den untenstehenden Tabellen sind die Ergebnisse des Grammatiktests für jedes Sprachpaar zusammengefasst: In der ersten Spalte sind die getesteten Systeme aufgelistet, in der zweiten Spalte wird die Gesamtzahl der bewerteten Sätze genannt. Die folgenden drei Spalten zeigen, wie oft die Noten 1-3 vergeben wurden. In den beiden letzten Spalten jeder Tabelle finden sich die Gesammtsumme aller Noten sowie der Notendurchschnitt für jedes einzelne System je niedriger dieser Durchschnitt ist, desto besser ist das System. (Die bestmögliche Note wäre 1,0). Deutsch-Französisch Sätze # Note 1 # Note 2 # Note 3 Summe Durchschnitt Reverso ,05 Power Transl ,03 Beide Systeme können als gleich gut eingestuft werden. Der Power Translator hat mit einem Notendurchschnitt von 2,03 in der Sprachrichtung Deutsch => Französisch nur leicht besser abgeschnitten als Reverso mit 2,05. Französisch-Deutsch Sätze # Note 1 # Note 2 # Note 3 Summe Durchschnitt Reverso ,13 Power Transl ,10 Der Power Translator hat mit einem Notendurchschnitt von 2,10 in der Sprachrichtung Französisch => Deutsch leicht besser abgeschnitten als Reverso mit 2,13. Die Unterschiede bezüglich der Grammatikabdeckung sind jedoch zwischen beiden Systemen so gering, dass sie als gleichwertig betrachtet werden sollten. Beide Systeme haben in der Übersetzungsrichtung Deutsch => Französisch besser abgeschnitten als in der Übersetzungsrichtung Französisch => Deutsch. IV/8

9 Englisch-Deutsch Sätze # Note 1 # Note 2 # Note 3 Summe Durchschnitt Power Transl ,96 T ,99 Pers. Transl ,78 Systran ,10 Spitzenreiter im Sprachpaar Englisch => Deutsch ist der Personal Translator mit einem Notendurchschnitt von 1,78. Power Translator (1,96) und Langenscheidts T1 (1,99) liegen in der Bewertung relativ dicht beieinander. Systran hat mit einem Notendurchschnitt von 2,10 deutlich am schlechtesten abgeschnitten. Deutsch-Englisch Sätze # Note 1 # Note 2 # Note 3 Summe Durchschnitt Power Transl ,81 T ,83 Pers. Transl ,67 Systran ,99 Spitzenreiter im Sprachpaar Deutsch => Englisch ist der Personal Translator mit einem Notendurchschnitt von 1,67. Power Translator (1,81) und Langenscheidts T1 (1,83) liegen in der Bewertung relativ dicht beieinander. Systran hat mit einem Notendurchschnitt von 1,99 am schlechtesten abgeschnitten. Alle Systeme haben in der Übersetzungsrichtung Deutsch => Englisch jedoch bessere Ergebnisse erzielt als in der Übersetzungsrichtung Englisch => Deutsch. Zusammenfassend kann man sagen, dass die Systeme für das Sprachpaar Deutsch <=> Englisch deutlich besser abschnitten als für das Sprachpaar Deutsch <=> Französisch. Dies entspricht den Ergebnissen der Evaluation des letzten Jahres. Der Spitzenreiter unter allen Systemen ist der Personal Translator, gefolgt von T1, Power Translator und Reverso im Mittelfeld. Am schlechtesten schnitt Systran ab. Eine Anmerkung zu den Testergebnissen: Eine gute Grammatikleistung garantiert noch nicht eine gute Übersetzungsqualität. In diesem Test wurden mit Hilfe relativ kurzer Sätze gezielt spezielle grammatische Phänomene getestet. In natürlichen Texten treten jedoch häufig komplexe Sätze auf, in denen diese Phänomene zusammenspielen. Unsere Beobachtung ist, dass insbesondere der T1 dann schlechte Ergebnisse liefert, wenn er in einem komplexen Satz nicht alle Phänomene erkennen kann, während er bei einfachen Sätzen im guten Mittelfeld liegt. IV/9