Aktuelle Architekturfragen in der Maschinellen Übersetzung semantischer Transfer und Integration statistischer Information in translate

Transkript

1 Aktuelle Architekturfragen in der Maschinellen Übersetzung semantischer Transfer und Integration statistischer Information in translate Kurt Eberle Lingenio GmbH, Heidelberg 28.Mai 2009

2 Überblick Unternehmen/Hintergrund translate Hauptanwendung: Funktionen und Einstellungen Architekturübersicht Lexikonformalismus, lexikalische Constraints Methodenintegration

3 Key facts Lingenio entwickelt und vermarktet Sprachtechnologie- Software und Services Spin-off des Wissenschaftlichen Zentrums der in Heidelberg gegründet 1999 IBM-Technologie Logic based Machine Translation Kernkompetenz: MÜ & elektronische Wörterbücher

4 Geschichte 1999: gegründet als Spin-off des WZH der IBM in Heidelberg unter dem Namen Linguatec Entwicklung & Services Produkte: Personal Translator 2000, talk & translate 2000: Personal Translator Deutsch Französisch 2004: Name Lingenio, Kooperation mit digital publishing AG 2005: office Wörterbuch mit IntelliDict-Technologie 2007: translate Version : office Wörterbuch Version 3

5 Preise 2007: doit Software Award für FlexiDict 2005: doit Software Award für IntelliDict 2000: D2-WAP-Developer Award von Mannesmann Mobilfunk und Nokia für WAP-based Translation Service 1998: Europäischer IST-Preis für Talk & Translate 1996: Europäischer IST-Preis für Personal Translator

6 Produkte

7 Translate die Hauptanwendung

8 Translate Funktionen: Wörter nachschlagen

9 Translate Funktionen: Wörter kodieren

10 Translate Funktionen: Einstellungen, Übersetzen

11 Translate Funktionen: Nachbearbeiten, Archivieren

12 Translate Funktionen: Sätze im Archiv suchen

13 Translate Einstellungen: Übersetzungsalternativen erzeugen

14 Translate weitere Einstellungen... Satzarchivübersetzungen (autom.) verwenden Redewendungen bei Alternativen anzeigen Sachgebiet (autom.) erkennen Sachgebietstypische Übersetzungen verwenden Rechtschreiboptionen Textsorteneinstellungen...

15 Translate Architektur. Regel-basiertes Transfersystem Quellsprache (flache) semantische Analyse syntaktische Analyse τ τ τ Zielsprache Satz Übersetzung

16 Translate syntaktische Analyse...

17 Translate strukturelle Mehrdeutigkeiten...

18 Translate flache semantische Repräsentation... 'Kompaktifizierung von Auxiliarkomplexen

19 Translate flache semantische Repräsentation...

20 Translate flache semantische Repräsentation... 'Ausmultiplizieren' von Koordinationen bei Bedarf

21 Translate flache semantische Repräsentation... Pronomenauflösung

22 Translate lexikalistisch Das Lexikon definiert die Kontextbedingungen (lexical constraints) der verschiedenen Lesarten

23 Translate lexikalische Mehrdeutigkeit

24 Translate Wörterbuch.

25 Office Wörterbuch Wörter im Kontext nachschlagen!

26 Translexis Datenbank. der Lexikographenarbeitsplatz

27 Translexis Datenbank. Schematisch einstellen Slots : [subj(n),comp1(ptcl(ein)),obj(n) comp(p([auf acc]))] Translation: hire Condition : [sent & ^ betrieb e] Structural Change: Seq: 8 Translation: suspend Condition : [zahlung0 e] Structural Change :

28 Translexis Datenbank. Allgemeines Format Lemma Sense1: Slots: [Slot 1,Slot 2, Slot n ] Translation1: Word Condition: [AdjunctConstrs,SynSem 1, SynSem n ] Structural Change: [TSlot 1, Tslot n ] -> xf(transfos) Translation2 Semantic Types Sense 2:

29 Translexis Kontextbedingungen gelten für Pronomen

30 Translexis Design der Einträge Minimiere die Anzahl der Analysen! Kompakte Repräsentationen! Semantische Typen dürfen disjunktiv sein Korrekte und ökonomische Typsubsumption ist offenes Problem Slotbeschreibungen kombinieren versch.slotframe-realisierungen Problem: unerwünschte Kombinationen durch Ausmultiplizieren

31 Translexis Design der Einträge Unerwünschte Slotframe-Möglichkeiten!

32 Translexis Design der Einträge Unerwünschte Slotframe-Möglichkeiten! Anzahl und Typ der Slotfiller vorziehen [subj(n),comp1(ptcl(vor)),obj1(n),iobj(n) comp(inf ' ' dass)] Peter zieht das Bier dem Wein vor Peter zieht es vor, zu Hause zu arbeiten. Peter zieht (es) vor, dass sie zu Hause arbeiten kann. *Peter zieht dem Müßiggang den Fleiß vor, dass er??

33 Translexis Design der Einträge Kompromiss zwischen spezifischen Restriktionen und Überspezifikation: Fuzzy Selektionsrestriktionen: Bonus für erwartete Kontexte fressen [subj(n):pref(st(animal ' ' rost),1) obj(n ' ' p([an dat])):pref(st(plant0 ' ' food ' ' metal0),1)] Rost frisst am Gitter. > Der Computer frisst die Daten. Das Tier frisst an der Rübe. > Das Problem frisst Zeit.

34 Translexis Design der Einträge Kompromiss zwischen spezifischen Restriktionen und Überspezifikation: Metonymie-Regeln in Wissensbasis: Der Computer frisst die Daten. > Der Tisch frisst grüne Bohnen. Das Problem frisst Zeit. > Der Hund frisst Berge. fressen [subj(n):st(animal) obj(n ' ' p([an dat])):st(plant0 ' ' food ' ' metal0)] meto_fact(computer,subj(_),fressen,animal). meto_fact(zeit,obj(_),fressen,food).

35 Aufgaben Selektionsbeschränkungen Bedingungen lernen Kombinatorik der Bedingungen lernen Metonymie-Kontexte lernen Fuzzy Selektionsbeschränkungen Präferenzen lernen Grad der Akzeptabilität metonymischer Reinterpretation Verschiedene Sichten auf das Lexikon für verschiedene Zwecke Lexical lookup: Schlüsselwort mit kontextuellen Besonderheiten vs Liste von Mehrwortausdrücken, Kollokationen, Redensarten

36 translate Architekturen

37 translate Flache Semantik

38 translate Flache Semantik

39 Implementierung im Test

40 Transfer-Algorithmus

41 Integration Regel-basierter und statistischer Methoden

42 'Hybridisierung' von translate

43 Statistische Informationen für die Analyse

44 Statistische Informationen für den Transfer

45 Statistische/EBMT- Informationen für den Transfer

46 Underspecified analysis

47 Underspecified analysis

48 Underspecified analysis

49 Underspecified analysis

50 Transfer relations

51 Transfer relations

52 Transfer relations

53 Further lexical completions

54 Statistische Informationen für die Generierung

55 Zusammenfassung

56 translate System-Komponenten

57 Preprocessor Segmentation Tokenization Lexical Lookup Spelling Proposals Generator Idiom Analysis Syntactic Preprocessing Dictionary Proposals Index Idiom Dictionary Lexical Erasure Rules

58 Lexical Lookup Dictionary access Derivational Analysis Decompounding Retrieval of word forms Detection of unknown words (spelling errors) Derivational analysis: handling of unknown words, e. g. unintelligibility unintelligible-ity Decompounding (German): Geschäftslösung Geschäft- Lösung

59 Syntacticosemantic Analyzer Parser Analysis Grammar Parse Evaluation Pronoun resolution Parsing strategy similar to chart parsing Slot grammar approach Large coverage of English, German, French Processing local fragments Use of semantic restrictions Evaluation (ranking) of parses Pronoun resolution within and between sentences

60 Text Generator Transfer Generation Grammar Morphological Generation Linearization expression replacement, structural constraints & transfer algorithm Generation controller Generation and transformation rules for English, German, French Generation morphology for English, German, French Linearization: Turning the parse tree into a string of tokens.

61 Preprocessing Example: reject multiword readings when parts are missing lexerase :- frame(frame), member(slot(f,ob,_,test),frame), nonvar(test), setem(word,ob_compl_word(test,word),words), \+ Words=[],!, lc(lc), rc(rc), append(lc,rc,c), member(wordx,words), \+ ( member(word(tok,frames,_),c), once(( decapitalize(wordx,dwordx), \+ DWordx=Wordx, Tok=tok(cap(_,_),_) ; DWordx=Wordx)), member(wframe(s(dwordx,_),_,_),frames)). Language-specific information Language independent core system Prolog kernel lexerase-rule formalism (frame, lc, rc,...) general properties (ob_compl_word, decapitalize...) Prolog additions (once,...) setem, member, nonvar, \+

62 Analysis Grammar Rule formats a) b) c) d) Filler rules Slot ordering rules Separation rules Evaluation rules obj(n) test & change predicates ndet << nadj :- test predicates obj(n) on_right :- test predicates ncompound /// hyphen :- test predicates obj(n) +++ test predicates

63 Analysis Grammar Example: accept specific phrases in comparisons /* 'lieber mit dem Zug als mit dem Bus' */ ncompar f(subconj), sensew(als), hsensew(hs), hphrase(hph), rmods(arm), ncompare(hs,als,arm,hph). Language-specific information Language independent core system Prolog kernel ncompar filler ( ) -rule ncompare predicate formalism (f, sensew, hsensew, hphrase, rmods,...) general properties (parts of ncompare...) Prolog additions: (otherwise: once,...) (otherwise: setem, member, nonvar, \+,...)

64 Analysis Grammar Example: Verb first position in the presence of topicalized adverbs /* 'morgen fährt er' */ g_canonical_order-- tfm(v,mtv(ind:dcl:nwh,_,_),mods), tm(v,ms), member(vadv:a,ms), tf(a,afeas), memberd(afeas,[mtv(dep:part:_,_,_),adj(_,_,_,_)]), order_mods_by_s(v,[vadv:a,head],ah), AH = [_,head], callsub(g_can_verb1(mods,mods1)), cm(v,mods1),!. Language specific information Language independent core system Prolog kernel g_canonical_order-- generation rule g_can_verb1 subroutine definition formalism (tfm, cm,...) general properties (order_mods_by_s,...) Prolog additions: (memberd,...) (member,...)