Generierung & Übersetzung mit XLE

Transkript

1 Generierung & Übersetzung mit XLE Grammatikentwicklung, SS /25

2 Worum es heute geht: Generierung mit XLE Übersetzung mit XLE 2 /25

3 Allgemein: Generierung Generierung ist: der Gegenbegriff zum Parsing die Umkehrung des Parsing-Mechanismus Input zur Generierung: geparste Strukturen von Sätzen Output der Generierung: Sätze Anwendungen von Generierung: Übersetzung (...) Textzusammenfassung Test: Übergenerierung? Interface für andere Anwendungen 3 /25

4 Generierung in XLE Input zur Generierung: F-Strukturen Genauer: Prolog-Code der F-Strukturen Output der Generierung: Worte/Sätze Genauer: Alle Strings, die beim Parsen die gegebene F-Struktur als Output hätten Was wird verwendet? Prinzipiell: gleiche Grammatik, gleiches Lexikon wie bei Parsing leichte Veränderungen sind meistens von Vorteil! 4 /25

5 Generierung in XLE F-Strukturen in Prolog-Code: F-Strukturen werden als Prolog-Code abgespeichert "Katzen jagen Affen" PRED 'jagen<[1:katzen], [5:Affen]>' 1 PRED 'Katzen' SUBJ PRED 'Affen' 16 OBJ /25

6 Generierung in XLE Input zur Generierung: % Constraints: [ cf(1,eq(attr(var(0), PRED ),semform( jagen,1,[var(1),var(2)],[]))), cf(1,eq(attr(var(0), SUBJ ),var(1))), cf(1,eq(attr(var(0), OBJ ),var(2))), cf(1,eq(attr(var(1), PRED ),semform( Katzen,0,[],[]))), cf(1,eq(attr(var(2), PRED ),semform( Affen,2,[],[]))) ] 6 /25

7 Generierung in XLE Input zur Generierung: % Constraints: [ cf(1,eq(attr(var(0), PRED ),semform( jagen,1,[var(1),var(2)],[]))), cf(1,eq(attr(var(0), SUBJ ),var(1))), cf(1,eq(attr(var(0), OBJ ),var(2))), cf(1,eq(attr(var(1), PRED ),semform( Katzen,0,[],[]))), cf(1,eq(attr(var(2), PRED ),semform( Affen,2,[],[]))) ] Keine Information über Wortstellung - ausschließlich funktionale Information! 6 /25

8 Generierung in XLE Resultat: Im Deutschen z.b.: % Constraints: [ cf(1,eq(attr(var(0), PRED ),semform( jagen,1,[var(1),var(2)],[]))), cf(1,eq(attr(var(0), SUBJ ),var(1))), cf(1,eq(attr(var(0), OBJ ),var(2))), cf(1,eq(attr(var(1), PRED ),semform( Katzen,0,[],[]))), cf(1,eq(attr(var(2), PRED ),semform( Affen,2,[],[]))) ] 7 /25

9 Generierung in XLE Resultat: Im Deutschen z.b.: % Constraints: [ cf(1,eq(attr(var(0), PRED ),semform( jagen,1,[var(1),var(2)],[]))), cf(1,eq(attr(var(0), SUBJ ),var(1))), cf(1,eq(attr(var(0), OBJ ),var(2))), cf(1,eq(attr(var(1), PRED ),semform( Katzen,0,[],[]))), cf(1,eq(attr(var(2), PRED ),semform( Affen,2,[],[]))) ] Generierung {Affen jagen Katzen Katzen jagen Affen} 7 /25

10 Generatoren vs. Parser Generierungs-Grammatiken können sich von Parsing-Grammatiken unterscheiden! Teilweise ist dies sogar notwendig: Grammatik sollte robust sein (möglichst alles parsen können) Manche Konstruktionen nicht zur Generierung geeignet Möglichkeiten in XLE: Extra: Ranking von Optimality Marks manche Regeln werden bevorzugt zum Parsen andere Regeln werden bevorzugt zum Generieren Extra: Finite-State-Tokenizer/Morphologien Insgesamt: robustere Regeln/Transducer zum Parsen, striktere zum Generieren 8 /25

11 Generatoren vs. Parser Beispiel 1: Adverbialphrasen im Englischen Satz Parser Generator When blinking rapidly, this light indicates a fault. This light indicates a fault when blinking rapidly. This light, when blinking rapidly, indicates a fault. X Regeln werden mit OT-Marks markiert für Verwendung: OT-Marks: GENOPTIMALITYORDER spezielles Ranking der OT-Marks für Generierung Grammatiken können eingestellt werden auf den Zweck (Parsing vs. Generierung) 9 /25

12 Generatoren vs. Parser Beispiel 2: Tokenisierung Zwischen Worten können mehrere Leerzeichen stehen Robuste Tokenizer machen aus vielen Leerzeichen einzelne Nicht von Vorteil bei Generierung: Strings mit unendlich vielen Leerzeichen dazwischen werden produziert Lösung: Extra Tokenizer zur Generierung fügt ein einzelnes Leerzeichen ein 10 /25

13 Generatoren vs. Parser Finite-State-Konfiguration: Präfixe für Parsing und Generierung TOKENIZE: P!eng.tok.parse.fst G!eng.tok.gen.fst ANALYZE: eng.infl-morph.fst G!amerbritfilter.fst G!amergen.fst ---- spezielle Tokenizer für Generierung zusätzliche Filter möglich Grammatiken können eingestellt werden auf den Zweck (Parsing vs. Generierung) 11 /25

14 DEMO: GENERATOR DER ENGLISCHEN PARGRAM-GRAMMATIK 12 /25

15 Übersetzen mit XLE XLE beinhaltet Funktionen zur Übersetzung Genereller Prozess: Parsing des Satzes F-Struktur in Ausgangssprache Übersetzung/ Transfer der F-Struktur der Ausgangssprache F-Struktur Zielsprache Generierung des Satzes Satz in Zielsprache 13 /25

16 Übersetzen mit XLE Vorgang als Schema: Ausgangssprache Zielsprache Parsing-Grammatik Generator-Grammatik F-Struktur Ausgangssprache Transferregeln F-Struktur Zielsprache 14 /25

17 Übersetzen mit XLE Vorgang als Schema: Ausgangssprache Zielsprache Parsing-Grammatik Generator-Grammatik F-Struktur Ausgangssprache Transferregeln F-Struktur Zielsprache ParGram-Idee: Abstrahiere weg von Oberfläche Transfer von generellen, sprachübergreifenden F-Strukturen 14 /25

18 Transferregeln in XLE Transferregeln werden für jeweils ein Sprachpaar definiert werden für jeweils eine Richtung definiert (z.b. von Englisch nach Deutsch) werden auf Transferfakten von F-Strukturen angewandt sind geordnet Regeln werden nacheinander angewandt können auch Makros & Templates enthalten 15 /25

19 Transferregeln in XLE Beispiel: Transferregeln Deutsch-Englisch PRED(%Fstr, Katzen) ==> PRED(%Fstr, cats). PRED(%Fstr, Affen) ==> PRED(%Fstr, apes). PRED(%Fstr, jagen) ==> PRED(%Fstr, hunt). Liest sich: Wenn in einer F-Struktur als PRED-Wert Katzen auftaucht, übersetze es in der Zielstruktur als cats. (%Fstr: Variable, die für jede F-Struktur stehen kann) 16 /25

20 Transferregeln in XLE Transferregeln werden auf Transferfakten von F-Strukturen angewandt: "Katzen jagen Affen" PRED 'jagen<[1:katzen], [5:Affen]>' 1 PRED 'Katzen' SUBJ PRED 'Affen' 16 OBJ % Facts: [ cf(1, OBJ (var(0),var(2))), cf(1, PRED (var(0), jagen )), cf(1, PRED (var(1), Katzen )), cf(1, PRED (var(2), Affen )), cf(1, SUBJ (var(0),var(1))), cf(1, arg(var(0),1,var(1))), cf(1, arg(var(0),2,var(2))), cf(1, lex id(var(0),1)), cf(1, lex id(var(1),0)), cf(1, lex id(var(2),2)) ] 17 /25

21 Transferregeln in XLE Schrittweise Überführung der Transferfakten in die Zielsprache: cf(1, PRED (var(1), Katzen )) + PRED(%Fstr, Katzen) ==> PRED(%Fstr, cats). = cf(1, PRED (var(1), cats )) cf(1, PRED (var(0), jagen )) + PRED(%Fstr, jagen) ==> PRED(%Fstr, hunt). = cf(1, PRED (var(0), hunt )) 18 /25

22 Transferregeln in XLE Nach Transfer werden F-Strukturen in Zielsprache aus den Transferfakten generiert: % Facts: [ cf(1, OBJ (var(0),var(2))), cf(1, PRED (var(0), hunt )), cf(1, PRED (var(1), cats )), cf(1, PRED (var(2), apes )), cf(1, SUBJ (var(0),var(1))), cf(1, arg(var(0),1,var(1))), cf(1, arg(var(0),2,var(2))), cf(1, lex id(var(0),1)), cf(1, lex id(var(1),0)), cf(1, lex id(var(2),2)) ] PRED 'hunt<[-1-subj:cats], [-1-OBJ:apes]>' SUBJ PRED 'cats' -1 OBJ PRED 'apes' 19 /25

23 Transferregeln in XLE Generator wird dann benutzt, um Satz in Zielsprache zu erzeugen: PRED 'hunt<[-1-subj:cats], [-1-OBJ:apes]>' SUBJ PRED 'cats' -1 OBJ PRED 'apes' Generator-Grammatik cats hunt apes. 20 /25

24 Eigenschaften von Transferregeln Transferregeln in XLE haben eine spezielle Notation! Beispiele: Englisch-Französisch PRED(%Fstr, sleep), +VTYPE(%Fstr, main) ==> PRED(%Fstr, dormir). + checkt ab, ob bestimmtes Feature und Wert vorhanden ist mit + markierte Features werden nicht verändert Regel ändert außerdem PRED sleep in PRED dormir 21 /25

25 Eigenschaften von Transferregeln Features können gezielt gelöscht werden (falls nicht in Zielsprache vorhanden): +TENSE(%Fstr, pres), PROG(%Fstr, %%) ==> 0. es wird abgecheckt, ob die Zeit Präsenz ist über + im Französischen gibt es kein PROG-Merkmal daher wird PROG gelöscht (hat kein +) Bemerkung: PROG und TENSE in derselben F-Struktur %Fstr 22 /25

26 Eigenschaften von Transferregeln Gleichzeitig löschen und ändern von Features, Rekursion durch F-Strukturen STMT-TYPE(%Fstr,declarative), +TNS-ASP(%Fstr,%Fstr-2), MOOD(%Fstr-2,indicative) ==> STMT-TYPE(%Fstr,decl). STMT-TYPE wird geändert von declarative zu decl TNS-ASP wird abgecheckt, ob vorhanden MOOD-Feature innerhalb von TNS-ASP wird gelöscht, falls es den Wert indicative trägt (taucht nicht auf rechter Seite auf!) 23 /25

27 Eigenschaften von Transferregeln Optionales Anwenden von Regeln: PRED(%Fstr,Mary)?=> PRED(%Fstr, Marie). PRED(%Fstr,Mary) ==> PRED(%Fstr, Maria). beide Regeln funktionieren als Paar erste Regel ist optional (?=>) und übersetzt Mary mit Marie zweite Regel ist obligatorisch und übersetzt Mary mit Maria aber nur, wenn die erste Regel noch nicht angewandt wurde Was, wenn wir 3 Möglichkeiten wollen Mary, Marie, Maria? 24 /25

28 DEMO: ÜBERSETZUNG DEUTSCH ENGLISCH ÜBER XLE-TRANSFER 25 /25