Parsing von unifikationsbasierten Grammatikformalismen

Transkript

1 Parsing von unifikationsbasierten Grammatikformalismen Vorlesung Grammatikformalismen Alexander Koller. Juli 016

2 Parsing Warum kann man kfgen in polynomieller Zeit parsen, wenn doch jeder Substring exponentiell viele Parsebäume haben kann? A A A A A A A A A A a a a a a a

3 Parsing Zwei Analysen für den gleichen Substring heißen äquivalent, wenn man die gleichen Parse-Regeln darauf anwenden kann. Es reicht grundsätzlich, von mehreren äquivalenten Analysen nur die erste in die Chart einzutragen. Kontextfreies Parsing: Teilbäume sind äquivalent, wenn gleiches Wurzelsymbol. Deshalb reicht es, in Chart nur Wurzelsymbol einzutragen; repräsentiert ganze Äquivalenzklasse von Teilbäumen. Daher Parsing in Polynomzeit (vgl. aber CCG).

4 isst ein Käsebrot Chartparsing in HPSG isst ein Käsebrot

5 Chartparsing in HPSG isst ein Käsebrot word phon isst 6synsem loc cat cat head 6 subcat verb h i num sg h i h i NP nom,npacc 7 7 isst ein Käsebrot

6 Chartparsing in HPSG isst ein Käsebrot phon isst 6synsem loc cat head 6 subcat verb h i num sg h i h i NP nom,npacc 7 7 phon 6synsem loc cat head-arg-phr cat ein Käsebrot " gend head 6 num noun subcat hi # neut sg 7 7 word cat isst ein Käsebrot

7 Chartparsing in HPSG isst ein Käsebrot head-arg-phr phon synsem loc cat head-dtr 6 non-head-dtrs cat word phon isst 6synsem loc cat isst ein Käsebrot 6 head 1 h i 7 subcat NP nom phon 6synsem loc cat D... E head 6 subcat cat verb isst h head 1 num verb 6 h subcat NP nom i sg i h,np i acc h i num sg h i h i NP nom,npacc phon 6synsem loc cat head-arg-phr cat ein Käsebrot " gend head 6 num noun subcat hi # neut sg 7 7 word cat isst ein Käsebrot

8 Äquivalenz in HPSG Eintrag in Chart = FS + Span. Schema-Anwendung: muss Schema mit Töchtern unifizieren Was für FSen zählen in HPSG als äquivalent? Je mehr FSen als äquivalent gelten, desto schneller das Parsing. Wenn Unterscheidung zwischen zwei FSen wichtig für Weiterverarbeitung ist, dürfen sie nicht äquivalent sein. Grundsätzlich erlaubt jede FS andere Kombinationen als jede andere. Zunächst also keine FS mit einer anderen äquivalent. weil Schemata in beliebig tiefe Pfade schauen können.

9 Ansatz 1: Effizientere Unifikation HPSG-Parser verbringt allergrößten Teil der Zeit mit Unifizieren von FSen. Schneller Unif.algorithmus = schneller Parser. Bestimmte Unifikationen vorkompilieren. insbesondere Konjunktion von Typen: z.b. Kopfmerkmalsprinzip mit Head-Arg-Schema. Nicht-Unifizierbarkeit früh erkennen; Kopieren vermeiden. (Karttunen & Kay 8; Pereira 8; Wroblewski 87; Tomabechi 9; etc. etc)

10 Evaluation copying Unifier tcpu space over early redundant (s) (s) (kb) (nodes) (nodes) (nodes) (nodes) quick check on off on on/off on off on/off unify , unify , unify , tomabechi ,1 8.6 tom-smart ,17 (Callmeier 000; englisches Verbmobil-Testset mit LinGO-Grammatik; gemessen auf 00 MHz Pentium III)

11 Ansatz : Ambiguitäten packen Unter bestimmten Umständen kann man zwei FSen als äquivalent gelten lassen. wenn Parser (i,k,σ) kannte und (i,k,τ) findet und τ σ (d.h. ist allgemeiner), dann darf er (i,k,σ) löschen. Neuer Äquivalenzbegriff Chart bleibt kleiner Parsing wird schneller. Löschen von Einträgen, die aus (i,k,σ) abgeleitet wurden, ist nicht trivial. (Oepen & Carroll 00 etc.)

12 Chartgröße Evaluation Satzlänge Satzlänge (Oepen & Carroll 000; englisches Verbmobil-Testset mit LinGO-Grammatik)

13 Ansatz : Approximation HPSG-Schemata definieren Phrasenstruktur. Kann man mit kfg approximieren. [cat=v, subcat=<npnom>] [cat=v, subcat=<npnom, NPacc>] [cat=n, subcat=<>] Mit (statistischer) kfg parsen; dann versuchen, beste Parsebäume in HPSG-Parses zu expandieren. (Kann fehlschlagen!) Unifikationen nur für Strukturen ausführen, die überhaupt eine Chance haben. (Kiefer & Krieger 00; Zhang & Krieger 11; etc.)

14 Polynomial Time (Practical) Parsing (s) 6 gready best-first selective unpacking exhaustive unpacking forest creation 1 0 (generated by [incr tsdb()] at -mar-007 (1: h)) 1 String Length (Number of Input Tokens) Average Time for 0-Word Sentences around One Second potsdam 8-jan-1 (oe@ifi.uio.no) Packing and Unpacking in HPSG-Based Parsing (0)

15 Stand der Kunst LKB: Grammatikentwicklungssystem. verwendet Type Description Language (TDL), um Grammatiken aufzuschreiben TDL-Grammatiken kann man effizient mit dem PET-Parser verarbeiten. LKB + PET + andere = DELPH-IN DELPH-IN ist internationales Konsortium, das zueinander kompatible Parser, Grammatiken etc. entwickelt:

16 Zusammenfassung Expressivität: turing-vollständig. Parsing: wird durch FS schwerer. verschiedene Ansätze zur Verbesserung aktuelle Software funktioniert sehr gut