Eigenschaften I. Earley-Parsing. Earley-Algorithmus. Eigenschaften II

Transkript

1 Earley-Parsing Eigenschaften I Übersicht Atives Chart-Parsing für ontextfreie Grammatien Eigenschaften von Earleys Verfahren Einzelne Komponenten Initialisierung Predictor Scanner Completer Implementation in Prolog Ende und Resultat der Analyse Von Jay Earley wurde 970 ein Chart-Parsing-Verfahren für ontextfreie Grammatien vorgestellt. Es parst Sätze mit n Wörtern im schlechtesten Fall in einer Zeit proportional zu n Verfahren gehört zur Komplexitätslasse O(n ) ommt mit den häufig problematischen Regeln zurecht. linsreursive Regeln (diret oder indiret) Tilgungsregeln (Code siehe Übungen) verwendet eine ative Chart. benützt eine gemischte Analysestrategie von lins nach rechts top-down und bottom-up Earley-Parsing Earley-Parsing Eigenschaften II Earley-Algorithmus Der Earley-Algorithmus verfolgt jeweils für eine Satzposition alle syntatischen Alternativen gleichzeitig. hat am Ende des Parsings sämtliche alternativen Syntaxanalysen in der Chart. ist leicht in imperativen Programmiersprachen (C, Java etc.) zu implementieren. ist nützlich und wichtig bei pratischen Anwendungen der Computerlinguisti. erhielt seit 970 zahlreiche Verbesserungsvorschläge gegenüber Earleys Original-Verfahren. Das Verfahren von Earley besteht im wesentlichen aus drei Komponenten Predictor: Schlägt passende ative Kanten vor. Scanner: Azeptiert Wörter der Eingabeette. Completer: Versucht ative Kanten zu vervollständigen, d.h. passiv zu machen. ach der Initialisierung werden diese drei Komponenten für jeden Knoten in der Chart aufgerufen, jeweils solange, bis eine neuen Kanten mehr hinzuommen. Earley-Parsing Earley-Parsing

2 Beispiel-Grammati Die Chart Folgende Phrasenstrutur-Grammati mit Lexion sei vorausgesetzt: rule(s, [np,vp] rule(np, [np,conj,np]... S VP Conj DetP DetP Det DetP Poss Syntax word(det, the word(det, a... Det a the man woman V sleeps chases Conj and Poss 's Lexion Earley-Parsing DetP Det a Det the woman DetP ing Conj and Poss DetP Det linguistische Motivation für linsreursive Grammatiregeln s a crown man edge(from, To, C, RC, SC) Dynamische edge/-faten speichern ative und passive Kanten. From: Startposition. To: Endposition. C: Kategorie. RC: Liste der erannten Kategorien (Aus technischen Gründen in umgeehrter Reihenfolge.). SC: Liste der noch zu erennende Kategorien DetP. <,> DetP. Zwischen Position und ist eine (unvollständige), von der bereits die DetP gefunden wurde, der aber zur Vollständigeit noch ein fehlt. Earley-Parsing 6 DetP Det. DetP. edge(,, np, [], [detp,n] edge(,, np, [detp], [n] edge(,, detp, [det], [] Charteinträge einfügen Gerüst des Earley-Algorithmus store/: Einfügen von Kanten Identische Kanten dürfen nicht mehrfach in die Chart eingetragen werden, sonst gäbe es unerwünschte Mehrfachlösungen. Eine Kante wird gespeichert, d.h. der Chart hinzugefügt, falls sie nicht schon gespeichert ist. :- dynamic edge/. store(edge) :- \+ call(edge), asserta(edge Falls call(edge) scheitert, wird Edge assertiert. Falls call(edge) gelingt, wird Edge nicht assertiert. Einen Satz earley-parsen heisst,. Chart löschen. Chart bezüglich Startsymbol initialisieren. von den Komponenten verarbeiten lassen. prüfen, ob in der Chart eine passive Kante mit dem Startsymbol zu finden ist Von den Komponenten verarbeiten lassen heisst, Abbruch, falls Eingabeette leer ist. Reursives Abarbeiten durch. Predictor. Scanner. Completer und wieder von vorn, ein Wort weiter. parse(c, S) :- retractall(edge(_,_,_,_,_)), init(c), process(s,, LastPos), edge(, LastPos, C, _, [] process([], LastPos, LastPos process([word Words], Pos, LastPos) :- predictor(pos), scanner(word, Pos, extpos), completer(extpos), process(words, extpos, LastPos Earley-Parsing 7 Earley-Parsing 8

3 Legende zur Metasymboli Initialisierung der Chart Metasymbole für einzelne icht-terminalsymbole A, B, C Metasymbole für beliebig lange Ketten von Grammatisymbolen α, β, γ init/ fügt für jede Regel mit dem Startsymbol als LHS eine ative Kante ein. Initialisierungsregel Falls C die gesuchte Kategorie ist, füge für jede Grammatiregel der Form C γ die Kante, C. γ in die Chart. Beispiele Die Kette ann auch leer sein! D.H. ε. Die gepuntete Regel ist von der Form A. α, gdw. A = S und α = VP. Die gepuntete Regel. Conj ist von der Form, gdw. C =, α =, B = Conj und γ =. Die gepuntete Regel Conj. ist von der Form, gdw. C =, α = Conj, B = und γ = ε. edge(,, s, [], [np,vp] init(c) :- rule(c, RHS), store(edge(,,c,[],rhs)) Earley-Parsing 9 Earley-Parsing 0 foreach/ Predictor-Beschreibung Deterministisches Metaprädiat B, A) So oft die Bedingung B erfüllt ist, führe die Ation A genau einmal durch. B und A önnen trotz Metaprädiate durch gemeinsame Variablen "ommunizieren". Verwendet once/ als Hilfsprädiat. Emuliert Iteration (while-schlaufe once(ziel) Beweise Ziel höchstens einmal. B, A) :- call(b), once(a), fail. _, _ once(goal) :- call(goal),!. Der Predictor sagt voraus, welche Grammatiregeln zum Ziel führen önnen. Ative Konstituenten werden expandiert Die ative Konstituente steht diret hinter dem Punt. Vorgehensweise des Predictors: Top-Down Preditorregel für die Position Schritt I: Für jede Kante der Form i, und jede Regel der Form B β, füge eine Kante, B. β ein. Schritt II: Wende die Preditorregel auf das Resultat ihrer eigenen Anwendung an. Earley-Parsing Earley-Parsing

4 Predictor-Regel graphisch Predictor: Beispiel Schritt I Falls i < : i Predictor B β B. β i Predictor für Position Weil eine ative Kante an Position die ative Konstituente hat, werden anhand der -Regeln Kanten in die Chart eingefügt. Da unsere Grammati zwei Regeln für s enthält, werden entsprechend zwei ative Kanten eingefügt. Falls i=: Predictor B β B. β Regeln für Conj DetP Earley-Parsing Earley-Parsing Predictor: Beispiel Schritt II Predictor: Beispiel Schritt II Predictor für Position Die frisch eingefügte Kante hat wiederum eine als ative Konstituente. Daher sollen anhand der -Regeln neue Kanten in die Chart eingefügt werden. Allerdings ommen so eine neuen Kanten in die Chart, da alle ativen Kanten für s schon drin sind! Keine endlose Reursion, trotz linsreursiver Grammati! Regeln für Predictor für Position, Schritt II Die frisch eingefügte Kante r. hat eine DetP als ative Konstituente. Daher sollen anhand der DetP-Regeln neue Kanten in die Chart eingefügt werden. Die Grammati enthält zwei Regeln für DetP, also ommen zwei neue ative Kanten zur Chart hinzu. Dann ist für den Predictor nichts mehr zu tun. Regeln für DetP Earley-Parsing Earley-Parsing 6 DetP. Poss

5 Predictor in Prolog Scanner-Beschreibung predictor/ Mache für jede Kante mit einer ativen Konstituente an der Endposition die Voraussagen. predict/ Schritt I: Finde eine Regel, die die vorherzusagende Kategorie als LHS hat, mere die line Ece als neue ative Konstituente. Speichere die entsprechende Kante in der Chart, oder scheitere, falls sie schon gespeichert ist. Schritt II: Wende predict/ reursiv auf die neue ative Konstituente an. predictor(to) :- edge(_, To, _, _, [Active _]), predict(active, To) predict(c, Pos) :- rule(c, [Active Rest]), store(edge(pos,pos,c,[],[active Rest])), predict(active, Pos), fail. predict(_, _ Der Scanner nimmt Terminal-Symbole und bestimmt ihre lexialischen Kategorien. önnte z.b. Schnittstelle zu Lexion/Morphologie aufrufen Hier: Aufruf des spartanischen Lexions in word/ Scanner-Regel für Position man woman word(n, man word(n, woman... Falls das Wort W zwischen der Position und + der Eingabeette steht, füge für jede Lexion-Regel der Form C W die Kante, + C W. in die Chart. Earley-Parsing 7 Earley-Parsing 8 Scanner: Beispiel Scanner in Prolog Chart(-Ausschnitt) nach Laufen des Scanners für Knoten : DetP. Poss 6 Det the. scanner(+wort, +K,?Kplus) Für jede mögliche Kategorie, wird eine Kante mit der entsprechenden Endposition gespeichert. scanner(word, From, To) :- To is From +, word(cat, Word), store(edge(from,to,cat,[word],[])) Scanner beommt das Wort von process/ geliefert. Verbesserung gegenüber der Original-Version von Earley: Earley hätte Präterminal-Regeln wie Det the vom Predictor top-down verarbeiten lassen. Weil damit Terminale vorausgesagt werden, die gar nicht Teil der Eingabeette sind, ist das ineffizient wie beim Standard-DCG-Parser. Earley-Parsing 9 Earley-Parsing 0

6 Completer-Beschreibung Fundamental-Regel des Chart-Parsing Der Completer vervollständigt ative Kanten durch Kombination mit passiven Kanten. Anschaulich: Der Punt wandert in der Regel eine Kategorie nach rechts. Vorgehensweise des Completers: Bottom-Up Completer-Regel für Position Schritt I: Für jede passive Kante der Form j, B β. und jede ative Kante der Form i, j füge die Kante i, C α B. γ zur Chart hinzu. (sog. Fundamentalregel) Schritt II: Wende die Completer-Regel auf das Resultat ihrer eigenen Anwendung an. Wenn folgende Kanten in der Chart sind: Passive Kante zwischen Positionen j und : B β. d.h. cat. Ative Kante zwischen Positionen i und j: d.h. Det. Dann füge folgende Kante zur Chart hinzu: Ative oder passive Kante zwischen Positionen i und : C α B. γ d.h. Det. i i Det. Det. Det. j j cat. cat. Earley-Parsing Earley-Parsing Completer: Beispiel Completer: Beispiel Completer für Position, Schritt I Passive Kante 6 endet in Position. Ihre Kategorie ist Det. Suche ative Kanten, die ein Det benötigen und am Startnoten der passiven Kante enden (Position Kante passt. Füge durch Fundamentalregel die neue Kante (7) in die Chart. 6 Det the. 6 Det the. Completer für Position, Schritt II Passive Kante 7 endet hier. Ihre Kategorie ist DetP. Suche ative Kanten, die ein DetP benötigen und am Startnoten der passiven Kante enden (Position I) Kante passt füge durch Fundamentalregel neue Kante (8) zur Chart. 7 DetP Det. Ausschnitt 7 DetP Det. 7 DetP Det. 8 DetP. DetP. Poss DetP. Poss Earley-Parsing Earley-Parsing

7 Completer in Prolog Analyse: Fortschritt und Ende completer/ Vervollständige die Chart mit jeder passiven Kante, die bei Position K endet und bei J beginnt. complete/ Schritt I: Suche ative Kante, die bei J endet und Kategorie B benötigt. Wende die Fundamentalregel an und speichere die neue Kante. Schritt II: Falls sich bei Schritt I eine passive Kante ergeben hat, vervollständige diese reursiv. Achtung: Die erannten Konstituenten sind verehrt herum abgespeichert completer(k) :- edge(j, K, Passive, _, []), complete(j, K, Passive) complete(j, K, B) :- edge(i, J, A, Aphla, [B Gamma]), store(edge(i,k,a,[b Aphla],Gamma)), Gamma == [], complete(i, K, A), fail. complete(_, _, _ Fortschritt Wenn der Completer für Knoten nicht mehr weiterommt Ende Predictor für Knoten Scanner für Knoten Completer für Knoten Predictor für Knoten Scanner für Knoten Completer für Knoten Wenn die Eingabeette leer ist und alle Kanten vervollständigt sind, ist die syntatische Analyse beendet Ergebnis der Analyse Die Eingabe-Kette ist genau dann azeptiert, wenn gilt: I. eine passive Kante reicht von der ersten bis zur letzten Position II. und die Kategorie dieser Kante ist das Startsymbol. Earley-Parsing Earley-Parsing 6 Literatur Originalaufsatz Earley, Jay(970): An efficient context-free parsing-algorithm. Communications of the ACM,, pp Reprinted in "Readings in atural Language Processing (B. J. Gross, K. Spar et al. eds), pp. -, Morgan Kaufmann: Los Altos, 986. Implementation nahe bei Covington, M. (99: 76ff.) aber beeinflusst von Gazdar, G./ Mellish, Ch. (989: 79ff.): atural Language Processing in PROLOG Earley-Parsing 7