Der Earley-Algorithmus

Transkript

1 Der Earley-Algorithmus Kursfolien Karin Haenelt Inhalt Funktion des Earley-Algorithmus Begriffe Erkenner/Parser Kontextfreie Grammatik Ein Beispiel Funktionen des Algorithmus Funktionsweise des Algorithmus (Animation) Notationen und Definitionen Produktionsregeln Zustand Look-Ahead-Symbol Formale Spezifikation des Algorithmus Erläuterungen Predictor Scanner Completer

2 Funktion des Earley-Algorithmus Erkennungs-Algorithmus für Sprachen, die mit kontextfreien Regeln beschrieben werden Primär für formale Sprachen Anwendung auch für natürliche Sprachen Erkenner / Parser Erkenner (Recognizer) Nimmt eine Zeichenkette als Eingabe Akzeptiert / verwirft sie je nach Grammatikregeln Parser Erkenner, der zusätzlich die Ableitungsbäume der Zeichenkette ausgibt

3 G = (V,T,P,S) V T P S Kontextfreie Grammatik Nicht-Terminale Terminale Produktionen Startsymbol Sprache Endliche Menge von Variablen Endliche Menge von primitiven Symbolen Regeln, die die Variabeln untereinander verknüpfen Spezielle Variable Rekursiv durch Nicht-Terminale und Terminale beschrieben Hopcroft/Ullman, 1988, S Ein Beispiel: Darstellung (1) Φ S S NP VP NP dete nomn VP verb Φ S NP VP dete nomn verb der Mensch denkt

4 Ein Beispiel: Darstellung (2) Φ S S NP VP NP dete nomn VP verb S NP VP dete nomn verb der Mensch denkt Kanten des Syntaxbaumes und ihre Abdeckung bezogen auf die Eingabe von der linken Grenze 0 (vor Wort 1) bis zur rechten Grenze 3 (hinter Wort 3) Funktionen des Algorithmus Predictor Scanner Completer Expansion der Non-Terminal- Kategorien Überprüfung der Eingabekette auf Übereinstimmung mit erwarteter terminaler Kategorie Rückkehr zur übergeordneten Non-Terminal-Kategorie nach vollständiger Erkennung einer Non-Terminal-Kategorie

5 Funktionsweise des Algorithmus 0 Φ 11 1 S 10 2 NP 6 VP 3 dete 4 nomn 5 7 verb 9 8 der Mensch denkt Notation: Produktionsregeln (1) a, b, c Terminal-Symbole z.b. - morpho-syntakt. Kategorien wie nomn - lexikalische Zeichen A, B, C Non-Terminal-Symbole z.b. syntakt. Kategorien wie S, NP, VP α, β, γ Ketten von Terminal- oder Non-Terminal- Symbolen λ leere Kette α n α...α (Kette mit n mal vorkommendem α ) α A α R Anzahl der Symbole in α Produktionsregel Wurzel, Non-Terminal-Symbol, das für Satz steht

6 Notation: Produktionsregeln (2) α β β ist von α direkt abgeleitet, wenn γ, δ, η, A wobei α = γ A δ und β = γ η δ und A η eine Produktion ist α β β ist von α (ggf. über mehrere Produktionen) abgeleitet, wenn Ketten α 0, α 1,..., α m (m α = α 0 α 1... α m = β. 0) wobei Die Folge α 0,..., α m wird Ableitung (von β aus α) genannt Notation: Produktionsregeln (3) X 1... X n k G Eingabe-Kette Anzahl der Look-Ahead-Symbole Grammatik

7 Notation: Instanzen der Produktionsregeln (1) Jedes Vorkommen einer Regel jede Instanz bekommt eine eigene Produktionsnummer S 1 (NP 2 der Mensch) (VP 3 denkt) p Nummer einer Produktion 1,..., d - 1 Anzahl der Produktionen p Anzahl der Symbole auf der rechten Seite einer Produktion D p C p1... C pp Produktion (1=p=d-1) Notation: Instanzen der Produktionsregeln (2) D 0 R Produktion Nr. 0, R ist die Wurzel von G, ist ein neues Terminal-Symbol Terminal-Symbol, das in der Eingabekette nicht vorkommt; als Ketten-Ende- Markierung verwendet

8 Notation: Produktionsregeln Punktschreibweise Punkte in einer Produktionsregel markieren den aktuellen Bearbeitungszustand. Der Punkt steht jeweils vor der nächsten zu erkennenden Konstituente. S NP VP noch keine Konstituente erkannt S NP VP eine Konstituente (NP) erkannt S NP VP zwei Konstituenten (NP und VP) erkannt Definition: Zustand Zustand def: ein Zustand s ist ein Quadrupel s= <p,j, f,α> p Nummer der Produktion, 0 = p = d-1 j Anzahl der erkannten Symbole auf der rechten Seite, 0 = j = p f Linke Grenze der Produktion, 0 = f = n+1 α Zeichenkette, bestehend aus k Symbolen: Look-ahead-String s e s i X i+1 s p j f α p D p C p1.. C pp C p(j+1) Eingabe 0 0 dete Φ S S 1 0 dete S NP VP NP

9 Definition: Look-Ahead-Symbole H k (γ) = {α α terminal ist, α = k, und β, so dass γ * αβ} Menge terminaler Ketten, - die k-symbole lang sind und - die eine von γ abgeleitete Kette beginnen Beispiele: H 1 (dete adje nomn) = dete H 1 (NP) = dete LET X n+i = LET S i be empty Add <0,0,0, k > to S 0 FOR i? 0 STEP 1 UNTIL n DO (1 = i = k+1) (0 = i = n+1) Der Algorithmus BEGIN process the states of S i in order performing one of the following three operations on each state s = <p,j,f,α> (1) predictor IF s is nonfinal [ j? p ] AND C p(j+1) is a nonterminal THEN for each q such that C p(j+1) = D q and for each β H k (C p(j+2)... C pp α) add <q,0,i,β> to S i (2) completer IF s is final [ j = p ] AND α = X i+1... X i+k THEN for each <q,l,g,β> S f such that C q(l+1) = D p add <q,l+1,q,β> to S i (3) scanner IF s is nonfinal [ j p] AND C p(j+1) is terminal THEN IF C p(j+1) = X i+1 add <p,j+1,f,α> to S i+1 IF S i+1 is empty, return rejection IF i=n AND S i+1 = {<0,2,0, >}, return acceptance END

10 Die Agenda Ein Beispiel s e s i X i+1 s p j f α p D p C p1.. C pp C p(j+1) Eingabe 0 0 dete Φ S S 1 0 dete S NP VP NP 2 0 dete verb 2 NP dete nomn dete 3 1 nomn verb 2 NP dete nomn nomn der 4 2 verb verb 5 2 verb verb NP 2 S 1 VP 1 VP 2 S 2 Φ 2 Φ dete nomn - Mensch NP VP VP verb verb verb - denkt NP VP - S S Predictor (1) predictor IF s is nonfinal [ j p] AND C p(j+1) is a nonterminal THEN for each q such that C p(j+1) = D q and for each β H k (C p(j+2)... C pp α) add <q,0,i,β> to S i Eingelesener Zustand <p,j,f,α> in S i Zustand 1 Φ S Erzeugter Zustand <q,0,i,β> in S i Zustand 2 S NP VP s e s i X i+1 s p j f α 0 0 dete dete p D p 2 Φ 2 S C p1.. C pp C p(j+1) S S NP VP NP

11 Scanner (3) scanner IF s is nonfinal [ j p ] AND C p(j+1) is terminal THEN IF C p(j+1) = X i+1 add <p,j+1,f,α> to S i+1 Eingelesener Zustand <p,j,f,α> in S i Zustand 3 NP dete nomn Erzeugter Zustand <p,j+1,f,α> in S i+1 Zustand 4 NP dete nomn s e s i X i+1 s p j f α p D p C p1.. C pp C p(j+1) Eingabe 2 0 dete verb 2 NP dete nomn dete 3 1 nomn verb 2 NP dete nomn nomn der (2) completer Completer IF s is final [ j = p ] AND α = X i+1... X i+k THEN for each <q,l,g,β> S f such that C q(l+1) = D p add <q,l+1,q,β> to S i Eingelesener Zustand <p,j,f,α> in S i Zustand 5 NP dete nomn Mutter-Zustand <q,l,g,β> in S f Zustand 2 S NP VP Erzeugter Zustand <q,l+1,g,β> in S i Zustand 6 S NP VP s e s i X i+1 s p j f α p D p 0 0 dete dete dete verb 3 1 nomn verb 4 2 verb verb C p1.. C pp C p(j+1) Eingabe 2 Φ S S 2 S NP VP NP 2 NP dete nomn dete 2 NP dete nomn nomn der 2 NP dete nomn - Mensch 5 2 verb S NP VP VP

12 Literatur Earley, Jay (1970): An Efficient Context-Free Parsing-Algorithm. In: Communications of the ACM, 6 (8), Haenelt, Karin (2001): Der Earley-Algorithmus. Eine Erläuterung der formalen Spezifikation mit linguistischen Beispielen. Kursskript Tutor.doc Hopcroft, John E. und Jeffrey D. Ullman (1988): Einführung in die Automatentheorie, formale Sprachen und Komplexitätstheorie. Addison-Wesley