Earley Parser. Flutura Mestani

Transkript

1 Earley Parser Flutura Mestani Informatik Seminar Algorithmen zu kontextfreien Grammatiken Wintersemester 2015/2016 Prof. Martin Hofmann, Dr. Hans Leiß Flutura Mestani Seminar Algorithmen zu kontextfreien Grammatiken Folie 1

2 Gliederung Earley-Algorithmus Funktionsweise Beispiel Laufzeitkomplexität Shared Packed Parse Forest Folie 2

3 Gliederung Earley-Algorithmus Funktionsweise Beispiel Laufzeitkomplexität Shared Packed Parse Forest Folie 3

4 Earley-Algorithmus Entwickelt von Jay Earley 1968 in seiner Arbeit An Efficient Context-Free Parsing Algorithm veröffentlicht Auch Earley-Erkenner oder -Parser genannt Algorithmus, der entscheidet, ob ein Wort von einer kontextfreien Grammatik erzeugt werden kann Ähnelt anderen Algorithmen, jedoch muss die Grammatik hier nicht in der Chomsky Normalform vorliegen! Besonderheit: Hohe Effizienz, sowohl Top-Down, als auch Bottom-Up Teile enthalten Folie 4

5 Kontextfreie Grammatik Form der Ersetzungsregeln: V α, wobei V einzelne Variable und α eine Folge aus Nichtterminal- und/oder Terminalsymbolen Typ-2-Grammatik in der Chomsky-Hierarchie Folie 5

6 Earley-Parser Erkenner: Algorithmus, der ein Eingabewort akzeptiert oder verwirft, je nachdem, ob das Wort von der Grammatik erzeugt werden kann Parser: Erkenner, der zusätzlich alle 'wesentlich verschiedenen' Syntaxbäume für das Wort mit ausgibt Durch relativ einfache Umformung kann aus dem Earley-Erkenner ein Parser werden Folie 6

7 Gliederung Earley-Algorithmus Funktionsweise Beispiel Laufzeitkomplexität Shared Packed Parse Forest Folie 7

8 Funktionsweise Form des Eingabeworts X 1 X n aus Grammatik G Durchnummerieren der Produktionen 1,, d-1 mit der Form D p C p1 C pp (1 <= p <= d-1), wobei p die Anzahl an Symbolen auf der rechten Seiten von Produktion p ist Hinzufügen einer 0ten Produktion D 0 R, wobei R die Wurzel von G ist und ein neues Terminalsymbol, das das Ende der Zeichenkette markiert Folie 8

9 Funktionsweise Definition: Ein Zustand ( state ) s ist ein Quadrupel <p, j, f, α>, mit p Nummer der Produktion; 0 <= p <= d-1 j Anzahl erkannter Symbole auf der rechten Seite; 0 <= j <= p f Zeiger auf die Zustandsmenge, in der der Zustand erzeugt wurde; 0 <= f <= n+1 α Terminalsymbol; Look-Ahead-Symbol Definition: Eine Zustandsmenge ( set ) s i ist eine Menge aus Zuständen. Folie 9

10 Funktionsweise Bemerkung: Zur Durchführung wird eine Punktnotation in den Produktionen verwendet: A B C heißt z.b., dass B (vor dem Punkt) bereits bearbeitet wurde und C (direkt nach dem Punkt) als nächstes zu bearbeiten ist. Folie 10

11 Funktionsweise Definition: H k (γ) = {α α ist Terminalsymbol, α = k und ⱻ β, sodass γ -*> αβ} H k (γ) ist die Menge aller Terminalzeichenketten mit k- Symbol Länge, die eine von γ aus erreichbare Zeichenkette beginnen Benötigt für die Bildung des Look-Ahead-Strings der Zustände Folie 11

12 Funktionsweise Der Algorithmus ist eine Funktion mit 3 Argumenten REC(G, X 1 X n, k), die folgendes berechnet: Let X n+i = (1 <= i <= k+1). Let S i be empty (0 <= i <= n+1). Add <0, 0, 0, k > to S 0. For i 0 step 1 until n do Begin End Process the states of S i in order, performing one of the following three operations on each state s = <p, j, f, α> (1) Predictor: If s is nonfinal and C p(j+1) is a nonterminal, then for each q such that C p(j+1) = D q, and for each β ϵ H k (C p(j+2) C pp α ) add <q, 0, i, β> to S i. (2) Completer: If s is final and α = X i+1... X i+k, then for each <q, l, g, β> ϵ S f (after all states have been added to S f ) such that C q(l+1) = D p, add <q, l+1, g, β> to S i. (3) Scanner: If s is nonfinal and C p(j+1) is terminal, then if C p(j+1) = X i+1, add <p, j+1, f, α> to S i+1. If S i+1 is empty, return rejection. If i = n and S i+1 = {<0,2,0, >}, return acceptance. Folie 12

13 Gliederung Earley-Algorithmus Funktionsweise Beispiel Laufzeitkomplexität Shared Packed Parse Forest Folie 13

14 Beispiel Grammatik G mit folgenden Produktionen: Φ S (0te Produktion p = 0; S Startsymbol) S NP VP (p = 1) NP dete nom (p = 2) VP verb (p = 3) Folie 14

15 Beispiel Zugehöriger Syntaxbaum und visuelle Darstellung des Earley Algorithmus: Predictor (Top-Down) Scanner Completer (Bottom-Up) Φ S NP VP det nom verb Folie 15

16 Beispiel Eingabe X 1 X n : det nom verb ( die Studentin erklärt ) s s i X i+1 p j f α D p C p1 C pp C p(j+1) Eingabe Durchgeführte Aktion 1 s 0 det Φ S S 2 s 0 det S NP VP NP Predictor 3 s 0 det verb NP det nom det Predictor 4 s 1 nom verb NP det nom nom die Scanner 5 s 2 verb verb NP det nom - Studentin Scanner 6 s 2 verb S NP VP VP Completer 7 s 2 verb VP verb verb Predictor 8 s VP verb - erklärt Scanner 9 s S NP VP - Completer 10 s Φ S Completer 11 s Φ S - (Scanner) Folie 16

17 Beispiel Der Algorithmus ist eine Funktion mit 3 Argumenten REC(G, X 1 X n, k), die folgendes berechnet: Let X n+i = (1 <= i <= k+1). Let S i be empty (0 <= i <= n+1). Add <0, 0, 0, k > to S 0. For i 0 step 1 until n do Begin End Process the states of S i in order, performing one of the following three operations on each state s = <p, j, f, α> (1) Predictor: If s is nonfinal and C p(j+1) is a nonterminal, then for each q such that C p(j+1) = D q, and for each β ϵ H k (C p(j+2) C pp α ) add <q, 0, i, β> to S i. (2) Completer: If s is final and α = X i+1... X i+k, then for each <q, l, g, β> ϵ S f (after all states have been added to S f ) such that C q(l+1) = D p, add <q, l+1, g, β> to S i. (3) Scanner: If s is nonfinal and C p(j+1) is terminal, then if C p(j+1) = X i+1, add <p, j+1, f, α> to S i+1. If S i+1 is empty, return rejection. If i = n and S i+1 = {<0,2,0, >}, return acceptance. Folie 17

18 Beispiel Alternative Schreibweise der Zustandsmengen: S 0 Φ S S 3 VP verb S NP VP S NP VP NP det nom Φ S S 1 NP det nom S 4 Φ S S 2 NP det nom S NP VP VP verb Folie 18

19 Gliederung Earley-Algorithmus Funktionsweise Beispiel Laufzeitkomplexität Shared Packed Parse Forest Folie 19

20 Laufzeitkomplexität Grundsätzlich Komplexität von n 3 für alle kontextfreien Grammatiken (n ist Wortlänge) Komplexität von n 2 für eindeutige ( unambiguous ) Grammatiken (und bewiesenermaßen sogar für mehr Grammatikklassen als nur diese) Sogar Laufzeit von n unter Verwendung eines von Earley erweiterten Algorithmus mit Hilfe eines sogenannten garbage collectors bei bestimmten Grammatiken möglich Folie 20

21 Gliederung Earley-Algorithmus Funktionsweise Beispiel Laufzeitkomplexität Shared Packed Parse Forest Folie 21

22 Shared Packed Parse Forest Syntaxbäume ( parsing trees ) werden verwendet, um die strukturellen Eigenschaften eines Satzes darzustellen Wegen der syntaktischen Mehrdeutigkeit vieler Sprachen kann ein Satz unterschiedliche Syntaxbäume haben, die diesen erzeugen Ein Shared Packed Parse Forest ist eine Datenstruktur, die alle möglichen Syntaxbäume eines Satzes in kompakter Form darstellt (Sowohl Nichtterminalsymbole als auch Terminalsymbole) Folie 22

23 Shared Packed Parse Forest Für den Earley Parser heißt das, dass in einen Zustand zusätzlich der Parsewald gespeichert wird Bei Hinzufügen neuer Zustände s in die Zustandsmengen s i ist auch festgelegt, wie der neue Wald aussieht (z.b. beim Completer verlängert) C p1... C pj / \ / \ a f...a i Folie 23

24 Shared Packed Parse Forest Beispielgrammatik G: S NP VP NP NP PP PP prep NP S S PP NP det n VP v NP NP n Syntaxbäume für: n v det n prep det n ( Ich sehe einige Studenten mit einem Handy ): S S S VP NP VP PP PP NP NP NP NP NP NP n v det n prep det n n v det n prep det n Folie 24

25 Shared Packed Parse Forest Beispielgrammatik G: S NP VP NP NP PP PP prep NP S S PP NP det n VP v NP NP n Shared Packed Parse Forest für: n v det n prep det n ( Ich sehe einige Studenten mit einem Handy ): S S S VP VP NP PP NP NP NP n v det n prep det n Folie 25

26 Ende Vielen Dank für die Aufmerksamkeit! Folie 26