Einführung - Parser. Was ist ein Parser?

Transkript

1 Gliederung 1. Einleitung 1.1 Was ist ein Parser? 1.2 Was ist ein tabellengesteuerter TD-Parser? 1. Tabellengesteuerter TD-Parser 2.1 Funktionsweise 2.2 Darstellung als Pseudocode 2.3 Konstruktion von prädiktiven Parse-Tabellen 1. Bottom-Up-Syntaxanalyse 3.1 Definition 3.2 Handles 3.3 Allgemeine Informationen 4. Fragen

2 Gliederung 1. Einleitung 1.1 Was ist ein Parser? 1.2 Was ist ein tabellengesteuerter TD-Parser? 1. Tabellengesteuerter TD-Parser 2.1 Funktionsweise 2.2 Darstellung als Pseudocode 2.3 Konstruktion von prädiktiven Parse-Tabellen 1. Bottom-Up-Syntaxanalyse 3.1 Definition 3.2 Handles 3.3 Allgemeine Informationen 4. Fragen

3 Einführung - Parser Was ist ein Parser?

4 Einführung - Parser Was ist ein Parser? Ein Parser ist ein Computerprogramm, das in der Computertechnik für die Zerlegung und Umwandlung einer beliebigen Eingabe in ein für die Weiterverarbeitung brauchbares Format zuständig ist.

5 Gliederung 1. Einleitung 1.1 Was ist ein Parser? 1.2 Was ist ein tabellengesteuerter TD-Parser? 1. Tabellengesteuerter TD-Parser 2.1 Funktionsweise 2.2 Darstellung als Pseudocode 2.3 Konstruktion von prädiktiven Parse-Tabellen 1. Bottom-Up-Syntaxanalyse 3.1 Definition 3.2 Handles 3.3 Allgemeine Informationen 4. Fragen

6 Tabellengesteuerter TD-Parser Was ist ein tabellengesteuerter Top-Down Parser?

7 Tabellengesteuerter TD-Parser Was ist ein tabellengesteuerter Top-Down Parser? Im vorherigen Vortrag wurde erklärt, wie rekursiv prädiktive Parser funktionieren. Es besteht auch die Möglichkeit, nicht-rekursiv zu implementieren.

8 Tabellengesteuerter TD-Parser Was ist ein tabellengesteuerter Top-Down Parser? Im vorherigen Vortrag wurde erklärt, wie rekursiv prädiktive Parser funktionieren. Es besteht auch die Möglichkeit, nicht-rekursiv zu implementieren. Dabei wird ein Stack ( Stapel ) explizit verwaltet, anstatt die implizite Stapelverwaltung im Zuge rekursiver Aufrufe zu benutzen.

9 Gliederung 1. Einleitung 1.1 Was ist ein Parser? 1.2 Was ist ein tabellengesteuerter TD-Parser? 1. Tabellengesteuerter TD-Parser 2.1 Funktionsweise 2.2 Darstellung als Pseudocode 2.3 Konstruktion von prädiktiven Parse-Tabellen 1. Bottom-Up-Syntaxanalyse 3.1 Definition 3.2 Handles 3.3 Allgemeine Informationen 4. Fragen

10 Ein tabellengesteuerter TD-Parser besteht aus einem Funktionsweise

11 Funktionsweise Ein tabellengesteuerter TD-Parser besteht aus einem - Eingabepuffer

12 Funktionsweise Ein tabellengesteuerter TD-Parser besteht aus einem - Eingabepuffer - Ausgabestrom

13 Funktionsweise Ein tabellengesteuerter TD-Parser besteht aus einem - Eingabepuffer - Ausgabestrom - Stack

14 Funktionsweise Ein tabellengesteuerter TD-Parser besteht aus einem - Eingabepuffer - Ausgabestrom - Stack - Deterministischen Automat ( Parse-Tabelle )

15 Funktionsweise Der Eingabestring wird mit der Endmarkierung $ abgeschlossen Der Stack enthält eine Folge von Grammatiksymbolen, welches ebenfalls mit einem $ abgeschlossen wird

16 Funktionsweise Die Parse-Tabelle besteht aus einem zwei dimensionalen Array, die folgendermaßen aufgebaut ist M [ A, a ] Das A steht für ein Nichtterminal Das a steht für ein Terminal oder $

17 Terminal und Nichtterminal Was bedeutet noch mal Terminal und Nichtterminal?

18 Terminal und Nichtterminal Was bedeutet noch mal Terminal und Nichtterminal? Terminale sind diejenigen Symbole, aus denen sich die Worte der zu erzeugenden formalen Sprache zusammensetzen. Sie werden in der Regel durch Kleinbuchstaben repräsentiert. Ein einzelnes Terminalsymbol kann bei der Erzeugung der durch die Grammatik beschriebenen Sprache nicht durch eine Produktionsregel ersetzt werden.

19 Terminal und Nichtterminal Was bedeutet noch mal Terminal und Nichtterminal? Terminale sind diejenigen Symbole, aus denen sich die Worte der zu erzeugenden formalen Sprache zusammensetzen. Sie werden in der Regel durch Kleinbuchstaben repräsentiert. Ein einzelnes Terminalsymbol kann bei der Erzeugung der durch die Grammatik beschriebenen Sprache nicht durch eine Produktionsregel ersetzt werden. Nichtterminal ist ein Symbol, welches zur Erzeugung der formalen Sprache, die durch die Grammatik beschrieben werden soll, verwendet wird, aber im Gegensatz zu Terminalsymbolen kein Symbol ist, welches in den Wörtern der erzeugten Sprache vorkommt. Nichtterminale werden gewöhnlich durch Großbuchstaben repräsentiert oder durch spitze Klammern gekennzeichnet (<Nichtterminal>).

20 Funktionsweise Wie verhält sich nun die Steuerung des Parsers für ein Programm?

21 Funktionsweise Der Parser schaut sich das oberste Stackelement X und das aktuelle Eingabesymbol a an Es gibt fünf Möglichkeiten:

22 1. Wenn X = a = $ ist, stoppt der Parser, da das zu analysierende Programm akzeptiert wurde Funktionsweise

23 2. Wenn X = a $ ist, entfernt der Parser X als oberstes Element vom Stapel und setzt den Eingabezeiger auf das nächste Eingabesymbol Funktionsweise

24 Funktionsweise 3. Wenn X T und X a ist, so liegt ein Syntaxfehler vor

25 4. Wenn X N und M[X,a] leer ist, so liegt ein Syntaxfehler vor Funktionsweise

26 Funktionsweise 5. Wenn X N und M[X,a] = X Y 1 Y k mit Y 1,., Y k V, dann ersetzt das Programm den obersten Stackeintrag X durch Y k,, Y 1, so dass Y 1 das oberste Stackelement ist.

27 Gliederung 1. Einleitung 1.1 Was ist ein Parser? 1.2 Was ist ein tabellengesteuerter TD-Parser? 1. Tabellengesteuerter TD-Parser 2.1 Funktionsweise 2.2 Darstellung als Pseudocode 2.3 Konstruktion von prädiktiven Parse-Tabellen 1. Bottom-Up-Syntaxanalyse 3.1 Definition 3.2 Handles 3.3 Allgemeine Informationen 4. Fragen

28 Darstellung als Pseudocode Die Variable ip zeige auf das erste Symbol von w$; repeat sei X oberstes Stapelsymbol und a das Symbol, auf das ip zeigt; if X ist Terminal oder $ then if X = a then entferne X vom Stapel und rücke ip vor; else error() else /* X ist Nichtterminal */ if M[X,a] = X Y 1 Y 2. Y k then begin entferne X vom Stapel; lege Y k, Y k-1,, Y 1 auf den Stapel, so dass Y 1 oberstes Element ist; gib die Produktion X Y 1 Y 2 Yk aus end else error() until X = $ /* Stapel ist leer * /

29 Darstellung als Pseudocode Abschnitt 1 repeat sei X oberstes Stapelsymbol und a das Symbol, auf das ip zeigt; if X ist Terminal oder $ then if X = a then entferne X vom Stapel und rücke ip vor; else error() else Wir erinnern uns: Wenn X = a $ ist, entfernt der Parser X als oberstes Element vom Stapel und setzt den Eingabezeiger auf das nächste Eingabesymbol

30 Darstellung als Pseudocode Abschnitt 2 else /* X ist Nichtterminal */ if M[X,a] = X Y 1 Y 2. Y k then begin entferne X vom Stapel; lege Y k, Y k-1,, Y 1 auf den Stapel, so dass Y 1 oberstes Element ist; gib die Produktion X Y 1 Y 2 Y k aus end else error() until X = $ /* Stapel ist leer * /

31 Gliederung 1. Einleitung 1.1 Was ist ein Parser? 1.2 Was ist ein tabellengesteuerter TD-Parser? 1. Tabellengesteuerter TD-Parser 2.1 Funktionsweise 2.2 Darstellung als Pseudocode 2.3 Konstruktion von prädiktiven Parse-Tabellen 1. Bottom-Up-Syntaxanalyse 3.1 Definition 3.2 Handles 3.3 Allgemeine Informationen 4. Fragen

32 Konstruktion von prädiktiven Parse-Tabellen Mit folgendem Algorithmus kann eine prädiktive Parse-Tabelle für eine Grammatik G erstellt werden Sei A α eine Produktion der Grammatik G und a ist in FIRST(α). Dann expandiert der Parser A zu α, wenn a aktuelles Eingabesymbol ist.

33 Konstruktion von prädiktiven Parse-Tabellen Mögliche Komplikationen? Zu Komplikationen kann es kommen, wenn α = ε oder α * ε gilt. In diesem Fall muss a erneut zu α expandiert werden, wenn das aktuelle Eingabesymbol in Follow(A) ist oder wenn in der Eingabe die Endmarkierung $ erreicht wurde und $ in Follow(A) enthalten ist.

34 Konstruktion von prädiktiven Parse-Tabellen Der Algorithmus Eingabe: Grammatik G. Ausgabe: Parse-Tabelle M. Methode:

35 Konstruktion von prädiktiven Parse-Tabellen Der Algorithmus Eingabe: Grammatik G. Ausgabe: Parse-Tabelle M. Methode: 1. Führe für jede Produktion A α der Grammatik die Schritte 2 und 3 durch.

36 Konstruktion von prädiktiven Parse-Tabellen Der Algorithmus Eingabe: Grammatik G. Ausgabe: Parse-Tabelle M. Methode: 1. Führe für jede Produktion A α der Grammatik die Schritte 2 und 3 durch. 2. Trage für jedes Terminal α aus FIRST(α) die Produktion A α in M[A,a] ein.

37 Konstruktion von prädiktiven Parse-Tabellen Der Algorithmus Eingabe: Grammatik G. Ausgabe: Parse-Tabelle M. Methode: 1. Führe für jede Produktion A α der Grammatik die Schritte 2 und 3 durch. 2. Trage für jedes Terminal α aus FIRST(α) die Produktion A α in M[A,a] ein. 3. Wenn ε in FIRST(α) enthalten ist, trage A α für jedes Terminal b aus FOLLOW(A) an der Stelle M[A,b] ein. Ist ε in FIRST(α) und $ in FOLLOW(A) enthalten, so trage A α in M[A,$] ein.

38 Konstruktion von prädiktiven Parse-Tabellen Der Algorithmus Eingabe: Grammatik G. Ausgabe: Parse-Tabelle M. Methode: 1. Führe für jede Produktion A α der Grammatik die Schritte 2 und 3 durch. 2. Trage für jedes Terminal α aus FIRST(α) die Produktion A α in M[A,a] ein. 3. Wenn ε in FIRST(α) enthalten ist, trage A α für jedes Terminal b aus FOLLOW(A) an der Stelle M[A,b] ein. Ist ε in FIRST(α) und $ in FOLLOW(A) enthalten, so trage A α in M[A,$] ein. 4. Trage in jedem undefinierten Eintrag error ein.

39 Gliederung 1. Einleitung 1.1 Was ist ein Parser? 1.2 Was ist ein tabellengesteuerter TD-Parser? 1. Tabellengesteuerter TD-Parser 2.1 Funktionsweise 2.2 Darstellung als Pseudocode 2.3 Konstruktion von prädiktiven Parse-Tabellen 1. Bottom-Up-Syntaxanalyse 3.1 Definition 3.2 Handles 3.3 Allgemeine Informationen 4. Fragen

40 Bottom-Up-Syntaxanalyse Was ist eine Bottom-Up-Syntaxanalyse?

41 Bottom-Up-Syntaxanalyse Was ist eine Bottom-Up-Syntaxanalyse? Die Bottom-Up-Syntaxanalyse auch Shift-Reduce-Syntaxanalyse genannt versucht einen Parse-Baum eines Eingabestrings zu konstruieren. Der Beginn findet von den Blättern ( bottom ) aus statt und arbeitet sich bis zum Wurzel ( top )hoch. Bei jedem Reduktionsschritt wird ein einzelner Substring, der mit der rechten Seite einer Produktion übereinstimmt, durch das Symbol auf der linken Seite dieser Produktion ersetzt. Wenn der Substring bei jedem Schritt richtig gewählt wird, gibt man eine Rechtsableitung in umgekehrter Reihenfolge wieder.

42 Bottom-Up-Syntaxanalyse Beispiel Folgende Grammatik ist gegeben: S aabe A Abc b B d

43 Bottom-Up-Syntaxanalyse Beispiel Folgende Grammatik ist gegeben: S aabe A Abc b B d Folgenden Satz möchten wir durch bestimmte Schritte auf S reduzieren: abbcde

44 Bottom-Up-Syntaxanalyse Beispiel Folgende Grammatik ist gegeben: S aabe A Abc b B d Folgenden Satz möchten wir durch bestimmte Schritte auf S reduzieren: abbcde Schritte Schritt 1 aabcde

45 Bottom-Up-Syntaxanalyse Beispiel Folgende Grammatik ist gegeben: S aabe A Abc b B d Folgenden Satz möchten wir durch bestimmte Schritte auf S reduzieren: abbcde Schritte Schritt 1 aabcde

46 Bottom-Up-Syntaxanalyse Beispiel Folgende Grammatik ist gegeben: S aabe A Abc b B d Folgenden Satz möchten wir durch bestimmte Schritte auf S reduzieren: abbcde Schritte Schritt 1 Schritt 2 aabcde aade

47 Bottom-Up-Syntaxanalyse Beispiel Folgende Grammatik ist gegeben: S aabe A Abc b B d Folgenden Satz möchten wir durch bestimmte Schritte auf S reduzieren: abbcde Schritte Schritt 1 Schritt 2 aabcde aade

48 Bottom-Up-Syntaxanalyse Beispiel Folgende Grammatik ist gegeben: S aabe A Abc b B d Folgenden Satz möchten wir durch bestimmte Schritte auf S reduzieren: abbcde Schritte Schritt 1 Schritt 2 Schritt 3 aabcde aade aabe

49 Bottom-Up-Syntaxanalyse Beispiel Folgende Grammatik ist gegeben: S aabe A Abc b B d Folgenden Satz möchten wir durch bestimmte Schritte auf S reduzieren: abbcde Schritte Schritt 1 Schritt 2 Schritt 3 aabcde aade aabe

50 Bottom-Up-Syntaxanalyse Beispiel Folgende Grammatik ist gegeben: S aabe A Abc b B d Folgenden Satz möchten wir durch bestimmte Schritte auf S reduzieren: abbcde Schritte Schritt 1 Schritt 2 Schritt 3 Schritt 4 aabcde aade aabe S

51 Bottom-Up-Syntaxanalyse Beispiel Folgende Grammatik ist gegeben: S aabe A Abc b B d Folgenden Satz möchten wir durch bestimmte Schritte auf S reduzieren: abbcde Schritte Schritt 1 Schritt 2 Schritt 3 Schritt 4 aabcde aade aabe S

52 Gliederung 1. Einleitung 1.1 Was ist ein Parser? 1.2 Was ist ein tabellengesteuerter TD-Parser? 1. Tabellengesteuerter TD-Parser 2.1 Funktionsweise 2.2 Darstellung als Pseudocode 2.3 Konstruktion von prädiktiven Parse-Tabellen 1. Bottom-Up-Syntaxanalyse 3.1 Definition 3.2 Handles 3.3 Allgemeine Informationen 4. Fragen

53 Bottom-Up-Syntaxanalyse Ein Teilstring β (auch Substring genannt) einer Satzform αβ heißt Handle falls,

54 Bottom-Up-Syntaxanalyse Ein Teilstring β (auch Substring genannt) einer Satzform αβ heißt Handle falls, - β die rechte Seite einer Produktion N β ist,

55 Bottom-Up-Syntaxanalyse Ein Teilstring β (auch Substring genannt) einer Satzform αβ heißt Handle falls, - β die rechte Seite einer Produktion N β ist, - Der Reduktionsschritt αβ αn sich zu einer linkskanonischen Produktion fortsetzen lässt.

56 Gliederung 1. Einleitung 1.1 Was ist ein Parser? 1.2 Was ist ein tabellengesteuerter TD-Parser? 1. Tabellengesteuerter TD-Parser 2.1 Funktionsweise 2.2 Darstellung als Pseudocode 2.3 Konstruktion von prädiktiven Parse-Tabellen 1. Bottom-Up-Syntaxanalyse 3.1 Definition 3.2 Handles 3.3 Allgemeine Informationen 4. Fragen

57 Bottom-Up-Syntaxanalyse Bottom-Up-Parser sind immer tabellen-gesteuert.

58 Bottom-Up-Syntaxanalyse Bottom-Up-Parser sind immer tabellen-gesteuert. Mögliche Probleme?

59 Bottom-Up-Syntaxanalyse Bottom-Up-Parser sind immer tabellen-gesteuert. Mögliche Probleme? Für das Aufstellen der Parse-Tabelle, werden in der Regel spezielle Programme benötigt, da der Aufwand sehr groß ist.

60 Bottom-Up-Syntaxanalyse Eine Parse-Tabelle T ist eine rechteckige Matrix, die von zwei Variablen Indiziert wird: dem Zustand des Parsers ( erreichte Position innerhalb der Produktion ) und dem Eingabe-Symbol ( Terminal oder Nichtterminal ).

61 Bottom-Up-Syntaxanalyse Eine Parse-Tabelle T ist eine rechteckige Matrix, die von zwei Variablen Indiziert wird: dem Zustand des Parsers ( erreichte Position innerhalb der Produktion ) und dem Eingabe-Symbol ( Terminal oder Nichtterminal ). Die Tabelleneinträge spezifizieren, ob der Parser

62 Bottom-Up-Syntaxanalyse Eine Parse-Tabelle T ist eine rechteckige Matrix, die von zwei Variablen Indiziert wird: dem Zustand des Parsers ( erreichte Position innerhalb der Produktion ) und dem Eingabe-Symbol ( Terminal oder Nichtterminal ). Die Tabelleneinträge spezifizieren, ob der Parser - Die Eingabe korrekt akzeptiert ( Accept )

63 Bottom-Up-Syntaxanalyse Eine Parse-Tabelle T ist eine rechteckige Matrix, die von zwei Variablen Indiziert wird: dem Zustand des Parsers ( erreichte Position innerhalb der Produktion ) und dem Eingabe-Symbol ( Terminal oder Nichtterminal ). Die Tabelleneinträge spezifizieren, ob der Parser - Die Eingabe korrekt akzeptiert ( Accept ) - Als inkorrekt zurückweist ( Reject )

64 Bottom-Up-Syntaxanalyse Eine Parse-Tabelle T ist eine rechteckige Matrix, die von zwei Variablen Indiziert wird: dem Zustand des Parsers ( erreichte Position innerhalb der Produktion ) und dem Eingabe-Symbol ( Terminal oder Nichtterminal ). Die Tabelleneinträge spezifizieren, ob der Parser - Die Eingabe korrekt akzeptiert ( Accept ) - Als inkorrekt zurückweist ( Reject ) - In einen anderen Zustand übergeht ( Shift )

65 Bottom-Up-Syntaxanalyse Eine Parse-Tabelle T ist eine rechteckige Matrix, die von zwei Variablen Indiziert wird: dem Zustand des Parsers ( erreichte Position innerhalb der Produktion ) und dem Eingabe-Symbol ( Terminal oder Nichtterminal ). Die Tabelleneinträge spezifizieren, ob der Parser - Die Eingabe korrekt akzeptiert ( Accept ) - Als inkorrekt zurückweist ( Reject ) - In einen anderen Zustand übergeht ( Shift ) - Eine bestimme Produktion reduziert ( Reduce )

66 Gliederung 1. Einleitung 1.1 Was ist ein Parser? 1.2 Was ist ein tabellengesteuerter TD-Parser? 1. Tabellengesteuerter TD-Parser 2.1 Funktionsweise 2.2 Darstellung als Pseudocode 2.3 Konstruktion von prädiktiven Parse-Tabellen 1. Bottom-Up-Syntaxanalyse 3.1 Definition 3.2 Handles 3.3 Allgemeine Informationen 4. Fragen

67 Fragen???