Grammatiken und ANTLR

Transkript

1 Grammatiken und ANTLR Zusatzfolien zu Algo Blatt 6 Author: Henry Schaefer

2 Grammatik Definition: syntaktische Beschreibung einer Sprache (H.S.)

3 Definiton Grammatik Eine Grammatik G ist ein 4-Tupel G = (V, Sigma, P, S), das folgende Bedingungen erfuellt. V ist die endliche Menge der Variablen. Sigma ist eine endliche Menge, das Terminalalphabet. Es mus gelten. P ist die endliche Menge der Regeln und Produktionen. Formal ist P eine endliche Teilmenge von. S ist Startsymbol. Die von G erzeugte Sprache nennen wir L(G).

4 Beispiel G = ({E,T,F},{(,),a,+,*},P,E) wobei P = { E -> T, E -> E + T, T -> F, T -> T * F, F -> a, F -> (E) } Beispiel: liegt a*a*(a+a)+a in der Sprache L(G)?

5 Beispiel Ja liegt in der Sprache. Zeigen am Syntaxbaum. Quelle fuer Beispiel und 2. Grammatik Definiton: Uwe Schoening Theoretische Informatik kurz gefasst

6 Beispiel Mit der Grammatik lassen sie die korrekt geklammerten arithmetischen Ausdruecke darstellen.

7 Syntaxbaum Eine Ableitung eines Wortes x in eine Grammatik G kann man einem Syntaxbaum zuordnen. Die Wurzel wird der Startvariablen zugeordnet.

8 Grundlagen Parsing Zusammenhang Lexer und Parser

9 Lexer - Lexikalischer Scanner Definition: Ein lexikalischer Scanner ist ein Computerprogramm zur Zerlegung einer Eingabe in eine Folge von logisch zusammengehörigen Einheiten (Tokens) - man spricht auch von der lexikalischen Analyse. Typischerweise geschieht die Zerlegung nach den Regeln einer regulären Grammatik und der Scanner ist als endlicher Automat realisiert.

10 Lexer 2/3 Ein Scanner wird meist als Teil eines Parsers genutzt. Er erkennt dabei innerhalb der Eingabedatei oder des Eingabedatenstroms z.b. Schlüsselwörter, Bezeichner, Operatoren, Zahlen und Zeichenketten. Als Einheit erkannte Zeichenfolgen (Tokens) werden mit ihrem Typ markiert zurückgeliefert. Der eigentliche Parser arbeitet dann auf den Tokens als atomare Symbole (so genannte Terminalsymbole).

11 Lexer 3/3 Ein Scanner kann einen separaten so genannten Screener benutzen, um Whitespace und Kommentare zu entfernen. Häufig wird das jedoch gleich von der zugrunde liegenden Grammatik erledigt. Quelle:

12 Parser Ein Parser (englisch to parse = analysieren) ist ein Programm, das entscheidet, ob eine Eingabe zur Sprache einer bestimmten Grammatik gehört. Er benutzt dabei in der Regel einen separaten Scanner (auch Lexer genannt), um eine zeichenweise vorliegende Eingabe vorher in Token (zusammengehörende Einheiten, z. B. Schlüsselwörter, Bezeichner usw.) zu konvertieren. Diese Token dienen dann als atomare Eingabezeichen des Parsers.

13 Parser 2/3 Ein Parser (englisch to parse = analysieren) ist ein Programm, das entscheidet, ob eine Eingabe zur Sprache einer bestimmten Grammatik gehört. Er benutzt dabei in der Regel einen separaten Scanner (auch Lexer genannt), um eine zeichenweise vorliegende Eingabe vorher in Token (zusammengehörende Einheiten, z. B. Schlüsselwörter, Bezeichner usw.) zu konvertieren. Diese Token dienen dann als atomare Eingabezeichen des Parsers.

14 Parser 3/3 Während des Parsens erfolgt eine syntaktische Überprüfung der Eingangsdaten. Bei der Überprüfung wird in der Regel aus den Daten ein Parse-Baum aufgebaut, um die Daten anschließend weiterverarbeiten zu können (z. B. semantische Analyse, Codegenerierung in einem Compiler oder Ausführung durch einen Interpreter). Quelle:

15 ANTLR Another Tool for language recognition Tutorials:

16 ANTLR im CIP Bitte gebt je nach shell folgendes ein um die antlr.jar einzubinden. Die Standard Shell im CIP ist die tcsh, wenn ihr nichts umgestellt habt, benutzt ihr sicher die!

17 ANTLR im CIP bash export CLASSPATH = $CLASSPATH:. : /usr/share/java/antlr.jar bitte alles auf einer Zeile, : ist Trennsymbol

18 ANTLR im CIP tcsh setenv CLASSPATH "$CLASSPATH":".": "/usr/share/java/antlr.jar" bitte alles auf einer Zeile, : ist Trennsymbol