1 Formale Sprachen, reguläre und kontextfreie Grammatiken

Transkript

1 Praktische Informatik 1, WS 2001/02, reguläre Ausdrücke und kontextfreie Grammatiken 1 1 Formale Sprachen, reguläre und kontextfreie Grammatiken Ein Alphabet A ist eine endliche Menge von Zeichen. Die Sprache über dem Alphabet A ist die Menge der Worte, die aus Zeichen aus A bestehen. Das leere Wort bezeichnet man mit ε. Man kann die Worte identifizieren mit Folgen von Elementen aus A. Als Operation auf den Worten hat man: Zusammenhängen von zwei Worten s, t zu einem neuem Wort s.t, auch geschrieben als st. Die Länge eines Wortes t ist die Anzahl der Zeichen in t. Die Menge aller Worte über A wird auch mit A bezeichnet. Eine formale Sprache über A ist eine Teilmenge von A. 1.1 Reguläre formale Sprachen Eine Möglichkeit, formale Sprachen zu beschreiben, sind reguläre Ausdrücke über einem Alphabet A. Diese sind folgendermaßen definiert: Definition 1.1 Wir geben die Syntax für reguläre Ausdrücke an. 1. ε ist ein regulärer Ausdruck 2. a ist ein regulärer Ausdruck für a A. 3. Wenn r und s reguläre Ausdrücke sind, dann auch (r + s), (rs) und (r ). Wenn man formale Sprachen R und S über dem Alphabet A hat, dann bezeichnet RS die Menge aller Konkatenationen von Wörtern aus R und S, d.h. RS := {uv u R, v S}. Definiert man R n durch R 0 := {ε}, R 1 := R und R n := RR n 1, dann ist der (Kleene-)Abschluß definiert als R := {R n n 0}, der positive Abschluß ist definiert als R + := {R n n 1}. Jeder reguläre Ausdruck r über dem Alphabet A beschreibt eine formale Sprache I(r), wobei I die Interpretation ist, wenn man induktiv definiert: 1. I(ε) := {ε}. 2. I(a) := {a} für a A. 3. I((r + s)) := I(r) I(s). 4. I((rs)) := I(r)I(s). 5. I(r ) := (I(r)). Man erweitert diese Darstellung um r n wobei r ein regulärer Ausdruck ist, und n eine natürliche Zahl. Die Bedeutung ist r n = r }. {{.. r }. Eine weitere n Möglichkeit ist das optionale Auftreten: [r] bedeutet, dass r einmal oder keinmal auftreten kann und ist gleichbedeutend zu r + ε. 1.2

2 Praktische Informatik 1, WS 2001/02, reguläre Ausdrücke und kontextfreie Grammatiken 2 1. Die Menge {0, 1} ist die Menge der Binärziffern über dem Alphabet {0, 1}. Diese werden auch Bits genannt. 2. Die Menge {0, 1} 8 ist die Menge der Binärfolgen der Länge 8. Diese werden auch Bytes genannt. 3. Die Menge der Palindrome : {a 1... a n A a 1... a n = a n... a 1 } ist eine formale Sprache. 4. Die Menge {ε} ist eine formale Sprache. 5. {0, 1} ist die formale Sprache aller binären Strings. 6. {0, 1, 2, 3, 4, 5, 6, 7, 8, 9} ist gerade die Sprache aller Bezeichnungen von natürlichen Zahlen (allerdings ist nicht garantiert, daß die erste Stelle 0 ist). 1.3 Mit Hilfe der regulären Ausdrücke können wir die Sprache der Binärdarstellung aller positiven ganzen Zahlen ohne führende ullen hinschreiben: (1((0 + 1) ) 1.4 Ein regulärer Ausdruck für dezimale Gleitkommazahlen ohne Exponent über dem Alphabet {0, 1, 2, 3, 4, 5, 6, 7, 8, 9,, } ist: {1, 2, 3, 4, 5, 6, 7, 8, 9}{0, 1, 2, 3, 4, 5, 6, 7, 8, 9}, {0, 1, 2, 3, 4, 5, 6, 7, 8, 9} + Definition 1.5 Eine formale Sprache L heißt regulär, wenn es einen regulären Ausdruck gibt, der L erzeugt. 1.2 Kontextfreie Grammatiken und erzeugte Sprachen Kontextfreie Grammatiken werden benutzt, um formale Sprachen (z.b. Syntax von Programmiersprachen, Zahldarstellungen, Syntax der Prädikatenlogik) zu definieren. Definition 1.6 Eine kontextfreie Grammatik (CFG, context free grammar) ist ein 4-Tupel G = (, T, P, σ) mit den Komponenten: 1. eine endlichen Menge von Hilfszeichen (onterminals) 2. eine endlichen Menge T von Terminalzeichen (Terminals), das eigentliche Alphabet, so daß T = 3. ein ausgezeichnetes Hilfszeichen (Startzeichen, Axiom) σ 4. eine endlichen Menge (Produktionensystem) P ( T ) 1.7 (A, w) P heißt Produktion oder Regel von G. Statt (A, w) P schreibt man auch A w. Die Grammatik heißt kontextfrei, da die Ersetzungen der ichtterminale unabhängig vom Kontext gemacht werden dürfen.

3 Praktische Informatik 1, WS 2001/02, reguläre Ausdrücke und kontextfreie Grammatiken Alle regulären Sprachen sind auch kontextfrei, da sich leicht eine kontextfreie Grammatik aus einem regulären Ausdruck gewinnen läßt, die die gleiche Sprache definiert. 1.9 Ein Teil der Syntax von Programmiersprachen (BF, siehe unten): Ausdruck ::= Atom Zahl ( Ausdrücke ) Ausdrücke ::= Ausdruck Ausdruck Ausdrücke Zahl ::= Ziffer Ziffer Zahl Ziffer ::= Bezeichner ::= Buchstabe Buchstabe Zeichenkette Zeichenkette ::= Zeichen Zeichen Zeichenkette Buchstabe ::= A B C D... Zeichen ::= Ziffer Buchstabe Definition 1.10 Gegeben eine kontextfreie Grammatik G = (, T, P, σ). Die Menge der Worte über dem Alphabet T, die durch Anwendung der Produktionen aus σ hergestellt werden können nennt man die von G erzeugte formale Sprache, auch L(G). Genauer: Sei eine (Reduktions-) Relation folgendermaßen definiert: Für Worte s, t, a, b sei sat G sbt, gdw. a b eine Produktion in G ist. Sei G die reflexiv-transitive Hülle von, d.h. die mehrmalige Anwendung (inklusive keine) Anwendung der Relation. Dann ist L(G) := {w T σ w}. Man sagt zu den Worten w L(G) auch, dass sie aus G herleitbar sind. Definition 1.11 Sei G = (, T, P, σ) eine CFG. Ein Ableitungsbaum B von w (derivation tree, parse tree) ist ein markierter Baum, so daß 1. jeder Knoten mit einem Element aus {ε} T markiert ist, 2. Die Wurzel mit s markiert ist, 3. innere Knoten mit Elementen aus markiert sind, 4. wenn ein Knoten die Markierung A hat und seine Söhne die Markierungen X 1,..., X k (in dieser Reihenfolge), so ist A X 1... X k eine Regel in P, 5. frontier(b) = w Ein Syntaxbaum ist meist ein verdichteter Ableitungsbaum, bei dem die Klammern und ähnliche Teile weggelassen werden, die nicht zur Bedeutung beitragen. Die genaue Form eines Syntaxbaumes hängt ab von der verwendeten Sprache Betrachte einen Teil der kontextfreien Grammatik der Aussagenlogik ({V, E}, {A, B, C,,, (, ), }, R, E), so daß R aus den folgenden Regeln besteht:

4 Praktische Informatik 1, WS 2001/02, reguläre Ausdrücke und kontextfreie Grammatiken 4 V A V B V C E V E (E E) E (E E) E ( E) Dann ist zum Beispiel (( A) A) aus E ableitbar: E = (E E) = (( E) E) = (( A) E) = (( A) A). Ein Syntaxbaum dazu (ohne die Klammern) ist: wo ooo o ooo o ooo o o E E A A 1.13 Ein Herleitungsbaum für eine Grammatik zu arithmetischen Ausdrücken über den Zahlen : E (E + E), E (E E), E Z, Z {0, 1,..., 9} für den Ausdruck ((1 + 2) 3) ist: jjjjjjjjjjjjjjjjjjjjj o o o ooo o ooo tj wo ooo E ( E E p pp p ppp p ppp xp ppp ( E = = = = = = = = ' + E ) Z ' ) Z Z 3 1 2

5 Praktische Informatik 1, WS 2001/02, reguläre Ausdrücke und kontextfreie Grammatiken 5 Ein sinnvoller Syntaxbaum dazu ist: Es gilt: ~ ~ ~~ ~ ~~ Sei G = (, T, P, σ) eine CFG. Ein Wort w ( T ) ist genau dann ableitbar, wenn es einen Ableitungsbaum für w gibt. Eine reguläre formale Sprache ist immer auch kontextfrei. Es gibt kontextfreie Sprachen, die nicht regulär sind. Es gibt auch formale Sprachen, die nicht kontextfrei sind. Die Backus-aur-Form (BF) ist eine weit verbreitete Methode, die kontextfreie Syntax höherer Programmiersprachen aufzuschreiben. Metasymbole (Symbole die nicht in der Sprache selbst benutzt werden), sind:,, ::= und, wobei zum Beispiel Zahl ein ichtterminalsymbol ist, das mittels ::= definiert wird. Das Zeichen trennt die verschiedenen Alternativen. Die Regel Ziffer ::= entspricht 10 verschiedenen Regeln einer CFG. Diese Schreibweise kennt auch Erweiterungen, um eine Syntax kompakter hinschreiben zu können, zum Beispiel, um rekursive Regeln wie Zahl ::= Ziffer Ziffer Zahl schreibt man manchmal auch Zahl ::= Ziffer +. Erweitert man die Metasyntax, so kann man mehrere Regeln zusammenfassen, wenn diese Regeln nur deshalb dupliziert worden sind, um optionale Strings auszudrücken, z.b. Zahl mit Vorzeichen ::= + Zahl Zahl Zahl schreibt man manchmal auch als Zahl mit Vorzeichen ::= [+ ] Zahl wobei [, ] Ausdrücke einklammern, die man auch weglassen kann. Es gibt noch andere Formen, diese Syntax zu beschreiben. z.b. die Syntaxdiagramme, wie sie zur Beschreibung von Pascal verwendet werden. Hier werden Regeln in Form von graphischen Darstellungen verwendet. z.b. repeat statement until expression ; Hier bedeutet repeat in ovalen Kästchen: Zeichenkette als Terminalsymbol, rechteckiges Kästchen: ichtterminalsymbol. Die Pfeile bezeichnen erlaubte

6 Praktische Informatik 1, WS 2001/02, reguläre Ausdrücke und kontextfreie Grammatiken 6 Durchlaufrichtungen. Die BF hierfür wäre z.b. repeat-expr ::= repeat statements until expression statements ::= statement statement ; statements Verwendung von CFG zur Beschreibung einer Programmiersprache Offensichtlich kann eine Programmiersprache mehrere verschiedene CFG s haben. Deshalb muß man vorsichtig sein, wenn man Eigenschaften der Sprachen mit Hilfe von Eigenschaften (einer) der Grammatik definiert. Hierzu gehört die Mehrdeutigkeit einer Grammatik. Diese ist gegeben, wenn es zu einem Wort w mehr als einen Ableitungsbaum gibt. Da die Semantik einer Programmiersprache meist auf dem Ableitungsbaum aufsetzt, ergäbe dies keine eindeutige Beschreibung eines Algorithmus mittels des Programmtextes. Eine kontextfreie Sprache L heißt mehrdeutig (inhärent mehrdeutig), falls für alle CFG G mit L(G) = L gilt, daß G mehrdeutig ist. Hier besteht ein Zusammenhang mit der Frage, ob (und wie) man die Bedeutung von Worten einer formalen Sprache anhand einer CFG eindeutig festlegen kann. Pragmatisch gilt, daß die zulässigen Programme realer Programmiersprachen zunächst durch eine CFG erzeugt werden. Danach wird durch bestimmte Bedingungen die Menge der zulässige Programme weiter eingeschränkt. D.h. die Menge der zulässigen Programme ist eine Untermenge der durch eine CFG erzeugten. Diese Bedingungen sind i.a. Kontextbedingungen. Z.B. müssen Deklarationen von Variablen oft vor der Benutzung von Variablen gemacht werden, oder Ausdrücke müssen getypt sein (in Haskell). D.h. die CFG ist i.a. nur ein erster Schritt in der Definition der zulässigen Programme Ein einfaches und zugleich in einer Programmiersprache aufgetretenes Problem ist die Zuordnung des else falls das if-then-else ein optionales else hat (d.h.: else kann man weglassen): if b1 then if b2 then c1 else c2 kann auf zwei Arten interpretiert werden: if b1 then {if b2 then c1 else c2} if b1 then {if b2 then c1} else c2 Diese Interpretationen entsprechen gerade den zwei möglichen Syntaxbäumen zu diesem Ausdruck Ein analoges Problem tritt auf, wenn man die Sprache der arithmetischen Ausdrücke definiertdurch: A ::= Zahl V ariable A + A A A... denn der Ausdruck hat dann zwei mögliche Interpretationen: (1 2) 3 oder 1 (2 3)

7 Praktische Informatik 1, WS 2001/02, reguläre Ausdrücke und kontextfreie Grammatiken 7 2 otationen von Ausdrücken, Terme In arithmetischen Ausdrücken, in logischen Aussagen, und in Programmiersprachen notiert man geschachtelte Ausdrücke ist ein arithmetischer Ausdruck mit dem Wert 1. (T F ) T ist ein logischer Ausdruck mit dem Wert T. ( ) ist ein Ausdruck in einer Programmiersprache (Lisp) mit dem Wert 24. Bei diesen Ausdrücken ist darauf zu achten, dass die Syntax so strukturiert ist, dass die Semantik von Ausdrücken eindeutig bleibt. Das wesentliche Ziel bei der Erfindung und Benutzung von otationen ist es, zu erreichen, daß ein Ausdruck einen eindeutigen Wert hat. Andere Kriterien und Zwecke, die eine wesentliche und teilweise konkurrierende Rolle spielen sind: die otation muß gut leserlich sein und sollte möglichst wenig überflüssige Symbole enthalten. Eine Forderung kann auch sein, daß sie gut von einem Rechner verarbeitet werden kann. Schwierigkeiten die dabei entstehen sind: i) teilweise werden verschiedene Operatoren gleich bezeichnet, z.b. das minus- Zeichen in 1 2, oder ii) ein Operator hat variable Stelligkeit: ( ), oder iii) Operatoren nehmen verschiedene Positionen zu ihren Argumenten ein: (+ 1 2) oder 1 + 2, oder (IF A THE B ELSE C) bzw. IFTHEELSE(A, B, C) Verschiedene otationen werden im allgemeinen dadurch eindeutig, daß man eine Abbildung der otation auf Terme angibt, und dann erst einen Wert berechnet. Z.B könnte man 1 2 eindeutig auf den Term SUBTRACT(EGATE(1), 2) abbilden. Definition 2.2 otationen 1. In der Standardnotation werden Terme in der Form f(t 1,..., t n ) notiert, wobei zu beachten ist, daß f ein Symbol sein muß (d.h. kein Ausdruck sein darf). 2. In der Präfixnotation wird statt f(t 1,..., t n ) das Wort (f t 1... t n ) verwendet. Ein Grund für diese Verwendung liegt darin, daß es auch erlaubt ist, Terme für Operatoren einzusetzen, Operatoren an Argumentstellen zu verwenden, und Operatoren variabler Stelligkeit zu benutzen, und somit eine gemischte otation nicht so ohne weiteres eindeutig wird. 3. Eine Abwandlung der Präfixnotation ist die polnische otation, (Lukasiewicz-otation, polnische Präfixnotation), bei der im Gegensatz zur normalen Präfixnotation einfach alle Klammern weggelassen werden. Diese ist nur dann eindeutig möglich, wenn alle Operatoren Symbole sind, die Operatorensymbole eindeutig sind, und eine feste Stelligkeit haben. 4. Die Standardpostfixnotation. Hier wird statt f(t 1,..., t n ) das Wort (t 1,..., t n )f verwendet.

8 Praktische Informatik 1, WS 2001/02, reguläre Ausdrücke und kontextfreie Grammatiken 8 5. Die Postfixnotation (polnische Postfixnotation, reverse polish). Hier werden in der Standardpostfixnotation einfach alle Klammern weggelassen. Es gelten die gleichen Bemerkungen wie zur Präfixnotation. Diese otation hat eine Bedeutung in der Informatik, denn der Auswertungsalgorithmus für Terme läßt sich direkt mittels eines Kellers implementieren. In der Mathematik wird diese otation beispielsweise für die Fakultätsfunktion verwendet 3! = Die Infixnotation. Diese wird im allgemeinen nur für zweistellige Operatoren verwendet. Der Operator wird dann zwischen die Argumente geschrieben. z.b. (1 + 2). Auch hier gilt, daß die Operatoren Symbole sein sollten, damit eine eindeutige Auswertung möglich ist. 7. Will man otationsformen mischen und/oder möglichst wenige Klammern benutzen, und die Ausdrücke eindeutig lassen, so braucht man Konventionen und Prioritäten von Operatoren. Zum Beispiel ist der Ausdruck ( !) äquivalent zum Term ((1 + (2 3)) + (4!)). Hier hat man für die Prioritäten:! +. Der Term ( ) wird als ((1 + 2) 3) interpretiert nach der Konvention links vor rechts. Es gibt noch andere otationsformen, die wir hier nicht betrachten, zum Beispiel graphische, wie m n, f A, oder ().