Formale Sprachen. Eine Einführung. Tim Lethen Düsseldorf Version II (04-06)

Transkript

1 Formale Sprachen - Eine Einführung Tim Lethen Düsseldorf Version II (04-06)

2 INHALT 0 Einleitung Grundlegende Definitionen Grammatiken Definitionen Logische Grammatiken (DCGs) Aufgaben Chomsky-Hierarchie Weitere Darstellungsformen für kontextfreie Sprachen EBNF Syntaxdiagramme Das Erzeugen natürlicher Sprache Compilerbau Ein Beispiel... 9 Anhang A: Literatur Anhang B: Lösungen

3 0 Einleitung Die Theorie der formalen Sprachen bewegt sich im Wesentlichen vor dem Hintergrund dreier scheinbar unabhängiger Themenfelder. Historisch gesehen war es zunächst die mathematische Logik, in der man versuchte, die gesamte Mathematik auf syntaktische Umformungen formaler Ausdrücke zu reduzieren und somit auch das Beweisen zu formalisieren. Die Versuche waren ausgesprochen erfolgreich: Jede beweisbare Aussage kann durch rein syntaktisches Umformen der Ausdrücke eines hinreichenden Axiomensystems bewiesen werden. Als Teilbereich der Künstlichen Intelligenz spielt das Erzeugen menschlicher Sprache durch Maschinen eine zentrale Rolle. Auch hier geht es um formales Erzeugen von gültigen Sätzen in dem Sinne, dass auf den Inhalt, d.h. auf die Bedeutung der Sprache, kein Augenmerk fällt. Beispiele finden sich in Abschnitt 5. Als dritter Bereich ist der Compilerbau zu nennen, in dem man sich ganz wesentlich auf theoretische Ergebnisse aus dem Bereich der formalen Sprachen stützt. Die Erstellung eines Compilers kann fast immer völlig automatisiert werden, wenn die zugrunde liegende (Programmier-) Sprache mit geeigneten Grammatiken definiert ist. Ausführliche Einführungen in die drei Gebiete finden sich in [Ebb], [Brat] und [Aho], respektive. 1 Grundlegende Definitionen Definition 1: Ein Alphabet ist eine (endliche) Menge, deren Elemente man als Zeichen des Alphabets bezeichnet. Definition 2: Ist V ein Alphabet, so heißt jede endliche Folge von Zeichen aus V ein Wort über V. (Das leere Wort wird in der Regel mit oder bezeichnet.) Beispiele: Für das Alphabet Für das Alphabet V {0,1} V { a, b,, z} sind 0011, 11 und Worte über V. sind hallo und zyzyz Worte über V. Definition 3: * V bezeichnet die Menge aller Worte über dem Alphabet V. Beispiel: Für V {0,1 } gilt V * {,0,1,00,01,10,11,000,001,010,011,100,101,110,111,0000, } Definition 4: Ist V ein Alphabet, so heißt jede Teilmenge von * V (formale) Sprache über V. Beispiele: L 1 {00,11 } und L 2 {1,11,111,1111,11111, } sind formale Sprachen über dem Alphabet V {0,1}. 3

4 2 Grammatiken Endliche formale Sprachen können immer durch Auflistung aller Wörter angegeben werden. Problematischer ist die Angabe unendlicher Sprachen. Gebräuchlich sind unter anderem: Verbale Formulierungen ( Die Menge aller Wörter über dem Alphabet {0,1}, die nur aus Einsen bestehen. ) Mengentheoretische Formulierungen ( n n L { 0 1 n IN 0} Automaten Grammatiken ) 2.1 Definitionen 1 Definition 4: Eine Grammatik besteht aus einer Menge von Terminal-Symbolen, einer Menge von Nicht-Terminal-Symbolen, die ein ausgezeichnetes Startsymbol enthält, und einer Menge von Produktionsregeln. Beispiel 1: Gegeben sei die Grammatik G 1 durch: Terminal-Symbole: {0,1} Nicht-Terminal-Symbole: {S,A} Startsymbol: S Produktionsregeln: Hieraus ergibt sich die Sprache S 0A A 1 A 1S L {01,0101,010101, } Beispiel 2: Gegeben sei die Grammatik G 2 durch: Terminal-Symbole: Nicht-Terminal-Symbole: Startsymbol: Produktionsregeln 2 : {+,-,0,1,2,3,4,5,6,7,8,9, Komma } {S,A,B,C} S S +A -A A A A 0A 1A... 9A A 0B 1B... 9B B,C C C 0C 1C... 9C Hierdurch ergibt sich eine Sprache aus Fließkomma-Konstanten (ohne Exponenten). 1 Auf formale (mengentheoretische) Definitionen wird an dieser Stelle verzichtet. Siehe z.b. [Hedt] oder [Rech]. 2 Der senkrechte Balken ( ) steht für ein logisches oder. 4

5 Bemerkung: Auch auf der linken Seite einer Produktionsregel können beliebige Zeichenketten aus Terminalen und Nicht-Terminalen stehen! Definition 5: Unter einer Ableitung eines Wortes W versteht man eine Folge von Produktionsregeln, die vom Startsymbol zu dem Wort W führen. Beispiel 3: Das Wort 0101 aus Beispiel 1 kann wie folgt abgeleitet werden: S 0A 01S 010A Logische Grammatiken (DCGs) Im Bereich der Künstlichen Intelligenz werden Grammatiken häufig mit Hilfe sogenannter DCGs (Definite Clause Grammars) realisiert, die oftmals auch als logische Grammatiken bezeichnet werden, da sie in der Regel durch die logische Programmiersprache PROLOG umgesetzt werden 3. Im Unterricht eignen sich DCGs, um vorliegende Grammatiken dazu zu bringen, die Erzeugung der definierten Sprache tatsächlich zu erleben. Die Definition von logischen Grammatiken zeigen wir hier an einem einfachen Beispiel, das die wesentlichen syntaktischen Grundzüge widerspiegelt. 4 Grammatik S 0A 1A A 0B B 0B 1B DCG s --> [0],a ; [1],a. a --> [0],b. b --> [] ; [0],b ; [1],b. Die Grammatik wird wie ein herkömmliches Prolog-Programm im Programmeditor eingegeben. Zu achten ist auf folgende Schreibweisen: Jede Regel wird mit einem Punkt beendet. Terminale stehen in eckigen Klammern. Terminale und Nicht-Terminale müssen klein geschrieben werden. Alle einzelnen Terminale und Nicht-Terminale werden durch Kommata getrennt. Das Semikolon steht für das logische oder. Gültige Anfragen sind nun etwa 5 :?- s([0,0,1,1],[]). ( Gehört das Wort 0011 zur Sprache? )?- s(x,[]). ( Welche Wörter gehören zur Sprache? ) 3 Die meisten aktuellen Prolog-Versionen beinhalten eine DCG-Erweiterung. 4 Für Details siehe etwa [Brat], pp Die jeweils zweite (leere) Liste muss aufgrund einer besonders effizienten Implementation per Differenz-Listen stets mit eingegeben werden, hat jedoch keinerlei Einfluss auf die Ergebnisse. 5

6 2.3 Aufgaben Eine Grammatik sei gegeben durch die Menge der Terminale {0,1}, die Menge der Nicht- Terminale {S,A}, das Startsymbol S, sowie die folgenden Produktionsregeln: S 0S A 0S S 1A A 1A S 1 A 1 Bilden Sie die Ableitung einiger Wörter der zugehörigen Sprache. Beschreiben Sie die Sprache umgangssprachlich Erstellen Sie jeweils eine Grammatik für folgende Sprachen: a) Alle Bitstrings, die nur aus Einsen bestehen. b) Alle Bitstrings, in denen eine gerade Anzahl von Einsen vorkommt. c) Alle Bitstrings, in denen keine zwei Einsen aufeinander folgen. d) Alle Bitstrings, die gerade Länge haben. e) Alle Bitstrings, die interpretiert als Dualzahl durch zwei teilbar sind. f) Alle Bitstrings, die interpretiert als Dualzahl durch drei teilbar sind Erstellen Sie eine Grammatik für die Sprache aller Wörter über dem Alphabet {a,b,c,d,e,f}, die als Weg interpretiert von a nach f durch folgendes Labyrinth führen. (Beispiel : abcbdef ) f e d c b a Vollständig geklammerte arithmetische Ausdrücke Erstellen Sie eine Grammatik für die Sprache aller vollständig geklammerten arithmetischen Ausdrücke über dem Alphabet {0,1,...,9,(,),+,*} Aussagenlogische Ausdrücke Betrachten Sie folgende Definition und erstellen Sie eine Grammatik für die Sprache der aussagenlogischen Ausdrücke über dem Alphabet { wf,,,,,(,)}. Def.: Die Symbole w und f sind aussagenlogische Ausdrücke. Ist A ein aussagenlogischer Ausdruck, so ist auch ein aussagenlogischer Ausdruck. Sind A und B aussagenlogische Ausdrücke, so sind auch und aussagenlogische Ausdrücke. A ( A B) ( A B) 6

7 2.2.6 Erstellen Sie jeweils eine Grammatik für die Sprache der folgenden numerischen (dezimalen) Konstanten: a) Ganze Zahlen b) Dezimalbrüche c) Gleitpunkt-Konstanten der Sprache C, die folgende Form aufweisen: Eine Gleitpunktkonstante besteht aus einem ganzzahligen Teil, einem Dezimalpunkt, einem Dezimalbruch, dem Zeichen e oder E, einem ganzzahligen Exponenten mit optionalem Vorzeichen und einem optionalen Typ-Suffix, nämlich einem der Buchstaben f, F, l oder L. Ganzzahliger Teil und Dezimalbruch sind Ziffernfolgen. Entweder der ganzzahlige Teil oder der Dezimalbruch kann fehlen (aber nicht beide); entweder der Dezimalpunkt oder der Exponent beginnend mit e oder E kann fehlen (aber nicht beide) Erstellen Sie eine Grammatik für die Sprache der Bezeichner einer Programmiersprache Ihrer Wahl. 3 Chomsky-Hierarchie Grammatiken können aufgrund der Beschaffenheit ihrer Produktionsregeln mit Hilfe der sogenannten Chomsky- Hierarchie klassifiziert werden. Diese teilt die Grammatiken sowie die zugehörigen Sprachen in vier verschiedene Klassen ein: Typ 0: (keine Regeleinschränkung) Typ 1: Kontextsensitive Grammatiken In allen Regeln darf die rechte Seite nicht kürzer sein als die linke. (Eine Ausnahme bildet die Regel S; in diesem Fall darf S aber auf keiner rechten Seite auftauchen.) Typ 2: Kontextfreie Grammatiken Hierbei handelt es sich um kontextsensitive Grammatiken, die nur aus Regeln bestehen, deren linke Seite ausschließlich aus einem Nicht-Terminal besteht. Typ 3: Reguläre Grammatiken Hierbei handelt es sich um kontextfreie Grammatiken, die nur aus Regeln bestehen, deren rechte Seite entweder aus einem Terminal oder aus einem Terminal gefolgt von einem Nicht-Terminal besteht. 4 Weitere Darstellungsformen für kontextfreie Sprachen 4.1 EBNF Die Bezeichnung EBNF steht für Erweiterte Backus-Naur-Form. Sie wurde 1959 von John W. Backus und Peter Naur entwickelt, um die Programmiersprache ALGOL zu beschreiben. Ihre ursprüngliche Variante, die 6 Aufgabe entstammt [Hedt], p.49 7

8 BNF, besteht aus folgenden vier Elementen, mit deren Hilfe kontextfreie Sprachen beschrieben werden können: 1. Nicht-Terminale werden mit spitzen Klammern umschlossen: <...> 2. Terminale werden ohne spezielle Kennzeichnung geschrieben. 3. Statt wird das Symbol ::= verwendet. 4. Der senkrechte Balken steht für die Disjunktion. Bsp 7. 1: <Bezeichner> ::= <Buchstabe> _ <Bezeichner> <Buchstabe> <Bezeichner> _ <Bezeichner> <Ziffer> <Buchstabe> ::= A B... Z a b... z <Ziffer> ::= Die BNF wird durch die folgenden Elemente zur EBNF erweitert: 1. Eckige Klammern [ ] symbolisieren Optionalität. [x] beschreibt also das null- oder einmalige Vorkommen des Terms x. 2. Geschweifte Klammern { } stellen Wiederholungen dar. {x} beschreibt das null-, ein- oder mehrfache Vorkommen des Terms x. 3. Runde Klammern ( ) werden als Strukturierungshilfe genutzt. 4. Ein Schrägstrich \ vor einem Zeichen signalisiert, dass das unmittelbar folgende Zeichen nicht Teil der EBNF-Symbolik ist. Bsp. 2: <Menge> ::= \{ <Element> {, Element} \} Bsp. 3: <Bezeichner> ::= (<Buchstabe> _) {<Buchstabe> _ <Ziffer>} Die EBNF verkürzt zwar in der Regel die Darstellungsweise, ist der BNF jedoch nicht in ihrer Ausdrucksstärke überlegen. 4.2 Syntaxdiagramme Syntaxdiagramme sind gewissermaßen die graphische Umsetzung der EBNF. Aufgrund der besseren Lesbarkeit werden sie oftmals zur Darstellung von Programmiersprachen verwendet. Wir beschränken uns hier auf die Umsetzung des obigen Beispiels 3: Bezeichner Buchstabe - Buchstabe - Ziffer Rechtecke stehen hier für Nicht-Terminale, Kreise für Terminale. 7 Die Beispiele 1 und 3 entstammen [Hedt]. 8

9 5 Das Erzeugen natürlicher Sprache Die Begriffe Alphabet, Wort, Sprache und Grammatik entstammen ursprünglich dem Bereich der natürlichen, menschlichen Sprachen. Die folgende Grammatik für einen winzigen Ausschnitt der englischen Sprache demonstriert allerdings, dass insbesondere die oben definierten Begriffe Alphabet und Wort hier leicht missverständlich wirken und deshalb häufiger von Sätzen als von Worten gesprochen wird. Das Beispiel entstammt [Brat] und ist auch hier in DCG-Schreibweise angegeben, um Terminale und Nicht-Terminale deutlich unterscheiden zu können. sentence --> noun_phrase, verb_phrase. verb_phrase --> verb, noun_phrase. noun_phrase --> determiner, noun. determiner --> [a]. determiner --> [the]. noun --> [cat]. noun --> [mouse]. verb --> [scares]. verb --> [hates]. 6 Compilerbau Compiler bestehen im Wesentlichen aus zwei großen Bestandteilen: Scanner und Parser. Der Scanner übernimmt die Aufgabe, die einzelnen Bestandteile eines Programms Zahlen, Bezeichner, Operatoren, etc. zu erkennen. Ist ein Bestandteil erkannt, so wandelt der Scanner ihn in ein sogenanntes Token um, das an den Parser weitergeleitet wird. Der Parser überprüft schließlich, ob die Folge der Tokens ein gültiges Programm bildet. 6.1 Ein Beispiel Im Folgenden betrachten wir eine sehr kleine imperative Sprache, die aus nur vier möglichen Befehlen besteht: Ein bedingter Sprungbefehl, Inkrementierung und Dekrementierung von Variablen um Eins und ein Haltebefehl. Ein kleines Beispielprogramm könnte wie folgt aussehen: 10 IF register2 = 0 THEN GOTO 50; 20 register1 <- register1 + 1; 30 register2 <- register2 1; 40 IF register3 = 0 THEN GOTO 10; 50 STOP; Zunächst müssen nun die Bestandteile definiert werden, um vom Scanner erkannt werden zu können. Beispiele sind: Integer Ziffer Ziffer Integer Ziffer Bezeichner Buchstabe Bezeichnerrest Bezeichnerrest Buchstabe Ziffer Buchstabe Bezeichnerrest Ziffer Bezeichnerrest Buchstabe a b... z Semikolon ; Operator + - usw. Obiges Programm wird schließlich vom Scanner in die folgende Tokenfolge übersetzt: <int> <if> <id> <eql> <int> <then> <goto> <int> <semi> <int> <id> <asgn> <id> Auch die Sprache der gültigen Tokenfolgen wird per Grammatik festgelegt: 9

10 Programm Zeile Programmrest Programmrest Zeile Programmrest Zeile <int> Anweisung <semi> Anweisung <stop> <if> <id> <eql> <int> <then> <goto> <int> <id> <asgn> <id> <op> <int> Natürlich muss ein Compiler nicht nur überprüfen, ob ein gültiges Programm vorliegt. Tatsächlich werden in die Grammatik imperative Bestandteile eingefügt, die die Übersetzung bereits während der Überprüfung vornehmen. Inzwischen gibt es Programme, die bei Eingabe der entsprechenden Grammatiken automatisch den zugehörigen Compiler generieren. Anhang A: Literatur [Aho] A.V.Aho, R.Sethi, J.D.Ullman : Compilerbau Teil1; Oldenbourg, München, Wien 1999 [Brat] Bratko, I.: Prolog Programming for Artificial Intelligence, Pearson; Essex [Ebb] [Hedt] [Rech] Ebbinghaus, H.-D., Flum, J., Thomas, W.: Einführung in die mathematische Logik, Spektrum Akad. Verl.; Heidelberg 1998 Hedtstück, U.: Einführung in die theoretische Informatik Formale Sprachen und Automatentheorie; Oldenbourg Wissenschaftsverlag; München 2003 Rechenberg, P. / Pomberger, G. (Hrsg.): Informatik Handbuch, Hanser Verlag; München/Wien 10

11 Anhang B: Lösungen z.b.: S 0S 00S 001A 0011 S 1A 10S 101A 1010S Die Sprache enthält alle nicht leeren Wörter über dem Alphabet {0,1}, die auf 1 enden. Bei allen folgenden Lösungen ist S das Startsymbol, die Großbuchstaben bilden die Menge der Nicht- Terminale a) S 1 1A A 1 1A b) S 0G 1U G 0 0G 1U U 1 0U 1G c) S 0 1 0A 1B A 0 1 0A 1B B 0 0A d) S 0U 1U U 0 1 0G 1G G 0U 1U e) S 0 0A 1A A 0 0A 1A f) S 0 1A 0C A 1 0B 1C B 0A 1B C 0 0C 1A (Hinweis: Man betrachte die jeweiligen Reste bei der Division durch 3!) S aa A bb B cc dd C bb D bb ee E f dd S Z S (S+S) (S*S) Z Z 0Z 1Z... 9Z S w f S S S (S S) S (S S) 11