Programmieren I. Formale Sprachen. Institut für Angewandte Informatik

Transkript

1 Programmieren I Formale Sprachen KIT Universität des Landes Baden-Württemberg und nationales Großforschungszentrum in der Helmholtz-Gemeinschaft

2 Formale Sprachen: Allgemeines Sprachen werden eingeteilt in: Natürliche Sprachen oder Umgangssprachen (werden gesprochen und dienen der Kommunikation) Künstliche oder Formale Sprachen (werden benutzt, um Sachverhalte möglichst genau aufzuschreiben, z.b. in der Mathematik, Logik und Informatik) Eine Formale Sprache ist eine Menge von Symbolanordnungen, die vorgegebenen Regeln entsprechen Formale Sprachen definieren formal welche Ausdrücke erlaubt sind (Syntax) aber i.d.r. nicht die Bedeutung (Semantik) von Ausdrücken 2 W. Geiger, W. Süß, T. Schlachter

3 Formale Sprachen: Beispiele Beispiele Datenaustausch: Sender und Empfänger müssen sich auf gemeinsames Format einigen Programmiersprachen 1 : Was sind korrekte Ausdrücke? class EinfacheKlasse {int datum;} ist ein korrekter Java-Ausdruck class EinfacheKlasse (int datum) ist kein korrekter Java-Ausdruck 1) Sender ist der Programmierer, Empfänger ist der Übersetzer (Compiler) 3 W. Geiger, W. Süß, T. Schlachter

4 Anwendung: Datenaustausch Sender Beispiele: Daten Austausch Dokumente im Internet: Datenaustauschformate HTML, XML, PDF Austausch zwischen betrieblichen Informationssystemen Empfänger Elektronischer Datenaustausch zwischen Unternehmen Zum elektronischen Datenaustausch müssen sich Sender und Empfänger auf ein Austauschformat einigen. Der Empfänger muss erkennen, Kunde ob Daten(format) korrekt sind/ist was sie bedeuten Rechnung Bestellung Lieferant 4 W. Geiger, W. Süß, T. Schlachter

5 Syntax, Semantik und Pragmatik einer Sprache Syntax (Sprachliche Form): Legt fest, welche Ausdrücke erlaubt sind Beispiel aus Java: Nach dem Wort class folgt ein Wort und anschließend eine in geschweifte Klammern eingeschlossene Zeichenfolge Semantik (Bedeutung): Legt die Bedeutung eines Ausdrucks der Sprache fest Java: das Schlüsselwort class leitet eine Klassendefinition ein; das Wort direkt nach class ist der Name der Klasse Deutsch: Der Baum blüht. und Der Baum spaziert. sind nach der gleichen Regel aufgebaute, syntaktisch korrekte Sätze mit unterschiedlicher (mehr oder weniger sinnvoller) Bedeutung. Pragmatik: Regelt die Einbettung der Bedeutung in den Kontext 5 W. Geiger, W. Süß, T. Schlachter

6 Beispiel für Syntax, Semantik und Pragmatik Frage: Wie spät ist es? Die Syntax regelt den grammatikalischen Aufbau der Frage. Wie spät ist es! wäre syntaktisch falsch. Die Semantik zeigt, dass eine Frage nach einer Uhrzeit zum Zeitpunkt des Aussprechens gemeint ist. Die Pragmatik zeigt, dass der Sprechende eine Aufforderung an den Hörer hat und dass eine Reaktion von diesem zu recht erwartet werden kann. Der Hörer steht mit der Annahme der Frage in der Pflicht der Frage bzw. Bitte um Antwort nachzukommen. Pragmatisch falsch wäre die Reaktion: Es ist nie zu spät, ein guter Mensch zu werden [I. Kant], obwohl dies inhaltlich (semantisch) sinnvoll wäre. 6 W. Geiger, W. Süß, T. Schlachter

7 Formale Sprachen Eine formale Sprache definiert, welche Ausdrücke erlaubt sind Zulässige Zeichen Regeln für die Zusammensetzung der Zeichen Sender und Empfänger befolgen die gleichen Regeln Syntax der Sprache ist eindeutig beschrieben Korrektheit eines Ausdrucks ist nachprüfbar Formale Sprachen haben folgende Eigenschaften Alle Zeichen sind explizit definiert Alle syntaktischen Regeln sind explizit definiert Alle semantischen Regeln sind explizit definiert oder vollständig weggelassen Es gibt keine Pragmatik 7 W. Geiger, W. Süß, T. Schlachter

8 Grundlage für formale Sprachen: Alphabet Gegeben sei A Dann ist Alphabet: eine Menge von Zeichen (auch Zeichenvorrat genannt) A* die Menge aller Zeichenketten, die man aus A bilden kann, einschließlich der leeren Kette "" Für die leere Kette schreiben wir auch den griechischen Buchstaben (sprich: Lambda ) A+ Die Menge aller Zeichenketten, die man aus A bilden kann, ohne die leere Kette Beispiele: A = {"a", "b", "c"} A* = {, "a", "b", "c", "aa", "ab", "ac", "ba", "bb", "bc", "ca", "cb", "cc", "aaa", "aab", "aac", "aba", "abb",...} 8 W. Geiger, W. Süß, T. Schlachter

9 Sprache Eine Teilmenge L A* nennt man Sprache über dem Alphabet A. Die Elemente von L heißen Wörter der Sprache L (oder auch Ketten der Sprache L). Beispiel: Gegeben sei das Alphabet A = {"a", "b", "c"}. L 1 sei die Sprache über A, in der alle Wörter mit "a" beginnen und aufhören. Dann sind folgende Ketten Wörter von L 1 "a", "aa", "aaa", "aba", "aca", "aaaa", "aaba", "accca",... Keine Wörter von L 1 sind dagegen: "", "b", "c", "ab", "ca", "bcc",... 9 W. Geiger, W. Süß, T. Schlachter

10 Grammatik (1) Grammatik: Lehre von der Wortbildung und -flexion (Morphologie) sowie von der Verwendung der Wörter im Satz (Syntax) Die meisten Sprachen haben unendlich viele Wörter, so dass man durch Aufzählung der Wörter die Sprache nicht definieren kann Eine Grammatik ist eine allgemeine, eindeutige Beschreibung der Syntax einer Sprache Sinn und Zweck einer Grammatik: sie soll eine endliche Beschreibung einer Sprache ermöglichen 10 W. Geiger, W. Süß, T. Schlachter

11 Grammatik (2) Eine Grammatik G=(T,N,P,S) besteht aus 4 Teilen: T N P S die Menge der Terminalsymbole, aus denen die Wörter der Sprache gebildet werden. Terminalsymbole sind Zeichen des zugrunde liegenden Alphabets. die Menge der Nichtterminalsymbole (Hilfssymbole); sie treten in der Sprache nicht auf, sondern müssen durch Terminalsymbole ersetzt werden. die Menge der Produktionen (auch Produktionsregeln oder Regeln genannt). Eine Regel X Y besagt, dass ein Teilwort X durch ein Teilwort Y ersetzt werden kann, wobei X und Y aus Terminal- und Nichtterminalsymbolen bestehen können. das Startsymbol (ein spezielles Element aus N), von dem ausgehend die Produktionen angewandt werden. 11 W. Geiger, W. Süß, T. Schlachter

12 Sprache einer Grammatik Die Sprache L einer Grammatik G ist die Menge aller Wörter, die durch die Grammatik abgeleitet werden können, d.h. die Menge der Wörter, die aus S durch Anwendung von Produktionsregeln erzeugt werden kann, wobei alle Nichtterminalsymbole durch Terminalsymbole ersetzt worden sind. Mathematische Definition: Sei G=(T,N,P,S) eine Grammatik. Dann heißt L(G) = {w T* S w} die von G erzeugte formale Sprache. Eine Sprache entsteht also als Menge von Zeichenketten durch Anwendung von Produktionen einer Grammatik. 12 W. Geiger, W. Süß, T. Schlachter

13 Kontextfreie Grammatiken Im Allgemeinen können rechte und linke Seite von Produktionen aus beliebigen Kombinationen von Terminalund Nichtterminalsymbolen bestehen Die für die Informatik wichtigste Kategorie von Grammatiken sind diejenigen, deren Mengen N, T, und P nicht leer und endlich sind und deren Produktionen auf der linken Seite aus genau einem Nichtterminalsymbol bestehen Diese Grammatiken heißen kontextfrei Die Anwendung von Produktionen einer kontextfreien Grammatik führt zu einer hierarchischen Verfeinerung Wörter einer kontextfreien Sprache können einfach generiert und erkannt werden 13 W. Geiger, W. Süß, T. Schlachter

14 Beispiel: Grammatik für Sprache L 1 Die folgende (kontextfreie) Grammatik beschreibt die Menge aller Wörter über dem Alphabet {"a", "b", "c"}, die mit "a" beginnen und enden: T = { "a", "b", "c"} N = { Wort, Buchstabe, Teilwort } P = { Wort "a" Teilwort "a", Wort "a", Teilwort Buchstabe Teilwort, Teilwort, Buchstabe "a", Buchstabe "b", Buchstabe "c" } S = Wort 14 W. Geiger, W. Süß, T. Schlachter

15 Beispiel: Herleitung eines Wortes Die Herleitung eines Wortes lässt sich als Baum darstellen Beispiel: "abca" ist ein Wort der Sprache L 1 : Wort (1) a Teilwort a (3) Buchstabe Teilwort (6) (3) b Buchstabe Teilwort (7) (4) c Die fett gedruckten Zeichen bilden das erzeugte Wort. 15 W. Geiger, W. Süß, T. Schlachter

16 Darstellung von Grammatiken Zur Beschreibung (Darstellung ) von kontextfreien Grammatiken wurden in der Informatik verschiedene Formalismen entwickelt. Die wichtigsten sind: Backus-Naur-Form (BNF) Syntaxdiagramme erkennende Automaten Im Folgenden wird auf die ersten beiden Formalismen eingegangen. 16 W. Geiger, W. Süß, T. Schlachter

17 Backus-Naur-Form (BNF) Die BNF wird vor allem für die Definition von Programmiersprachen verwendet Die linke Seite jeder Regel besteht aus genau einem Nichtterminalsymbol (die BNF ist eine Darstellung für kontextfreie Grammatiken) Die rechte Seite einer Regel besteht aus beliebig langen Ketten, die Terminal- und Nichtterminalsymbole enthalten kann die rechte Seite ist also ein Element aus (T N)* die leere rechte Seite ( ) ist erlaubt Linke und rechte Seite einer Regel werden durch das Zeichen ::= voneinander getrennt Schreibweise in dieser Vorlesung: Terminalsymbole sind fett gedruckt Nichtterminalsymbole sind kursiv gedruckt. Symbole der Metasprache sind in Standard-Schrift gedruckt. 17 W. Geiger, W. Süß, T. Schlachter

18 Beispiel: Grammatik für L 1 in BNF T = { a, b, c } N = { Wort, Buchstabe, Teilwort } P = { Wort a Teilwort a (1) Wort a (2) Teilwort Buchstabe Teilwort (3) Teilwort (4) Buchstabe a (5) Buchstabe b (6) Buchstabe c (7) } S = Wort 18 W. Geiger, W. Süß, T. Schlachter

19 Erweiterte Backus-Naur-Form (EBNF) Weil BNF-Grammatiken unübersichtlich werden können, wurde die BNF um einige Abkürzungsmöglichkeiten erweitert. Dies führt zur erweiterten Backus-Naur-Form (EBNF) Es gibt verschiedene Varianten der EBNF Eine gebräuchliche sieht folgende Abkürzungsmöglichkeiten vor: der senkrechte Strich trennt Alternativen [ ] eckige Klammern enthalten optionale Bestandteile { } geschweifte Klammern enthalten Bestandteile, die null, ein oder mehrfach wiederholt werden dürfen { }+ geschweifte Klammern mit + enthalten Elemente, die ein oder mehrfach wiederholt werden können ( ) Gruppierung mehrerer Bestandteile, z.b. mehrerer Alternativen 19 W. Geiger, W. Süß, T. Schlachter

20 Beispiel: Grammatik für L 1 in EBNF T = { a, b, c } N = { Wort, Buchstabe, Teilwort } P = { Wort a Teilwort a a (1+2) Teilwort Buchstabe Teilwort (3+4) Buchstabe a b c (5-7) } S = Wort 20 W. Geiger, W. Süß, T. Schlachter

21 Sprache - ein zweites Beispiel Gegeben sei das Alphabet A = {"1", "2", "3", "4", "5", "6", "7", "8", "9", "0", "+", "-", "*", "/", "(", ")"} Die Menge L A der arithmetischen Ausdrücke ist eine Sprache über A. Z.B. gehören folgenden Wörter zu L A : *(4+177/3-(11*(18+7))) 13 Die folgenden Wörter sollen nicht zu L A gehören: 28(18 ++/-5 21 W. Geiger, W. Süß, T. Schlachter

22 Beispiel: EBNF-Grammatik für die Sprache L A der arithmetischen Ausdrücke T = { 1, 2, 3, 4, 5, 6, 7, 8, 9, 0, +, -, *, /, (, ) } N = { Ausdruck, Term, Faktor, Zahl, Ziffer } P = { Ausdruck ::= Term { ( + ) Term } Term ::= Faktor { ( * / ) Faktor } Faktor ::= Zahl ( Ausdruck ) Zahl ::= {Ziffer}+ Ziffer ::= } S = Ausdruck 22 W. Geiger, W. Süß, T. Schlachter

23 Beispiel: EBNF-Produktionen für Java (Ausschnitt)... statement_block ::= {{statement}} variable_declaration ::= {modifier} type variable_declarator {, variable_declarator}; variable_declarator ::= identifier {[ ]} [= variable_initializer] variable_initializer ::= expression ( {[ variable_initializer {, variable_initializer} ] } ) static_initializer ::= static statement_block parameter_list ::= parameter {, parameter} parameter ::= type identifier {[ ]} statement ::= variable_declaration (expression ;)... Quelle: (Notation angepasst) 23 W. Geiger, W. Süß, T. Schlachter

24 Übungsaufgaben Bestimmen Sie den Herleitungsbaum für den arithmetischen Ausdruck (1+2)*3 Beschreiben Sie in der erweiterten Backus-Naur-Form (EBNF) die Syntax von reellen Zahlen mit folgendem Aufbau: Die Zahlen haben - kein Vorzeichen oder das Vorzeichen + oder, - mindestens eine Vorpunktstelle (Vorkommastelle), - einen Punkt, - keine, eine oder mehrere Nachpunktstellen, - optional einen Exponentialteil (beginnend mit "e" oder "E"). Beispiele: 1.234, -17.3, +7., 3.4E W. Geiger, W. Süß, T. Schlachter

25 Syntaxdiagramme Syntaxdiagramme sind eine mit BNF eng verwandte Form von Grammatik, mit grafischer Darstellung der Regeln. Ein Syntaxdiagramm entspricht einer EBNF-Regel (bzw. mehreren BNF-Regeln, welche die gleiche linke Seite haben). Das Nichtterminalsymbol auf der linken Seite entspricht dem Titel des Diagramms. Nichtterminalsymbole der rechten Seite werden durch Rechtecke, Terminalsymbole durch Kreise dargestellt 25 W. Geiger, W. Süß, T. Schlachter

26 Beispiel: Syntaxdiagramme für die Sprache L A der arithmetischen Ausdrücke Ausdruck Term Term Faktor Term + Faktor * / Faktor Zahl Zahl Ziffer Ausdruck ( ) Ziffer W. Geiger, W. Süß, T. Schlachter

27 Metasprachen BNF und EBNF sind formale Sprachen, die dazu da sind, über formale Sprachen etwas zu sagen (nämlich ihre Syntax zu definieren) Eine Sprache, in der man über eine andere Sprache spricht, nennt man Metasprache Die Zeichen dieser Sprachen, die nicht Terminal- oder Nichtterminalsymbole sind, heißen Metasymbole In BNF ist ::= ein Metasymbol In EBNF sind ::=,, [, ], {, } und + Metasymbole 27 W. Geiger, W. Süß, T. Schlachter

28 Anwendungen von Grammatiken Es gibt viele Anwendungen für Grammatiken nicht nur in den Definitionen der Programmiersprachen, z.b. Aufbau von Kommandos (Shell, COMMAND.COM) Beschreibung von Protokollen (TCP, IP, HTTP, SOAP) Aufbau von Mustern von Zeichenketten (Pattern-Matching), z.b. für Shell oder Editoren (substitute-kommando) Reguläre Ausdrücke Aufbau von SQL-Kommandos für Datenbank-Abfragen Aufbau von URI/URL (Web-Adressen) Aufbau von Dokumenten (HTML, XML) 28 W. Geiger, W. Süß, T. Schlachter

29 Erkennen gültiger Ausdrücke einer Sprache Eine wichtige Anwendung einer Grammatik ist zu erkennen, ob eine Zeichenkette zu einer Sprache gehört Beispiel: Analysephase beim Compilieren Für die Erkennung (Analyse) von Zeichenketten werden die Regeln rückwärts angewendet Erkennung der Korrektheit von Ausdrücken Zuordnung von Ausdrücken zu semantischen Einheiten Dieser Vorgang heißt parsen (engl. to parse - analysieren) Parser sind Bestandteile von Compilern aber auch z.b. von WWW-Browsern (um HTML-Code zu erkennen) 29 W. Geiger, W. Süß, T. Schlachter