8590 Romanshorn Maturaarbeit Tel Automatische Übersetzung formaler Sprachen

Transkript

1 Michèle Itten Kantonsschule Romanshorn Steinhaldenweg 28 Klasse 4Mb 8590 Romanshorn Maturaarbeit Tel Automatische Übersetzung formaler Sprachen Fach: Mathematik Betreuer: Dr. math. A. Brunnschweiler Abgabetermin: 11. August 2003

2 Inhaltsverzeichnis 1 Einleitung 3 2 Sprachtypen Natürliche Sprachen Formale Sprachen 5 3 Syntax Syntaxdiagramme BNF (Backus Naur Form) EBNF (Extended Backus Naur Form) 10 4 Anwendungsbereiche Übersetzung natürlicher Sprachen Computerinterne Übersetzung 13 5 Übersetzungsvorgang Analyse Synthese Anforderungen an die Grammatik Regel Regel Hinweis: Syntax dient der Semantik 17 6 UPN-Compiler Anforderungen Konzept Benutzte Sprachen Mikroalgebra Infix Mikroalgebra UPN (Postfix) Umsetzung mit Borland Delphi 21 7 Automatische_Ableitung Anforderungen Konzept Benutzte Sprachen 25 1

3 7.4 Umsetzung mit Borland Delphi Erstellung des Syntaxbaumes Vereinfachung des Syntaxbaumes mit Simplify SimplifySubTree SimplifyBin SimplifySingle SimplifyBrothers Darstellen des Syntaxbaumes mit TreeView Ableiten Gewinnen eines Strings aus dem Syntaxbaum Synthesize Parentheses-Funktionen Evaluate Darstellung im zweidimensionalen Koordinatensystem weitere Funktionen und Prozeduren 51 8 Schlusswort 51 Literaturverzeichnis 53 Glossar 54 Anhang A: UPN-Compiler 55 Anhang B: Automatische_Ableitung 62 PAutomatische_Ableitung 62 UAutomatische_Ableitung 62 UDiagramm 98 UAbout 102 Formulare 104 FAutomatische_Ableitung 104 FDiagramm 104 FAbout 105 FInfixEBNF 105 FPostfixEBNF 105 2

4 1 Einleitung Übersetzung ist ein viel wesentlicherer Bestandteil unseres täglichen Lebens als meist angenommen. Sie spielt nicht nur in der menschlichen Kommunikation eine wichtige Rolle, sondern findet überall statt, wo Information in eine andere Codierung umgewandelt wird. Auch in der Informatik ist sie fest verwurzelt: Der Umgang mit Computern, wie wir ihn heute kennen, wäre ohne automatische Übersetzung undenkbar. Aus diesem Grund ist es besonders reizvoll, einen Blick hinter die Kulissen eines automatischen Übersetzungsprogramms zu werfen und folgenden Fragen auf den Grund zu gehen: - Wie kann man sich die vielen Fehler erklären, die sich bei der automatischen Übersetzungen natürlicher Sprachen einschleichen? - Sind überhaupt zuverlässige Übersetzungen möglich? Falls ja, unter welchen Umständen? Diese Frage führte mich zur Übersetzung formaler Sprachen, welche präzise und korrekt durchführbar ist. Ausserdem funktioniert sie auch mit geringerer Komplexität und erlaubt deshalb die Entwicklung eines eigenen Programms. So bilden denn auch zwei solche das Kernstück der vorliegenden Arbeit: Das erste ist eine Konsolenanwendung zur Übersetzung eines algebraischen Ausdrucks aus der Infix- in die Postfix-Notation. Das zweite, graphische Programm dient zur Ableitung einer Funktion. An diesen beiden praktischen Beispielen werden Vorgehen und dabei auftauchende Probleme erläutert. Es gilt, folgende Leitfragen zu untersuchen: - Wie kann man eine Sprache in kurzer Form definieren, auch wenn sie unendlich viele Kombinationsmöglichkeiten besitzen soll? - Wie funktioniert die Erkennung der Sprachstruktur? - Auf welche Weise wird die Information in eine andere Struktur umgeformt? - Was muss man tun, um die Qualität der Ausgabe zu verbessern? Zusätzlich zu diesen Fragen sollen die wichtigsten Begriffe erklärt und die Anwendungsbereiche der automatischen Übersetzung formaler und natürlicher Sprachen beschrieben werden. 3

5 2 Sprachtypen Gemäss dem Brockhaus Lexikon ist eine Sprache ein "Vorrat von sinnlich wahrnehmbaren Zeichen, die allein oder nach bestimmten [...] Kombinationsregeln untereinander verbunden der Kommunikation dienen." 1 Dabei wird primär zwischen natürlichen und künstlichen Sprachen unterschieden; die künstlichen Sprachen wiederum unterteilt man in Welthilfssprachen, synthetische Sprachen (Nachbildung natürlicher Sprachen durch mechanische Schwingungen) und formale Sprachen, welche im Abschnitt 2.2 genauer behandelt werden. 2.1 Natürliche Sprachen Deutsch, Französisch, Englisch, Italienisch, Chinesisch, etc.: Alle diese Sprachen gehören zu den natürlichen Sprachen. Jahrhundertelang wurden sie sich durch den ständigen Gebrauch verändert, angepasst und erweitert. Auf diese Weise entwickelten sie sich zu sehr komplexen Gebilden, welche schwer zu durchschauen sind. Dies wird einem besonders dann bewusst, wenn man eine Fremdsprache erlernen will. "Die Ausnahme bestätigt die Regel", wie man es treffend ausdrückt. Ohne so genanntes 'Sprachgefühl' hat man keine Chance, sich in einer fremden Sprache korrekt zu verständigen. Auf die gleiche Art und Weise erweitert sich auch das Vokabular ständig und es ist längst unmöglich, jedem Wort eine einzige Bedeutung zuzuordnen. Ein Beispiel dafür ist das Wort "Bank", welches zwei völlig unterschiedliche Dinge bezeichnen kann. Zum Einen beschreibt es ein Geldinstitut, zum Andern eine bestimmte Sitzgelegenheit. Erst aus dem Zusammenhang wird klar, um welche Art von "Bank" es sich handelt, mit anderen Worten: Das Wort ist "kontextabhängig". 2 Nur wenn in einer Sprache keine kontextabhängigen Ausdrücke existieren, ist die Sprache kontextfrei. Auch Metaphern sind eine typische Eigenheit von natürlichen Sprachen und können meistens nicht wortgetreu übersetzt werden. Weitere Probleme ergeben sich mit Kompositabildungen (zusammengesetzten Wörtern), die besonders in der deutschen Sprache häufig anzutreffen sind. Sie können "unmöglich alle in einem Wörterbuch 1 [2] Brockhaus, Bd.17, S [11] Lang, Kapitel 5 4

6 enthalten sein, also wird eine morphologische Analyse [...] notwendig." 3 Doch wie trennt man das zusammengesetzte Wort Beinhaltung richtig? Be-inhaltung oder Bein-haltung? Auch hier ergibt sich ein Problem, das nur unter Berücksichtigung des umgebenden Textes gelöst werden kann. Weitere Beispiele können auf dem Internet gefunden werden Formale Sprachen Die oben genannten Eigenschaften natürlicher Sprachen machen es für einen Computer beinahe unmöglich, diese zu verstehen. Aus diesem Grund wurden weitere Sprachen erfunden, so genannte 'formale Sprachen'. Hierbei sind Eindeutigkeit und logischer Aufbau das A und O; ausserdem zeichnen sie sich durch ein sehr begrenztes Vokabular aus, welches je nach Gebrauch ausgebaut werden kann. Zu den formalen Sprachen gehören Programmiersprachen, Maschinensprachen und algebraische Ausdrücke. Der entscheidende Unterschied zu natürlichen Sprachen liegt "in ihrer Entstehung. Während natürliche Sprachen historisch gewachsen sind, verdanken künstliche Sprachen ihre Existenz einer willkürlichen, durch bestimmte Interessen motivierten Setzung. [...] Formale Sprachen ermöglichen durch ihre spezifischen Eigenschaften (Eindeutigkeit, Explizitheit und leichte Überprüfbarkeit) die bessere Behandlung von Problemen in vielen Wissenschaften." 5 Im Folgenden werden nur kontextfreie, formale Sprachen betrachtet und zur Veranschaulichung mit Vergleichen zu natürlichen Sprachen ergänzt. 3 Syntax In den Sommer warme scheinen die Sonne obwohl jedes dieser Worte zum Vokabular der deutschen Sprache gehört, können sie zusammen unmöglich als korrekter deutscher Satz gelten, da die Syntaxregeln nicht beachtet wurden. "Die Regeln der Syntax beziehen sich darauf, welche Wörter auf welche Weise mit anderen Wörtern 3 [11] Lang, Kapitel 4 4 [11] Lang, Kapitel 4 5 [1] Brockhaus, Band 20, Seite 628 5

7 oder Wortgruppen zu grösseren Einheiten [...] kombiniert werden können" 6 bezeichnen somit ein Teilgebiet der Grammatik. und Um eine Sprache zu definieren, bedarf man also zweierlei: Erstens muss der Wortschatz festgelegt werden, was man einfach durch Bestimmung aller erlaubten Wörter erreichen kann. Zweitens benötigt man ein System, das jeden zulässigen Satzbau definiert. Zu diesem Zweck stehen u.a. Syntaxdiagramme, BNF- oder EBNF-Notation zur Verfügung, welche nachfolgend erläutert werden. Diese Syntaxnotationen basieren alle auf dem gleichen Grundprinzip: Sie gehen von einem Startsymbol aus und definieren Regeln, auf welche Weise dieses ersetzt werden kann. Zur Erklärung soll ein Beispiel eines einfachen deutschen Satzes dienen: SATZ SUBJEKT PRÄDIKAT. ARTIKEL NOMEN VERB. Der Hund bellt. Abbildung 1: Aufbau des Satzes "Der Hund bellt.". In diesem Fall wird das Startsymbol 'Satz' genannt und besteht lediglich aus einem Subjekt, gefolgt von einem Prädikat und einem Punkt. Das Subjekt wiederum ist aus Artikel und Nomen zusammengesetzt; das Prädikat steht für die Personalform eines beliebigen Verbs. Ein Satz entspricht also der Folge 'Artikel Nomen Verb.'. Natürlich ist dies noch nicht die definitive Form des Satzes, da alle drei Wortarten noch durch einen Vertreter derselben ersetzt werden müssen. "Der Hund bellt." wäre eine mögliche Lösung, "Anna isst." gehört hingegen nicht zu der definierten Sprache (der Artikel fehlt). 6 [1] Brockhaus, Band 20, Seite 628 6

8 Es sind mehr Wörter zur Beschreibung einer Sprache notwendig, als die Sprache selbst enthält. Diese Metasymbole (im Beispiel Satz, Artikel, Nomen, Verb) werden in der Literatur Nonterminals oder nicht-terminale Symbole genannt. Sie dienen als Überbegriffe der Gruppierung anderer Wörter. Die tatsächlich in der Sprache enthaltenen Wörter nennt man Terminals oder terminale Symbole. Sie entsprechen dem Vokabular der Sprache und sind wörtlich zu nehmen. 3.1 Syntaxdiagramme Eine sehr anschauliche Art der Syntaxnotation sind die so genannten Syntaxdiagramme. Hierbei werden die Syntaxregeln durch mehrere verknüpfte Einzeldiagramme dargestellt. Jedes Einzeldiagramm besteht aus Knoten und Pfeilen: Die Pfeile deuten in die Richtung, in der das Diagramm durchlaufen werden darf, die Knoten teilen sich in terminale und nicht-terminale Knoten. Terminale Knoten werden als Kreise oder Ovale dargestellt; alle terminalen Knoten zusammen definieren also den gesamten Wortschatz. Nicht-terminale Knoten (mit einem rechteckigen Rahmen versehen) verweisen auf ein weiteres Einzeldiagramm, das an dieser Stelle durchlaufen werden soll, analog zum Beispiel der vorigen Seite. 7 Ein Beispiel soll dies verdeutlichen: Startdiagramm: Dezimalzahl Dezimalzahl Natürliche Zahl. Natürliche Zahl Natürliche Zahl Ziffer 7 [12] Schiedermeier 7

9 Ziffer Syntaxdefinition 1: Dezimalzahlen in Syntaxdiagrammen Bei der Anwendung der Syntaxdiagramme geht man nach folgender Regel vor: "Ein Text ist [...] korrekt, wenn er mit einem kompletten Durchlauf des Syntaxdiagrammes vollständig nachvollzogen werden kann. Dabei darf am Ende weder ein Rest des Textes noch ein Rest des Syntaxdiagrammes unverarbeitet übrigbleiben. Es kommt nur darauf an, dass es irgendeinen Weg durch das Syntaxdiagramm gibt, der zum Text passt. Es spielt keine Rolle, welche Abzweigungen dabei genommen werden." BNF (Backus Naur Form) Eine zweite Methode zur Definition der Syntax bildet die nach ihren Erfindern John Backus und Peter Naur benannte BNF. 9 Ihr Hauptvorteil liegt darin, dass sie "gegenüber Syntaxdiagrammen kompakter und als reine Textdarstellung leichter maschinell zu verarbeiten" 10 ist. Aus diesem Grund hat sie sich auch bis heute als Syntaxnotation durchgesetzt, wenn auch in leicht abgewandelter Form (siehe Kap. 3.3 EBNF) [12] Schiedermeier 9 [10] Estier 10 [12] Schiedermeier 11 [6] Schnorf, Seite 13 8

10 In BNF sieht die Definition der Dezimalzahlen folgendermassen aus: Startsymbol: Dezimalzahl Dezimalzahl = NatürlicheZahl NatürlicheZahl '.' NatürlicheZahl NatürlicheZahl = Ziffer Ziffer NatürlicheZahl Ziffer Syntaxdefinition 2: Dezimalzahlen in BNF = '1' '2' '3' '4' '5' '6' '7' '8' '9' '0' Bei dieser Notation unterteilt man die Syntax in einzelne Produktionen (analog zu den Einzeldiagrammen in Kapitel 3.1). Jede Produktion entspricht einer Art Gleichung: Auf der linken Seite befindet sich ein nicht-terminales Symbol, das durch den Ausdruck auf der rechten Seite des Gleichheitszeichens ersetzt werden kann. Auc h hier verweisen nicht-terminale Symbole auf eine weitere Produktion, während Terminale einem Symbol der definierten Sprache entsprechen und nicht weiter ersetzt werden. Zur Kennzeichnung werden Terminalsymbole oft mit Apostrophen oder Anführungszeichen markiert. 12 Für die rechte Seite der Produktionen stehen zusätzlich zwei verschiedene Meta-Symbole zur Verfügung: das griechische? für die leere Sequenz ("nichts") sowie der vertikale Strich als "oder"-symbol. 13 Bei der Anwendung nt man mit dem nicht-terminalen Startsymbol, welches man gemäss den Regeln der zugehörigen Produktion ersetzt. Solange in der Symbolfolge nicht-terminale Symbole vorkommen, werden diese nach der entsprechenden Produktion ersetzt. Auf diese Weise kann man jeden korrekten Satz konstruieren. Zwei Beispiele sollen dies verdeutlichen: Ist eine Dezimalzahl? Dezimalzahl => NatürlicheZahl '.' NatürlicheZahl => Ziffer NatürlicheZahl '.' Ziffer => Ziffer Ziffer NatürlicheZahl '.' Ziffer => Ziffer Ziffer Ziffer '.' Ziffer => '3' '5' '6' '.' '9' Beispiel 1: Herleitung nach BNF "Dezimalzahl" 12 [8] Wirth, Seite [6] Schnorf, Seite 10 9

11 Ist.91 eine Dezimalzahl? Dezimalzahl => NatürlicheZahl '.' NatürlicheZahl => ZIFFER '.' Ziffer Natürliche Zahl VOR DEM PUNKT MUSS MINDESTENS EINE ZIFFER STEHEN! Beispiel 2: Herleitung.91 nach BNF "Dezimalzahl" Dieses zweite Beispiel ist nicht herleitbar, da das Startsymbol Dezimalzahl durch NatürlicheZahl '.' NatürlicheZahl ersetzt werden muss, damit der Punkt zustande kommt. Doch NatürlicheZahl muss durch mindestens eine Ziffer ersetzt werden. Damit wird es unmöglich, den Satz.91 herzuleiten. Zusammenfassend kann festgehalten werden, dass eine Sprache durch vier Elemente charakterisiert wird: Ihr Vokabular, das durch Terminalsymbole ausgedrückt wird, die Menge aller nicht-terminalen Symbole, sämtliche Produktionen und das Startsymbol, welches zu den nicht-terminalen Symbolen gehört EBNF (Extended Backus Naur Form) 15 EBNF stellt wie der Name sagt eine Weiterentwicklung der Backus Naur Form dar. Diese Erweiterung, welche auf Niklaus Wirth zurückgeht, lässt neue Metasymbole zu, welche die Notation dem menschlichen Denken anpassen. Die Produktion NatürlicheZahl beispielsweise bezeichnet nichts Anderes als eine Folge von einer oder mehreren aufeinanderfolgenden Ziffern. In den Syntaxdiagrammen wird dies durch eine beliebig wiederholbare Schlaufe verdeutlicht. In BNF muss auf Rekursivität zurückgegriffen werden: NatürlicheZahl = Ziffer Ziffer NatürlicheZahl. Durch wiederholtes Durchlaufen dieser Produktion kann jede beliebige Anzahl von Ziffern hintereinander erreicht werden, solange sie nicht kleiner als eins ist. Die Produktion ist korrekt, jedoch nicht sehr benutzerfreundlich, da die rekursive Denkweise gewöhnungsbedürftig ist. 14 [8] Wirth, Seite 7 15 [6] Schnorf, Seite 11 10

12 Ein ähnliches Problem ergibt sich, wenn man eine Option definieren will, wie beispielsweise der zweite Teil des Diagramms Dezimalzahl: In BNF wird dies durch? '.' NatürlicheZahl ausgedrückt. In Worte gefasst meint man, dass entweder nichts oder '.' Natürliche Zahl geschrieben werden kann. Es ist ungewohnt, ein Zeichen zu setzen, um auszusagen, dass nichts notiert werden soll. EBNF ist aus diesem Grund um einige Metasymbole reicher und drückt diese beiden Situationen durch bestimmte Klammer aus: {a} bedeutet Repetition und entspricht? a aa aaa aaaa aaaaa... [a] bedeutet Option und entspricht? a (a) Runde Klammern dienen der Zusammenfassung einzelner Teile der Definition. Durch diese Erweiterungen ist das Spezialsymbol? für die leere Sequenz nicht mehr nötig. Ebenso wurde zur einfacheren maschinellen Verarbeitung ein Punkt als Trennzeichen am Ende jeder Produktion eingeführt (ein Zeilenwechsel allein ist kein sichtbares Symbol). Die Definition der Dezimalzahlen lautet also in EBNF folgendermassen: Dezimalzahl = NatürlicheZahl ['.' Natürliche Zahl]. NatürlicheZahl = Ziffer {Ziffer}. Ziffer Syntaxdefinition 3: Dezimalzahlen in EBNF Ein Beispiel zur Herleitung aus EBNF: = '1' '2' '3' '4' '5' '6' '7' '8' '9' '0'. Ist eine Dezimalzahl? Dezimalzahl => NatürlicheZahl '.' NatürlicheZahl => Ziffer Ziffer Ziffer '.' Ziffer => '3' '5' '6' '.' '9' Beispiel 3: Herleitung nach EBNF "Dezimalzahl" EBNF ermöglicht eine kurze, jedoch einleuchtende Definition einer Sprache und kann deshalb nach Tremblay und Sorenson praktisch für jede formale Sprache verwendet werden: "BNF has been around for quite a while, and with all its simplicity, it is almost adequate. With the additions to BNF [...] it will serve well enough for just about any design process. [...] There is no evidence that more complex methods than these are either necessary or desirable for describing reasonable languages." in: [6] Schnorf, Seite 13 11

13 Zum Schluss sei aber darauf hingewiesen, dass Syntax nicht mit Semantik gleichzusetzen ist: Die Syntax analysiert lediglich die Form eines Textes, während sich die Semantik mit seiner Bedeutung auseinandersetzt. Es gibt Sätze, die zwar syntaktisch völlig korrekt, aber dennoch sinnlos sind (z.b. "der blaue Stein ist rot" oder "Fritz ist älter als seine Mutter"). Man bezeichnet deshalb die Syntax auch als "Aspekt einer Sprache [...], bei dem nur die formalen Gesetzmässigkeiten verwendet werden und keine Interpretationen oder Deutungen [gemacht werden]." 17 4 Anwendungsbereiche 4.1 Übersetzung natürlicher Sprachen Die Erkenntnisse aus der Anwendung mit formalen Sprachen lassen sich auch für die Übersetzung natürlicher Sprachen nutzen, allerdings mit zusätzlichen Problemen wie Kontextabhängigkeit, laufende Entwicklung, Doppeldeutigkeiten, unzähligen Ausnahmen, zusammengesetzten Wörtern, etc. 18 Auf dem Internet finden sich zahlreiche kostenlose automatische Übersetzungsdienste 19, mit denen man relativ einfach einen Einblick in den momentanen Stand der Technik gewinnen kann. Amy Lang fasst ihn in einem Internetbericht folgendermassen zusammen: "Eine vollautomatische Übersetzung ist aus heutiger Sicht nicht realistisch, menschliche Eingriffe bleiben erforderlich." 20 Zur besseren Bewältigung dieser Probleme ist man u.a. auf der Suche nach "einer generellen Zwischensprache, der Interlingua, um nicht für jedes Sprachpaar neue Systeme bauen zu müssen - allerdings bislang erfolglos. Bisher konnte weder eine umfangreiche Interlingua erstellt noch ein Verfahren zu ihrer Konzeption entwickelt werden." 21 Ein anderes Forschungsgebiet innerhalb der automatischen Übersetzung natürlicher 17 [2] Brockhaus, Band 18, S [11] Lang, Kapitel 4 19 wie z.b. [13] 20 [11] Lang, Kapitel 6 21 [11] Lang, Kapitel 6 12

14 Sprachen ist die Anwendung für gesprochenen Text, 22 was aber an dieser Stelle nicht näher behandelt wird. 4.2 Computerinterne Übersetzung Würde der Computer keine internen Übersetzungsprogramme besitzen, welche in der Lage wären, die Eingaben des Anwenders (solange sie sich innerhalb eines genau vordefinierten Bereichs bewegen) in den Maschinencode zu übersetzen, dann wären selbst die einfachsten Programmieraufgaben nur eine Angelegenheit von Experten. Man wäre gezwungen, sämtliche Eingaben im Maschinencode (eine Folge von hexadezimalen Zahlen) einzugeben, der nicht nur für die meisten Leute unverständlich, sondern zusätzlich auch bei jedem Prozessortyp unterschiedlich ist. 23 Man erstellt deshalb zuerst einen Compiler, der aus einer höheren Programmiersprache wie Pascal in die Maschinensprache übersetzen kann. Dank diesem können Programme in einer verständlicheren und kürzeren Form entwickelt werden. Der Bau solcher Compiler ist jedoch sehr anspruchsvoll und somit "eines der best fundierten [Gebiete] in der Informatik" 24. Dadurch wurden Compiler zu verlässlichen, wesentlichen und dennoch oft unbemerkten Bestandteilen der Computerwissenschaft. 5 Übersetzungsvorgang Der gesamte Ablauf des Übersetzungsprogramms besteht aus unterschiedlichen Teilschritten, die hier der Reihe nach erläutert werden sollen: 5.1 Analyse 25 In diesem ersten Schritt geht es darum, die Eingabe in ihre Bestandteile zu zerlegen und diese so umzuwandeln, dass die Maschine 'versteht', worum es sich handelt (z.b. die Umwandlung von Zahlzeichen in Informationen, die der Computer als 'Zahlen' wahrnimmt). Um die syntaktische Richtigkeit zu überprüfen sucht ein so ge- 22 [5] Kurematsu und Morimoto [9] Brunnschweiler, Seite 2f [6] Schnorf, Seite 1 25 [8] Wirth, Seite 11 13

15 nannter Parser die Struktur, mit welcher die einzelnen Teile zusammenhängen. 26 Dies geschieht durch die Bildung eines so genannten 'Syntaxbaums' (Parsetree): Hierbei wird der eingegebene Satz gemäss den Regeln der EBNF-Sprachdefinition in eine Form gebracht, die an einen umgekehrten Baum erinnert. Für diese Umwandlung stehen zwei unterschiedliche Verfahren zur Verfügung, genannt Top-Down und Bottom-Up. Dieses beiden Varianten erstellen den Baum in genau umgekehrter Reihenfolge: Bottom-Up nt mit den einzelnen Symbolen des eingelesenen Textes und fasst diese immer wieder zu grösseren Gruppen zusammen, bis am Ende alles auf einen einzigen Baum reduziert wurde. Man ersetzt also immer wieder Gruppen von Symbolen, die der rechten Seite einer Produktion entsprechen, durch das zugehörige linke Nonterminal. In der graphischen Darstellung wächst so der Baum von unten nach oben, woher auch die Bezeichnung 'bottom-up' herrührt. Der Nachteil ist, dass sich solche Parser "kaum mehr von Hand erstellen [lassen]" 27 Das hier verwendete 'Top-Down'-Verfahren geht vom Startsymbol aus und nt gemäss den EBNF-Produktionen, Nonterminals der linken Seite durch den passenden Ausdruck der rechten Regelseite zu ersetzen. Betrachtet man den graphischen Aufbau, wird auch hier die Namengebung offensichtlich: Abbildung 2: Verfahren zur Erstellung des Syntaxbaums [6] Schnorf, Seite 2 27 [6] Schnorf, Seite [8] Wirth, Seite 10f 14

16 Die Eigenschaft des top-down Parsers, ausgehend von nichtterminalen Symbolen zu den terminalen zu gelangen, stellt einige Anforderungen an die Grammatik der verwendeten Sprache, welche in Kapitel 5.3 genauer erläutert werden. Sofern ein solcher Syntaxbaum erstellt werden kann (die Vorgehensweise spielt dabei keine Rolle), ist gleichzeitig auch gewährleistet, dass die Regeln der Syntax beachtet wurden. Je nach Übersetzungssituation schliesst an diesem Punkt noch eine semantische Analyse an, welche jene Spracheinschränkungen überprüft, die "nicht in die Syntaxdefinition fallen, aber dennoch zur Übersetzungszeit festzulegen sind " Synthese 30 Im zweiten Teil des Übersetzungsvorgangs geht es darum, aus dem Baum den Satz in der Zielsprache zu generieren. Das kann unter Umständen bedeuten, dass man zuerst den Baum umformen oder ihn zuerst in einen Zwischencode verwandeln muss, weil sich die Strukturen der beiden Sprache unterscheiden. Dies ist sowohl bei formalen, als auch bei natürlichen Sprachen der Fall, man denke nur einmal an die unterschiedliche Platzierung von Subjekt und konjugiertem Verb im deutschen, französischen oder englischen Nebensatz. Zuletzt wird aus dem Zwischencode der Satz in der Zielsprache hergeleitet und als Endresultat ausgegeben. Je nach Notwendigkeit können dazwischen zusätzliche Optimierungsphasen eingebaut werden (Siehe Kapitel und 7.4.5). 5.3 Anforderungen an die Grammatik 31 "Anstatt einen möglichst allgemeinen Erkennungs-Algorithmus, genannt Parser, zu finden, gehen wir in umgekehrter Richtung vor: Wir postulieren einen einfachen Algorithmus und bestimmen danach die Klasse der Sprachen, die er verarbeiten kann. Eine erste Folge dieser grundlegenden Forderung ist, dass jeder Schritt in der Zerlegung eines Satzes lediglich durch den gegenwärtigen Zustand der Analyse und ein 29 [6] Schnorf, Seite 2 30 [6] Schnorf, Seite 2 31 [8] Wirth, Seite 10ff 15

17 einziges, nächstes zu lesendes Symbol bestimmt werden darf [One symbol lookahead]. Ferner wird gefordert, dass kein Schritt später rückgängig gemacht werden darf [no backtracking]." 32 Diese Arbeit baut auf dem von Wirth vorgeschlagenen Algorithmus auf und deshalb gelten für sie die gleichen Einschränkungen, was die Auswahl der möglichen Sprach- Grammatiken betrifft. In den folgenden Unterkapiteln werden die daraus folgenden Regeln genauer betrachtet Regel 1 Die erste Folgerung bedeutet konkret, dass es keine Alternativen a ß geben darf, die beide mit dem selben Symbol nen können, weil sonst erst beim zweiten Symbol über die Wahl der Produktion entschieden werden kann. Dies zeigt das folgende Beispiel: S = A B. A = 'x' 'y'. B = {'x'} 'z'. Beispiel 4: Missachtung von Regel 1 Das erste Symbol von A heisst in jedem Fall x, dasjenige von B x oder z. Beginnt nun der Satz mit x, so kann nicht entschieden werden, ob S durch A oder B ersetzt werden soll. Die Entscheidung für die Wahl von A oder B kann nur mit Blick auf das übernächste Symbol getroffen werden. Um der Forderung 'One symbol lookahead' nachzukommen, müssen sich die Anfangssymbole von Alternativen auf jeden Fall voneinander unterscheiden Regel 2 Die zweite Regel, die diesen Forderungen entspringt, lautet wie folgt: "Für jedes nicht-terminale Symbol A, aus welchem die leere Folge hergeleitet werden kann, muss die Menge seiner Initialsymbole disjunkt von der Menge seiner Folgesymbole sein." 33 Dies bedeutet, dass ein Nonterminal, das durch? ('nichts') ersetzt werden kann (was bei [n] oder {n} der Fall ist), nie von einem seiner möglichen 32 [8] Wirth, Seite [8] Wirth, Seite 13 16

18 Anfangssymbole gefolgt sein darf. Etwas weniger abstrakt wird diese Regel mit einem Beispiel: S = A 'x'. A = ['x']. Beispiel 5: Missachtung von Regel 2 34 Hier sind Anfangssymbol und Folgesymbol beide x und aus A kann die leere Folge hergeleitet werden. Der Satz 'x' würde gemäss Produktion zur Ersetzung von S durch Ax führen. Bei der Substitution von A würde das nächste Symbol betrachtet, x, und dementsprechend für die Option gestimmt. Allerdings folgt ja nach A noch einmal ein x und der Satz kann nicht mehr hergeleitet werden. Dies wird zu einer unberechtigten Fehlermeldung führen. Eine Verletzung von Regel 2 kann also zu falschen Entscheidungen bei Option und Repetition führen Hinweis: Syntax dient der Semantik Es ist wichtig, an dieser Stelle zu erwähnen, dass die Syntax die Bedeutung des Satzes stets unterstützen soll. Viele Schwierigkeiten mit den beiden vorangehenden Regeln können durch eine Umformulierung der Syntax beseitigt werden. Allerdings kann sich dadurch die Bedeutung des Satzes ändern, wie im folgenden Beispiel: S = A ( S '-' A ). A = 'a' 'b' 'c'. Beispiel 6: Verletzung von Regel 1 35 In der Produktion S wird Regel 1 verletzt, da die möglichen ersten Symbole von A gleich sind wie jene von S A (nämlich 'a', 'b' oder 'c'). Dieses Problem kann durch Umformung umgangen werden: S = AB. B = ['-'S]. A = 'a' 'b' 'c'. Beispiel 7: Umformulierte Syntax aus Beispiel 6, die keine Regeln mehr verletzt 36 Bezüglich ihrer Syntax sind die beiden Notationen völlig identisch, jedoch ergeben 34 [8] Wirth, Seite [8] Wirth, Seite 13f 36 [8] Wirth, Seite 14 17

19 sich Unterschiede, wenn man die Semantik betrachtet. Bei der Herleitung von 'a - b - c' ergeben sich folgende Strukturen (durch Klammerung hervorgehoben): aus Beispiel 6: S => (S-A) => ((S-A)-A) => ((S-A)-A) => ((A-A)-A) => ((a-b)-c) aus Beispiel 7: S => (A B) => (A -S) => (A -(A B)) => (A -(A -S)) => (A -(A AB)) =>(A -(A A )) => (a-(b-c)) Beispiel 8: Herleitung des Satzes a-b-c Diese Strukturen sind im Syntaxbaum durch die verschiedenen Ebenen gespeichert. Durch das Top-Down-Verfahren ist der zuerst erstellte auch gleichzeitig der Hauptknoten. Dies ist in der ersten Herleitung das zweite Minuszeichen und subtrahiert deshalb vom nachher erstellte Teilbaum a-b den Minuenden c. In der anderen Herleitung ist es genau umgekehrt, da das erste Minuszeichen vor dem zweiten erstellt wird. Gemäss den üblichen Regeln der Subtraktion sind diese beiden Resultate aber nicht identisch. Deshalb muss bei der Umformung einer Syntax "stets beachtet werden, dass damit die Bedeutungsstruktur der Sprache nicht in Mitleidenschaft gezogen wird." 37 6 UPN-Compiler 6.1 Anforderungen Das Ziel dieser einfachen Konsolenanwendung war die Entwicklung eines Compilers, der in der Lage ist, algebraische Ausdrücke aus der Infix- in die Postfix-Notation zu übersetzen. Die benötigten Methoden sollten so einfach und kurz sein wie möglich, damit sie die technische Umsetzung der vorher erarbeiteten Theorie möglichst einleuchtend erklären. 6.2 Konzept Bei einer einfachen Struktur wie der hier verwendeten ist es nicht nötig, die Eingabe zuerst in einen Baum umzuwandeln. Es genügt, sie bereits bei der Erkennung in die richtige Reihenfolge zu bringen und gleich wieder auszugeben. Auch Optimierungsphasen sind keine nötig. Der Computer wird also alle aufgenommenen Daten im 37 [8] Wirth, Seite 13 18

20 gleichen Durchlauf wieder aufschreiben und aus dem Speicher löschen. 6.3 Benutzte Sprachen Im folgenden Abschnitt sollen die beiden verwendeten Sprachen erklärt und mit Hilfe der EBNF-Notation definiert werden. Sie sind beide auf die vier Grundoperationen Addition, Subtraktion, Multiplikation und Division beschränkt, bieten allerdings bei der Eingabe der Zahlen einige Freiheiten (wie Fliesspunktzahlen oder negative Werte) Mikroalgebra Infix Diese Sprache umfasst einen Teil der heute üblichen Mathematiksprache, wie sie in der Schule gelehrt wird. Der Beiname Infix weist darauf hin, dass die Operationszeichen jeweils zwischen den Operanden stehen. Die EBNF dieser Sprache lautet: (1)Terminalsymbole: 0,1,2,3,4,5,6,7,8,9,+,-,*,/,(,),.,E (2) (3)Nicht-terminale Symbole:Expression, Term, Factor, Number, Digit (4) (5)Produktionen: Expression = ['-'] Term {('+' '-') Term}. (6) Term = Factor {('*' '/') Factor}. (7) Factor = Number '(' Expression ')'. (8) Number = PosDecNumber ['E'['-']NatNumber]. (9) PosDecNumber = NatNumber ['.' NatNumber]. (10) NatNumber = {Digit}Digit. (11) Digit = '0' '1' '2' '3' '4' '5' '6' '7' '8' '9'. (12) (13)Startsymbol Expression (14) (15)Die Semantik ist die übliche Semantik der Algebra. Listing 1: EBNF der Sprache Mikroalgebra Infix 38 Aus der EBNF ist auch ersichtlich, dass negative Zahlen mit unärem Minus immer eingeklammert werden müssen Mikroalgebra UPN (Postfix) Die Postfix-Notation ist eine andere Schreibweise für die gleichen Informationen. Der Unterschied besteht darin, dass hier die Zahlen in einen so genannten Stack ge- 38 Anhang A 19