Abstrakte Maschinen und Programmiersprachen

Transkript

1 Abstrakte Maschinen und Programmiersprachen Jochen Weis, Fachbereich Informatik FHD, Wintersemester 1996 Einleitung und historische Daten Im Jahre 1900 hat der Mathematiker David Hilbert eine Liste von ungelösten Problemen vorgestellt. Diese beinhaltete die Widerspruchsfreiheit der Zahlentheoie, aus der das Entscheidungs- problem entstand. Hier ein Beispiel eines Problems von Hilbert das bis heute nicht algorithmisch dar- gestellt werden kann. Bsp. : Zehntes Hilbertsches Problem Gegeben: Eine Polynomgleichung mit ganzzahligen Koeffizienten. Frage: Hat die Gleichung eine ganzzahlige Lösung? 1) x²+ y² = z² Lsg. z.b. x=+3;-3 y=+4;-4 z=+5;-5 x=0 y=0 z=0 x=6 y=8 z=10 2) x² + y² = 3 unlösbar Im Jahre 1936 fand Alan Mathison Turing (ein Mathematiker) heraus das, das Hilbertsche Problem unlösbar ist. Ein halbes Jahr vorher hatte Alonzo Church auch das Problem bewiesen, er machte das aber unabhängig von Turinmg. Turing zeigte das Probleme in kleinste Schritte zerlegbar sind. Seine Turingmaschine kann alle Probleme, die heutige Digitalrechner lösen können, auch lösen. Die Turingmachine bewerkstelligt diese nur langsammer. Ich werde im folgenden die Entwicklung von endlichen Automaten bis hin zur Turingmaschine(in einer sog. Chomsky Hierachie) aufzeigen.

2 Chomsky - Hierarchie Avram Noam Chomsky wurde am in Philadelphia geboren. Er ist Prof. für Linguistik und moderne Sprachen. Nach ihm ist die Chomsky-Hierarchie benannt. Die Chomsky - Hierarchie ordnet Sprachen den entsprechenden Automaten zu. Es werden Grammmatiken in Sprachklassen unterteilt. Sie stellt eine Hierachie der Leistungsfähigkeit dar. Noam Chomsky ein Mathematiker entwarf diese Chomsky Hierarchie im Jahre 1959 Chomsky teilt in 4 verschiedene Klassen ein. Klasse 0 Die Menge der Sprachen, die durch allgemiene Grammatiken erzeugt und von Turingmaschinen akzeptiert werden. Klasse 1 Die Menge der Sprachen, die durch kontextsensitive Grammatiken erzeugt und die durch linear beschränkte Automaten akzeptiert werden können. Klasse 2 Die Menge der Sprachen, die durch lineare Grammatiken erzeugt und durch ( nichtdeterminstische bzw. deterministische) Keller automaten akzeptiert werden können. Klasse 3 Die Menge der Sprachen, die durch rechts- bzw. links reguläre Grammatiken erzeugt und durch endliche Automaten akzeptiert werden können. Automat Turingmaschine Klasse 0 linear beschränkter Automat Klasse 1 Kellerautomat Klasse 2 endlicher Automat Klasse 3 Chomsky Sprachklasse Es gilt: Klasse3 - Klasse2 - Klasse1 - Klasse 0 - bedeutet: Ist Teil von. Die Definition einer formalen Sprache Für eine Menge Sigma von Symbolen (das Alphabet) bezeichnet (* die Menge aller Strings von Symbolen aus Sigma. Eine Sprache ist eine Teilmenge L von Sigma*

3 Beispiel: Sigma=(0,1) = Das Alphabet das aus den Binärziffern 0 und 1 besteht. Sigma*= (0,1,00,01,10,11,000,...) die Menge aller Strings die aus 0 und 1 erzeugbar sind L= (10,1010,110,...) Die Sprache die durch 2 teilbare Strings beinhaltet. Dieses wird dargestellt durch mindestens eine 0 rechts. Die Defintion eines determinstischen endlichen Automaten Entspricht der Chomsky-Hierarchie Klasse 3 Ein deterministischer endlicher Automat A=(Q,Sigma,q0,(,F) - befindet sich stets in einem Zustand der Zustandsmenge Q q0 Element Q: Startzustand F Teilmenge von Q : akzeptierendene Zustände - liest auf dem Eingabeband Zeichen des Alphabetes ( - wird in Gang gehalten von der Fktn. Delta: Q x Sigma --> Q die jedem Zustand (in Abhängigkeit des gelesenen Zeichens) einen neuen Zustand zuornet. Eingabeband Automat

4 Zu Beginn: Lesekopf ist auf dem 1. Zeichen Stop, falls der Lesekopf das 1. Blank erreicht. Ein gelesener String wird akzeptiert, wenn der Endzustand zu F gehört. L(A): Menge der vom Automaten A akzeptierten Strings (die akzeptierte Sprache) Bsp.: Ein Automat der Strings erkennt die hinten mindestens 2 Nullen haben also durch 4 teilbar sind. Band 0 1 Folgezustand q0 q1 q0 q1 qy q0 qy qy q0 Der String führt in den Zustand q1, das heist er ist durch zwei teilbar. Der string 1100 führt in den Zustand qy, das heist er ist vom endliche Automaten akzeptiert. Der Automat startet im Zustand q0. Anschließend liest er (beim lin- ken Bit beginnend) die Dualzahl Bit für Bit und ändert seine Zustände gemäß Tabelle. Man erkennt: Genau bei den durch 4 teilbaren Zahlen landet der Automat im Zustand qy (= YES). Nachdem wir am Beispiel "Teilbarkeit durch 4" mehrere (keineswegs alle) Möglichkeiten zur Beschreibung formaler Probleme kennengelernt haben, fragen wir uns, welche dieser Möglichkeiten wir zur Grundlage einer Theorie der Algorithmen machen sollen. Bei dieser grundlegenden Frage haben die Informatiker sich stets von ähnlicher Motivation leiten lassen wie die Naturwissenschaftler bei der Suche nach ihrem Weltbildern: Das Weltbild der Physiker sollte einerseits natürlich die Wirklichkeit korrekt beschreiben und sollte im übrigen möglichst "einfach" sein. Die Informatiker bei der Suche nach einer Theorie der Algorithmen waren ähnlich motiviert: Sie wollten ein Modell, das einerseits möglichst einfach ist, das aber andererseits im Prinzip "alles kann", was Rechner können und (reichlich unbescheiden) jemals können werden. Wir beginnen unsere Theorie mit endlichen Automaten. Wir werden dann jedoch feststellen, daß dieses Modell zu eng geschnitten ist und wichtige Probleme nicht beschreiben kann. Wir werden also notgedrungen das Modell erweitern (und etwas verkomplizieren) und schließlich die TURINGMASCHINEN als allgemeines Modell einführen. Diese Maschinen sind benannt nach dem englischen Mathematiker Allan Turing, der sie 1936 vorschlug, dies also zu einem Zeitpunkt, als es keine wesentlich besseren Rechenhilfen gab als mechanische Rechenschieber.

5 Nichtdeterministischer endlicher Automat Im Unterschied zu deterministischen Automaten, ist beim nichtdeterministischen Automaten nicht gewärleistet, das er im richtigen Folgezustand landet. Im obigen Bild hat der Zustand q1 beim lesen einer 1 zwei Folgezustände (qo oder q2). Er muß den Richtigen raten. DEFINITION (Nichtdeterministischer endlicher Automat, NDFA) Zu einem nichtdeterministischen Automaten A = (Q,Sigma,q0,Delta,F) gehört: - eine endliche Menge Q von Zuständen mit Startzustand q0 und Menge F von akzeptierenden Endzuständen. - das Eingabealphabet Sigma - die Zustandsüberführungs-RELATION (: Q x Sigma ---> P(Q), P(Q): Potenzmenge von Q die dem Automaten für jeden Zustand in Abhängigkeit vom gelesenen Zeichen eine Menge von möglichen Nachfolgerzuständen anbietet. Die von einem nichtdeterministischen Automaten akzeptierte Sprache ist die Menge der Strings, die (bei geeigneter Wahl der Nachfolgerzustände) vom Automaten akzeptiert werden KÖNNEN. Deterministische Automaten sind offenbar Spezialfälle von nichtdeterministischen. Andererseits ist der Verdacht naheliegend, daß (wie beidem obigen Beispiel) nichdeterministische stets in deterministische Automaten umgebaut werden können. Der folgende Satz bestätigt dies. Ferner stellt der Satz den Zusammenhang her zwischen endlichen Automaten, regulären Grammatiken und regulären Ausdrücken: Alle liefern letztlich die gleichen Sprachen (was nach den vorgeführten Beispielen vielleicht auch schon zu vermutem war)

6 SATZ Die folgenden Aussagen über eine formale Sprache L sind äquivalent (i) L wird von einem endlichen nicht-deterministischen Automaten (NDFA) akzeptiert (ii) L wird von einem endlichen deterministischen Automaten (DFA) akzeptiert (iii) L wird von einer regulären Grammatik abgeleitet (iv) L wird von einem regulären Ausdruck produziert Die Definition eines regulären Ausdrucks 1. Der Ausdruck (0) produziert den String 0 Der Ausdruck (1) produziert den String 1 2. Sind (a) und (b) Ausdrücke, so produziert der Ausdruck (a+b) die Strings, die von (a) oder (b) produziert werden. 3. Sind (a), (b) Ausdrücke, so produziert (ab) alle Strings der Form uv, wobei u von (a) und v von (b) produziert wird. 4. Ist (a) ein Ausdruck, so produzeirt (a)* alle Strings, die endliche (evtl. leere) Ketten von Strings aus (a) sind. Die Menge der von einem Ausdruck erzeugten Strings ist die vom Ausdruck produzierte Sprache. Bsp.: 1) Der Ausdruck (01)* erzeugt Epsilon, 01,0101, d.h. endliche Ketten von 01. Die erzeugte Sprache L={Epsilon,01,0101,...} Epsilon=leerer String 2) Die Sprache der Strings, die vorn eine Null und hinten eine Eins haben, wird produziert vom Ausdruck 0(0+1)*1 3) Die Menge der durch 4 teilbaren Zahlen, d.h. die Sprache der binären Strings mit mindestens 2 Nullen am Ende wird produziert vom reg. Ausdruck (0+1)*00

7 Definiton einer Grammatik Eine Grammatik enthält - Terminalsymbole (z.b. 0 und 1) - Hilfsymbole (z.b. S) - ein Startsymbol (z.b. Großbuchstaben der Form s --> t (s,t sind Strings aus Terminalsymbolen und oder Hilfsymbolen) Die Regel s --> t bedeutet: überall, wo man im aktuellen String den Teilstring S vorfindet, kann man ihn durch T ersetzen. Die ausgehend von S mit den Regeln produzierten und nur aus Terminalsysmbolen be-stehenden Strings bilden die von der Grammatik abgeleitete Sprache. Bsp.: 1) Alphabet {0,1} Startsysmbol und eiziges Hilfssysmbol Regeln: s --> Epsilon, s --> 0S1 die akzeptierte Sprache: L={Epsilon, 01,0011,000111,..} d.h. alle Strings mit ebensovielen Nullen wie Einsen rechts 2) Die Sprache L= {Epsilon, 01,0101,010101,...} aller Ketten von 01 wird abgteleitet von der Grammatik Alphabet {0,1} S: Startsysmbol, einziges Hilfsysmbol S --> Epsilon, s --> 01S alternativ: Hilfssymbole S,T S -->Epsilon, S--> 0T, T --> 1S Bsp.: Strings durch 4 teilbar werden durch die folgenden Grammatiken erzeugt. 1. Möglichkeit S--> 0T, S-->1T,T-->S,T-->00 2. Möglichkeit S-->0S, S-->1S, S-->00 3. Möglichkeit S--> T00, T-->Epsilon, T-->0T, T-->1T Nicht alle Probleme (formale Sprachen) sind mit den bisherigen Automaten beschreibbar: L={0^n 1^n ; n ist Element vonn0} Grammatik (nicht regulär) S-->(, S --> 0S1

8 Dies L ist nicht durch einen Automaten mit endl. vielen Zuständen akzeptierbar. Man bracht einen (im Prinzip unbegrenzt großen) Speicher. --> Stack (Keller) Deterministischer Kellerautomat Eingabeband _ Automat Keller (:Q x Sigma x (Sigma x Epsilon) --> (Q x {push,pop,} x (Sigma+Epsilon) push Band 0 1 Keller push,push,0 stop 0 push,push,0 pop,pop,epsilon 1 stop stop Pop Band Keller 0 1 stop stop 0 stop pop,pop,epsilon 1 stop stop Im push - Zustand: Beim lesen einer 0 wird die 0 gepuscht, und man bleibt im push - Zustand. Beim lesen einer 1 wird die letzte 0 gepopt und man geht in den pop Zustand. Im pop - Zustand: Beim lesen einer 1 wird die letzte 0 gepopt, Zustand bleibt pop. Beim lesen einer 0 --> Stop (ablehnen). Akzetierende Zustände: F={push,pop} Startzustand: push 0011: push, push, push, pop, pop -->akzeptiert 001 : push, push, push, pop --> abgelehnt (keller/=(0) 011: push, push, pop, stop --> abgelehnt Epsilon : push, --> akzeptiert (Keller 0)

9 Definition einer Kontextfreien Grammatik Entspricht der Chomsky Klasse2 Eine Grammatik heißt kontextfrei, wenn die Regeln alle von der Form u --> w Hilfssymbol String(mit Hilfssymbolen und oder Terminalsymbolen) Bedeutung: Man kann v überall "lokal" durch w ersetzen und nicht nur in einem "kontext" xvy --> xwy Satz: Eine formale Sprache L wird von einem nicht deterministischen Kellerautomaten akzeptiert genau dann, wenn sie von einer kontextfreien Grammatik abgeleitet wird. Bem.: Mittels nicht deterministischen Kellerautomaten lassen sich mehr Sprachen beschreiben als mittels deterministischen Kellerautomaten. Anwendung von Kellerautomaten: Syntaxanalyse(PARSER), Compilersysteme Nicht Beschreibbar mit einem Kellerautomaten ist z.b. Die Sprache L={0^n 1^n 2^n n Element IN} Dies L ist allerdings mit 2 Kellerautomaten beschreibbar Nicht mit 2 Kellerautomaten beschreibbar ist L={0^n 1^n 2^n 3^n} Definition eines nichtdeterministischen Kellerautomaten Entspricht der Chomsky-Klasse 2 Eingabeband _ Automat Keller

10 Zu einem nichtdeterministischen Kellerautomaten A = (Q,Sigma,q0,(,F) gehört - eine endliche Menge Q von Zuständen mit Startzustand q0 und Menge F von akzeptierenden Endzuständen. - das Alphabet Sigma - die Zustandsüberführungsrelation delta: Q x Sigma x (Sigma+Epsilon) ---> P [ Q x {push,pop} x (Sigma+Epsion) ], P: Potenzmenge Die Relation delta ist so zu verstehen, daß - in Abhängigkeit vom aktuellen Zustand, vom aktuellen Eingabezeichen und vom obersten Kellerzeichen - über den neuen Zustand entschieden wird, ferner entschieden wird, ob gepopt (pop) oder gepusht (push) wird und im letzteren Falle noch über das gepushte Zeichen entschieden wird. [An zwei Stellen wurde der leere String Epsilon ins Alphabet aufgenommen, und zwar deswegen weil (im linken Falle) der Keller leer sein kann und (im rechten Falle) bei pop kein Element gepusht wird (was wir auch so ausdrücken können, daß Epsilon gepusht wird). ] Bsp.: Ist w ein String, so entsteht der zu w Inverse String w^-1 aus durch Umkehrung der Buchstabenreihenfolge w= w^-1= Sei L={ww^-1½ w binärer String} Element L 1 1 Element L Element L 0101 nicht Element L nicht Element L Tabelle für push Band 0 1 Keller push,pop,0 push,push,1 push,pop,0 0 push,push,1 pop,pop,epsilon push,push,1 1 push,push,0 pop,pop,epsilon

11 Tabelle für pop Band Keller 0 1 stop stop 0 pop,pop,epsilon stop 1 stop pop,pop,epsilon akzeptierende Zustände : F={push,pop} Definition der Turingmaschine Entspricht der Chomsky - Klasse 0 Anmerkung den Linear - beschränkten Automaten(Chomsky - Klasse 1) habe ich weggelassen, da er nur das Eingabeband der Turingmaschine beschränkt. Dies wird z.b. durch ein $ - Symbol auf dem Band gewährleistet. Zur Geschichte des Entwicklers der Turingmaschine Alan Mathison Turing. 1912: in Paddington bei London geboren 1926: besuchte er die Sherborne Schule 1928: studierte er Relativitätstheorie 1932: studierte Turing Quanten - Mechanik, Logik und Wahrscheinlichkeitstheorie 1936: entwickelte er die Turingmaschine : Veröffentlichungen in Algebara, Logik und Zahlentheorie 1940 Entwicklung einer Maschine zur dechiffrierung der "Enigma" (deutsche Chiffriermaschine) 1947 Veröffentlichungen über "Künstliche Intelligenz" und Neuronale Netze 1950 entwickelte er den Turing Test 1954 am 7. Juni starb Turing bei einer Cyanidvergiftung Ich werde jetzt auf den wichtigsten Automaten die Turingmaschine eingehen. Dieses Computermodell hat überhaupt keinen Keller oder sonstige exter- ne Speicher. Eine Turingmaschine hat endlich viele innere Zustände wie schon die endlichen Automaten. Sie hat einen Kopf, mit dem sie vom Band lesen kann. Aber außerdem kann sie aufs Band schreiben, und sie kann den Kopf hin- und herbewegen. Wir nehmen ferner an, daß das Band nach beiden Seiten und nicht nur nach rechts unbeschränkt ist wie bei den bisherigen Automaten.

12 Eingabeband... _ _... <-- --> TURINGMASCHINE Die Turingmaschinen funktionieren auf ganz natürliche Weise. In Abhängigkeit - vom inneren Zustand und - vom gelesenen Zeichen wird der Automat - einen neuen Zustand einnehmen - das gelesene Zeichen durch ein Zeichen ersetzen und - den Kopf eine Position nach links, nach rechts oder auch gar nicht bewegen. Die früheren Automaten stoppten, wenn der Eingabestring zu Ende war. Das muß bei Turingmaschinen nicht der Fall sein. Die Zustandsüberführungsfunktion muß auch auf Blanks reagieren, die wir deswegen explizit in den Zeichensatz mitaufnehmen: DEFINITION (Deterministische Turingmaschine, Allan Turing) Eine Turingmaschine M = (Q,Sigma,Tau,b,q0,Delta,F) - befindet sich stets in einem Zustand einer endlichen Zustandsmenge. Diese Zustandsmenge Q enthält einem speziellen Startzustand q0 und eine Teilmenge F, F teil Q von akzeptierenden Endzuständen. - liest aus einem Band Zeichen eines endlichen Bandalphabeths Sigma - wird in Gang gehalten von einer Zustandsüberführungsfunktion (von einem PROGRAMM) Delta: Q x Tau ---> Q x Tau x {R,L,N} die also einen Zustand abhängig von aktuell gelesenen Zeichen in einen neuen Zustand überführt, ein Zeichen aufs Band schreibt und den Kopf möglicherweise bewegt. Der Eingabestring enthält nur Zeichen des Eingabealphabets Sigma. Der Kopf der Turingmaschine weist zu Beginn auf das erste Symbol dieses Strings. Von den übrigen Bandpositionen können wir uns vorstellen, daß sie mit einem speziellen Blanksymbol b gefüllt sind. In vielen Fällen ist Sigma = {0,1} und Tau = { 0,1,b}. Die früheren Automaten stoppen nach Abarbeiten des Eingabestrings. Turingmaschinen "stoppen" nicht in diesem Sinne; es kann höchstens sein, daß sich "nichts mehr ändert". Wir sagen: Ein Zustand ist ein STOPPZUSTAND, wenn unabhängig vom gelesenen Symbol - der Zustand der gleiche bleibt - das gelesene Symbol nicht geändert wird und - der Kopf sich nicht bewegt. Wie früher sagen wir: Ein Eingabestring w wird AKZEPTIERT, wenn die Maschine bei der Bearbeitung von w in einem akzeptierenden Endzustand stoppt. Eine weitere Subtilität wird notwendig beim Begriff der von einer Turingmaschine akzeptierten Sprache. Es kann sein, daß eine Turingmaschine überhaupt nicht stoppt, weil sie beispielsweise zwischen zwei Zuständen hin- und her oszilliert. Beim Laufen der Turingmaschine weiß

13 man dann nicht, ob der String abgelehnt ist oder ob er irgendwann doch noch akzeptiert wird. Aus diesem Grund benutzen wir zwei unterschiedliche Begriffe. DEFINITION (i) Eine Menge (Sprache) L ist ENTSCHEIDBAR, wenn es eine Turingmaschine gibt, die bei allen Eingabestrings stoppt und die den String akzeptiert genau dann, wenn er zu L gehört. (ii) Eine Menge (Sprache) L ist AUFZÄHLBAR, wenn es eine Turingmaschine gibt, die den String genau dann akzeptiert, wenn er zu L gehört (und die bei anderen Strings vielleicht überhaupt nicht stoppt). Wir wollen erwähnen, daß Turingautomaten die früheren endlichen Automaten und Kellerautomaten als Spezialfälle enthalten. Bei endlichen Automaten ist das klar, weil Turingmaschinen einfach "mehr können". Bei Kellerautomaten kann man es sich so vorstellen: Zu einem gegebenen Kellerautomaten konstruieren wir eine Turingmaschine, die die "linke Hälfte" des Bandes als Keller benutzt und die im übrigen genauso arbeitet wie der Kellerautomat. Auf diese Weise kann man jeden Kellerautomaten durch eine Turingmaschine simulieren. Beispiel für eine Turing-Maschine : Die von jedem String -2 abzieht sigma = {0,1} T = {0,1,b} Band Folgezustand 0 1 b q0 q0.0,r q0,1,r q1,b,l q1 q2,0,l q2.1.l - q2 q2,1,l q3,0,l - q3 q3,0,l q3,1,l s,b,r s Die Turing Maschine macht aus dem String > 101 aus dem String > 001 aus dem String > 0110

14 Quellen und Literaturverzeichnis 1) Skript zur Vorlesung Theoretische Informatik von Prof Dr. H. Meyer 2) Buch: Theoretische Informatik Dr. Ingo Wegener 3) Skript Informatik IV TH-Darmastadt von Prof. Dr. Kreiz 4) HTML File - Zur Biographie von Turing 5) Praktikum zur Vorlesung Theoretische Informatik an FH-Darmstadt 6) Skript zur Vorlesung TI a. d. TH-Darmstadt von Prof. Dr. Walther