Kurz-Skript zur Theoretischen Informatik I

Transkript

1 Kurz-Skript zur Theoretischen Informatik I Inhaltsverzeichnis 1 Grundlagen 2 2 Reguläre Ausdrücke 4 3 Endliche Automaten Vollständige endliche Automaten ε Automaten Deterministische und nichtdeterministische EA 7 5 Minimale EA 8 6 Rechtslineare Grammatiken 9 7 Abschlußeigenschaften regulärer Sprachen und das Pumping-Lemma 10 8 Anwendungen 12 9 Mealy- und Moore-Maschinen 12 1

2 Kurzskript Theo Inf I 2 1 Grundlagen Abbildung 1: Themen der Theoretischen Informatik I Ein Alphabet Σ ist eine endliche Menge von Symbolen. Σ = {a, b, c, d,...} Ein Wort (über Σ) ist eine endliche (möglicherweise auch leere) Folge von Symbolen aus Σ. w = a 1 a 2 a 3...a m mit a i Σ Beispiel: Σ = {a, b, c}, w = acab Die Menge aller möglichen Wörter über einem Alphabet Σ bezeichnet man mit Σ. Wörter u und v kann man verketten (konkatenieren): u v = uv Beispiel: Σ = {a, b, c}, u = abac, v = cca, dann ist uv = abaccca Es gibt ein spezielles Wort, das leere Wort ε mit der Eigenschaft: ε w = w ε = w für alle w Σ (Verkettung mit dem leeren Wort ändert nichts.) Ein Wort hat eine eindeutig bestimmte Länge lg(w) oder w. Die Länge ist rekursiv definiert: Das leere Wort ε hat die Länge 0: ε = 0 Jedes Symbol des Alphabets hat die Länge 1: a = 1 für alle a Σ Bei Verkettung von Wörtern addieren sich die Längen: uv = u + v für alle Wörter u, v Ein Teilwort (Infix) ist eine zusammenhängende Teilfolge, ein Präfix ist ein Teilwort am Anfang, ein Suffix ist ein Teilwort am Ende eines Wortes.

3 Kurzskript Theo Inf I 3 Eine Sprache L (über Σ) ist eine beliebige Teilmenge von Σ : L Σ Auch Sprachen lassen sich konkatenieren: L 1 L 2 = {u v u L 1, v L 2 } Beispiel: L 1 = {a, aa, aaa, aaaa,...}, L 2 = {b, bb}, dann ist L 1 Ł 2 = {ab, abb, aab, aabb, aaab, aaabb, aaaab,aaaabb,...} und L 2 Ł 1 = {ba, bba, baa, bbaa, baaa, bbaaa, baaaa, bbaaaa,...} Durch Verkettung einer Sprache L mit sich selbst entsteht L 2 = L L. Diesen Vorgang kann man iterieren: L 3 = L 2 L, L 4 = L 3 L,... Man definiert L 0 = {ε}, L 1 = L und L = L 0 L 1 L 2... Angewendet auf das Alphabet Σ liefert der -Operator die schon oben erwähnte Menge aller Wörter über Σ Σ = {ε} Σ Σ 2... ( = leeres Wort, alle Wörter der Länge 1, alle Wörter der Länge 2,... ) Eine oft genutzte Funktion ist anzahl(w, a), die die Anzahl der Symbole a ( Σ) in einem Wort w ( Σ ) angibt. Andere Schreibweisen hierfür: anzahl(w, a) = w a = a (w)

4 Kurzskript Theo Inf I 4 2 Reguläre Ausdrücke Reguläre Ausdrücke sind ein Mittel, um Sprachen zu beschreiben. Die Menge aller regulären Ausdrücke über Σ, bzeichnet mit REXP Σ ist rekursiv definiert und jedem regulären Ausdruck entspricht eine reguläre Sprache: regulärer Ausdruck erzeugte Sprache Λ E {ε} a {a} α β L(α) L(β) wenn α, β reguläre Ausdruücke sind α β L(α) L(β) α L(α) Statt Λ und E benutzt man auch in regulären Ausdrücken häufig die Symbole und ε. Es gelten folgende Rechenregeln für reguläre Ausdrücke ( bedeutet: erzeugt dieselbe Sprache): α β β α und die Distributivgesetze α α α ε ε α α α α α α α ε ε α α (α ε) α α (β γ) (α β) (α γ) α (β γ) (α β) (α γ)

5 Kurzskript Theo Inf I 5 3 Endliche Automaten Ein endlicher Automat A = (Σ, S, δ, S 0, F) wird beschrieben durch das Eingabealphabet Σ eine endliche (!) Zustandsmenge S eine Zustandsüberführungsrelation δ( S Σ S) eine Menge von Startzuständen S 0 ( S) und eine Menge von Endzuständen F( S). Die Überführungsrelation δ wird meistens als Tabelle angegeben: a b.. s 1 s 2... s n Folgezustände Aufgabe eines endlichen Automaten: Lösung des Wortproblems w L(A)? (Prüfen, ob ein gegebenes Wort w zur Sprache L(A) gehört.) Die Sprache L(A) wird durch die Zustände und die Überführungsrelation bestimmt. Der Automat startet in einem Startzustand, erhält ein Wort w als Eingabe und arbeitet dieses Wort Zeichen für Zeichen ab. Dabei wechselt er nach jedem gelesenen Zeichen seinen Zustand so, wie es die Überführungsrelation beschreibt. Wenn der Automat sich nach dem letzten Zeichen in einem Endzustand befindet, gehört das Eingabewort zur definierten Sprache, sonst nicht. Achtung! Die Bezeichnung Endzustand ist irreführend! Es ist nicht so, dass die Abarbeitung eines Wortes immer in einem Endzustand endet, oder dass aus einem Endzustand kein weiterer Übergang mehr möglich ist. Eine bessere Bezeichnung wäre akzeptierender Zustand. Wichtige Begriffe: Konfiguration k = (s, v): s ist dabei der aktuelle Zustand, v der noch nicht gelesene Teil des Eingabewortes w. Folgezustand: Die Überführungsrelation δ beschreibt, welche Folgezustände erreicht werden können, wenn in einem Zustand s das Zeichen x gelesen wird: (s, x, s ) δ bedeutet, dass vom Zustand s beim Lesen des Zeichens x der Zustand s erreicht werden kann. Es kann zu einer Konfiguration mehrere Folgezustände geben (bei nichtdeterministischen Automaten) oder auch gar keinen Folgezustand (nicht vollständige Automaten). Schreibweise: Man fasst die Relation δ als mengenwertige Funktion auf und schreibt δ(s, x) = {s S (s, x, s ) δ} Übergang zu einer Folgekonfiguration: (s 1, xv) (s 2, v) ist möglich, wenn (s 1, x, s 2 ) δ Abarbeitung eines Wortes: Ein Wort w = x 1 x 2 x 3... x n wird komplett abgearbeitet, wenn es eine Folge von Konfigurationen gibt, die beim leeren Wort endet: (s 0, x 1 x 2...x n ) (s 1, x 2 x 3...x n ) (s 2, x 3... x n ).. (s n, ε)

6 Kurzskript Theo Inf I 6 Das Wort wird akzeptiert, wenn es komplett abgearbeitet wurde und s n ein Endzustand (akzeptierender Zustand) des Automaten ist. Die von einem endlichen Automaten A akzeptierte Sprache L(A) ist die Menge aller Wörter w Σ, die von A akzeptiert werden. Die von endlichen Automaten akzeptierten Sprachen sind genau die regulären Sprachen, dh. zu jedem regulären Ausdruck α gibt es einen endlichen Automaten A mit L(α) = L(A) und umgekehrt. 3.1 Vollständige endliche Automaten In der Überführungstabelle kann es leere Stellen geben, also Konfigurationen, zu denen es keinen Folgezustand gibt. Solche Automaten heißen nicht vollständig. Bei nicht vollständigen Automaten kann es passieren, dass ein Wort nicht komplett abgearbeitet werden kann. Verfahrung zur Vervollständigung von endlichen Automaten: Man kann jeden Automaten zu einem vollständigen Automaten machen, indem man einen neuen Zustand (tot) einführt, der an allen leeren Stellen der Tabelle eingetragen wird. Als Folgezustand für tot selber wird auch für alle Eingaben tot eingetragen. tot ist kein Endzustand (kein akzeptierender Zustand)! 3.2 ε Automaten Ein ε Automat ist ein endlicher Automat, der auch Zustandswechsel ohne Eingabe zulässt. Formal: δ S (Σ {ε}) S Man kann mit folgendem Verfahren jeden ε Automaten zu einem ε freien Automaten machen. Verfahrung zur Eliminierung von ε Übergängen: 1. Schritt: Füge einen neuen Startzustand s 0 und einen neuen Endzustand f ein, sodass der neue Automat nur genau einen Start- und Endzustand hat. Verbinde diese neuen Zustande durch ε-übergange mit den ursprünglichen Start- und Endzuständen. (Man hat nun also erst einmal mehr ε Übergänge als vorher.) 2. Schritt: Eliminiere alle ε Zyklen, indem man alle Zustände des Zyklus in einem neuen Zustand zusammenfasst. 3. Schritt: Ergänze alle ε Übergänge durch echte Übergänge: wenn (s, ε, s) δ und (s, a, t) δ, dann füge den Übergang (s, a, t) zu δ hinzu. 4. Schritt: Endzustände bestimmen: alle Zustände, aus denen sich der neue Endzustand f auf einem Weg nur aus ε Übergängen erreichen lässt, werden selber auch Endzustand. letzter Schritt: Eliminiere alle ε Übergänge und den anfangs hinzugefügten Endzustand f.

7 Kurzskript Theo Inf I 7 4 Deterministische und nichtdeterministische EA Bisher betrachtet: Nichtdeterministische EA, dh. es konnte mehrere Startzustände und zu einer Konfiguration konnte es mehrere Folgezustände geben. Bei deterministischen EA gibt es immer nur höchstens einen Folgezustand und auch nur einen Startzustand. In diesem Fall wird die Überführungs-Relation zu einer (partiellen) Funktion von S Σ S und man schreibt δ(s 1, x) = s 2 anstatt (s 1, x, s 2 ) δ bzw. statt δ(s 1, x) = {s 2 }. Bei der Angabe des Startzustandes S 0 werden häufig die Mengenklammern weggelassen und nur der Startzustand angegeben. (Endzustände kann es auch bei deterministischen EA mehrere geben, deshalb werden hier immer die Mengenklammern geschrieben.) Klar ist: Jeder deterministische EA kann auch als nichtdeterministischer EA aufgefaßt werden. umgekehrt gilt: Zu jedem nichtdeterministischen EA gibt es einen äquivalenten deterministischen EA. wie? Potenzmengenkonstruktion: Definiere neue Zustände, die Teilmengen von S entsprechen. Genauer: Sei A = (Σ, S, δ, S 0, F) der nichtdeterministsiche EA. Definiere A d = (Σ, 2 S, δ d, S d 0, F d ) durch 2 S = Menge aller Teilmengen von S (werden meist nicht alle gebraucht) S0 d = S 0 S (die Menge der Startzustände von A) F d = {R S R F } (alle Teilmengen von S, die einen Endzustand von A enthalten) und δ d (R, a) = s R δ(s, a) Praktische Vorgehensweise: Baue δ d schrittweise auf und bestimme dabei diejenigen Teilmengen von 2 S, die tatsächlich benötigt werden. 1. Schritt: Bestimme Startzustand S0 d = S 0 (dh. die Menge der Startzustände von A wird der Startzustand von A d 2. Schritt: Bestimme für jedes x Σ alle Folgezustände, die von einem Zustand aus S 0 aus erreicht werden können und fasse diese Folgezustände in einer Menge zusammen. Diese Teilmenge von S wird dann als Folgezustand von (S0, d x) für δ d definiert: δ d (S0, d x) := S := δ(s, x) Man erhält so neue Zustände, für die man das Verfahren wiederholt: folgende Schritte: Wiederhole dies für jede neue Zustandsmenge S S und für jedes x Σ bis keine neuen Zustandsmengen mehr entstehen: δ d (S, x) := s S δ(s, x) letzter Schritt: Bestimme Menge der Endzustände: alle Teilmengen, die einen der Endzustände von A enthalten. F d = {R S R F }. Beispiel für die Bildung der Mengen δ d (R, a) = s R δ(s, a): s S d 0 Seien S = {s 0, s 1, s 2, s 3 } und δ s 0 s 1 s 2 s 3 a {s 0, s 2 } {s 2, s 3 } {s 1, s 3 } die Zustandsmenge und Überführungsrelation eines endlichen nichtdeterministischen Automaten und sei R = {s 0, s 1 } eine Teilmenge von S. Dann ist für den deterministischen Automaten der Folgezustand von R für die Eingabe a definiert durch δ d (R, a) = δ(s 0, a) δ(s 1, a) = {s 0, s 2 } {s 2, s 3 } = {s 0, s 2, s 3 }

8 Kurzskript Theo Inf I 8 5 Minimale EA Ein deterministischer EA heißt minimal, wenn es keinen deterministischen EA mit weniger Zuständen gibt, der dieselbe Sprache akzeptiert. Man kann (deterministische) EA minimieren: (Idee dabei: betrachte die Zustandsmenge S als einen Zustand, der solange weiter zerlegt wird wie nötig.) 1. Schritt: Zerlege die Zustandsmenge S in zwei Teile F und S \ F. Bezeichne die beiden Teilmengen neu: S 11 := F, S 12 := S \ F. (Dies ist die 1. Partition der Menge S : Π 1 = {S 11, S 12 }) Schreibe auch die Überführungsrelation neu: Spaltenüberschriften bleiben die einzelnen Zustände, aber als Folgezustand wird nur die Teilmenge eingetragen: δ 1 : S Σ Π 1 (s, a) S 1j δ(s, a) S 1j folgende Schritte: Betrachte die Spalten (j), die zum selben Teil (Block)der Partition gehören: Falls es innerhalb eines Blocks ungleiche Spalten gibt, muss weiter zerlegt werden! falls es a S ij gibt mit δ i (s, a) δ i (t, a) für s, t S ij dann zerlege S ij in Teile, sodass jeder Teil nur aus gleichen Spalten in der Tabelle besteht. Dies bildet eine neue Partition Π i+1 Bilde für diese neue Partition eine neue Tabelle δ i+1 wie oben: Spaltenüberschriften sind immer noch die einzelnen Zustände, aber als Folgezustände werden nur die Blöcke der Partition Π i+1 eingetragen. Wiederhole dies solange, bis keine neuen Partitioenen mehr entstehen. (Die Spalten innerhalb eines Blocks sind alle gleich!) Schluss: Wenn es nun noch Blöcke gibt, die aus mehreren (gleichen) Spalten bestehen, dann können die entsprechenden Zustände zu einem zusammengefasst werden. Dies ist dann die minimale Zustandsmenge. Startzustand des minimalen Automaten ist der Block, der den Startzustand des Automaten A enthält. Endzustände des minimalen Automaten sind alle Blöcke, die einen Endzustand von A enthalten.

9 Kurzskript Theo Inf I 9 6 Rechtslineare Grammatiken Eine rechstlineare Grammatik G = (Σ, N, P, S) wird beschrieben durch die Menge der Terminalsymbole, dem Alphabet Σ die Menge der Nicht-Terminalsymbole, dem Alphabet N (mit N Σ = ) einer Menge von Produktionsregeln P( N Σ N Σ {ε}) und einem Startsymbol S( N). Die Produktionsregeln (l, r) mit l N und r Σ N Σ {ε} werden meist in der Form l r geschrieben. Das soll heißen: Auf der linken Seite des steht ein einzelnes Nichtterminalsymbol, auf der rechten Seite steht entweder ein Terminalsymbol gefolgt von einem Nichtterminalsymbol oder ein einzelnes Terminalsymbol oder ε. Ein Ableitungsschritt erlaubt es, in einem beliebigen Wort (Σ N) + ein Nichtterminalsymbol l durch r zu ersetzen, wenn l r eine Produktionsregel aus P ist: ulv urv Eine Ableitung x y ist eine Folge von Ableitungsschritten x x 1 x 2 x 3... x n = y. Ein Wort w Σ heißt ableitbar, wenn es eine Ableitung aus dem Startsymbol gibt: S w. Die von der Grammatik G erzeugte Sprache ist die Menge aller ableitbaren Wörter: L(G) = {w Σ S w}. Die von rechslinearen Grammatiken erzeugten Sprachen sind genau die regulären Sprachen, dh. zu jedem endlichen Automaten A gibt es eine rechslineare Grammatik G mit L(G) = L(A) und umgekehrt. : (Gegeben: endlicher Automat A = (Σ, S, δ, s 0, F) Gesucht: rechtslineare Grammatik) Wähle als Terminalalphabet Σ Wähle als Nicht-Terminalalphabet N die Menge der Zustände: N = S Wähle als Startsymbol s 0 Konstruiere P : für jeden Übergang (s, a, s ) δ füge die Regel s as in P ein für jeden Endzustand s F füge die Regel s ε in P ein : (Gegeben: rechtslineare Grammatik G = (Σ, N, P, S) Gesucht: endlicher Automat) Wähle als Eingabealphabet Σ Wähle als Zustandsmenge die Menge der Nicht-Terminalsymbole und ein weiteres neues Symbol N {f} Wähle als Startzustand S Definiere als Menge der Endzustände alle Symbole, die einen Übergang nach ε haben und das neue Symbol f: F = {B N B ε P } {f} Konstruiere δ: für jede Regel B ac P füge den Übergang (B, a, C) in δ ein für jede Regel B a P füge den Übergang (B, a, f) in δ ein Merkregel: B ac B a C B a B a f B ε B

10 Kurzskript Theo Inf I 10 7 Abschlußeigenschaften regulärer Sprachen und das Pumping-Lemma Abschlußeigenschaften regulärer Sprachen Wie kann man zeigen, dass eine gegebene Sprache L (über einem gegebenen Alphabet Σ) regulär ist? Dazu gibt es viele alternative Möglichkeiten: Indem man einen regulären Ausdruck angibt, der L beschreibt, oder indem man einen endlichen Automaten angibt, der L akzeptiert, oder indem man eine rechtslineare Grammatik angibt, die L erzeugt, oder indem man eine Sprache L 0 oder zwei Sprachen L 1, L 2 angibt, von denen man bereits weiß, dass sie regulär sind und zeigt, dass L = L 1 L 2 ist, oder L = L 1 L 2 ist, oder L = L 1 \ L 2 ist, oder L = L 1 L 2 ist, oder L = Σ \ L 0 ist, oder L = L 0 ist, oder L = SP(L 0 ) (die Spiegelung von L 0 ) ist. Sprachen, von denen man bereits weiß, dass sie regulär sind, sind u.a. die leere Sprache {} das Alphabet Σ selber die gesamte Wortmenge Σ jede endliche Sprache (Sprachen, die nur aus endlich vielen Wörtern bestehen) Wie kann man zeigen, dass eine gegebene Sprache L (über einem gegebenen Alphabet Σ) nicht regulär ist? Mit der Umkehrung der Abschlußeigenschaften: Finde eine nichtreguläre Sprache L 0 und eine reguläre Sprache L 1 und zeige, dass L 0 = L 1 L ist, oder L 0 = L 1 L ist, oder L 0 = L 1 \ L oder L 0 = L \ L 1 ist, oder L 0 = L 1 L oder L 0 = L L 1 ist, oder L 0 = Σ \ L 1 ist, oder L 0 = L 1 ist, oder L 0 = SP(L 1 ) (die Spiegelung von L 1 ) ist. Berühmtes Beispiel für eine nichtreguläre Sprache: L = {a n b n n 0} Alternative Möglichkeiten, um zu zeigen, dass eine Sprache L nicht regulär ist:

11 Kurzskript Theo Inf I 11 Das Pumping-Lemma Das Pumping-Lemma trifft eine Aussage der Form wenn L regulär ist, dann... Damit kann man niemals beweisen, dass eine Sprache regulär ist, sondern nur (durch indirekten Beweis), dass eine Sprache nicht regulär ist! Das Pumping-Lemma für reguläre Sprachen lautet: Wenn L regulär ist, dann gilt: Es gibt eine Zahl k N +, sodass für alle Wörter z L, deren Länge mindestens k ist, eine Zerlegung in drei Teile z = uvw existiert mit 1. v 1 (dh. v ist nicht das leere Wort) 2. uv k (dh. uv hat höchstens die Länge k) und 3. uv i w L für alle i N 0 Um zu beweisen, dass eine Sprache L nicht regulär ist, zeigt man entweder: die Aussage des Pumping-Lemmas gilt nicht, oder man zeigt: die Annahme, L sei regulär (und die Aussage des Pumping-Lemmas gelte), führt zu einem Widerspruch. Die praktische Vorgehensweise ist in beiden Fällen gleich: 1. nimm an, es gebe ein k N + (bzw. wähle ein beliebiges k N + ) 2. wähle ein spezielles Wort z L mit Länge k 3. untersuche jede mögliche Zerlegung z = uvw mit v 1 und uv k und zeige, 4. dass es immer ein spezielles i N 0 gibt, sodass uv i w L. (Dieses spezielle i kann für jede mögliche Zerlegung ein anderes sein! Beliebte Werte: i = 0 oder i = 2.)

12 Kurzskript Theo Inf I 12 8 Anwendungen Tipps zur Konstruktion von endlichen Automaten: Zustandsdiagramm schrittweise entwickeln sinnvolle Bezeichnungen für die Zustände wählen lieber zuviele Zustände als zu wenige 9 Mealy- und Moore-Maschinen Erinnerung endliche Automaten: gehen abhängig vom Zustand und aktueller Eingabe in Folgezustand arbeiten, bis das Eingabewort komplett abgearbeitet ist (sofern Folgezustände existieren) geben ja aus, falls Abarbeitung in einem akzeptierenden Zustand endet, geben nein aus, falls Abarbeitung in irgendeinem anderen Zustand endet. Etwas anders Mealy-Maschinen: gehen abhängig vom Zustand und aktueller Eingabe in Folgezustand arbeiten, bis das Eingabewort komplett abgearbeitet ist (sofern Folgezustände existieren) produzieren zusätzlich bei jedem Zustandsübergang ein Ausgabezeichen produzieren so für jede Eingabe ein Ausgabewort in welchem Zustand die Abarbeitung endet, ist egal; brauchen also keine Endzustandsmenge (besser: akzeptierende Zustände). Formal: Eine Mealy-Maschine ist definiert durch M = (Σ, Λ, S, δ, λ, s 0 ) mit Eingabealphabet Σ Ausgabealphabet Λ Zustandsmenge S Zustandsüberführungsfunktion δ : S Σ S Ausgabefunktion λ : S Σ Λ Startzustand s 0 Defintion der Ausgabe: f M (xw) = λ (s 0, xw) = λ(s 0, x) λ (δ(s 0, x), w) Moore-Maschine: wie Mealy-Maschine, nur dass nun die Ausgabe nicht bei einem Zustandsübergang, sondern beim einzelnen Zustand erfolgt. (Auch beim Startzustand, deshalb ist hier die Ausgabe immer eins länger als die Eingabe.) Also: Ausgabefunktion λ : S Λ