Theoretische Informatik

Vorlesung Theoretische Informtik Version: März 23 Mrin Mrgrf

Inhltsverzeichnis Einführung 4. Ds Problem Clique.................................. 5.2 Wort-, Entscheidungs-, Optimierungsprobleme und formle Sprchen....... 7 2 Endliche Automten 2. Deterministische endliche Automten......................... 2.2 Deterministische endliche Automten und ds Wortproblem............ 6 2.3 Minimierungslgorithmus............................... 6 2.4 Nichtreguläre Sprchen................................. 22 2.5 Nichtdeterministische endliche Automten...................... 24 2.6 Abschlusseigenschften................................. 29 2.7 Reguläre Ausdrücke.................................. 32 3 Grmmtiken 35 3. Chomsky-Hierrchie.................................. 37 3.2 Grmmtiken und ds Wortproblem......................... 38 3.3 Rechtslinere Grmmtiken und deterministische endliche Automten...... 4 3.4 Kontextfreie Grmmtiken.............................. 43 3.4. Kontextfreie Grmmtiken und ds Wortproblem.............. 44 3.4.2 Kontextfreie Grmmtiken und Kellerutomten.............. 53 3.4.3 Kellerutomten und ds Wortproblem................... 58 3

Einführung Die theoretische Informtik beschäftigt sich mit der Abstrktion, Modellbildung und grundlegenden Frgestellungen, die mit der Struktur, Verrbeitung, Übertrgung und Wiedergbe von Informtionen in Zusmmenhng stehen. Ziel der theoretischen Informtik ist lso die Anlyse der in der Informtik uftretenden Probleme und Strukturen mit mthemtischen Methoden. Im Zentrum stehen Begriffe wie Algorithmus, Progrmm, Progrmmiersprche, Berechnung und Effizienz. Es geht um die folgenden Frgen: Wie knn mn Algorithmen finden und uf ihre Leistung untersuchen? Gibt es Probleme, die sich nicht lgorithmisch lösen lssen oder nicht effizient lösen lssen? Wie lässt sich der lgorithmische Aufwnd zur Lösung eines Problems minimieren? Und schließlich, welche Methoden gibt es, Progrmme fehlerfrei zu entwickeln? Typische Aufgbengebiete, mit denen wir uns in der Vorlesung beschäftigen, sind: Formle Sprchen und Automtentheorie: Sei Σ eine Menge (für uns interessnt z.b. Σ = {,}, Σ = {,b,c,...,z}). Wir nennen Σ uch Alphbet. Mit Σ + := {w w n ;n N und w,...,w n Σ} bezeichnen wir die Menge ller Wörter, die über dem Alphbet Σ gebildet werden können. Weiter seiǫdsleerewort(lsodswortohnebuchstben)undσ := Σ + {ǫ}.eineteilmengel Σ heißt uch formle Sprche. Eine wichtige Frgestellung ist: Wie beschreibt mn die (meist unendliche) Menge von Wörtern mit endlichem Aufwnd? Wie entscheidet mn mit endlichem Aufwnd, ob ein Wort w Σ zur Sprche L Σ gehört. Wir werden noch sehen, dss sich viele Probleme us der theoretischen Informtik uf folgende Frgestellung reduzieren lssen: Wortproblem (L Σ ). Eingbe: Ein Wort w Σ. Frge: Gilt w L. Dieses uf den ersten Blick einfche Frgestellung ist ttsächlich für viele Sprchen sehr schwer zu lösen. Wir werden sogr sehen, dss es Sprchen L gibt, für die ds Wortproblem nicht lösbr ist Ein typischer Anwendungsfll ist die Entscheidung, ob ein gegebenes Progrmm syntktisch korrekt ist. Betrchtet mn die Menge ller Progrmme einer Progrmmiersprche ls Sprche über einem geeigneten Alphbet, so reduziert sich diese Frge uf ds oben definierte Wortproblem. Um diese Frge ber bentworten zu können, benötigen wir eine Beschreibung/Chrkterisierung der Sprche ller Progrmme einer Progrmmiersprche so, dss wir ds Wortproblem ttsächlich mittels eines Algorithmus entscheiden können. Wir werden verschiedene Chrkterisierungen von Sprchen kennen lernen: Über Grmmtiken: Grmmtiken dienen dzu, Wörter und dmit Sprchen zu erzeugen. Wir lernen unterschiedliche Grmmtiktypen kennen und untersuchen diese nch ihrer Fähigkeit, komplexe Sprchen zu erzeugen und für diese ds Wortproblem zu lösen. 4

KAPITEL. EINFÜHRUNG Über Automten: Automten sind Algorithmen, mit denen entschieden werden knn, ob ein Wort zu einer Sprche gehört. Wir lernen verschiedene Automtenklssen kennen, z.b. deterministische und nichtdeterministische endliche Automten, Kellerutomten, liner beschränkte Automten und Turingmschinen. Ähnlich wie bei den Grmmtiken untersuchen wir die verschiedenen Automtenklssen nch ihrer Fähigkeit, komplexe Probleme brbeiten zu können (insb. in Hinblick uf ds Wortproblem). Weiter schuen wir uns die Verbindung zwischen den Grmmtiktypen und den Automtenklssen n. Berechenbrkeit: Es ist einfch, von einem Problem zu zeigen, dss es lösbr ist oder von einer Funktion zu zeigen, dss diese berechenbr ist: Mn gibt einfch einen Algorithmus für ds Problem bzw. die Funktion n (z.b. ein C++-Progrmm). Um zu zeigen, dss ein Problem, z.b. ds Wortproblem für eine formle Sprche L, nicht lösbr ist, benötigen wir eine formle Definition des Begriffs Algorithmus. Wir werden verschiedene Definitionen kennen lernen und sehen, dss diese äquivlent sind, d.h. die selben Probleme lösen bzw. die selben Funktionen berechnen. Komplexitätstheorie: Uns interessiert nicht nur, ob Probleme lösbr sind, sondern uch wie effizient, d.h. wie schnell eine Lösung gefunden werden knn. Probleme werden n Hnd ihrer effizienten Lösbrkeit in sogennnten Komplexitätsklssen zusmmengefsst. Wir untersuchen in dieser Vorlesung die beiden Komplexitätsklssen P (in Polynomilzeit lösbr) und NP (nichtdeterministisch in Polynomilzeit lösbr) und erläutern in diesem Zusmmenhng eines der wichtigsten Frgen us dem Bereich der Algorithmik: Gilt P NP. Mit diesen Frgestellungen beschäftigen wir uns in dieser Vorlesung. Weitere Themen der theoretischen Informtik sind Kryptologie, Informtionstheorie, Algorithmik, Logik und Dtenbnktheorie.. Ds Problem Clique Wir behndeln in diesem Abschnitt ein typisches Problem us der theoretischen Informtik. Ein (endlicher) Grph ist ein Tupel G = (V,E), wobei V = V(G) eine endliche Menge und E = E(G) eine Teilmenge der zweielementigen Teilmengen von V ist. Die Elemente von V heißen Knoten (oder Ecken) und die Elemente von E Knten. Wir sgen, ein Knoten v V inzidiert mit einer Knte e E, wenn v e gilt. Weitere Formulierungen sind: v liegt uf e, e geht durch v oder v ist ein Endknoten von e. Beispiel.. Als Beispiel betrchten wir den Grphen G = (V,E) mit den Knoten V = {v,v 2,v 3,v 4 } und Knten E = {{v,v 2 },{v,v 3 },{v,v 4 },{v 2,v 4 },{v 3,v 4 }}. Eine Clique W V in G ist eine Teilmenge der Knotenmenge so, dss je zwei Knoten us W durch eine Knte verbunden sind. Beispiel.2. Der Grph us Abbildung. ht Fünf Cliquen der Größe 2: C = {v,v 2 }, C 2 = {v,v 3 }, C 3 = {v,v 4 }, C 4 = {v 2,v 4 }, C 5 = {v 3,v 4 } (jede Knte in G ist uch eine Clique der Größe 2), und Zwei Cliquen der Größe 3: C = {v,v 3,v 4 }, C 2 = {v,v 2,v 4 }. Die Menge V = {v,v 2,v 3,v 4 } ist keine Clique, d die Knoten v und v 3 nicht durch eine Knte verbunden sind. Gleiches gilt für die Mengen {v,v 2,v 3 } und {v 2,v 3,v 4 }. Dmit können wir die in diesem Abschnitt behndelten Probleme wie folgt formulieren. 5

KAPITEL. EINFÜHRUNG v v 2 v 3 v 4 Abbildung.: Ein Grph mit vier Knoten und fünf Knten. Optimierungsproblem (Clique). Eingbe: Ein Grph G = (V,E) Ausgbe: Eine Clique mximler Größe. Solche Probleme heißen uch Optimierungsprobleme. Mn unterscheidet zwischen Mximierungsund Minimierungsproblemen. Ds Optimierungsproblem gehört zur Klsse der Mximierungsprobleme, d hier eine bestimmte Eigenschft (Anzhl der Knoten in einer Clique) mximiert werden soll. Beispiel.3. Für den in Abbildung. drgestellten Grphen muss ein Algorithmus für ds obige Problem lso die Menge C = {v,v 3,v 4 } oder C 2 = {v,v 2,v 4 } usgeben. Im Gegenstz zu Optimierungsproblemen, in denen etws konstruiert werden soll, bentworten Entscheidungsprobleme lediglich Frgen (und zwr nur solche Frgen, die mit j oder nein bentwortet werden können). Entscheidungsproblem (Clique). Eingbe: Ein Grph G = (V,E) und eine ntürliche Zhl n N Frge: Gibt es eine Clique der Größe mindestens n in G. Beide Probleme, d.h. Optimierungs- und Entscheidungsproblem, hängen ntürlich zusmmen. So gilt z.b.: Gibt es einen Algorithmus für ds Optimierungsproblem Clique, so lässt sich drus sofort uch ein Algorithmus für die Entscheidungsvrinte konstruieren. Sei dzu A ein Algorithmus für ds Optimierungsproblem, der bei Eingbe eines Grphen G = (V,E) eine mximle Clique C = A(G = (V,E)) berechnet. Der folgende Algorithmus löst dnn ds Entscheidungsproblem Clique. Algorithmus für ds Entscheidungsproblem Clique Eingbe: G = (V,E) und k N C := A(G = (V,E)) (Bestimme eine mximle Clique C in G) 2 k := C (Bestimme die Größe von C) 3 if k k then 4 return whr 5 else 6 return flsch 7 fi Für die beiden Probleme gilt lso: Ist ds Optimierungsproblem lösbr, dnn gilt dies uch für ds Entscheidungsproblem. Zusätzlich ist ds Lufzeitverhlten für beide Algorithmen sehr 6

KAPITEL. EINFÜHRUNG ähnlich, d.h. wenn es einen effizienten (schnellen) Algorithmus für ds Optimierungsproblem gibt, dnn uch für ds Entscheidungsproblem. Die Umkehrung gilt im Allgemeinen nicht, us einem effizienten Algorithmus für die Entscheidungsvrinte lässt sich nicht immer uch ein effizienter Algorithmus für ds Optimierungsproblem konstruieren..2 Wort-, Entscheidungs-, Optimierungsprobleme und formle Sprchen Sei Σ eine endliche Menge. Wir nennen im Folgenden Σ ein Alphbet (z.b. Σ = {,}, Σ = {,b,c,...}). Mit Σ + := {w = w w 2 w n ;n N und w,...,w n Σ} bezeichnen wir die Menge ller Wörter über Σ, ǫ ist ds leere Wort und Σ := Σ + {ǫ}. Eine Teilmenge L Σ heißt uch Sprche. Ziel der Betrchtung formler Sprchen ist die Untersuchung des folgenden Problems: Wortproblem (L). Eingbe: Ein Wort w Σ. Frge: Gilt w L. Wie ds bereits kennen gelernte Problem Clique Entscheidungsproblem (Clique). Eingbe: Ein Grph G = (V,E) und eine ntürliche Zhl k N. Frge: Gibt es eine Clique C der Größe k in G? ist uch ds Wortproblem für jede Sprche L Σ ein Entscheidungsproblem. Auch hier gibt es nur die möglichen Antworten j oder nein. Auf den ersten Blick scheint es sich bei Wortproblemen lso um spezielle Entscheidungsprobleme zu hndeln. Wir werden jetzt ber m Beispiel des Problems Clique zeigen, wie sich Entscheidungsprobleme uf Wortprobleme reduzieren lssen. Mit nderen Worten: Zu jedem Entscheidungsproblem Π gibt es eine Sprche L Π {,} so, dss ds Entscheidungsproblem Π genu dnn entscheidbr ist, wenn ds Wortproblem L Π entscheidbr ist. Dzu überlegen wir uns zunächst, wie wir Eingben des Problems Clique (sowohl des Optimierungs- ls uch des Entscheidungsproblems) so kodieren können, dss diese Eingben durch Bitstrings, d.h. durch Wörter über dem Alphbet {, } repräsentiert werden. Eingben des Optimierungsproblems Clique sind Grphen. Sei im Folgenden G = (V, E) ein Grph mit V = {v,...,v n } und E = {e,...,e m }. Dnn heißt die Mtrix I G = ( ij ) i {,...,n} j {,...,m} mit ij = {, flls v i e j,, sonst Inzidenzmtrix von G. Beispielsweise erhlten wir für den in Abbildung.2 betrchteten Grphen die Inzidenzmtrix us Tbelle.. Mit Hilfe der Inzidenzmtrix I G = ( ij ) i {,...,n} lässt sich jeder Grph G = (V,E) ls ein Wort j {,...,m} über dem Alphbet Σ = {,} wie folgt kodieren: ( m }{{} Anzhl Knten n }{{} Anzhl Knoten } 2 {{ m } 2 nm ) Σ. erste Zeile der Inzidenzmtrix 7

KAPITEL. EINFÜHRUNG v 5 e e 2 e 8 v 3 v 4 e 5 e 6 e 7 e 3 e 4 v v 2 Abbildung.2: Der Grph zur Inzidenzmtrix in Tbelle.. e e 2 e 3 e 4 e 5 e 6 e 7 e 8 v v 2 v 3 v 4 v 5 Tbelle.: Die Inzidenzmtrix zum Grphen us Abbildung.2. Aus der Kodierung lässt sich offensichtlich die Inzidenzmtrix und dmit uch der Grph zurückgewinnen. Zunächst zählt mn dzu die Einsen bis zur ersten Null und erhält so die Anzhl der Knten des Grphen. Dnch zählt mn die Einsen zwischen den ersten beiden Nullen und erhält so die Anzhl der Knoten. Dnch lässt sich sofort die Inzidenzmtrix us dem restlichen Bitstring zurückgewinnen. Auf diese Weise wird uch überprüft, ob der Bitstring überhupt eine gültige Kodierung eines Grphen ist. Beispiel.4. (i) Die Kodierung für den Grphen us Abbildung. lutet 8 5. (ii) Der Bitstring bildet keine gültige Kodierung eines Grphen. Nch den ersten sieben Stellen müsste der Grph genu zwei Knten und drei Knoten hben. Eine Inzidenzmtrix für solch einen Grphen ht lso sechs Einträge, llerdings sind im obigen Bitstring nur vier weitere Bits, die diese Einträge repräsentieren, vorhnden. Hinweis: Es gibt deutlich bessere Methoden, Grphen über dem Alphbet {, } zu kodieren. Dmit wollen wir uns n dieser Stelle ber nicht beschäftigen. Unser Ziel ist lediglich einzusehen, dss sich Grphen ls Bitstrings kodieren lssen und dmit letztlich die Menge ller Grphen ls Sprche über {, } ufgefsst werden knn. Ähnlich lssen sich dnn uch die Eingben des Entscheidungsproblems Clique kodieren. Hier muss neben dem Grphen G = (V,E) uch eine ntürliche Zhl k N kodiert werden. Sei wieder G = (V,E) ein Grph mit n = V und m = E und I G = ( ij ) i {,...,n} die Inzidenzmtrix des j {,...,m} Grphen. Sei weiter k N eine ntürliche Zhl und k...k t {,} die Binärdrstellung von k (d.h. k = t i= k i2 i ). Dnn repräsentiert ds folgende Wort über dem Alphbet {,} die Eingbe (G, k). ( }{{} m }{{} n 2 m }{{} 2 nm Anzhl Knten Anzhl Knoten erste Zeile der Inzidenzmtrix }{{} Kodierung des Grphen k...k t }{{} Binärdrstellung von k ). 8

KAPITEL. EINFÜHRUNG Sei nun L Clique := {w Σ ;w ist die Kodierung einer Eingbe des Entscheidungsproblems Clique}. DnngiltL Clique {,}.WirnennendieseSprcheuchdieMengederzulässigenKodierungen des Entscheidungsproblems Clique. Die Sprche L Clique zerfällt in zwei disjunkte Teilmengen: L flse Clique L true Clique := {w L Clique ;w kodiert eine Nein-Eingbe des Entscheidungsproblems Clique} := {w L Clique ;w kodiert eine J-Eingbe des Entscheidungsproblems Clique} Diese zweite Menge L true Clique heißt die zum Entscheidungsproblem Clique ssoziierte Sprche. Wir hben jetzt drei verschiedene Probleme: Optimierungsproblem (Clique). Eingbe: Ein Grph G = (V,E) Ausgbe: Eine Clique mximler Größe. Entscheidungsproblem (Clique). Eingbe: Ein Grph G = (V,E) und eine ntürliche Zhl n N Frge: Gibt es eine Clique der Größe mindestens n in G. Wortproblem (Clique). Eingbe: Ein Wort w {,} Frge: Gilt w L true Clique? Wie hängen diese Probleme zusmmen? Wir hben bereits gesehen, dss ds Optimierungsproblem Clique mindestens so schwer ist wie ds Entscheidungsproblem Clique, ein Algorithmus für die Optimierungsvrinte führt sofort zu einem Algorithmus für die Entscheidungsvrinte (siehe Seite 6). Ähnlich hängen uch ds Wortproblem und ds Entscheidungsproblem zusmmen: Ein Algorithmus A für ds Entscheidungsproblem, der zu einem gegebenen Grph G und einer ntürlichen Zhl k entscheidet, ob G eine Clique der Größe k enthält, d.h. { whr, flls G eine Clique der Größe k enthält, A(G,k) = flsch, sonst liefert sofort einen Algorithmus für ds Wortproblem: Algorithmus für ds Wortproblem Clique Eingbe: w {,} Berechne us w den Grphen G und die ntürliche Zhl k 2 boolen b := A(G,k); /*genu dnn whr, wenn es eine Clique der Größe k in G gibt*/ 3 return b; Es gilt nun: Ist ds Optimierungsproblem Clique lösbr, so uch ds Entscheidungsproblem, und, ist ds Entscheidungsproblem Clique lösbr, so uch ds Wortproblem. Diese Aussge gilt so für lle Probleme. Im Umkehrschluss bedeutet dies: Ist ds Wortproblem nicht lösbr/nicht entscheidbr, so uch nicht ds Entscheidungsproblem, und, ist ds Entscheidungsproblem nicht lösbr/nicht entscheidbr, so ist uch ds Optimierungsproblem nicht lösbr. Im Sinne der Effizienz, d.h. dem Lufzeitverhlten eines Algorithmus zum Lösen der jeweiligen Probleme, erhlten wir nloge Aussgen: z.b. hben wir gesehen, dss sich der Algorithmus 9

KAPITEL. EINFÜHRUNG für ds Wortproblem in seiner Lufzeit nicht strk von der Lufzeit des Algorithmus für ds Entscheidungsproblem unterscheidet. Hinweis: Für die drei in Bezug uf Clique formulierten Probleme gilt uch jeweils die Umkehrung, d.h. ein Algorithmus für ds Wortproblem liefert uch einen Algorithmus für ds Entscheidungsproblem (diese Aussge gilt im Allgemeinen für lle ntürlichen Entscheidungsprobleme, siehe Vorlesung Komplexitätstheorie) und ein Algorithmus für ds Entscheidungsproblem liefert uch einen Algorithmus für ds Optimierungsproblem (dies gilt im Allgemeinen nicht).

2 Endliche Automten Wie wir im ersten Kpitel m Beispiel des Problems Clique gesehen hben, lssen sich Entscheidungsprobleme ls Wortprobleme über Sprchen L {,} uffssen. Die Frge ist nun, für welche Sprchen ds Wortproblem entscheidbr ist, d.h. für welche Sprchen es einen Algorithmus gibt, der ds Wortproblem löst. Ein Algorithmus ist nichts nderes ls eine Berechnungsvorschrift: Zu einer Eingbe (z.b. einem Wort w Σ und einer Sprche L Σ ) beschreiben wir, welche Berechnungsschritte der Algorithmus durchführen muss, um ein Ergebnis zu erzielen. Dbei stellt sich die Frge, welche Berechnungsschritte/Berechnungsmöglichkeiten wir für einen Algorithmus erluben. Es ist klr, dss unterschiedliche Berechnungsmodelle unterschiedlich mächtig sind, d.h. in der Lge sind, unterschiedlich komplexe Probleme zu lösen. Wir lernen in der Vorlesung verschiedene Berechnungsmodelle kennen und werden nlysieren, für welche Sprchen mit dem jeweiligen Berechnungsmodell ds Wortproblem entscheidbr ist. 2. Deterministische endliche Automten Wir beginnen mit der Klsse der deterministischen endlichen Automten, einem reltiv einfchen Berechnungsmodell. Definition 2.. Ein deterministischer endlicher Automt A ist ein 5 Tupel A = (Q,Σ,q,δ,F), wobei ist. Q eine endliche Menge (Menge der Zustände), Σ ein endliches Alphbet mit Σ Q =, q Q (der Anfngszustnd), δ : Q Σ Q eine Abbildung (die Übergngsfunktion) und F Q (Menge der Endzustände) Wir stellen uns die Arbeitsweise eines deterministischen endlichen Automten wie folgt vor: Zu Beginn steht der Lesekopf uf dem ersten Feld des Arbeitsbndes. In jedem Schritt rbeitet der Automt wie folgt: Gilt: dnn Der Automt befindet sich im Zustnd q und ließt den Buchstben x geht er in den Zustnd δ(q,x) über und bewegt den Lesekopf um eine Stelle nch rechts. Nch Abrbeiten des Wortes uf dem Arbeitsbnd gibt es zwei Fälle: Der Automt befindet sich in einem Endzustnd: dnn kzeptiert der ds Wort.

KAPITEL 2. ENDLICHE AUTOMATEN Lesekopf b b b b b b Arbeitsbnd Progrmm, gesteuert durch die Übergngsfunktion Abbildung 2.: Arbeitsweise eines deterministischen endlichen Automten Der Automt befindet sich in keinem Endzustnd: dnn kzeptiert er ds Wort nicht. Gegeben sei der folgende deterministische endliche Automt A = (Q,Σ,q,δ,F) mit Q = {q,q,q 2 },Σ = {,},F = {q 2 } und der Übergngsfunktion δ(q,) = q,δ(q,) = q,δ(q,) = q 2,δ(q,) = q,δ(q 2,) = q,δ(q 2,) = q 2. Die folgende grphische Repräsenttion dieses Automten nennen wir uch Zustndsübergngsdigrmm: q q q 2 Abbildung 2.2: Zustndsübergngsdigrmm eines deterministischen endlichen Automten Für uns von Interesse ist die Nutzung dieser Automten für ds in der Einleitung definierte Wortproblem. Dzu definieren wir zunächst: Definition 2.2. (Erweiterte Übergngsfunktion) Sei A = (Q,Σ,q,δ,F) ein deterministischer endlicher Automt. Die erweiterte Übergngsfunktion δ : Q Σ Q ist itertiv wie folgt definiert: Für lle q Q und w Σ gilt δ (q,w) := q, flls w = ǫ, δ (q,w) := δ(q,), flls w Σ, δ (q,w) := δ (δ(q,),w ), flls w = w mit Σ und w Σ. 2

KAPITEL 2. ENDLICHE AUTOMATEN Beispiel 2.3. Für den in Abbildung 2.2 drgestellten Automten gilt z.b.: δ (q,) = δ (δ(q,) }{{} =q,) = δ (δ(q,) }{{} =q,) = δ (δ(q,) }{{} =q 2,) = δ (δ(q 2,) }{{} =q 2,) = δ (δ(q 2,) }{{} =q 2,) = δ (δ(q 2,) }{{} =q,ǫ) = δ (q,ǫ) = q. Definition 2.4. Sei A = (Q,Σ,q,δ,F) ein deterministischer endlicher Automt. Wir sgen, dss A ds Wort w Σ kzeptiert, wenn δ (q,w) F. Die Menge L(A) := {w Σ ;δ (q,w) F} ller von A kzeptierten Wörter heißt die von A kzeptierte Sprche. Eine Sprche L heißt regulär, wenn es einen deterministischen endlichen Automten A mit L = L(A) gibt. Beispiel 2.5. Für den Automten us Abbildung 2.2 gilt L(A) = {w {,} ;w enthlt gerde viele Nullen}. In der Definition deterministischer endlicher Automten fordern wir insbesondere, dss die Übergngsfunktion δ totl ist, d.h. dss δ für lle (q,) Q Σ definiert ist. Dss dies keine wirkliche Einschränkung ist, zeigt ds folgende Beispiel. Beispiel 2.6. Wir betrchten den Automten in Abbildung 2.3: b q q Abbildung 2.3: Automt mit prtieller Übergngsfunktion Dδ(q,b)nichtdefiniertist,istdieserkeindeterministischerendlicherAutomtimSinneunserer Definition. Wir können ber durch geeignetes Hinzufügen eines sogennnten Ppierkorbzustndes die Übergngsfunktion so fortsetzen, dss sich die vom Automten kzeptierte Sprche nicht ändert und δ totl ist. Beispiel 2.7. FüreinWortw = w w n {,} bezeichnenwirmitnt(w) = n i= w n i2 i die durch den Bitstring w repräsentierte ntürliche Zhl(der Bitstring w ist lso die Binärdrstellung der Zhl nt(w) (most significnt bit first)). Beispielsweise gilt: nt() =,nt() =,nt() = 4,nt() = nt() = 3. 3

KAPITEL 2. ENDLICHE AUTOMATEN b b,b q q q 2 Abbildung 2.4: Automt mit totler Übergngsfunktion Im folgenden konstruieren wir einen determinisitischen endlichen Automten für die Sprche L = {w w n {,} ;nt(w) ist eine durch 3 teilbre Zhl}, lso die Sprche der Bitstrings, die eine durch 3 teilbre ntürliche Zhl repräsentieren. Bevor wir den Automten konstruieren, benötigen wir noch einige Vorüberlegungen:. nt(w) = 2 nt(w), denn für w = w w n und w n+ = gilt nt(w) = n w n+ i 2 i i= = w n+ 2 + n w n+ i 2 i i= n = + w n+ (n+) 2 i+ = i= n w n i 2 2 i i= n = 2 w n i 2 i i= = 2 nt(w). 2. nt(w) = 2 nt(w)+, denn für w = w w n und w n+ = gilt nt(w) = n w n+ i 2 i i= = w n+ 2 + n w n+ i 2 i i= n = + w n+ (n+) 2 i+ i= n = + w n i 2 2 i i= n = +2 w n i 2 i i= = +2 nt(w). 3. Für jede ntürliche Zhl k N gilt k mod 3 {,,2}, d.h. bei Teilung der Zhl durch drei erhlten wir entweder den Rest, oder 2. Gilt k mod 3 =, so ist k durch 3 teilbr (dies sind lso genu die Zhlen, die der Automt kzeptieren soll). 4

KAPITEL 2. ENDLICHE AUTOMATEN 4. Aus ) und 2) erhlten wir Ist nt(w) mod 3 =, dnn gilt nt(w) mod 3 = und nt(w) mod 3 =. Ist nt(w) mod 3 =, dnn gilt nt(w) mod 3 = 2 und nt(w) mod 3 =. Ist nt(w) mod 3 = 2, dnn gilt nt(w) mod 3 = und nt(w) mod 3 = 2. Nch diesen Vorüberlegungen ist die Konstruktion einfch: Wir benötigen drei Zustände q,q und q 2. Jeder Zustnd soll repräsentieren, in welchem Zustnd (in Bezug uf die Eigenschft Teilbrkeit der Zhl durch 3 mit Rest, oder 2) sich die bis hierhin gelesene Zhl befindet. Genuer, ist δ die erweiterte Übergngsfunktion des Automten und w = w w n {,} der Bitstring, der diese Zhl repräsentiert, so soll gelten δ (q,w w k ) = q i nt(w w k ) mod 3 = i für lle k n. q q q Für Bitstrings Für Bitstrings Für Bitstrings die bis hier die bis hier die bis hier gelesen wurden gelesen wurden gelesen wurden gilt w mod 3 = gilt w mod 3 = gilt w mod 3 = 2 Abbildung 2.5: Automt für die Sprche der durch 3 teilbren ntürlichen Zhlen Es muss lso gelten: Befindet sich der Automt im Zustnd q und liesteine,sobleibterimzustndq (usnt(w) mod 3 = folgtnt(w) mod 3 =, d.h. δ(q,) = q ), liest eine, so geht er in den Zustnd q über (us nt(w) mod 3 = folgt nt(w) mod 3 =, d.h. δ(q,) = q ). Befindet sich der Automt im Zustnd q und liesteine,sogehterindenzustndq 2 (usnt(w) mod 3 = folgtnt(w) mod 3 = 2. d.h. δ(q,) = q 2 ), liest eine, so geht er in den Zustnd q über (us nt(w) mod 3 = folgt nt(w) mod 3 =, d.h. δ(q,) = q. Befindet sich der Automt im Zustnd q 2 und liesteine,sogehterindenzustndq über(usnt(w) mod 3 = 2folgtnt(w) mod 3 =. D.h. δ(q 2,) = q, 5

KAPITEL 2. ENDLICHE AUTOMATEN liesteine,sobleibterimzustndq 2 (usnt(w) mod 3 = 2folgtnt(w) mod 3 = 2, d.h. δ(q 2,) = q 2. Insgesmt erhlten wir den in Abbildung 2.5 drgestellten Grphen. Der Anfngszustnd q ist zugleich der Endzustnd, d lut unserer Konstrukion für lle w {,} mit δ (q,w) = q gilt nt(w) mod 3 =, d.h. dies sind genu die Bitstrings, die die durch 3 teilbren Zhlen repräsentieren. 2.2 Deterministische endliche Automten und ds Wortproblem Wir kommen uf die in der Einleitung kennen gelernten Probleme zurück und werden sehen, dss diese für Sprchen, die durch deterministische endliche Automten gegeben sind, entscheidbr sind. Dbei heißt ein Problem entscheidbr, wenn es einen Algorithmus (z.b. ein Computerprogrmm) gibt, der für jede Eingbe terminiert, und zu jeder Eingbe die richtige Antwort liefert. Wortproblem (für deterministische endliche Automten). Eingbe: Ein deterministischer endlicher Automt A = (Q,Σ,q,δ,F) und ein Wort w Σ. Frge: Gilt w L(A)? Stz 2.8. Ds Wortproblem ist für durch deterministische endliche Automten gegebene Sprchen entscheidbr. Beweis. Der Beweis ist einfch, d hier der Automt schon selbst, ohne weitere Vorüberlegungen, den Algorithmus vorgibt. Um zu entscheiden, ob ein Wort w Σ uch in L(A) enthlten ist, müssen wir prüfen, ob w von A kzeptiert wird, d.h. ob δ (q,w) F. Dies lässt sich in O( w ) Schritten durchführen. 2.3 Minimierungslgorithmus Wir beginnen mit einem Beispiel. Beispiel 2.9. Offensichtlich kzeptiert der Automt A 2 us Abbildung 2.6 die selbe Sprche wie der Automt A us Abbildung 2.4. Es gilt lso L(A ) = L(A 2 ) = {b n m ;n,m N }. b,b q q q 2 b q 3 b q 4 b Abbildung 2.6: Automt 2 Definition 2.. (Äquivlenz von Automten) Wir nennen zwei Automten äquivlent, wenn sie die selbe Sprche kzeptieren. 6

KAPITEL 2. ENDLICHE AUTOMATEN Die beiden Automten us Beispiel 2.9 sind lso äquivlent. Unser Ziel ist, us einem gegebenen deterministischen endlichen Automten einen minimlen Automten (miniml in der Anzhl der Zustände) so zu konstruieren, dss sich die kzeptierte Sprche nicht ändert. Dzu betrchten wir zunächst den zweiten Automten us Beispiel 2.9 genuer. Erste Beobchtung: Der Zustnd q 4 im zweiten Automten ist vom Anfngszustnd q nicht zu erreichen und knn dher, ohne die vom Automten kzeptierte Sprche zu ändern, gelöscht werden. Definition 2.. Sei A = (Q,Σ,q,δ,F) ein deterministischer endlicher Automt. Wir nennen einen Zustnd q Q erreichbr, wenn es ein Wort w Σ mit δ (q,w) = q gibt. Andernflls heißt q unerreichbr. Ds Löschen des Zustndes q 4 führt zu folgendem Automten. Alle weiteren Zustände in diesem Automten sind erreichbr. b,b q q q 2 b q 3 b Abbildung 2.7: Automt 2 ohne unerreichbre Zustände Zweite Beobchtung: AusgehendvondenZuständenq undq 3 kzeptiertderobigeautomt die selben Wörter, d.h. es gilt für lle w Σ : δ (q,w) F δ (q 3,w) F. Diese beiden Zustände tun lso ds selbe. Solche Zustände nennen wir im Folgenden äquivlent. Definition 2.2. Sei A = (Q,Σ,q,δ,F) ein deterministischer endlicher Automt. Zwei Zustände q,q 2 Q heißen äquivlent (in Zeichen q q 2 ), wenn L(A,q ) = L(A,q 2 ). Dbei ist L(A,q) := {w Σ ;δ (q,w) F}, lso die von A kzeptierte Sprche, flls q der Anfngszustnd wäre. Beispiel 2.3. In unserem obigen Beispiel gilt L(A,q ) = {b n m ;n,m N }, L(A,q ) = { n ;n N }, L(A,q 2 ) =, und L(A,q 3 ) = {b n m ;n,m N }. Hier sind lso nur die Zustände q und q 3 äquivlent. 7

KAPITEL 2. ENDLICHE AUTOMATEN Unser Ziel ist, äquivlente Zustände zu einem Zustnd zu verschmelzen. Die Übergngsfunktion muss dnn ntürlich geeignet ngepsst werden. Hierfür benötigen wir noch einige Eigenschften der Reltion. Lemm 2.4. Die zweistellige Reltion ist eine Äquivlenzreltion uf Q, d.h. die Reltion ist reflexiv (für lle q Q gilt q q), symmetrisch (für lle q,p Q gilt, us q p folgt q p), trnsitiv (für lle q,p,r Q gilt, us q p und p r folgt p q). Mit q := {q Q;q q } bezeichnen wir die Äquivlenzklsse von q Q bezüglich. Beweis. Dies folgt unmittelbr us der Ttsche, ds Gleichheit eine Äquivlenzeltion ist: Reflexivität: Wegen L(A,q) = L(A,q) folgt q q. Symmetrie: D mit L(A,q) = L(A,p) uch L(A,p) = L(A,q) gilt, folgt us q p uch p q. Trnsitivität: Gilt q p und p r folgt L(A,q) = L(A,p) und L(A,p) = L(A,r), lso uch L(A,q) = L(A,r) und dmit q r. Einschub: Äquivlenzreltionen Ziel von Äquivlenzreltionen ist es, komplizierte Strukturen zu vereinfchen, in dem Elemente, die die gleichen Eigenschften besitzen, zusmmengefsst werden. Wir wollen ds m Beispiel einer Menge von Schülerinnen und Schülern einer Schule erläutern. Es sei S = {S,...,S n } die Menge der Schüler einer Schule (es besuchen lso n Schüler diese Schule). Wir sgen, Schüler S i steht in Reltion zu Schüler S j, wenn S i die selbe Klsse besucht wie Schüler S j (in Zeichen S i S j ). Offensichtlich ist diese Reltion eine Äquivlenzreltion, denn es gilt: Reflexivität: Jeder Schüler besucht die selbe Klsse wie er selbst, lso S i S i für lle i n. Symmetrie: Besucht Schüler S i die selbe Klsse wie Schüler S j, so besucht Schüler S j die selbe Klsse wie Schüler S i, lso S i S j = S j S i für lle i,j n. Trnsitivität:BesuchtSchülerS i dieselbeklssewieschülers j unds j dieselbeklssewie S k, dnn gehen uch S i und S k in die selbe Klssen, lso (S i S j S j S k ) = S i S k für lle i,j,k n. Ws sind nun die Äquivlenzklssen bzgl. dieser Reltion? Diese Frge lässt sich einfch bentworten. Ist z.b. S ein Schüler der Klsse 6b, so gilt S = {S i ;S S i } = {S i ;S i besucht die selbe Klsse wie S } = {S i ;S i besucht die Klsse 6b} = Menge der Schüler der Klsse 6b. Die Äquivlenzklssen bzgl. sind lso genu die Klssen der Schule. Wir kommen zurück uf die oben definierte Äquivlenzreltion uf der Menge der Zustände. Die Äquivlenzklssen dieser Reltion fssen diejenigen Zustände zusmmen, die bzgl. der Eigenschft Wörter bzurbeiten, ds selbe tun, lso die selben Wörter bzurbeiten. 8

KAPITEL 2. ENDLICHE AUTOMATEN Beispiel 2.5. Für den zweiten Automten us Beispiel 2.9 gibt es genu drei Äquivlenzklssen: q = q 3 = {q,q 3 }, q = {q }, q 2 = {q 2 }. Ws genu meint nun verschmelzen von Zuständen? Anstelle der Zustände betrchten wir nur noch die Äquivlenzklssen (fssen lso äquivlente Zustände zusmmen). Abbildung 2.8 zeigt dies für den Automten 2 us Beispiel 2.9 (ohne den unerreichbre Zustnd q 4 ). q q q 2 b,b Zustnd {q,q 3 } b q 3 b b Abbildung 2.8: Automt 2 Forml definieren wir den sogennnten Quotientenutomten. Definition 2.6. (Quotientenutomt) Sei A = (Q,Σ,q,δ,F) ein deterministischer endlicher Automt. Der Quotientenutomt à = ( Q,Σ, q, δ, F) ist wie folgt definiert: Q := { q;q Q}, F := { q;q F}, δ : Q Σ Q;( q,) δ(q,). Zunächstistnichtsofortklr,dssdiemodifizierteÜbergngsfunktion δ ttsächlichwohldefiniert ist, d.h. dss für lle q,q 2 Q mit q q 2 uch δ(q,) δ(q 2,) und dmit δ(q,) = δ(q 2,) gilt. Lemm 2.7. Sei A = (Q,Σ,q,δ,F) ein deterministischer endlicher Automt. Für lle q,q 2 Q mit q q 2 gilt δ(q,) δ(q 2,) für lle Σ. Beweis. Es gilt q q 2 L(A,q ) = L(A,q 2 ) w Σ : (δ (q,w) F δ (q 2,w) F) Σ v Σ : (δ (δ(q,),v) F δ (δ(q 2,),v) F) Σ : L(A,δ(q,)) = L(A,δ(q 2,)) δ(q,) δ(q 2,). 9

KAPITEL 2. ENDLICHE AUTOMATEN Auf den ersten Blick scheint es schwierig zu sein, die äquivlenten Zustände und dmit die Äquivlenzklssen zu bestimmen. Dzu müssen wir für lle q Q die Menge L(A, q) berechnen, lso Q verschieden Sprchen, und diese miteinnder vergleichen. Im Sinne der Effizienz wäre es schön, einen einfcheren Algorithmus zu hben, mit dem äquivlente Zustände bestimmt werden können. Wir betrchten dzu für jedes k N die Reltion q k q 2 : L k (A,q ) = L k (A,q 2 ). Dbei ist hier L k (A,q) := {w Σ ;δ (q,w) F und w k}. Offensichtlich ist für jedes k N die Reltion k uch eine Äquivlenzreltion. Weiter gilt Stz 2.8. Sei A = (Q,Σ,q,δ,F) ein deterministischer endlicher Automt.. Die Äquivlenzreltion ht genu zwei Äquivlenzklssen: Q\F und F. 2. Für zwei Zustände q,q 2 Q gilt: q k+ q 2 = q k q 2. 3. Für zwei Zustände q,q 2 Q gilt q k+ q 2 Σ : δ(q,) k δ(q 2,). 4. Es gibt ein k N so, dss k = k+ (dmit gilt dnn uch = k = k+ = ). Beweis.. Dies folgt sofort us der Definition: Es gibt genu ein Wort us Σ der Länge : ǫ. Nch Definition der erweiterten Überführungsfunktion gilt δ (q,ǫ) := q für lle Zustände q Q. Es gilt somit { L {ǫ}, flls q F, (A,q) =, sonst. 2. Sind q und q 2 k+ äquivlent, dnn gilt für lle w Σ mit w k + : δ (q,w) F δ (q,w) F. Dies gilt dnn insbesondere uch für lle Wörter der Länge kleiner oder gleich k. 3. Es gilt q k+ q 2 L k+ (A,q ) = L k+ (A,q 2 ) w Σ mit w k + : (δ (q,w) F δ (q 2,w) F) Σ,w Σ mit w k : (δ (q,w ) F δ (q 2,w ) F) Σ,w Σ mit w k : (δ (δ(q,),w ) F δ (δ(q 2,),w ) F) Σ : L k (A,δ(q,)) = L k (A,δ(q 2,)) Σ : δ(q,) k δ(q 2,). 4. Aussge 2. zeigt, dss k+ k Q Q gilt. D die Menge der Zustände endlich ist, gibt es k N mit = k+ = k. Dmit lässt sich nun ein Algorithmus zum Bestimmen der Äquivlenzklssen bezüglich der Reltion konstruieren. Algorithmus Minimierungslgorithmus Eingbe: A = (Q,Σ,q,δ,F) Schritt (Äquivlenzklssen bzgl. ) 2

KAPITEL 2. ENDLICHE AUTOMATEN 2 M, = F 3 M,2 = Q\F 4 K = {M,,M,2 } 5 Schritt k +,k : (Konstruktion der Äquivlenzklssen bzgl. k +) (/*K k = {M k,,...,m k,n } Äquivlenzklssen bzgl. k (konstruiert in Schritt k)*/) 6 K k+ = 7 for i = to n do 8 Bestimme die Menge H k+,i der Äquivlenzklssen bzgl. k+ der Zustände in M k,i (Zwei Zustände q,q M k,i kommen in eine Klsse, flls für lle x Σ gilt: δ(q,x) und δ(q,x) gehören zu ein und derselben Klsse in K k ) 9 K k+ := K k+ H k+,i od if K k+ = K k then 2 return K k 3 else 4 Gehe zum nächsten Schritt (k + k +2) 5 fi Beispiel 2.9. Wir führen Beispiel 2.9 fort und schuen uns genuer n, ws der Minimierungslgorithmus für den dort behndelten Automten berechnet. Schritt : (Äquivlenzklssen bzgl. ) M, = F = {q,q,q 3 } M,2 = Q\F = {q 2 } K = {M,,M,2 } Schritt (k = ): Äquivlenzklssen bzgl. in M, : (q,q ) : D δ(q,) = q, δ(q,) = q und q q gilt δ(q,) δ(q,). D δ(q,b) = q 3, δ(q,b) = q 2 und q 3 q 2 gilt δ(q,b) δ(q,b). Insgesmt folgt q q. (q,q 3 ) : D δ(q,) = q, δ(q 3,) = q und q q gilt δ(q,) δ(q 3,). D δ(q,b) = q 3, δ(q 3,b) = q 3 und q 3 q 3 gilt δ(q,b) δ(q 3,b). Insgesmt folgt q q 3. (q,q 3 ) : D δ(q,) = q, δ(q 3,) = q und q q gilt δ(q,) δ(q 3,). D δ(q,b) = q 2, δ(q 3,b) = q 3 und q 2 q 3 gilt δ(q,b) δ(q 3,b). Insgesmt folgt q q 3. Wir erhlten H, = {{q,q 3 },{q }}. Äquivlenzklssen bzgl. in M,2 : D M,2 = {q 2 }, gilt H,2 = {{q 2 }}. Wir erhlten H,2 = {{q 2 }}. Insgesmt gilt dmit K = {{q,q 3 },{q },{q 2 }}. D K K, gehen wir zu Schritt 2 über. 2

KAPITEL 2. ENDLICHE AUTOMATEN Schritt 2: (k = 2) Sei M, = {q,q 3 },M,2 = {q },M,3 = {q 2 } Äquivlenzklssen bzgl. 2 in M, (q,q 3 ): D δ(q,) = q, δ(q 3,) = q und q q gilt δ(q,) 2 δ(q 3,). D δ(q,b) = q 3, δ(q 3,b) = q 3 und q 3 q 3 gilt δ(q,b) 2 δ(q 3,b). Insgesmt folgt q 2 q 3. Wir erhlten H 2, = {{q,q 3 }}. Äquivlenzklssen bzgl. 2 in M,2 : D M,2 = {q }, gilt H 2,2 = {{q }}. Wir erhlten H 2,2 = {{q }}. Äquivlenzklssen bzgl. 2 in M,3 : D M,3 = {q 2 }, gilt H 2,3 = {{q 2 }}. Wir erhlten H 2,3 = {{q 2 }}. Insgesmt gilt K 2 = {{q,q 3 },{q },{q 2 }}. D K = K 2, hben wir die Äquivlenzklssen bzgl. gefunden. 2.4 Nichtreguläre Sprchen Um nchzuweisen, dss eine Sprche von einem deterministischen endlichen Automten kzeptiert wird, muss mn nur einen Automten für diese Sprche ngeben. Offensichtlich sind diese Automten ber sehr beschränkt. Es gibt dher Sprchen, die nicht von einem deterministischen endlichen Automten kzeptiert werden. Wir wollen in diesem Abschnitt kennen lernen, wie mn von einer Sprche zeigen knn, dss es für diese keinen determinisitschen endlichen Automten gibt. Beispiel 2.2. Wir betrchten die Sprche L = { n b n ;n N}. Angenommen, die Sprche wird von einem deterministischen endlichen Automten A = (Q,Σ,q,δ,F) kzeptiert. D A nur endlich viele Zustände Q ht, gibt es n,m N so, dss sich der Automt nch Einlesen des Wortes n im selben Zustnd befindet wie nch Einlesen des Wortes m. Der Automt ht in diesem Zustnd keine weitere Informtion, knn lso insbesondere nicht wissen, ob er gerde n oder m eingelesen ht. Wird nun n b n von A kzeptiert, so uch m b n. Dmit ist lso L = { n b n ;n N} eine echte Teilmenge von der von A kzeptierten Sprche. Lemm 2.2. (Pumping-Lemm) Sei L eine von einem deterministischen endlichen Automten kzeptierte Sprche. Dnn existiert n N so, dss gilt: Jedes Wort w L mit w n lässt sich zerlegen in w = xyz mit: y ǫ, xy n, xy k z L für lle k N. WirkönnenWörterw L(A)beinerbestimmtenGrößelsoirgendwoinderMitteufpumpen. Der Beweis des Pumping-Lemms folgt den im obigen Beispiel errbeiteten Überlegungen. 22

KAPITEL 2. ENDLICHE AUTOMATEN Beweis. Sei A = (Q,Σ,q,δ,F) ein deterministischer endlicher Automt. Wir wählen n = Q. Sei weiter w = n L(A) mit n n. Wir definieren p := q p := δ(p, ) p 2 := δ(p, 2 ). p i := δ(p i, i ). p n := δ(p n, n ). q = p 2 p i i+ pi n pn F D w L(A) gilt p n F. Weiter ist n n. Es gibt dher i < j mit i,j n und p i = p j. Wir setzen nun x = i, y = i+ j und z = j+ n. Dnn gilt y ǫ (d i < j), xy n und δ (p i,y) = p j = p i und dmit uch δ (p i,y k ) = p i für lle k N. Wir erhlten lso y ǫ (d i < j), xy n, q = p y= i+ j p p i p j p n F }{{} p i =p j xy k z N für lle k N. Beispiel 2.22. Mit dem Pumping-Lemm können wir forml nchweisen, dss L = { n b n ;n N} nicht von einem deterministischen endlichen Automten kzeptiert wird. Beweis. Angenommen, L wird von einem deterministischen endlichen Automten kzeptiert. Dnn existiert nch dem Pumping-Lemm n N so, dss für lle w L mit w n eine Zerlegung mit. xy n, 2. y ǫ und 3. xy k z N für lle k N existiert. Wir zeigen nun, dss es w L mit w n so gibt, dss für jede mögliche Zerlegung xyz nicht lle drei Bedingungen des Pumping-Lemms gelten und erhlten so einen Widerspruch zu unserer Annhme, dss L von einem deterministischen endlichen Automten kzeptiert wird. Sei dzu w = n b n und xyz = w eine beliebige Zerlegung von w mit den obigen Eigenschften. Wegen xy n existiert n N mit xy = n. D y ǫ exsistiert weiter m N, m mit y = m. Lut Eigenschft 3 gilt nun xy 2 z = n +m b n+ L, ein Widerspruch. Hinweis: Nicht lle Sprchen, die ds Pumping-Lemm erfüllen, werden uch von einem determinitischen endlichen Automten kzeptiert. Wir werden später noch einml druf zurückkommen. 23

KAPITEL 2. ENDLICHE AUTOMATEN 2.5 Nichtdeterministische endliche Automten Bisher hben wir lediglich deterministische Automten A = (Q,Σ,q,,F) behndelt, d.h. zu jedem Zustnd q Q und zu jedem Buchstben Σ existiert genu ein Folgezustnd q = δ(q,). Die Arbeitsweise solcher Automten ist lso vorhersgbr, d.h. deterministisch. Definition 2.23. Ein nichtdeterministischer endlicher Automt (NEA) A ist ein 5 Tupel A = (Q,Σ,q,,F), wobei Q eine endliche Menge (Menge der Zustände), Σ ein endliches Alphbet mit Σ Q =, q Q (der Anfngszustnd), Q Σ Q eine Reltion (die Übergngsreltion) und F Q (Menge der Endzustände) ist. Die Elemente von heißen uch Trnsitionen. Ist A = (Q,Σ,q,,F) ein nichtdeterministicher endlicher Automt, so schreiben wir für eine Trnsition (q,,q ) uch kurz A : q q. Sei weiter w = w w 2 w n ein Wort über Σ. Existieren Trnsitionen (q,w,q 2 ),(q 2,w 2,q 3 ),...,(q n,w n,q n+ ), d.h. so schreiben wir uch w q w 2 w q2 q3 q n n qn+ A : q w qn+. Im Gegenstz zu deterministischen Automten wird ein Folgezustnd bei nichtdeterministischen Automten lso über eine Reltion beschrieben und nicht über eine Funktion. Dies erlubt mehrere mögliche Übergänge zu einem Pr (q,) Q Σ. Beispiel 2.24. Wir betrchten den nichtdeterministischen endlichen Automten A = (Q,Σ,q,,F) mit Q = {q,q,q 2 },Σ = {,},F = {q 2 } und us Abbildung 2.9. = {(q,,q ),(q,,q ),(q,,q ),(q,,q 2 )}, q q q 2 Abbildung 2.9: Ein NEA für die Sprche {w {,} ;w ht Suffix }. Befindet sich der Automt im Zustnd q und ließt den Buchstben, dnn gibt es zwei mögliche Folgezustände Wird die Trnsition (q,,q ) genutzt, so verbleibt der Automt im Zustnd q. Bei Nutzung der Trnsition (q,,q ) geht er in den Zustnd q über. 24

KAPITEL 2. ENDLICHE AUTOMATEN Offensichtlich sind deterministische endliche Automten spezielle nichtdeterministische Automten (die Übergngsreltion knn hier durch eine Funktion δ beschrieben werden). Ziel dieses Abschnittes ist zu zeigen, dss nichtdeterministische endliche Automten die selben Sprchen kzeptieren wie deterministische. Stz 2.25 (Rbin, Scott). Zu jedem nichtdeterministischen endlichen Automten A existiert ein deterministischer endlicher Automt A mit L(A) = L(A ). Beweis. Die Frge ist lso, wie wir einen nichtdeterministischen endlichen Automten deterministisch mchen, ohne die von ihm kzeptierte Sprche zu ändern. Dzu betrchten wir noch einml ds Beispiel us Abbildung 2.9: Hier knn der Automt vom Zustnd q bei Lesen des Buchstbeninq verbleibenoderindenzustndq gehen.umdieeindeutigkeitdesübergngs zu erreichen, führen wir einfch den neuen Zustnd {q,q } ein und definieren δ(q,) := {q,q }. Dmit hben wir die Informtion, in welche Zustände der Automt von q us gehen knn erhlten und gleichzeitig die Eindeutigkeit des Übergngs hergestellt. Wie verfhren wir, wenn der Übergng schon eindeutig ist? Dzu betrchten wir wieder den Zustnd q und den Buchstben. Nch Definition des Automten gibt es hier nur den Folgezustnd q. Wir können lso definieren δ(q,) = {q }. Wir müssen jetzt nur noch ngeben, welche Übergänge von diesen neuen Zuständen {q,q } us möglich sind. Im Beispiel gilt Bei Lesen von geht der Automt von q in q oder q, von q in q 2. Bei Lesen von geht der Automt von q in q, von q gibt es keinen Folgezustnd. Wir definieren lso δ({q,q },) = {q,q,q 2 } und δ({q,q },) = {q }. Mit diesen Vorüberlegungen sind wir jetzt in der Lge, den Stz zu beweisen. Ds Verfhren, us einem nichtdeterministischen Automten einen deterministischen zu konstruieren, der die selbe Sprche kzeptiert, heißt uch Potenzmengenkonstruktion. Sei lso A = (Q,Σ,q,,F) ein nichtdeterministischer endlicher Automt. Wir definieren us A einen deterministischen endlichen Automten A = (Q,Σ,q,δ,F ) wie folgt: Q = P(Q) = {P;P Q} die Potenzmenge von Q, q = {q }, F = {P P(Q);P F } und δ : P(Q) Σ P(Q);(P,) {q Q; p P : (p,,q) }. Beispiel 2.26. Für den Automten us Beispiel 2.24 erhlten wir den in Abbildung 2. drgestellten Potenzmengenutomten. 25

KAPITEL 2. ENDLICHE AUTOMATEN,, {q } {q } {q 2 } {q,q 2 } {q,q } {q,q 2 } {q,q,q 2 } Abbildung 2.: Der Potenzmengenutomt des Automten us Beispiel 2.24. Offensichtlich ist der so konstruierte Automt deterministisch. Wir müssen jetzt nur noch zeigen, dss beide Automten die selbe Sprche kzeptieren. Dzu zeigen wir zunächst für lle w Σ : A : q w q q δ ({q},w). Wir beweisen diese Aussge per Induktion über die Länge der Wörter. Induktionsnfng: Gelte lso w =, d.h. w = ǫ. Dnn gilt A : q ǫ q q = q q {q} =: δ ({q},ǫ). Induktionsschritt: Sei w = w und gelte die Induktionsvorussetzung A : q w q q δ ({q},w ). 26

KAPITEL 2. ENDLICHE AUTOMATEN Dnn gilt A : q w=w q p Q : A : q w p und A : p q p Q : q δ ({q},w ) }{{} =:R q δ (δ ({q},w ),) }{{} =:R q δ ({q},w ). und (p,,q ) Dmit ist die Zwischenbehuptung gezeigt. Insgesmt erhlten wir (in der zweiten Äquivlenz nutzen wir die Zwischenbehuptung us): A kzeptiert w q F : A : q w q q F : q δ ({q },w) δ ({q },w) F δ ({q },w) F A kzeptiert w. Im Allgemeinen wird der us einem nichtdeterministischen endlichen Automten konstruierte Potenzmengenutomt nicht miniml sein, siehe z.b. den Automten us Abbildung 2.. Ein minimler determinisitischer endlicher Automt lässt sich dnn mit Hilfe des in Abschnitt 2.3 kennen gelernten Minimierungslgorithmus konstruieren. Es gibt ber uch Beispiele, für die der Potenzmengenutomt bereits miniml ist. Wir werden solch einen Fll in den Übungen behndeln. Eine weitere Verllgemeinerung sind nichtdeterministische endliche Automten, die uch Worttrnsitionen zulssen. D.h. hier ist die Übergngsreltion eine Teilmenge von Q Σ Q, siehe Abbildung 2.. ǫ,b q q q 2 ǫ ǫ q 3 b Abbildung 2.: Ein Automt mit Worttrnsitionen. Wir werden jetzt zeigen, ds, wie schon im Fll der nichtdeterministischen Automten, uch diese Automten nicht mächtiger sind ls determinisitischer endlicher Automte. Auch hier gilt wieder, us jedem Automten mit Worttrnsitionen lässt sich ein deterministischer endlicher Automt konstruieren, der die selbe Sprche kzeptiert. Die Konstruktion erfolgt in drei Schritten: 27

KAPITEL 2. ENDLICHE AUTOMATEN Schritt : Im ersten Schritt konstruieren wir us dem Automten A = (Q,Σ,q,,F) mit Worttrnsitionen einen sogennnten ǫ NEA A = (Q,Σ,q,,F), d.h. hier gilt (Q (Σ {ǫ}) Q). Dzu ersetzen wir jede Trnsition (q,w w n,q ) mit n 2 durch die Trnsitionen (q,w,q ),(q,w 2,q 2 ),...,(q (n ),w n,q ) mit jeweilsneuen Zuständenq,...,q n, vergleiche Abbildung 2.2. ǫ,b q q q 2 ǫ ǫ q 4 q 3 b q 5 Abbildung 2.2: Der us dem Automten us Abbildung 2. konstruierte ǫ NEA. Schritt 2: Im zweiten Schritt konstruieren wir nun us dem ǫ NEA A = (Q,Σ,q,,F) einen nichtdeterministischenendlichenautomtena = (Q,Σ,q,,F ),derdieselbesprche kzeptiert, wie folgt (siehe Abbildung 2.2): := {(q,,q );A : q q }, { F F {q }, flls A := ǫ : q F F, sonst.,b,b q q q 4 q 2 b q 3 b q 5 Abbildung 2.3: Der us dem ǫ NEA us Abb. 2.2 konstruierte NEA. Schritt 3: Nch Schritt 2 erhlten wir einen nichtdeterministischen Automten. In Stz 2.25 hben wir gesehen, wie sich druf ein deterministischer endlicher Automt, der Potenzmengenutomt, konstruieren lässt. 28

KAPITEL 2. ENDLICHE AUTOMATEN Insgesmt erhlten wir Stz 2.27. Zu jedem nichtdeterministischen endlichen Automten mit Worttrnsitionen existiert ein deterministischer endlicher Automt, der die selbe Sprche kzeptiert. 2.6 Abschlusseigenschften Wir untersuchen in diesem Abschnitt, wie sich von deterministischen endlichen Automten kzeptierte Sprchen unter verschiedenen mengentheoretischen Opertionen verhlten. Stz 2.28. Seien L,L 2 Σ Sprchen, die jeweils von einem deterministischen endlichen Automten kzeptiert werden. Dnn werden uch die folgenden Sprchen von einem determinisitischen endlichen Automten kzeptiert:. L L 2, 2. L = Σ \L, 3. L L 2, 4. L \L 2 und 5. L L 2 := {w w 2 ;w L,w 2 L 2 }. Beweis.. Sei A = (Q,Σ,q,δ,F ) und A 2 = (Q 2,Σ,q 2,δ 2,F 2 ) ein Automt für die Sprche L bzw. L 2. Der in Abbildung 2.4 drgestellte Automt mit ǫ Übergängen kzeptiert dnn die Sprche L L 2 : Automt A für die Sprche L ǫ q q ǫ Automt A 2 für die Sprche L 2 q 2 Abbildung 2.4: Ein Automt für die Sprche L L 2 In Stz 2.27 hben wir gezeigt, dss sich hierus ein deterministischer endlicher Automt konstruieren lässt. 2. Sei A = (Q,Σ,q,δ,F) ein deterministischer endlicher Automt mit L = L(A). Dnn ist A := (Q,Σ,q,δ,Q\F) ein Automt mit L = L(A), denn w L w L = L(A) δ (q,w) F δ (q ) Q\F w L(A) 3. Sei A = (Q,Σ,q,δ,F ) bzw. A 2 = (Q 2,Σ,q 2,δ 2,F 2 ) ein deterministischer endlicher Automt für L bzw. L 2. Wir definieren den sogennnten Produktutomt wie folgt: A A 2 := (Q Q 2,Σ,(q,q 2 ),δ,f F 2 ) 29

KAPITEL 2. ENDLICHE AUTOMATEN wobei Es gilt nun: δ : (Q Q 2 ) Σ Q Q 2 ;((q,p),) (δ (q,),δ 2 (p,)). w L(A A 2 ) δ ((q,q 2 ),w) F F 2 δ (q,w) F und δ 2(q 2,w) F 2 w L(A ) und w L(A 2 ) w L L 2. 4. Es gilt L \L 2 = L L 2. In 2. hben wir bereits gezeigt, dss mit L 2 uch L 2 von einem deterministischen endlichen Automten kzeptiert wird. Gleiches gilt für den Schnitt zweier Sprchen (3.). 5. Sei A = (Q,Σ,q,δ,F ) und A 2 = (Q 2,Σ,q 2,δ 2,F 2 ) ein Automt für die Sprche L bzw. L 2. Der in Abbildung 2.5 drgestellte Automt mit ǫ Übergängen kzeptiert dnn die Sprche L L 2. Wieder us Stz 2.27 folgt dnn die Behuptung. Endzustände Automt A für Automt A 2 für die Sprche L die Sprche L 2 q ǫ q 2 ǫ Abbildung 2.5: Ein Automt für die Sprche L L 2 Dnk dieser Konstruktionen sind wir sowohl in der Lge, leichter Automten für vorgegebene Sprchen zu konstruieren, ls uch von Sprchen nchzuweisen, dss es für diese keinen deterministischen endlichen Automten gibt. Beispiel 2.29. (i) Wir betrchten die Sprche L = { n b m ;n,m N und n m}. Angenommen, diese Sprche wird von einem deterministischen endlichen Automten kzeptiert. Nch Stz 2.28 3. gilt dies dnn uch für die Sprche L = { n b m ;n,m N und n = m} = { n b n ;n N). Dies ist ber, wie wir in Beispiel 2.22 bereits gesehen hben, flsch. (ii) Als zweites Beispiel betrchten wir die Sprche L = {w {,};w ht gerde viele Einsen und gerde viele Nullen}. z z Abbildung 2.6: Automt für L Wir konstruieren zunächst Automten für die beiden Sprchen L = {w {,} ;w ht gerde viele Einsen} L 2 = {w {,} ;w ht gerde viele Nullen}. 3

KAPITEL 2. ENDLICHE AUTOMATEN q q Abbildung 2.7: Automt für L 2 Offensichtlichgiltdnn L = L L 2. Automten für die SprchenL und L 2 sind in Abbildungen 2.6 und 2.7 drgestellt. Der Produktutomt ht dnn die in Abbildung 2.8 drgestellte Form. (z,q ) (z,q ) (z,q ) (z,q ) Abbildung 2.8: Automt für L 3

KAPITEL 2. ENDLICHE AUTOMATEN 2.7 Reguläre Ausdrücke In diesem Abschnitt werden wir zeigen, dss sich Sprchen, die von einem deterministischen endlochen Automten kzeptiert werden, uch uf eine ndere, einfchere Weise, den sogennnten regulären Ausdrücken, beschreiben lssen. Zusätzlich dzu wird ein Verfhren ngegeben, durch ds mn bei vorgegebener Sprche einen regulären Ausdruck zu dieser Sprche findet. Definition 2.3. Sei Σ ein endliches Alphbet. Die Menge der regulären Ausdrücke über Σ ist induktiv wie folgt definiert:,ǫ und Σ sind reguläre Ausdrücke. Sind x und y reguläre Ausdrücke über Σ, so uch (x+y) (Alterntive), (x y) (Verkettung) und (x ) (Kleene-Stern, Kleenesche Hülle) reguläre Ausdrücke. Für ds Arbeiten mit regulären Ausdrücken vereinbren wir folgende Konventionen: Außenklmmern fllen weg, bindet stärker ls +, stärker ls und drf wegfllen, d.h., us (( b )+b) wird b +b. Definition 2.3. (i) Die durch einen regulären Ausdruck r definierte Sprche L(r) ist induktiv wie folgt definiert: L( ) =,L(ǫ) = {ǫ} und L() = {} für lle Σ. L(r +s) = L(r) L(s), L(r s) = L(r) L(s) und L(r ) = L(r). (ii) Wir nennen eine Sprche L regulär, wenn es einen regulären Ausdruck r mit L(r) = L gibt. Für den regulären Ausdruck r = b +b über Σ = {,b} gilt L(r) = {w Σ ;(w = b i,i ) (w = b)}. Für den regulären Ausdruck rb + b sieht mn sofort, dss sich hierfür ein deterministischer endlicher Automt A mit L(A) = L(r) konstruieren lässt, siehe Abbildung 2.9. q b q q 2 Allgemein gilt: Abbildung 2.9: Ein Automt für den regulären Ausdruck rb +b. 32

KAPITEL 2. ENDLICHE AUTOMATEN Stz 2.32. Eine Sprche ist genu dnn regulär, wenn sie von einem deterministischen endlichen Automten kzeptiert wird. Beweis. Wir zeigen hier nur eine Richtung der Behuptung (eine reguläre Sprche wird von einem deterministischen endlichen Automten kzeptiert). Dzu konstruieren wir induktiv us einem regulären Ausdruck r zunächst einen ǫ NEA für L(r). Mit Stz 2.27 folgt dnn die Behuptung. Induktionsnfng: Für die regulären Ausdrücke, ǫ und für lle Σ kzeptieren die folgenden drei Automten offensichtlich jeweils die von den regulären Ausdrücken definierte Sprche: q q Abbildung 2.2: Ein Automt für den regulären Ausdruck. ǫ q q Abbildung 2.2: Ein Automt für den regulären Ausdruck ǫ. q q Abbildung 2.22: Ein Automt für den regulären Ausdruck. Induktionsschritt: Seien r, s reguläre Ausdrücke über Σ und ǫ NEAs für r und s gegeben. Dnn kzeptieren die folgenden drei Automten jeweils die Sprche L(r +s),l(r s) und L(r ). 33

KAPITEL 2. ENDLICHE AUTOMATEN ǫ ǫ NEA für die Sprche L(r) urspr. Anfngszustnd Endzustände ǫ ǫ NEA für die Sprche L(s) urspr. Anfngszustnd Endzustände Abbildung 2.23: Ein Automt für die Sprche L(r +s) ǫ NEA für die Sprche L(r) urspr. Endzustände ǫ ǫ NEA für die Sprche L(s) urspr. Anfngszustnd Endzustände ǫ Abbildung 2.24: Ein Automt für die Sprche L(r s) ǫ ǫ ǫ NEA für die Sprche L(r) urspr. Endzustände ǫ urspr. Anfngszustnd Abbildung 2.25: Ein Automt für die Sprche L(r ) 34