Vorlesung Berechenbarkeit und Komplexität alias Theoretische Informatik: Komplexitätstheorie und effiziente Algorithmen. Wintersemester 2012/13

Transkript

1 Vorlesung Berechenbarkeit und Komplexität alias Theoretische Informatik: und effiziente Algorithmen Wintersemester 2012/13 Prof. Barbara König Übungsleitung: Henning Kerstan & Sebastian Küpper Barbara König BeKo/TI 1

2 Einführung: Nach der Betrachtung von Berechnungen, die beliebig viel Platz und Zeit beanspruchen dürfen, betrachten wir jetzt Turingmaschinen mit eingeschränkten Resourcen. Dabei interessiert uns vor allem die Anzahl der Schritte, die eine Turingmaschine braucht, um ein Problem zu lösen. Barbara König BeKo/TI 223

3 Einführung: Beispiel 1: Travelling Salesman Ist der kürzeste Weg, der alle Knoten besucht und wieder zum Ausgangsort zurückkehrt, maximal so lang wie d? , , ,5 5 1, Ist es wirklich nötig, alle kürzeren Touren auszuprobieren oder gibt es ein effizienteres Verfahren? 2, Barbara König BeKo/TI 224

4 Einführung: Beispiel 2: Tourenplanungsproblem Gegeben ist: Ein Graph (= Wegenetz) wie beim Travelling-Salesman-Problem. Jedem Knoten ist ein Gewicht (= abzuholende Ladung) zugeordnet. Eine Menge von Lastwagen mit Ladebeschränkung. Frage: Kann man den Lastwagen Touren zuordnen, so dass die Ladebeschränkungen eingehalten werden, und die Gesamtstrecke kleiner als d bleibt? Barbara König BeKo/TI 225

5 2500 kg kg 1 10 t 3 1,5 1 2 Depot 2 5 t 3000 kg 4 1,5 1 1, , kg t 2, kg 4000 kg 5 t kg kg Barbara König BeKo/TI 226

6 Einführung: Offensichtlich ist sowohl das Travelling-Salesman- als auch das Tourenplanungs-Problem entscheidbar (alle möglichen Touren durchprobieren!). Wir werden jedoch zeigen, dass sie mit zu den schwersten Problemen in der Klasse NP gehören: sie sind NP-vollständig. (NP = Klasse von Problemen, die von nicht-deterministischen Turingmaschinen mit polynomialer Laufzeitbeschränkung akzeptiert werden können) Eine der wichtigsten offenen Fragen in der theoretischen Informatik ist, ob diese Probleme auch von einer deterministischen Turingmaschine in polynomialer Laufzeit gelöst werden können (es wird allgemein erwartet, dass dies nicht möglich ist). Es handelt sich hierbei um das sogenannte P NP-Problem. Barbara König BeKo/TI 227

7 Wir definieren zunächst die Klasse aller Sprachen, die von einer deterministischen Turingmaschine mit Zeitbeschränkung akzeptiert werden können. Zeitbeschränkte det. TM und akz. Sprachen (Definition) Sei f : N 0 N 0 eine (totale) Funktion. Die Klasse TIME(f (n)) besteht aus allen Sprachen A, für die es eine deterministische Mehrband-Turingmaschine M gibt mit A = T (M) und time M (x) f ( x ) für alle Wörter x. Dabei gibt time M (x) die Anzahl der Rechenschritte von M bei Eingabe x an. Das heißt, die Anzahl der Schritte der Turingmaschine ist beschränkt und die Beschränkung ist abhängig von der Länge der Eingabe. Barbara König BeKo/TI 228

8 Bemerkung: Um die Anzahl der Rechenschritte time M (x) einer Turingmaschine M zu ermitteln, müssen wir noch festlegen, wann die Berechnung von M beendet ist: dies ist der Fall, wenn eine Konfiguration gleich ihrer Folgekonfiguration ist. (Bei deterministischen Turingmaschinen hat jede Konfiguration genau eine Folgekonfiguration.) Das Erreichen eines Endzustandes bedeutet damit auch das Ende einer Berechnung. Die Berechnung kann jedoch auch dann beendet sein, wenn kein Endzustand erreicht wurde. Barbara König BeKo/TI 229

9 Um polynomial beschränkte Laufzeitklassen definieren zu können, wiederholen wir zunächst die Definition eines Polynoms (in einer Variablen). Polynom (Definition) Ein Polynom ist eine Funktion p : N 0 N 0 mit der Abbildungsvorschrift p(n) = a k n k + a k 1 n k a 1 n + a 0 für Konstanten k, a k,..., a 0 N 0. Barbara König BeKo/TI 230

10 Damit ist es nun auch möglich, die Klasse aller Sprachen zu definieren, die von deterministischen Turingmaschinen mit polynomialer Laufzeitbeschränkung erkannt werden. Komplexitätsklasse P (Definition) P = {A es gibt eine det. Turingmaschine M und ein = Polynom p mit T (M) = A und time M (x) p( x )} TIME(p(n)) p Polynom Intuitiv umfasst P alle Probleme, für die effiziente Algorithmen existieren. Barbara König BeKo/TI 231

11 O-Notation Kontextsensitive und Typ-0-Sprachen Es gibt einen engen Zusammenhang zur sogenannten O-Notation: O-Notation Seien f, g : N 0 N 0 Funktionen. Wir sagen, dass f höchstens so schnell wächst wie g, falls folgendes gilt: Es gibt eine Konstante C N 0 und ein N N 0, so dass für jedes n N gilt: f (n) C g(n) Anschaulich: ab einem bestimmten Wert N ist f kleiner als g, multipliziert mit einem konstanten Faktor. (Nur das asymptotische Verhalten zählt, Konstanten werden vernachlässigt.) Barbara König BeKo/TI 232

12 O-Notation Kontextsensitive und Typ-0-Sprachen Schreibweisen: Eine Funktion f wird hier oft durch ihren definierenden Ausdruck beschrieben: n, n 3, 2 n,... Dabei wird im allgemeinen n als Funktionsparameter verwendet. O(g) bezeichnet die Menge aller Funktionen, die höchstens so schnell wachsen wie g. Man schreibt dann f O(g) (oder sogar f = O(g)). Beispiele: n O(n 2 ) 100n O(n) n 2 O(2 n ). n 3 O(2 n ). Bemerkung: Für das letzte Beispiel gilt n 3 < 2 n, falls n 10. Barbara König BeKo/TI 233

13 O-Notation Kontextsensitive und Typ-0-Sprachen Polynomiales vs. exponentielles Wachstum Seien l N 0, q R mit q > 1. Dann gilt n l O(q n ) Das bedeutet, dass jede Exponentialfunktion (mit Basis größer als 1) mindestens so stark wächst wie jedes Polynom. (Exponentialfunktionen wachsen sogar echt stärker als Polynome.) Barbara König BeKo/TI 234

14 O-Notation Kontextsensitive und Typ-0-Sprachen Die O-Notation wird häufig eingesetzt, um die Laufzeit von Algorithmen zu analysieren. Die Laufzeit eines Algorithmus ist dabei die Anzahl der Schritte, die das Verfahren ausführt. Beispiele: Es gibt Sortierverfahren mit Laufzeit O(n log n) (Mergesort) und Laufzeit O(n 2 ) (Bubblesort) Jedes bekannte Verfahren für das Travelling-Salesman-Problem hat exponentielle Laufzeit. Dabei bezeichnet der Parameter n immer die Größe der Eingabe. Barbara König BeKo/TI 235

15 O-Notation Kontextsensitive und Typ-0-Sprachen Man spricht von linearer Laufzeit: O(n) quadratischer Laufzeit: O(n 2 ) kubischer Laufzeit: O(n 3 ) polynomialer Laufzeit: O(n l ) für eine Konstante l bzw. O(p(n)) für ein Polynom p exponentieller Laufzeit: O(2 n ) bzw. O(q n ) für q > 1 Barbara König BeKo/TI 236

16 O-Notation Kontextsensitive und Typ-0-Sprachen Laufzeiten in Abhängigkeit von der Größe der Eingabe: Laufzeit Anzahl Schritte Behandelbare Größe der Eingabe bei Eingabegröße 100 bei Schritte O(n) O(n 2 ) O(n 3 ) O(2 n ) 1, ,9 Barbara König BeKo/TI 237

17 Zusammenhang zwischen P und der O-Notation Eine Problem liegt in P genau dann, wenn es von einer (deterministischen) Maschine gelöst werden kann, die polynomiell viele Schritte macht, d.h. O(n l ) Schritte für eine Konstante l, falls n die Eingabegröße ist. für andere Berechnungsmodelle Die Klasse P ist größtenteils unabhängig von dem betrachteten Maschinenmodell. Eine analoge Definition für While- bzw. Goto-Programme würde zur gleichen Klasse P führen. Die Voraussetzung hierfür ist jedoch, dass das logarithmische Kostenmaß (siehe nächste Folie) angewandt wird. Barbara König BeKo/TI 238

18 Uniformes Kostenmaß Die Zuweisung x i := x j wird als ein Schritt gewertet. Logarithmisches Kostenmaß Zuweisungen der Form x i := x j werden nicht als ein Schritt angesehen, sondern vielmehr wird für jedes Bit in der Binärdarstellung von x j ein Schritt gerechnet. Zum logarithmischen Kostenmaß gehört auch, dass die Länge einer Eingabe n N 0 nicht n selbst ist, sondern die Länge der Binärdarstellung, d.h., log n. Barbara König BeKo/TI 239

19 Ähnlich wie bei deterministischen Turingmaschinen kann man auch zeitbeschränkte nichtdeterministische Turingmaschinen und die dazugehörigen Sprachklassen definieren. Zeitbeschränkte nichtdet. TM und akz. Sprachen (Definition) Sei f : N 0 N 0 eine (totale) Funktion. Die Klasse NTIME(f (n)) besteht aus allen Sprachen A, für die es eine nichtdeterministische Mehrband-Turingmaschine M gibt mit A = T (M) und ntime M (x) f ( x ) für alle Wörter x. Dabei gilt min{länge akzeptierender ntime M (x) = Rechnungen von M auf x} falls x T (M) 0 falls x T (M) Barbara König BeKo/TI 240

20 Bemerkung: Falls eine Turingmaschine M gegeben ist, die ntime M (x) f ( x ) für alle Wörter x erfüllt, so kann man einen Zähler mitlaufen lassen und damit sicherstellen, dass die Maschine immer spätestens nach f ( x ) (ursprünglichen) Schritten anhält. Denn ab diesem Schritt sollte man einen akzeptierenden Zustand finden können. Daraus folgt, dass NTIME(f (n)) nur entscheidbare Sprachen enthält und man auch bei einer nicht-akzeptierenden Berechnung nicht mehr als f ( x ) Schritte machen muss (plus den im wesentlichen vernachlässigbarer Overhead für den Zähler). Barbara König BeKo/TI 241

21 Komplexitätsklasse NP (Definition) NP = NTIME(p(n)) p Polynom Offensichtlich gilt P NP. Aber gilt auch P NP? P NP-Problem (ungelöst) Barbara König BeKo/TI 242

22 Kurzwiederholung: Aussagenlogik Eine aussagenlogische Formel F besteht aus atomaren Aussagen bzw. Variablen x 1, x 2, x 3,... und Operatoren (NICHT), (ODER), (UND), (IMPLIKATION), (BIIMPLIKATION/ÄQUIVALENZ). Für eine Belegung der atomaren Aussagen mit 0, 1 ergibt sich ein Wahrheitswert einer Formel F. Dabei werden die Operatoren mittels folgender Wahrheitstafeln ausgewertet: Beispiel: Die Auswertung von (x 1 x 2 ) x 2 mit der Belegung x 1 0, x 2 1 ergibt den Wert 0. Barbara König BeKo/TI 243

23 Kurzwiederholung: Aussagenlogik Eine Formel der Form x i bzw. x i heißt Literal. Eine Klausel ist eine Disjunktion (ODER-Verknüpfung) von Literalen. (Beispiel: x 1 x 2 x 3 ) Eine Formel ist in konjunktiver Normalform, wenn sie eine Konjunktion (UND-Verknüpfung) von Klauseln ist. (Beispiel: (x 1 x 2 x 3 ) ( x 1 x 3 ) x 2 ) Barbara König BeKo/TI 244

24 Determinismus vs. Nichtdeterminismus Das nichtdeterministische Maschinenmodell erscheint stärker, weil es möglich ist, den Weg zum akzeptierenden Zustand zu raten. Anfangskonfiguration z 0 w Ein Pfad zu einem akzeptierenden Zustand Baum aller erreichbarer Konfigurationen polynomiale Laufzeit/Höhe z e w Baum kann exponentiell viele Konfigurationen enthalten. Barbara König BeKo/TI 245

25 Determinismus vs. Nichtdeterminismus Beispiel: Erfüllbarkeitsproblem SAT Eingabe: eine aussagenlogische Formel F Ausgabe: Hat F eine erfüllende Belegung? Das heißt, gibt es eine Belegung der atomaren Aussagen mit 0 bzw. 1, so dass F unter dieser Belegung den Wert 1 hat? In diesem Fall kann eine nichtdeterministische Maschine einfach eine beliebige Belegung erraten und überprüfen, ob sie F erfüllt. Ein akzeptierender Zustand kann erreicht werden, genau dann, wenn eine erfüllende Belegung existiert. Das Raten und die anschließende Berechnung benötigt nur polynomial viele Schritte. Daraus folgt: SAT NP. Barbara König BeKo/TI 246

26 Determinismus vs. Nichtdeterminismus Nichtdeterministische Turingmaschine, die für eine Konstante k eine k-stellige Binärzahl rät, wenn sie auf ein leeres Band angesetzt wird: M = ({z 0, z 1,..., z k }, {0, 1}, {0, 1, }, δ, z 0,, {z k }) mit δ(z 0, ) = {(z 1, 0, R), (z 1, 1, R)} δ(z 1, ) = {(z 2, 0, R), (z 2, 1, R)}... δ(z k 1, ) = {(z k, 0, R), (z k, 1, R)} Mit zusätzlicher Verwendung eines Zählers kann man auch leicht eine Turingmaschine angeben, die bei Eingabe von n eine n-stellige Binärzahl rät (d.h. die Länge der Zahl ist parametrisiert). Barbara König BeKo/TI 247

27 Determinismus vs. Nichtdeterminismus Es gibt eine alternative Charakterisierung von NP, die auf dieser Idee beruht: Alternative Charakterisierung von NP (informal) Die Klasse NP umfasst intuitiv alle Probleme, für die man eine mögliche Lösung (auch Zertifikat genannt) raten kann, um dann in Polynomialzeit zu überprüfen, ob die Lösung korrekt ist. Die Frage P NP wird dann zu: Gibt es Probleme, für die es schwieriger ist, eine Lösung zu bestimmen, als zu überprüfen, ob eine gegebene Lösung korrekt ist? Barbara König BeKo/TI 248

28 Neben zeitbeschränkten Turingmaschinen betrachtet man auch platzbeschränkte Turingmaschinen. Platzbeschränkte det. TM und akz. Sprachen (Definition) Sei f : N 0 N 0 eine (totale) Funktion. Die Klasse SPACE(f (n)) besteht aus allen Sprachen A, für die es eine deterministische Mehrband-Turingmaschine M gibt mit A = T (M) und space M (x) f ( x ) für alle Wörter x. Dabei gibt space M (x) die maximale Länge einer Konfiguration (ohne die äußeren Leerzeichen) an, die bei der Rechnung von M auf x vorkommt (= Maximalanzahl der benötigten Felder auf dem Band). Barbara König BeKo/TI 249

29 Analog definiert man für nichtdeterministische Turingmaschinen NSPACE(f (n)). Chomsky-1-Sprachen Die Chomsky-1-Sprachen (erzeugt durch monotone Grammatiken) sind genau die Sprachen, die durch eine nichtdeterministische Turingmaschine mit linearer Platzbeschränkung akzeptiert werden können. Das heißt, NSPACE(n) ist genau die Menge der Chomsky-1-Sprachen. Barbara König BeKo/TI 250

30 Wir definieren nun die Klasse aller Sprachen, die von einer deterministischen Turingmaschine mit polynomialer Platzbeschränkung akzeptiert werden können. Komplexitätsklasse PSPACE (Definition) PSPACE = SPACE(p(n)) p Polynom Es gilt NP PSPACE (Übungsaufgabe). Außerdem liegt jede Typ-1-Sprache in PSPACE. Barbara König BeKo/TI 251

31 Die P und NP können in die Chomsky-Hierarchie folgendermaßen eingeordnet werden: Menge aller Sprachen semi-entscheidbare Sprachen entscheidbare Sprachen LOOP-berechenbare bzw. -akzeptierbare Sprachen NP P Barbara König BeKo/TI 252