Berechenbarkeit und Komplexität Vorlesung 1

Transkript

1 Berechenbarkeit und Komplexität Vorlesung 1 Prof. Dr. Wolfgang Thomas Lehrstuhl Informatik 7 RWTH Aachen 13. Oktober 2014 Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

2 Thema der Vorlesung Unter welchen Grundgesetzen arbeitet die Informatik? Welche prinzipiellen Grenzen gibt es für den Einsatz von Algorithmen? Welche Probleme sind mit Algorithmen / Programmen lösbar? Welche nicht? Zwei Aspekte: Prinzipielle Lösbarkeit ( Berechenbarkeit ) Lösbarkeit mit praktisch vertretbarem Aufwand ( Komplexität ) Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

3 Stellung in der Informatik Berechenbarkeit: Kernresultate in den 1930 er und 1940 er Jahren Komplexität: 1970 er Jahre Fundament der Wissenschaft Informatik Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

4 Vorgehensweise und Methoden Vorgehensweise: Mathematisch präzise Formulierungen Training in präzisen Argumentationen Methoden: Wechselseitige Simulation von Rechnermodellen Problemreduktionen Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

5 Plan heute und Freitag 1 Organisatorisches 2 Algorithmische Probleme 3 Begriff Algorithmus 4 Präzisierung durch das Modell der Turingmaschine Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

6 Vorlesungstermine montags an ausgewählten Terminen freitags (siehe Vorlesungsplan auf der BuK-Webseite) Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

7 Organisation von Übungen und Klausur Zulassung und Leistungsnachweis: mindestens 50 Punkte 4 Punkte für das korrekte Lösen der ausgezeichneten Übungsaufgaben 2 Punkte für das Vortragen einer Lösung in den Übungsgruppen 90 Punkte in der Präsenzübung im Januar Aktueller Punktestand kann über L2P abgerufen werden Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

8 Übungsblätter Veröffentlichung: Mittwochs um 14:00 Uhr 1. Blatt wird am 15. Oktober veröffentlicht Abgabe: am darauffolgenden Mittwoch um 14:00 Uhr im Sammelkasten am Lehrstuhl für Informatik 1 (Erdgeschoss des Gebäudes E1 im Informatikzentrum, vor der Türe des Lehrstuhls auf der linken Seite) Übungen können in Gruppen bis zu drei Personen abgegeben werden. Bonuspunkte: Übungspunkte werden im kleinen Umfang in der Bachelorklausur berücksichtigt: Bei 50+10k erworbenen Übungspunkten für k {1,...,6} werden k Punkte angerechnet. Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

9 Prüfungen 9. Januar: Präsenzübung 27. Februar: Bachelorklausur 26. März: Wiederholungsklausur Anmeldung: Übung: über CampusOffice bis 17. Oktober um 10:00 Uhr Zuteilung zu den Übungsgruppen wird am 17. Oktober bekannt gegeben Erste Übungen finden in der Woche Oktober statt. Klausur: über CampusOffice bis 21. November Homepage: Fragen an: Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

10 Was ist ein Problem? Informelle Umschreibung des Begriffes Problem: Für gegebene Eingaben (oder ohne Eingabe gestartet) soll der Algorithmus bestimmte Ausgaben produzieren. Wir benötigen präzisere Definitionen... Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

11 Etappen 1 Präzise Festlegung, was ein Berechnungsproblem ist. 2 Merkmale von Algorithmen: Was macht einen Algorithmus aus? 3 Angabe eines speziellen Typs von Algorithmus (Turingmaschine), mit dem man alle denkbaren Algorithmen simulieren kann. Später: Angabe von Berechnungsproblemen, die sich nicht durch Algorithmen lösen lassen. Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

12 Berechnungsprobleme Ein Berechnungsproblem verlangt die Transformation oder die Erzeugung von Daten. Hier beschränken wir uns auf Daten, die durch Wörter dargestellt sind. Alternative: Algorithmen über natürlichen Zahlen. Wegen Korrespondenz Wörter Zahlen kein wesentlicher Unterschied. Wir stellen eine gewünschte Datentransformation durch eine Wortfunktion dar. Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

13 Alphabete und Wörter Ein- und Ausgaben sind Wörter über einem Alphabet Σ. Häufig benutzt: Σ bool = {0,1}, Σ tast als Alphabet der Symbole auf einer Standardtastatur. Σ k ist die Menge aller Wörter der Länge k, z.b. {0,1} 3 = {000,001,010,011,100,101,110,111} Das leere Wort, also das Wort der Länge 0, bezeichnen wir mit ǫ, d.h. Σ 0 = {ǫ}. Σ = k N 0 Σ k ist der Kleenesche Abschluss von Σ. Die Wörter in Σ lassen sich in kanonischer Reihenfolge auflisten, der Länge nach, und bei gleicher Länge lexikographisch: ε,0,1,00,01,10,11,000,001,010,011,100,101,... Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

14 Berechnungsprobleme: Beispiele Beispiel 1: Division durch 7 Zu Dezimalzahl finde den Quotienten durch 7 ohne Rest. Wortfunktion: f 1 : {0,...,9} {0,...,9}. (Wir setzen f 1 (ε) = ε. Analog auch in den weiteren Beispielen.) Beispiel 2: Teilbarkeit durch 7 Zu Dezimalzahl entscheide, ob sie durch 7 teilbar ist. Wortfunktion: f 2 : {0,...,9} {0,1} mit f 2 (u) = 1 falls Dezimalzahl u durch 7 teilbar, sonst = 0. Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

15 Weitere Beispiele Beispiel 3: Primfaktorzerlegung Zu einer Dezimalzahl finde ihre Primfaktorzerlegung. Beispiel: Wortfunktion: f 3 : {0,...,9} {0,...,9, }. Beispiel 4: Teilerfremdheit Zu zwei Dezimalzahlen teste, ob sie teilerfremd sind. Beispiel: 20, 21 1 (teilerfremd); 20, 25 0 (nicht teilerfremd). Wortfunktion: f 4 : ({0,...,9} #{0,...,9} {0,1}. Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

16 Entscheidungsprobleme als Sprachen Beispiele 2 und 4 sind Ja-Nein-Fragen. Derartige Entscheidungsprobleme sind von der Form f : Σ {0,1}, wobei wir 0 als Nein und 1 als Ja interpretieren. Sei L = f 1 (1) Σ die Menge derjenigen Eingaben, die mit Ja beantwortet werden. L ist eine Teilmenge der Wörter über dem Alphabet Σ. Eine solche Teilmenge wird allgemein als Sprache bezeichet. Wir geben drei weitere Entscheidungsprobleme an. Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

17 Ein Graphenproblem Graphzusammenhang Problemstellung: Für einen gegebenen Graphen G soll bestimmt werden, ob G zusammenhängend ist. Der Graph G liege dabei in einer geeignete Kodierung code(g) Σ vor, z.b. als binär kodierte Adjazenzmatrix. Die zu diesem Entscheidungsproblem gehörende Sprache ist L = { w Σ Graph G: w = code(g) und G ist zusammenhängend }. Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

18 Nullstellen von Polynomen Hilberts 10. Problem Zu einem Polynom p(x 1,...,x n ) über Z entscheide, ob es eine Nullstelle (z 1,...,z n ) Z n gibt. Beispiele 3x 1 +x 2 x 1 2 x (denn (z 1,z 2 ) = (0,0) ist Nullstelle). x Wir geben Polynome als Wörter vor, etwa in der LaTeX-Notation. Entsprechende Sprache: Menge der Wörter über Σ tast, die ein Polynom mit Nullstelle darstellen. Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

19 Programmtermination Termination von Java-Programmen Zu einem Java-Programm mit integer-eingabevariablen teste, ob es für Eingabe 0 terminiert. Zugehörige Sprache: Menge der Wörter über Σ tast, die ein Java-Programm darstellen, welches mit 0 initialisiert terminiert. Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

20 Zentrale Fragestellung Welche Funktionen sind durch einen Algorithmus berechenbar? bzw. Welche Sprachen kann ein Algorithmus entscheiden? Wir müssen klären, was eigentlich ein Algorithmus ist. Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

21 Algorithmen verarbeiten Eingabewörter schrittweise; sind durch endlichen Text eindeutig festgelegt; liefern bei Termination eine Ausgabe. Der Algorithmus A arbeite über dem Alphabet Σ. Wir ordnen jedem Algorithmus A eine Funktion f A zu: Terminiert A bei Eingabe w mit Ausgabe v, so setzen wir f A (w) = v Terminiert A bei Eingabe w nicht, so sei f A (w) undefiniert, und wir schreiben f A (w) = Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

22 Partielle und totale Funktionen Eine Funktion f mit Argumenten in M und Werten in N heißt partielle Funktion von M nach N. Notation: f : M N Def(f) = {m M f(m) ist definiert} Definitionsbereich von f Bild(f) = {n N m M : f(m) = n} Bildbereich von f Gilt Def(f) = M, nennen wir f total (auf M) und schreiben f : M N Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

23 Funktion f A Die durch A über Σ berechnete Funktion f A : Σ Σ ist wie folgt definiert: Der Definitionsbereich von f A ist die Menge der w Σ, so dass A bei Eingabe von w terminiert. Für w Def(f A ) ist f A (w) die Ausgabe, die A nach Eingabe von w bei Termination liefert. Eine Funktion f heißt (im intuitiven Sinne) berechenbar, wenn ein Algorithmus A existiert mit f = f A. Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

24 Beispiele berechenbarer Funktionen Σ = {0,1} 1 die Funktion f 1 : Σ Σ mit f 1 (w) = 0 falls w gerade, f 1 (w) = 1, falls w ungerade 2 die partielle Funktion f 2 : Σ Σ mit f 2 (w) = 0 falls w gerade, f 2 (w) undefiniert, falls w ungerade 3 die Konstante ε, also die Funktion f 3 : Σ Σ mit f 3 (w) = ε 4 die überall undefinierte Funktion f 4 : Σ Σ mit f 4 (w) = für alle w Σ Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

25 Entscheidungsalgorithmen berechnen einen Spezialfall totaler Funktionen, nämlich solche mit den Werten 0 und 1. Ein Entscheidungsalgorithmus A über Σ definiert somit die Sprache L A = {w Σ A mit Eingabe w liefert Ausgabe 1} Eine Sprache L heißt entscheidbar, falls ein Entscheidungsalgorithmus A existiert mit L = L A. Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

26 Aufzählungsalgorithmen Andere Variante von Algorithmus : A startet ohne Eingabe, terminiert nicht, und gibt nach und nach Wörter aus (in irgendeiner Reihenfolge, eventuell mit Wiederholungen) Man fasst die Menge der ausgegebenen Wörter zur Sprache L(A) zusammen. Eine Wortmenge L heißt aufzählbar, wenn es einen Aufzählungsalgorithmus A gibt mit L = L(A). Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

27 Beispiele aufzählbarer Sprachen 1 über dem Alphabet {0,1,2,...,9}: die Menge der Primzahlen in Dezimaldarstellung 2 über dem Alphabet Σ tast : die Menge der Polynome p(x) mit ganzzahligen Koeffizienten, die eine Nullstelle in Z haben Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

28 Aufzählung der Polynome p(x) mit Nullstelle Wir nutzen die kanonische Reihenfolge der Wörter über Σ tast und extrahieren daraus eine Liste aller Polynome in x mit Koeffizienten in Z: p 0 (x),p 1 (x),p 2 (x),... Wir nutzen daneben die folgende Reihenfolge ganzer Zahlen z: 0,1, 1,2, 2,3,... Wir erstellen ein unendliches zweidimensionales Diagramm, das für alle Kombinationen (i,z) jeweils den Wert p i (z) enthält. Der gesuchte Aufzählungsalgorithmus geht im Diagonalverfahren (siehe nächste Folie) alle Stellen (i, z) des Diagramms durch, berechnet jeweils p i (z) und gibt dann p i aus, wenn sich p i (z) = 0 ergibt. Auf diese Weise entsteht eine Liste derjenigen p i (x), die eine Nullstelle in Z haben. Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

29 Diagonalverfahren Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

30 Vier Typen von Algorithmen Algorithmen zur Berechnung partieller Funktionen Algorithmen zur Berechnung totaler Funktionen Entscheidungsalgorithmen (zur Bestimmung der Mitgliedschaft von Wörten in Sprachen) Aufzählungsalgorithmen (zur Erzeugung der Elemente von Sprachen) Das ist nicht alles. Beispiel: Reaktive nicht-terminierende Verfahren (wie Kommunikationsprotokolle), die während ihres nicht abbrechenden Laufes immer wieder Eingaben entgegennehmen und immer wieder Ausgaben liefern. Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30

31 Die Kernfrage Welche Funktionen sind berechenbar? Welche Mengen sind entscheidbar, welche aufzählbar? Wenn man für eine Funktion f einen Algorithmus angibt, dann ist die Berechenbarkeit klar. Wie kann man nachweisen, dass eine Funktion f nicht berechenbar ist? Man muss gegen alle denkbaren Algorithmen argumentieren. Wie kann man sich einen Überblick über alle denkbaren Algorithmen verschaffen? Dies ist eine Kernfrage der Informatik. Wolfgang Thomas, Informatik 7 () Vorlesung Berechenbarkeit und Komplexität 13. Oktober / 30