Theorie der Informatik (CS105) Komplexität (Forts), Universelle Gatter, Nebenläufigkeit, Petri-Netze

Transkript

1 Theorie der Informatik (CS105) Komplexität (Forts), Universelle Gatter, Nebenläufigkeit, Petri-Netze 5. Mai 2010 Prof. Dr. Christian Tschudin Departement Informatik, Universität Basel Wiederholung/Einstieg 1. Was besagt das Halteproblem? 2. Was bedeuted die O-Notation für Komplexität? 3. Wie sind die Klassen P und NP definiert? 4. Was ist das SAT-Problem? c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 2/43

2 Ueberblick über heutige Sitzung Komplexitätstheorie (Schluss): Kolmogorov-Komplexität, und der Komplexitäts-Zoo Implementierungskomplexität: Universelle Gatter (z.b. Fredkin- und Toffoli-Gate) Komplexität wegen Parallelität: Nebenläufigkeit Analyse eines historischen Zugunfalls Interleaving Rückführung auf Sprachen Petri-Netze c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 3/43 P und NP P: polynomial alle Sprachen (Probleme), die mit polynomialer Zeit akzeptiert werden können NP: nichtdeterministisch-polynomial alle Sprachen (Probleme), die von einer nichtdeterministischen Turingmaschine in polynomialer Zeit akzeptiert werden können. c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 4/43

3 Das SAT-Problem SAT = satisfyability problem Erfüllbarkeitsproblem der Aussagenlogik. Gegeben: eine aussagenlogischen Formel F Gefragt: Gibt es eine Belegung von F so dass die Formel wahr wird? a) Durchprobieren aller Variablenbelegungen: O(2 n ) für n Variablen b) Erfüllung überprüfen: n Schritte nötig um Erfüllung zu testen c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 5/43 Das SAT-Problem (Forts) SAT als Sprache (Akzeptierproblem) formuliert: L = {F F erfüllbar } Vermutung: SAT ist in NP Es gilt sicher: P NP Die Frage ob P = NP ist offen (aber unwahrscheinlich) c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 6/43

4 NP hart, vollständig Definition: ein Problem A heisst NP hart, wenn A mindestens so hart ist wie alle anderen Probleme in NP. Definition: ein Problem A heisst NP vollständig, wenn es NP-hart ist und A NP Wenn gezeigt würde, dass ein NP-vollständiges Problem in P liegt, dann würde gelten: P = NP Satz: SAT ist NP-vollständig c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 7/43 Weitere NP-Probleme Vielzahl von (aufeinander reduzierbaren) Problemen in NP. Auswahl: SAT Rucksack (Knapsack) Hamilton-Kreis Traveling Salesman Es bleibt aber (bis heute) dabei: P NP Im Folgenden: Einige dieser (harmlos aussehenden) Probleme vorstellen. c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 8/43

5 Knapsack-Problem (Rucksack packen) Aufgabe: Vorgegebene ganze Zahl b als Summe von vorgegebenen kleinen Zahlen a 1... a k darstellen. Formal: Gibt es Teilmenge I {1... k}, so dass b = Σ i I a i? c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 9/43 Hamilton-Kreis-Problem Aufgabe: Finde in einem ungerichteten Graphen einen (falls existent) Pfad der jeden Knoten genau einmal besucht. Da das Auffinden schwierig ist, wird dies oft für kryptographische Puzzles verwendet (man kann den Graphen zeigen, ohne das Geheimnis zu verraten). c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 10/43

6 Einschub: Euler-Pfad Leonhard Euler hat eine analoge Situation betrachtet: Gibt es in einem ungerichteten Graphen einen Pfad, der jede Kante genau einmal besucht? Euler liefert die Bedingungen für die Existenz eines solchen Pfads: ausser bei max 2 sind alle Knoten von geradem Grad. Siehe z.b. c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 11/43 Traveling Salesman Aufgabe: Lege einen Weg so durch die Punktewolke, dass die Gesamtstrecke minimal wird. Ist in der Logistik sehr wichtig, aber für 100e von Camions und Städten ist das Problem schon zu gross (um es über Nacht zu lösen). c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 12/43

7 Komplexität Zwischenbewertung Effiziente vs ineffiziente Algorithmen: NP bleibt, nach heutigem Wissen, ineffizient. Auf der Ineffizient beruhen wichtige Anwendungen z.b. der Kryptographie: diskreter Logarithmus, Primzahlzerlegung Komplexitätstheorie bezieht sich auf (serielle) Turing-Maschine. Ineffizienz könnte durch neuen Rechnertyp in Frage gestellt werden: Quantencomputer aber noch tief in der Forschung... c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 13/43 Kolmogorov: Person, Komplexitätsmass Andrey Kolmogorov, , Russland Mathematiker, viele Felder, u.a. Wahrscheinlichkeitstheorie nach ihm benanntes Komplexitätsmass K K ist keine berechenbare Funktion! Bezug von K zu Kompressions(effizienz) c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 14/43

8 Kolmogorov-Komplexität Bisher gesehen/gehört: DTIME und DSPACE-Komplexität. Neu: Beschreibungskomplexität Gegeben: Bit-String Gesucht: kürzestes Programm, das diesen String darstellt (erzeugen kann). Bezug zu Kompression : (Bild-/Musik-)Daten verlustfrei maximal komprimieren dies bestimmt (idealerweise) den Informationsgehalt. Alternative zur Daten-Kompression: Programm, dass diese Daten erzeugt. c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 15/43 Kolmogorov (Forts): Eigenschaften Def: Kolmogorov-Komplexität eines Strings s: K(s) = Länge des kürzesten Programms, das s erzeugt. Eigenschaften: K(s) hängt nicht (wesentlich) von der (Programmier-)Sprache ab! Bzw es gilt: s K 1 (s) K 2 (s) c konstant für zwei Sprachen L 1, L 2 K(s) ist keine berechenbare Funktion! Lemma: Das kleinste Beschreibungsprogramm zu s kann nicht berechnet werden. c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 16/43

9 Komplexitäts-Zoo Heute eine Unmenge von Komplexitätsmassen. Siehe Zoo mit 489 Klassen (Stand Mai 2010, eine mehr als vor einem Jahr) Bemerkenswert: BQP: Bounded-Error Quantum Polynomial-Time The class of decision problems solvable in polynomial time by a quantum Turing machine, with at most 1/3 probability of error. [... ] BQP is often identified as the class of feasible problems for quantum computers. Contains the factoring and discrete logarithm problems [Sho97]... c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 17/43 implementierungskomplexität Wie aufwendig ist es, eine Turing-Maschine, bzw. frei programmierbaren Computer zu bauen? Eine Technologiefrage. Zuse in den 1940er-Jahren: Relais Elektronik: Transistoren Quantencomputer: Qbits Optischer Computer: aktive Kristalle, Solitons Hier nur Rückführung auf (elektronische) Gatter betrachtet. c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 18/43

10 Universelle Gates Logische Schaltkreise für AND, OR, NOT: alles mit NAND realisierbar: A not(a and B) B Spezielle Schaltkreise, die reversibel sind: aus den Ausgabewerten Eingabewert berechnen geht zb bei NAND nicht! c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 19/43 Universelle Gates (Forts.) Reversible 1-bit Gatter: nur NOT Reversible 2-bit Gatter: nur XOR (mit Kopie von 1 Input) Input Output Auch zusammen reichen diese beiden Gatter nicht, um universell Funktionen reversible zu implementieren. 3-bit Gatter (Fredkin, Toffoli) c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 20/43

11 Universelle Gates: Fredkin Gate (conditional swap) C I1 I2 O1 O2 (C and I1) or (not(c) and I2) (not(c) and I1) or (C and I2) Kontrolliertes Austauschen: Leitung C steuert, ob die Eingänge I1 und I2 zu O1 und O2 werden, oder umgekehrt. zb Implementierung von AND: a C b I1 0 I2 Output: O1 c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 21/43 Universelle Gates: Fredkin Gate II Reversibles Rechnen: mit Fredkin-Gates kann Rechnung umgekehrt laufen Industrielles Interesse: Verminderung der Wärmeerzeugung von CPUs keine Vernichtung einer logischen 1 (=Voltpegel) sog. adiabatisches Computing Bisher noch kein Durchbruch auf dem (Consumer-)Markt c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 22/43

12 Reversible Gatter und Quantencomputer In der Quantencomputerforschung wurde vor allem das Toffoli -Gatter (controlled-controlled-not Gate) untersucht, ein weiteres reversibles Gatter. Quantenberechnungen müssen reversible sein, Toffoli-Gates aber nur ein Subset. D.h.: Toffoli ist zwar ein universelles Gatter, aber nur für gewöhnliche (klassische) Rechner. universeller Quantenrechner benötigt Menge von Quantencomputer-Gates, u.a. CNOT (controlled NOT gate). c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 23/43 Nebenläufigkeit (Engl: Concurrency) Gleichzeitige Ausführung von mehreren Computern oder Programmen Koppelung dieser Ausführungen: Synchronisation (z.b. warten) durch Austausch von Meldungen Problemstellung: Voraussagen machen über Gesamtsystem (intuitiv auch bei gutem Programmdesign kaum bewältigbar) Ansatz: Systemverhalten als Sprache auffassen. Anwendungsgebiete: Kommunikationsnetze (Protokolle), Betriebssysteme c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 24/43

13 Beispiel eines fehlerhaften Protokolles Clayton-Tunnel 1861, nur 1 Zug je Richtung darf unterwegs sein. Sicherungssystem: Wächter an beiden Seiten, mit Flaggen Semaphor (mechanisches Signal): rot/grün automatisch rot gesetzt wenn ein Zug in den Tunnel fährt muss durch Wächter auf Grün zurückgesetzt werden falls Signal ausfällt (z.b. nicht auf Rot geht) ertönt Glocke Nadeltelegraph (wie im Schiff) c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 25/43 Clayton Tunnel (Forts I) Nadeltelegraphen-Meldungen: Zug im Tunnel! Tunnel frei! Zug draussen? c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 26/43

14 Clayton Tunnel (Forts II) Normaler Ablauf: Zug fährt in Tunnel ein Eingangssignal geht automatisch auf Rot, Wächter am Eingang signalisiert Zug im Tunnel! Zug fährt aus dem Tunnel aus Wächter am Ausgang telegraphiert Tunnel frei! Wächter am Eingang setzt Signal auf Grün Dennoch konnte etwas schiefgehen... c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 27/43 Clayton Tunnel (Forts III) Unfallszenario (August 1861) Zug 1 fährt ein, Signal geht nicht auf Rot aber die Glocke ertönt Wächter telegraphiert korrekt Zug im Tunnel! und holt die rote Flagge hervor Zweiter Zug ist schon da und passiert das grüne Signal, sieht noch die rote Flagge, ist nun aber im Tunnel Eingangswächter telegraphiert nochmals Zug um Tunnel! Wie geht s weiter?... c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 28/43

15 Clayton Tunnel (Forts IV) Wegen der Unsicherheit, ob der Ausgangswächter zwei Mal Zug im Tunnel! gesehen hat, frägt Eingangswächter: Zum draussen? Ausgangswächter sieht ersten Zug, gibt Tunnel frei! an Eingangswächter winkt dritten Zug in den Tunnel ein Zweiter Zug hat sich entschieden, rückwärts aus dem Tunnel zu fahren... vorsichtshalber... Es kommt zum Zusammenstoss, 21 Tote, 176 Verletzte c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 29/43 Clayton Tunnel (Forts V) Bewertung Alle Parteien haben vernünftig gehandelt: Eingangswärter: 2x Zug im Tunnel! Rückfrage mit Zug draussen? Einlass dritter Zug nach Antwort Ausgangswächter ebenfalls korrekt Wegen überfahrenem grünen Signal und roter Flagge war es sinnvoll, den 2ten Zug zurückzufahren Protokoll war nicht aussagekräftig genug, um den Sachverhalt 2 Züge im Tunnel auszudrücken. c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 30/43

16 Protokolle und Computer Def von Protokoll ist schwierig: Protokoll Satz von Annahmen, Regeln, Meldungstypen und Meldungsformaten, auf die sich mehrere Parteien geeinigt haben, um einen Dienst gemeinsam zu erbringen. Beispiele von Diensten: Beheben von Uebertragungsfehlern Bestätigte Meldungsübermittlung Flusskontrolle (Anhalten/Starten eines Datenstroms) Besser keine Fehler im Protokoll: Computer sind stur... c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 31/43 Beispiel einer einfachen Flusskontrolle Annahmen: Sender und Empfänger Kanal verliert keine Meldungen Empfänger startet im Zustand bereit zum Empfang Meldungstypen: DATA und ACK Dienst: Sender kann den Empfänger nicht überrennen Prozedurale Ablauf (Protokollregeln): DATA ACK DATA... c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 32/43

17 Darstellung mit endlichen Automaten Bereit zum Senden Bereit zum Empfangen 1 A ACK? DATA! ACK! DATA? 3 OK 2 C DONE B Warten auf ACK Hole neue Daten Sende ACK Verarbeite Daten Notation für Senden: MELDUNG!, Empfangen: MELDUNG? gleichzeitige/gemeinsame Ausführung Kein Endzustand: System läuft unendlich lang c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 33/43 Gesamtsystem Entwicklung Das Protokoll generiert eine Sprache (von Ereignissen): Möglicher Durchlauf: DATA / DONE / OK / ACK / DATA /... Auch möglich: DATA / OK / DONE / ACK / DATA /... Sog. Interleaving oder auch: nebenläufige Ausführung c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 34/43

18 Gesamtsystem Komposition DATA OK 3B DONE 1A 2B 3C DONE 2C OK ACK Neue Zustandsmenge: Kombination der beiden Teilzustände Konstruktion der Transitionen ähnlich der Transformation nichtdeterm. endl. Automat determ. endl. Automat c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 35/43 Protokoll-Verifikation Problemstellung: Systemeigenschaften ableiten aus Beschreibung der Teilsysteme Trotz endlichen Maschinen: Komplexität! Einfaches Sicherungsprotokoll (Alternating Bit): Sende und Empfänger nur 6 Zustände, Gesamtsystem 36 Kombination von Sender, Kanal, Empfänger, Applikation: Mio von Zuständen zu überprüfen (wegen Interleaving) Zwei Wege: formales Beweisen auf symbolischer Ebene Zustandsraum durchrechnen c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 36/43

19 Beispiel II: Dining Philosophers Klassisches Beispiel aus dem Gebiet der Betriebssysteme Ausschliesslicher Zugriff sicherstellen auf Ressourcen wie Schreibzugriff auf File, Ausgabe auf Drucker Konstruktion eines Semaphors : nur ein Prozess kann im Besitz des Semaphors sein (Reservation) Konstellation: mehrere Prozesse, Semaphore, Reservationen kann zu Deadlocks führen. c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 37/43 Dining Philosophers (Forts I) N Philosophen, entweder denkend oder hungrig N Gedecke, N Gabeln Um zu essen werde zwei Gabeln gebraucht Wenn alle Philosophen gleichzeitig hungrig sind und die Gabel zu ihrer Rechten nehmen, blockiert das System. Frage: Welches Protokoll, um das zu vermeiden? c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 38/43

20 Dining Philosophers (Forts II) Lösungen für das Dining Philosopher-Problem Grundprinzip: immer zwei Gabeln auf s Mal nehmen, oder keine Verschiedene Lösungen Prioritäten, Semaphore (siehe Betriebssystem-Kurs) Formale Methoden brüsten sich mit eleganten Lösungen, so zum Beispiel Petri-Netze Neuste Variante: driving philosophers etc etc c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 39/43 Petri-Netze (1962) Abstrakte Maschine, um asynchrone Aktivitäten zu modelieren. Plätze beinhalten 0 oder mehr Tokens Transitionen: Eingangsplätze (Bedinungen) Ausgangsplätze (Folgen) Feuerungsregel: wenn alle Eingangsplätze mind 1 Token haben, wird je 1 Token abgezogen (d.h. die Transition feuert ), alle Ausgangsplätze erhalten 1 Token c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 40/43

21 Petri-Netze (Forts) für animierte Beispiele (in Flash). Siehe z.b. Elevator-Beispiel Lösung für das 4-Philosophen-Problem Erreichbarkeitsgraphen (Transformation in endlichen Automaten) c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 41/43 Eigenschaften in Petri-Netzen Plätze können unendlich viele Tokens beinhalten, d.h. potentiell keine endliche Maschine mehr ( infinite state systems ). Gegeben: Petri-Netz mit Ausgangskonfiguration Erreichbarkeit: Antwort erst 1981 ja! Kann eine bestimmte Konfiguration erreicht werden? Lebendigkeit (d.h. kein Deadlock ): Kann das Netz in eine Sackgasse geraten? Lifelock: Kann das Netz in eine Schleife ohne Ausgang geraten? c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 42/43

22 Mächtigkeit von Petrinetzen Analyse: Systemverhalten als Sprache, z.b. ist ein (Konfigurations-) Wort erreichbar? Siehe Erreichbarkeitsgraphen High-level-Petri-Netze sind gleichmächtig wie Turingmaschinen. (High-level: Tokens mit Attributen), und die Church Turing Hypothese ist immer noch gültig Schlussbemerkung Petri-Netze: ist eines von vielen (Maschinen-)Modellen für Nebenläufigkeit Grundmodell ist intuitiv, gut für Lehre zig Varianten von Petri-Netzen, hat sich nicht durchgesetzt. c Tschudin, Departement Informatik, Universität Basel CS105 - Theorie : Komplexität , 43/43