Zufälligkeit und Komplexität

Ähnliche Dokumente
Wir suchen Antworten auf die folgenden Fragen: Was ist Berechenbarkeit? Wie kann man das intuitiv Berechenbare formal fassen?

Einführung in die Wahrscheinlichkeitsrechnung

Stochastik I. Vorlesungsmitschrift

Teil III. Komplexitätstheorie

Theoretische Informatik: Berechenbarkeit und Formale Sprachen

Funktionale Programmierung ALP I. λ Kalkül WS 2012/2013. Prof. Dr. Margarita Esponda. Prof. Dr. Margarita Esponda

Einführung in die Informatik 2

Theoretische Grundlagen der Informatik

Einführung in die Informatik Turing Machines

Satz 18 (Satz von der totalen Wahrscheinlichkeit)

Primitiv rekursive und µ-rekursive Funktionen

Diskrete Strukturen Kapitel 2: Grundlagen (Relationen)

Unvollständigkeit der Arithmetik

Grundlagen der Theoretischen Informatik

Logik für Informatiker. 1. Grundlegende Beweisstrategien. Viorica Sofronie-Stokkermans Universität Koblenz-Landau

Theoretische Informatik SS 03 Übung 3

Die Church-Turing-These

Grundbegriffe der Wahrscheinlichkeitstheorie. Karin Haenelt

Satz 16 (Multiplikationssatz)

Einführung in die mathematische Logik

3. Kombinatorik und Wahrscheinlichkeit

Stefan Schmid TU Berlin & T-Labs, Berlin, Germany. Reduktionen in der Berechenbarkeitstheorie

1 Stochastische Konvergenz 2. 2 Das Gesetz der grossen Zahlen 4. 3 Der Satz von Bernoulli 6

4 Messbare Funktionen

Unabhängigkeit KAPITEL 4

Satz von Borel-Cantelli. Limes inferior von Mengen. Limes superior von Mengen. Stetigkeit. Konvergenz von Zufallsvariablen. Kolmogorow-Ungleichung

EINFÜHRUNG IN DIE THEORETISCHE INFORMATIK 0. ORGANISATORISCHES UND ÜBERBLICK

Algorithmen mit konstantem Platzbedarf: Die Klasse REG

23.1 Constraint-Netze

Es werden 120 Schüler befragt, ob sie ein Handy besitzen. Das Ergebnis der Umfrage lautet: Von 120 Schülern besitzen 99 ein Handy.

Diskrete Strukturen Kapitel 2: Grundlagen (Mengen)

Formale Sprachen. Grammatiken und die Chomsky-Hierarchie. Rudolf FREUND, Marian KOGLER

Einführung in die Theoretische Informatik

2 Aufgaben aus [Teschl, Band 2]

DIE SPRACHE DER WAHRSCHEINLICHKEITEN

Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir

Turing-Maschine. Berechenbarkeit und Komplexität Turing-Maschinen. Turing-Maschine. Beispiel

Turing-Maschinen. Definition 1. Eine deterministische Turing-Maschine (kurz DTM) ist ein 6- Dem endlichen Alphabet Σ von Eingabesymbolen.

Deterministische Turing-Maschinen

Dank. Grundlagen der Theoretischen Informatik / Einführung in die Theoretische Informatik I. Probleme über Sprachen. Teil II.

6.2 Basen. Wintersemester 2013/2014. Definition Seien V ein K-Vektorraum, n N 0 und v 1,..., v n V. (a) Man nennt

Kapitel 6. Kapitel 6 Mehrstufige Zufallsexperimente

Grundlagen der Theoretischen Informatik

WS 2009/10. Diskrete Strukturen

Entscheidungsprobleme. Berechenbarkeit und Komplexität Entscheidbarkeit und Unentscheidbarkeit. Die Entscheidbarkeit von Problemen

Kapitel ML:IV. IV. Statistische Lernverfahren. Wahrscheinlichkeitsrechnung Bayes-Klassifikation Maximum-a-Posteriori-Hypothesen

Strukturelle Rekursion und Induktion

Automaten und Coinduktion

Unentscheidbare Probleme: Diagonalisierung

Theoretische Informatik Kap 2: Berechnungstheorie

Konvergenz, Filter und der Satz von Tychonoff

Simulation von Zufallsvariablen und Punktprozessen

Vorlesung Mathematik I für Wirtschaftswissenschaftler. Universität Leipzig, WS 16/17

$Id: folgen.tex,v /05/31 12:40:06 hk Exp $ an 1 2 n 1 ist gerade, 3a n 1 + 1, a n 1 ist ungerade.

Zufallsprozesse, Ereignisse und Wahrscheinlichkeiten die Grundlagen

Stochastik für die Naturwissenschaften

Logik für Informatiker

Vorkurs Mathematik und Informatik Mengen, natürliche Zahlen, Induktion

Kapitel 6 Martingale

Analysis 1, Woche 2. Reelle Zahlen. 2.1 Anordnung. Definition 2.1 Man nennt eine Anordnung für K, wenn: 1. Für jeden a K gilt a a (Reflexivität).

(Man sagt dafür auch, dass die Teilmenge U bezüglich der Gruppenoperationen abgeschlossen sein muss.)

Kapitel 1. Grundlagen Mengen

Automaten, Formale Sprachen und Berechenbarkeit I Wichtige Begriffe

Mengen. Eigenschaften. Spezielle Mengen (1) Prominente Mengen. ! Mengenzugehörigkeit

Lernzusammenfassung für die Klausur. Inhaltsverzeichnis. Stochastik im SS 2001 bei Professor Sturm

Vollständigkeit der reellen Zahlen

x, y 2 f(x)g(x) dµ(x). Es ist leicht nachzuprüfen, dass die x 2 setzen. Dann liefert (5.1) n=1 x ny n bzw. f, g = Ω

Ein RSA verwandtes, randomisiertes Public Key Kryptosystem

Primitiv rekursive Funktionen

Unentscheidbarkeit. Vorlesung Berechenbarkeit und Komplexität alias Theoretische Informatik: Komplexitätstheorie und effiziente Algorithmen

Zufallsgröße X : Ω R X : ω Anzahl der geworfenen K`s

LOOP-Programme: Syntaktische Komponenten

Kryptographie und Komplexität

Kapitel 9 WAHRSCHEINLICHKEITS-RÄUME

Folgen und Grenzwerte

Konstruktion der reellen Zahlen

Unabhängige Zufallsvariablen

Formale Systeme. Büchi-Automaten. Prof. Dr. Bernhard Beckert WS 2009/2010 KIT INSTITUT FÜR THEORETISCHE INFORMATIK

3 Vom Zählen zur Induktion

Unendliche Gruppen als geometrische Objekte

Satz 7. A sei eine Teilmenge des nichttrivialen Vektorraums (V,+, ). Dann sind die folgende Aussagen äquivalent.

8. Turingmaschinen und kontextsensitive Sprachen

Übung Theoretische Grundlagen

Brückenkurs Mathematik

Formale Methoden 1. Gerhard Jäger 9. Januar Uni Bielefeld, WS 2007/2008 1/23

Primzahlen Primzahlsatz Satz von Szemerédi Verallg. von Green/Tao Anwendung. Arithmetische Progressionen von Primzahlen

10.2 Linearkombinationen

Grundlagen der Mathematik

Definition 2.1 Der Erwartungswert einer diskreten Zufallsvariablen mit Wahrscheinlichkeitsfunktion

Abschnitt 3: Mathematische Grundlagen

Einführung in die Logik

Weierstraß-Institut für Angewandte Analysis und Stochastik Murphys Gesetz, tippende Affen und Unendlichkeit in der Wahrscheinlichkeitstheorie

Vorsemesterkurs Informatik

Wahrscheinlichkeitsrechnung

Ziegenproblem, Monty-Hall-Problem, Wahrscheinlichkeitsrechnung. Ziegenproblem, Monty-Hall-Problem, Drei-Türen-Problem

Zufallsvariablen [random variable]

Lösungen zu Übungsblatt 9

DIE SÄTZE VON SCHUR-ZASSENHAUS UND P. HALL

Berechenbarkeit. Script, Kapitel 2

Musterlösung der Hauptklausur zur Vorlesung Theoretische Grundlagen der Informatik Wintersemester 2012/13

Transkript:

André Nies The University of Auckland Universität Bern, Dezember 2008

Überblick Wir wollen die Interaktionen von verstehen. Diese intuitiven Begriffe versucht man in der Philosophie exakt zu definieren. Wir beschränken uns auf endliche oder unendliche Folgen von bits 0,1. Wir zeigen, wie man hier die beiden Begriffe mathematisch definieren kann. sind oft korreliert. Es gibt sehr reiche Interaktionen in beiden Richtungen für unendliche Folgen von bits. Dies ist eines der Hauptthemen meines Buchs (Computability and Randomness, Oxford University Press, erscheint Feb. 2009).

1. in der Philosophie und den Naturwissenschaften

Definition von Zufall in der Philosophie Zufall: der Übergang von einer Ausgangsituation in eine von mehreren möglichen Endsituationen. Es liegt keine Ursache vor für das Eintreten dieser Endsituation. Wiederholt man ein solches Experiment, so kann deshalb bei der gleichen Ausgangssituation eine andere Endsituation eintreten. Beispiele: radioaktiver Zerfall eines Partikels, und andere Quanten-Ereignisse Münzwurf

Abbildung: Quanten-Zufallszahlengenerator

Komplexität Die Komplexität ist ein Mass für die in einem Objekt enthaltene Information. Ein System besteht aus Teilen und Relationen zwischen diesen. Oft untersucht man in den Naturwissenschaften komplexe Systeme.

Abbildung: Visuelle Darstellung von Pfaden im Internet

Interaktion von Zufälligkeit u. Komplexität: Evolution Evolution: zufällige Änderungen und Selektion führen zu komplexen Systemen. Beispiele: menschliches Genom natürliche Sprachen

2. für endliche Folgen

Endliche Folgen von bits 0,1 nennen wir Wörter. Beispiele von Wörtern der Länge 36: (a) 00000000 00000000 00000000 00000000 0000 (b) 10100100 01000010 00001000 00010000 0001 (c) 00100100 00111111 01101010 10001000 1000 (d) 10010100 00010001 11110100 00101101 1111 (e) 11101101 01111010 10101111 11001110 1110

Beschreibungen von Wörtern (a)-(c) haben kurze Beschreibungen: (a) 36 Nullen (b) 7 i=0 0i 1 (c) Die ersten 36 bits nach dem Komma von π in binär Die Wörter (d) und (e) wurden durch Münzwurf erzeugt, und lassen sich daher nicht einfacher beschreiben.

Beschreibungssysteme für Wörter Der Begriff der Beschreibung von Wörtern lässt sich mathematisch darstellen. Ein Beschreibungssystem ist eine partiell berechenbare Funktion M : Wörter Wörter. (D.h., wir lassen zu, dass M(σ) undefiniert ist.) Beispiel: für eine Zahl n mit Binärdarstelllung σ sei M(σ) = n i=0 0i 1. M(111) = 101001000100001000001000000100000001. Ist M(σ) = x, so nennen wir σ eine M-Beschreibung von x.

Universelles Beschreibungssystem Es gibt ein universelles Beschreibungssystem V. Dieses System kann jedes System M simulieren: Zu jeder M-Beschreibung von x gibt es eine V-Beschreibung von x die um höchstens eine Konstante c M länger ist. Ist eine V-Beschreibung von x wesentlich kürzer als x, so heisst x komprimierbar. Sonst ist x inkomprimierbar. D.h., x ist seine eigene kürzeste Beschreibung. Für Wörter, inkomprimierbar komplex im Sinne von Beschreibungssystemen.

Zufälligkeit für Wörter Inkomprimierbarkeit ist das formale Äquivalent von Zufälligkeit. Evidenz hierfür: inkomprimierbare Wörter erfüllen statistische Tests. Zum Beispiel geht der Anteil der Einsen mit steigender Länge gegen 1/2. Fast alle Wörter einer festen Länge n sind zufällig. Es gibt nämlich weniger als 2 n c Beschreibungen der Länge < n c.

Chaitins Version des Gödel schen Unvollständigkeitssatzes Ein formales System F kann Inkomprimierbarkeit nur für endlich viele Wörter zeigen. Beweis: durch Widerspruch. Für unendlich viele n ist andernfalls das erste Wort der Länge n für das F Imkomprimierbarkeit zeigt eine Beschreibung mit nur log 2 n + c bits eines Wortes der Länge n. Für hinreichend grosse n ist solch ein Wort komprimierbar.

3. für unendliche Folgen

Unendliche Folgen von bits Wir betrachten nun unendliche Folgen Z von bits. Ein solches Z wird mit der Teilmengen von N identifiziert. Beispiel: {n : Z (n) = 1} Z = 101001000100001000001000000100000001... = {(n 2 + 3n)/2: n N}.

Zufälligkeit für unendliche Folgen Intuitiv erwarten wir von einer zufälligen Folge Z : Wenn wir Z (0), Z (1),..., Z (n 1) gesehen haben, wissen wir trotzdem nicht welches bit als Z (n) kommt. Sie ist typisch. Zum Beispiel gilt das Gesetz der grossen Zahlen lim n ( {i < n : Z (i) = 1} /n) = 1/2. Sie ist schwer zu beschreiben.

Martin-Löf-Zufälligkeit Sei 2 N der Raum der Binärfolgen mit der Produkttopologie. Sei µ das uniforme Mass auf 2 N, bei dem 0 und 1 jeweils die Wahrscheinlichkeit 1/2 haben. Martin-Löf (1966) formalisierte Zufälligkeit durch eine algorithmische Version eines Test-Konzeptes aus der Statistik: Zu jedem n kann man ein offene Menge V n 2 N effektiv aufzählen, wobei µv n 2 n. Z is Martin-Löf-zufällig falls Z n V n für jeden solchen Martin-Löf-Test (V n ) n N. Die Idee ist, dass typische Folgen nicht in Nullmengen enthalten sind. Martin-Löf definierte effektive Nullmengen. Die Martin-Löf-zufälligen Folgen sind nicht in solchen enthalten.

Schnorrs Theorem Schnorr (1973) charakterisierte Zufälligkeit durch Inkomprimierbarkeit der Anfangstücke. Theorem (Schnorr) Z ist zufällig für jedes n ist das Anfangsstück Z n = Z (0)... Z (n 1) inkomprimierbar, in dem Sinne, dass c N n [K (Z n) n c].

Was ist K (x)? Hierbei ist K (x) die Länge einer kürzesten präfixfreien Beschreibung von x. D.h., als Beschreibungssysteme sind nur solche zugelassen, bei denen keine Beschreibung eine Beschreibung eines anderen Wortes verlängert. Es gibt ein universelles Beschreibungssystem U dieser Art. Also haben wir K (x) = min{ σ : U(σ) = x}. Chaitins Haltewahrscheinlichkeit: Ω = U(σ) ist definiert 2 σ. Ω (in Binärdarstellung) ist ML-zufällig.

Komplexität von unendlichen Folgen Um die Komplexität einer Folge A zu definieren fragt man: Wie nützlich ist A als Orakel? Das Berechnungsmodell (z.b. Turing-Maschinen) wird erweitert. Während der Berechnung kann man Fragen der Art n A? an das Orakel stellen. Ist C ein mathematischer Begriff, der mit Hilfe von Berechnungen definiert wurde, so ist C A der entsprechende Begriff für das erweiterte Berechnungsmodell. Zum Beispiel ist U A das universelle präfixfreie Beschreibungssystem mit Orakel A, und K A (x) = min{ σ : U A (σ) = x}.

Niedrigkeit Wir benutzen den Begriff C, um einen bestimmten Aspekt der Komplexität von A zu formalisieren. Für berechenbares A sind C A und C äquivalent. Je komplexer A, desto mehr unterscheidet sich C A von C. Definition (a) Eine Menge A N ist niedrig für K falls A, als Orakel, K (x) nicht um mehr als eine Konstante verkleinert: c N x [K A (x) K (x) c]. (b) A ist niedrig für Martin-Löf, falls jede ML-zufällige Menge bereits ML-zufällig relativ zu A ist.

K -Trivialität Definition Eine Menge A N ist K -trivial, falls c N n [K (A n) K (0 n ) + c]. K (A n ) ist so klein wie möglich. Solche Mengen sind sehr wenig zufällig, da K (0 n ) 2 log n + d; Zufälligkeit von A wäre äquivalent zu c N n [K (A n) n c]. Jede berechenbare Menge ist K -trivial: aus einer Beschreibung von 0 n bekommt man eine Beschreibung von A n.

Leichte Implikationen; Existenz Niedrig für ML K -trivial Niedrig für K Für jede der drei Eigenschaften wurde die Existenz einer nichtberechenbaren Menge gezeigt: Begriff Referenz K -trivial Solovay (1975) Niedrig für Martin-Löf Kučera und Terwijn (1998) Niedrig für K Muchnik (1998)

Kostenfunktionen Definition Eine Kostenfunktion ist eine berechenbare Funktion c : N N {x Q 2 : x 0}. A N erfüllt c, wenn es eine berechenbare Approximation A(x) = lim s A s (x) gibt so dass x,s c(x, s) [[x < s & x minimal mit A s 1(x) A s (x)]] <. Intuition: c(x, s) ist die Kosten einer Änderung A s (x) A s 1 (x). Theorem Falls lim x lim s c(x, s) = 0, so gibt es eine nichtberechenbare r.a. Menge A die c erfüllt.

Aquivalenz der drei Begriffe Theorem (Nies, Advances in Mathematics, 2005) A ist niedrig für K A ist niedrig für Martin-Löf A ist K -trivial. Also haben wir für diese Formalisierung unserer zwei Begriffe: A ist nicht komplex A ist wenig zufällig.

Kostenfunktionen und K -Trivialität Beispiel einer Kostenfunktion: c K (x, s) = x<y<s 2 Ks(y). Theorem (Nies, 2005) A erfüllt c K A ist K -trivial.

Neuere Forschung: strong jump traceability Figueira, Stephan und Nies (2007) führten eine weitere Niedrigkeits-Eigenschaft von A ein: Strong jump traceability. Diese Eigenschaft drückt aus dass z.b. U A (σ) sehr wenig mögliche Werte hat; diese kann man effektiv aufzählen. Cholak, Downey und Greenberg (Advances in Math, 2007) zeigten, dass die s.j.t. effektiv aufzählbaren Mengen eine echte Teilklasse der K -trivialen bilden. Greenberg, Hirschfeldt und Nies charakterisierten die Eigenschaft mit Hilfe von Zufälligkeit: A ist s.j.t. A kann von jeder effektiv approximierbaren ML-zufälligen Menge berechnet werden.

Diagramm von Komplexitätseigenschaften not T 0' array computable bounds only GL 2 bounds only GL 1 not of PA degree not of d.n.c. degree not LR 0' not superhigh not high Low(Ω) superlow Low(MLR) low strongly superlow c.e. traceable jump traceable strongly jump traceable computably dominated computably traceable computable

Zusammenfassung kommen in den Naturwissenschaften vor. Beide Begriffe haben mathematische Formalisierungen. Für Wörter ist Zufälligkeit äquivalent zu Inkomprimierbarkeit (hohe Beschreibungskomplexität). Für unendliche Folgen ist wenig zufällig im Sinne von K -trivial äquivalent zu wenig komplex im Sinne von niedrig für K.