KOLMOGOROV-KOMPLEXITÄT

Transkript

1 1 KOLMOGOROV-KOMPLEXITÄT EINE DEFINITION VON INFORMATION Andrej Nikolaevič Kolmogorov ( ) gilt als Gründungsvater der nach ihm benannten Algorithmischen Komplexität. Auf Basis der Kolmogorov-Komplexität wird eine Untersuchung des Informationsgehalts, d.h. eine Quantifizierung von Inhalt, ermöglicht. Der intuitive Ansatz, der als Grundlage Verwendung findet, ist dieser: Die Komplexität eines Objekts ist durch die Länge der einfachsten Beschreibung gegeben. Die Formalisierung dieses Satzes bildet die Kolmogorov-Komplexität, deren Anwendung wir in diesem Rahmen hauptsächlich auf binäre Strings und somit natürliche Zahlen beschränken. Die Kolmogorov-Komplexität findet heute nicht nur vielfältigste Anwendungsgebiete in der Mathematik und Informatik sondern auch in anderen Wissenschaften großen Anklang. I. Formale Definition Sei Wir definieren eine bijektive Abbildung. Diese bildet ein Tupel aus beliebig vielen binären Objekten auf einen Binärstring ab. Eine Möglichkeit diese Abbildung zu realisieren ist die folgende: Innerhalb eines Objektes ersetzen wir jede 0 durch 00 und jede 1 durch 11. Nun konkatenieren wir alle Strings und fügen als Trennzeichen 01 zwischen den Objekten ein. Diese Implementierung reicht für unsere Zwecke aus. Eine effektivere Methode wird in [1] aufgezeigt. Im Weiteren sei mit die Länge des binären Strings x bezeichnet. Wir wissen, dass eine effektive Aufzählung aller partiell rekursiven Funktionen durch die effektive Aufzählung aller möglichen Turingmaschinen existiert. Im Folgenden nennen wir diejenigen binären Objekte eine Beschreibung von x die als Eingabe für eine feste partiell rekursive Funktion das Objekt x liefert. Wenn p ein Programm, w ein Eingabewort für p ist und gilt, so ist unter Verwendung von eine Beschreibung von x. Unter Angabe des Beschreibungskontexts können wir die konditionale Kolmogorov-Komplexität definieren: Definition 1: Konditionale Kolmogorov-Komplexität Unter der Eingabe w benötigen wir also mindestens binären String x mittels wiederherzustellen. Bits um die Information aus dem Definition 2: Unkonditionale Kolmogorov-Komplexität. Im Falle der unkonditionalen Kolmogorov-Komplexität können wir uns die Eingabe im Programm selbst kodiert vorstellen oder uns das Programm so denken, dass dies immer eine konstante Ausgabe hat. II. Eigenschaften von K Möchte man ein Komplexitäts-Maß verwenden, so muss es zumindest ein universelles Element geben, d.h. eine Funktion die bis auf eine additive Konstante eine optimale Komplexitätsangabe liefert. Im Folgenden sagen wir, dass die Beschreibungsmethode g durch die Beschreibungsmethode f minorisiert wird, wenn: gilt. Zwei Beschreibungsmethoden sind äquivalent, wenn sie sich beide gegenseitig minorisieren.

2 2 Satz 1: Invarianztheorem Es gibt eine universelle, partiell rekursive Funktion. Beweis: Sei die universelle Turingmaschine U. Als Eingabe für nehmen wir den String an, so dass U die n-te Turingmaschine mit der Eingabe simuliert. Da ist, gilt. Hierbei ist und somit unabhängig von dem Objekt x. Die Komplexität eines Objekts ist folglich unabhängig von der Beschreibungsmethode und ist universell. Dieser Satz gilt auch für die unkonditionale Kolmogorov-Komplexität. Auch wenn die universelle Funktion nicht immer die kürzeste Beschreibung liefert, so können wir sagen, dass keine andere Methode uneingeschränkt oft eine kürzere Beschreibung liefern kann. Es folgt aus dem Invarianztheoren, dass für zwei universelle Funktionen gilt. Die Komplexitätsangabe von universellen Funktionen kann maximal um eine additive Konstante variieren und der Begriff der Kolmogorov-Komplexität wird im Weiteren unabhängig von einem Beschreibungskontext benutzt. Beispiel: Die Komplexität ist unabhängig von der Programmiersprache. Es gibt keinen qualitativen von der gewählten Programmiersprache abhängigen Unterschied beim Beschreiben von Objekten, sofern die Programmiersprachen universell sind. So macht es keinen Unterschied ob wir Lisp oder Basic als Programmiersprache präferieren, da wir in Basic einen Lisp Interpreter und in Lisp einen Basic Interpreter bauen können. Es gilt. Die konstante stellt hierbei den maximalen Aufwand dar, die eine Sprache durch die andere zu interpretieren. Satz 2: Es existiert eine Konstante c, so dass gilt. Beweis: Wir definieren eine Turingmaschine T, die das Eingabeband unberührt lässt und als einzigen Schritt terminiert. ist gleich der Länge von x, da wir an T nur x übergeben müssen. Aus dem Invarianztheorem folgt durch Ersetzen von durch der zu beweisende Satz. Satz 3: Es existiert eine Konstante c, so dass gilt. Beweis: Sei T diejenige Turingmaschine, die bei beliebiger Eingabe genau dann x ausgibt, wenn die universelle Turingmaschine U mit dem Parameter z aufgerufen x ausgibt. Es folgt, dass gilt. Aus dem Invarianztheorem erhalten wir durch Substitution von durch die gewünschte Aussage. Satz 4: K ist nicht berechenbar. Beweis: Wir führen einen Widerspruchsbeweis. Angenommen K wäre berechenbar, so könnten wir eine Java Funktion schreiben, die uns K berechnet. Sei diese Funktion int computecomplexity(string input). Die Funktion getstringsoflength(int n) liefert ein Array mit allen Strings der Länge n zurück. Desweiteren sei N eine statische Ganzzahl-Variable der Klasse. Wir können nun eine weitere Java- Funktion getverycomplexstring() schreiben, die den ersten String mit einer Komplexität größer N zurückliefert: public static String getverycomplexstring() { for(int i = 0; i < Double.POSITIVE_INFINITY; ++i) { String[] strings = getstringsoflength(i); for(string item : strings) { if(computecomplexity(item) > N) return item; } } } Sei c der Speicherbedarf des Codes inklusive dem Speicherbedarf für den Code der Java Virtual Machine. Wählen wir, so haben wir einen String mit einer Komplexität N durch den Code mit Größe c beschrieben. Dies ist offensichtlich ein Widerspruch. K ist nicht berechenbar.

3 3 Satz 5: Es gibt eine total rekursive Funktion mit, welche monoton fallend in t ist. Beweis: Wir konstruieren eben diese Funktion. Wir wissen, dass die Komplexität nicht über liegen kann. lasse nun alle möglichen Programme p mit auf der Universellen Turingmaschine für t Schritte laufen. Als Wert von definieren wir die Länge des kürzesten Programms, dass innerhalb von t Schritten terminiert und als Ausgabe x hat. Gibt es kein Programm, dass innerhalb von t Schritten terminiert, so setzen wir auf. Diese Funktion ist offensichtlich monoton fallend in Abhängigkeit von t. Weiterhin liefert diese Funktion in der Unendlichkeit den Wert zurück, da durch ein Programm berechnet wird, was nach endlich vielen Schritten hält. III. Komprimierbarkeit von Strings Definition 3: Wir nennen Strings c-komprimierbar, sofern für einen bestimmten Wert c die Gleichung gilt. Wir können eine Aussage darüber machen, wie viele c-unkomprimierbare Strings es gibt. Dieser einfache Satz reicht für uns aus, die weiter unten beschriebenen Beweise zu führen. Unter [1], Kapitel 2.2 findet man eine vielseitigere Aussage über die Anzahl nicht komprimierbarer Objekte. Satz 6: Es gibt mindestens Strings der Länge n, die c-unkomprimierbar sind. Beweis: Damit ein String x der Länge n c-komprimierbar ist, muss gelten. Nur Strings mit einer Länge kleiner gleich können mögliche Beschreibungen für c-komprimierbare Strings sein. Es gibt Strings der Länge Da es Strings der Länge n gibt, von denen nur c-komprimierbar sein können, folgt der Satz. Anwendungen der Unkomprimierbarkeit Die Möglichkeiten mittels Argumenten über Umkomprimierbarkeit Beweise zu führen sind äußerst vielfältig. So kann man komplizierte Average-Case Analysen von Sortieralgorithmen elegant vornehmen (siehe [1], Kapitel 6.3). Wichtige Sätze der theoretischen Informatik lassen sich ebenso beweisen [5]. Die Anwendungsgebiete umfassen aber auch weite Teile der Mathematik, z.b. die Kombinatorik und Graphentheorie (siehe [1], Kapitel 6.2). Grundlage aller Beweise mit dem Unkomprimierbarkeits-Argument ist die Tatsache, dass es nicht komprimierbare Objekte gibt und dass man bei Annahme bestimmter Bedingungen diese komprimieren könnte, was jeweils zu einem Widerspruch führt. Satz 7: Sei F ein formales System. Wir können nicht alle wahren in F ausdrückbaren Sätze in F beweisen. [Gödels Unvollständigkeitsatz] Beweis: Das formale System F besteht aus Definitionen, Axiomen und Ableitungen aus diesen. Wir führen erneut einen Widerspruchsbeweis und nehmen an, dass alle wahren in F ausdrückbaren Sätze in F bewiesen werden können. Die Komplexität von F ist konstant, da F endlich ist, es gilt. Sei nun die folgende Aussage: x ist der lexikographisch gesehen kleinste String, mit. Offensichtlich muss es für jedes genau ein x geben, so dass erfüllt wird. Die Komplexität von dem Satz ist aber durch c und das formale System F beschränkt:. Könnten wir in F beweisen, dass x die Komplexität hat, so hätten wir ein Objekt mit Komplexität c mittels Bits beschrieben. Dies ist ein Widerspruch, sofern wir wählen. Satz 8: Es gibt unendlich viele Primzahlen. Beweis: Nehmen wir an, es gibt nur endlich viele Primzahlen. Wir wissen nach Satz 4, dass es eine natürliche Zahl n mit folgender Eigenschaft gibt:. Nun ist aber jede Zahl als Produkt der endlich vielen Primzahlen darstellbar:.

4 4 Als Beschreibung von n, reicht es aus die einzelnen Exponenten zu betrachten. Es gilt, da anderenfalls das Produkt die eigentliche Zahl n übertreffen würde. Zum Abspeichern von einem Exponenten benötigen wir viele Bits. Da nur k Primzahlen existieren, erhalten wir eine vollständige Beschreibung von n mit Bits. Zum Speichern von der unkomprimierbaren Zahl n benötigt man jedoch zumindest viele Bits. Da diese Beschreibung nur Bits benötigt und für große n kleiner als ist, haben wir einen Widerspruch hergeleitet. Es gibt doch unendlich viele Primzahlen. Satz 9: Eine Turingmaschine benötigt Schritte, um die Sprache zu erkennen. Beweis: Wir definieren den Begriff der Übergangssequenz (im englischen Original crossing sequence). Unter einer Übergangssequenz verstehen wir die Folge an Zuständen der endlichen Kontrolle beim Übergang von einem Bandelement zwischen diesem und seinem rechten Nachbarn. Diese Folge beginnt immer mit einem Übergang von links nach rechts und alterniert danach. Sei T eine Turingmaschine die L in vielen Schritten erkennt und mit dem Lesekopf auf dem letzten Eingabezeichen hält. Die Länge der Übergangssequenz für ein Bandelement mit dem Index i wird mit ÜS(i) bezeichnet, die Beschreibung der Turingmaschine ihrerseits mit T. Es muss nach Satz 4 einen String x der Länge n geben, für den erfüllt ist. Als Eingabewort für die Turingmaschine konstruieren wir das Wort und betrachten die Übergangssequenzen des Teils des Bands mit den Nullen nach dem Terminieren von T. Gilt für alle Übergangssequenzen in diesem Bereich, so würde T mindestens Schritte benötigen. Dies wäre ein Widerspruch zu der Annahme, dass L von der Turingmaschine T in Schritten erkannt wird. Es muss also mindestens ein Feld, welches wir nennen, geben, so dass diese Länge unterschritten wird:. Mit der Übergangssequenz und dem Index sind wir aber in der Lage x zu rekonstruieren: Wir wählen ein beliebiges und schreiben auf den Anfang des Bandes. Wir können T auf dieser Eingabe simulieren, indem wir jeweils, wenn das Feld nach rechts hin verlassen wird, den nächsten Zustand aus der Übergangssequenz von wählen, T in diesen Zustand versetzen und den Lesekopf auf setzen. Sofern beim Übergang von zu seinem rechten Nachbarn immer der Zustand aus der Übergangssequenz gewählt wird, so muss das Wort akzeptiert werden, da die Berechnungen dann rechts von für und gleich sind. Da T das ursprüngliche Wort akzeptiert, muss T auch akzeptieren und durch die Eigenschaft der Sprache L muss gelten. Durch erschöpfendes Testen aller Möglichkeiten für y, können wir somit x rekonstruieren. Wir folgern daraus, dass ist. Die Übergangssequenz kann nicht größer als sein, da laut Annahme ist. Zum Speichern von reservieren wir genau Bits. Da wir die Länge n gegeben haben, benötigen wir kein Trennzeichen zwischen dem Index und der Übergangssequenz selbst. Wir hatten aber angenommen, dass x unkomprimierbar ist und somit gilt. Somit müsste für alle n gelten. Dies ist jedoch - zumindest für - ein Widerspruch und wir haben bewiesen, dass jede Turingmaschine, die L erkennt, mindestens Schritte benötigt. Da eine Turingmaschine existiert, die L in Schritten erkennt, folgt der Satz. Satz 10: Die Sprache ist nicht regulär. Beweis: Nehmen wir an, dass es einen deterministischen Automaten A mit einer endlichen Anzahl an Zuständen Q gibt, der die Sprache L erkennt. Sei c der konstante Platz, den man benötigt, um den Automaten A und einen seiner Zustände zu beschreiben,. Als n wählen wir nun eine Zahl mit und. Wir betrachten den Zustand, in dem sich der Automat befindet, nachdem n Nullen eingelesen wurden. Sei dieser Zustand q. Der Automat darf zukünftig nur in einem akzeptierenden Zustand

5 5 halten, wenn genau n Einsen eingelesen werden. Mittels dem Automaten A und dem Zustand q können wir somit n beschreiben. Die Größe einer solchen Beschreibung beträgt wie oben aufgezeigt c. Da gilt, ist dies ein Widerspruch zur Annahme, dass n nicht komprimierbar ist. Ein deterministisch endlicher Automat kann die Sprache L nicht erkennen. L ist nicht regulär. Aus dem obigen Satz können wir eine Verallgemeinerung treffen, mit der sich leicht zeigen lässt, dass eine Sprache nicht regulär ist. So kann man das folgende Lemma anstatt des Pumping-Lemmas für reguläre Sprachen verwenden. Darüber hinaus lässt sich eine Verallgemeinerung treffen, die auch positive Aussagen über die Regularität von Sprachen zulässt [6]. Lemma der KC-Regularität: Sei eine reguläre Sprache. Sei weiterhin und eine Bijektion, die alle enumeriert. Sei, so gilt für jedes x:. Beweis: Wenn L regulär ist, gibt es einen endlichen deterministischen Automaten A, der L erkennt. Wir betrachten den Zustand q nach dem Einlesen von x durch A. Zusammen mit der Beschreibung des Automaten, der Information über und der Nummer n können wir offensichtlich y rekonstruieren. Die Komplexität von und dem Automaten A mit dem Zustand q liegt in. Die Komplexität von n beträgt Es folgt:. Satz 11: ist nicht regulär. Beweis: Wir verwenden das Lemma der KC-Regularität. Wir nehmen an, dass es einen endlichen deterministischen Automaten A gäbe, der L erkennt. Sei die lexikographische Enumerierung von. Sei k die (n+1)-te Primzahl und. Wählen wir mit als n-te Primzahl, so ergibt sich. Da y das lexikographisch erste Element in ist, gilt. Somit muss gemäß dem Lemma sein. Da der Abstand von zwei benachbarten Primzahlen unbeschränkt wächst, muss sein und wir haben einen Widerspruch hergeleitet. IV. Ausblick Zufallszahlen (siehe [1], Kapitel 2.4) Intuitiv möchte man die Zufälligkeit von Zahlen als Abwesenheit von jeglicher Regularität beschreiben. Somit wären zufällige Zahlen nicht komprimierbar. Eine umfassende Definition von Zufälligkeit zu geben ist jedoch schwierig. Zwar kann man bestimmte stochastische Eigenschaften zu Grunde legen, doch muss man diese kennen um diese überprüfen zu können. Eine Möglichkeit dies zu umgehen ist die Verwendung von Martin-Löf-Tests für Zufälligkeit. Da diese Tests aufgezählt werden können, kann man nachweisen, dass es einen universellen Test gibt. Es ist leicht zu zeigen, dass alle im Sinne von Martin-Löf-Tests zufälligen Zahlen nicht komprimierbar sind. Zufälligkeit ist also äquivalent mit der Tatsache, dass ein Objekt eine hohe Kolmogorov-Komplexität besitzt. Mit diesem Wissen kann man z.b. den Verkehr zu einem Server analysieren und überprüfen, ob bei den zufälligen Anfragen Gemeinsamkeiten vorliegen und so Distributed-Denial-of-Service-Attacken entdecken [7]. Ameisen-Kommunikation Wie in [8] beschrieben wurden Experimente mit Ameisen durchgeführt, um Details über die Kommunikation dieser Aufschluss zu erhalten. Ausgangslage war ein ebener binärer Baum aus Streichhölzern wobei an einem Blatt des Baums jeweils eine Nahrungsquelle angeschlossen wurde. Nun konnte nachgewiesen werden, dass Ameisen ohne die Möglichkeit einer Duftmarkierung die Nahrung in Abhängigkeit von der Zufälligkeit der Sequenz der Wegewahl länger benötigt haben. Folglich können Ameisen Sequenzen mit einer niedrigen Kolmogorov-Komplexität effizienter übertragen als Sequenzen mit einer hohen Komplexität. Dies lässt den Rückschluss zu, dass Ameisen ihre Kommunikation komprimieren.

6 6 Induktives Schließen (siehe [1], Kapitel 5) Die Wissenschaften abgesehen von der Mathematik beruhen auf der empirischen Beobachtung von Sachverhalten und dem Verallgemeinern dieser. Die Eigenschaft diese Schlüsse richtig zu ziehen, ist aber keinesfalls trivial. So war Epicurus ( v.u.z.) der Meinung, dass von verschiedenen Theorien, die eine bestimmte empirische Tatsache beschreiben, keine verworfen werden dürfe. William of Ockham ( ) formulierte den berühmten Satz, der heute als Occam s Razor bekannt ist: Wenn mehrere Theorien den gleichen Sachverhalt erklären, so wähle die einfachste. Occam s Razor kann man nun mit der Kolmogorov-Komplexität formalisieren. Theorien werden mit den vorliegenden Daten gemäß der Summe bewertet, wobei ein niedrigerer Wert vorzuziehen ist. Man muss nun einen Mittelweg zwischen den Extremen einer komplexen Theorie, welche die Daten sehr gut erklärt, und einer einfachen Theorie, welche die Daten schlecht voraussagt, finden. Diese Idee ist die Grundlage von der Minimum Description Length (siehe für weitere Informationen) und wird benutzt um künstliches Lernen zu untersuchen und zu verbessern. Informations Distanz (siehe [1], Kapitel 8.2, [2]) Für alltägliche Dinge wie Gesichtserkennung und das Lernen sind das Erkennen von Zusammenhängen und die Klassifizierung von Informationen notwendig. Um paarweise Objekte in ihrem Informationsgehalt zu vergleichen, kann man eine Informations Distanz wie folgt angeben:. Man kann zeigen, dass und eine Metrik ist. Da auf der Kolmogorov-Komplexität beruht und somit nicht berechenbar ist, verwendet man zur Bestimmung der Komplexität oft einen einfachen Kompressionsalgorithmus wie gzip oder bzip2 zur Approximation der Komplexität. Zuzüglich einer Normierung ergibt sich die normalisierte Kompressions Distanz. Diese hat vielfältigste Anwendungsgebiete, so ist es möglich reale Krankheiten wie SARS aber auch Internet-Würmer [9] zu klassifizieren. Paul Vitányi benutzt anstatt von einer Kompression Google als Kompressor und zeigt, dass es möglich ist mit Google die semantische Bedeutung von verschiedenen Begriffen zu finden [10]. Computer könnten so, durch das im Internet vorhandene und durch Google indizierte Wissen, Sachverhalte und Zusammenhänge selbstständig lernen. Quellen [1] M. Li, P. Vitányi, An Introduction to Kolmogorov Complexity and its Applications, erste Ausgabe, Springer-Verlag, New York, [2] M. Li, P. Vitanyi, Applications of algorithmic information theory. Scholarpedia, 2(5):2658, (2007) [3] M. Sipser, Introduction to the Theory of Computation, erste Ausgabe, PWS Publishing Company, Boston, [4] O. Watanabe (Hrsg.), Kolmogorov Complexity and Computational Complexity, EACTS Monographs on Theoretical Computer Science, Springer-Verlag, 1992 [5] T. Jiang, J. Seiferas and P.M.B. Vitanyi, Two heads are better than two tapes, J. Assoc. Comp. Mach., 44:2(1997), [6] M. Li and P.M.B. Vitanyi, A new approach to formal language theory by Kolmogorov complexity, SIAM J. Comput., 24:2(1995), [7] A. Kulkarni, S. Bush, and S. Evans. Detecting Distributed Denial-of-Service Attacks using Kolmogorov Complexity Metrics, 2001, GE CRD, Technical Report 2001CRD176. [8]B. Ya. Ryabko, Zh. I. Reznikova. Using Shannon Entropy and Kolmogorov Complexity to study the communicative system and cognitive capacities in ants. Complexity, John Wiley&Suns Inc., New York,USA,Vol.2, N 2, 1996, pp [9]Stephanie Wehner: Analyzing worms and network traffic using compression. Journal of Computer Security 15(3): (2007) [10] R.L. Cilibrasi, P.M.B. Vitanyi, The Google Similarity Distance, IEEE Trans. Knowledge and Data Engineering, 19:3(2007),