Einleitung. Kapitel 1

Transkript

1 Kapitel 1 Einleitung In diesem Abschnitt geben wir einen kurzen Überblick über den Inhalt der Vorlesung. Wir werden kurz die wesentlichen Probleme erläutern, die wir ansprechen wollen. Wir werden auch darlegen, wo diese Probleme angewandt werden. Zu Beginn aber wollen wir klarstellen, worum es bei der Codierungstheorie nicht geht. Codierungstheorie ist nicht Kryptographie, es geht nicht um die Sicherung von Daten gegenüber dem Zugriff Unbefugter oder um die Authentisierung von Daten. Die Codierungstheorie beschäftigt sich mit zwei Problemkreisen. Einmal ist das Kompression von Daten zur Speicherung und zur übertragung. Der zweite Problemkreis ist die Sicherung von Daten gegenüber Fehlern bei der Datenübertragung, die hervorgerufen werden durch unvollkommene übertragungsmedien. Beispiele sind Fehler hervorgerufen durch atmosphärische Störungen bei Funk oder Fehler durch zufällige Bitflips auf digitalen Leitungen. In der Algorithmischen Codierungstheorie I beschäftigen wir uns mir der Datenkompression. Fehlerkorrigierende Codes sind das Thema der Vorlesung Algorithmische Codierungstheorie II. Bei der Datenkompression gibt es zwei Möglichkeiten. Man kann einmal Redundanz in der Datenmenge ausnutzen, um diese zu komprimieren. Man kann aber auch eine Häufigkeitsanalyse der in der Datenmenge auftretenden Symbole vornehmen, um diese effizienter durch Folgen anderer Symbole, etwa Folgen von 0, 1 zu codieren. Bekannte Komprimierungsverfahren wie MPEG und AVI bei Video oder JPEG bei einzelnen Bildern benutzen beide Techniken. Wir werden im wesentlichen nur die zweite Technik anhand mehrerer wichtiger Beispiele kennenlernen. Um etwas besser zu verstehen, was die Kompression aufbauend auf einer Häufigkeitsanalyse genauer bedeutet, betrachten wir ein Beispiel. Angenom- 2

2 men wir wollen einen ASCI-Text digital speichern. Das bedeutet, wir müssen jedes ASCI-Zeichen als eine Bitfolge, eine Folge von 0 und 1 also, darstellen. Handelt es sich bei dem ASCI-Text etwa um einen deutschen Text, so werden wir in aller Regel feststellen, dass der Buchstabe e sehr viel häufiger vorkommt als der Buchstabe x. Um den Text durch eine möglichst kurze Bitfolge darzustellen, scheint es daher sinnvoll, den Buchstaben e durch eine sehr viel kürzere Bitfolge zu codieren als den Buchstaben x. Wie werden dieses im Laufe der Vorlesung präzisieren. Wir werden u.a. die Huffmann-Codierung kennenlernen, und wir werden sehen, dass die Huffman-Codierung in einem wohldefinierten Sinn eine optimale Kompression beruhend auf einer Häufigkeitsanalyse erreicht. Die Huffman-Codierung wird in vielen Kompressionsstandards als Unterroutine verwendet. Hierzu gehören JPEG und verschiedene Varianten von MPEG. Neben der Huffman-Codierung werden wir noch zwei weitere Techniken kennenlernen, die Ziv-Lempel-Codierung und die Arithmetische Codierung. Wie wir sehen werden haben beide Vorteile gegenüber der Huffman-Codierung. Insbesondere werden diese beiden Techniken verwendet, wenn keine exakte Häufigkeitsanalyse der zu komprimierende Daten vorliegt und eine solche auch nicht leicht zu erzielen ist. Die Ziv-Lempel-Codierung wird z.b. bei dem Unix-Programm compress benutzt. 3

3 Kapitel 2 Quellcodierung In diesem Kapitel beschäftigen wir uns mit der so genannten Quellcodierung. Dieses ist eine Technik zur Datenkompression. Wir werden zunächst einige grundlegende Begriffe und Sätze über die Quellcodierung kennen lernen. Dann werden die Huffman-Codierung, die Arithmetische-Codierung und die Ziv-Lempel-Codierung kennen lernen. 2.1 Eindeutig entschlüsselbare Codes und Präfix- Codes Unter einer Quelle verstehen wir einen Strom von Symbolen aus einem endlichen Alphabet A = {a 1,..., a n }. Die a i werden auch Worte genannt. Weiter sind Häufigkeiten oder Wahrscheinlichkeiten für die einzelnen Symbole a i gegeben. Wir nehmen in Zukunft in aller Regel an, dass diese Wahrscheinlichkeiten unabhängig voneinander sind. D.h., für jede Position i im Strom gilt Pr(a j ist das i-te Wort des Stroms ) = p j für j = 1,..., N, n unabhängig von der Position i. Es gilt natürlich p j = 1, damit wir eine Wahrscheinlichkeitsverteilung erhalten. Eine Quelle dieser Art nennt man eine erinnerungslose Quelle. Diese ist das einfachste Modell einer Quelle, und wir werden uns im wesentlichen darauf beschränken. Um die Wahrscheinlichkeiten von oben etwas kürzer zu schreiben, führen wir für jede Position i des Stroms eine Variable X i ein. X i kann also Werte aus A annehmen. Die Wahrscheinlichkeiten oder Häufigkeiten von oben können j=1 4

4 dann geschrieben werden als Pr(X i = a j ) = p j, für j = 1,..., n. Unser Ziel wird es nun sein, die Elemente aus A möglichst ökonomisch durch endliche Folgen von Bits, d.h., durch Element aus {0, 1} zu codieren. Ökonomisch soll dabei heißen, dass Elemente mit großer Wahrscheinlichkeit kurze Codierungen erhalten. Später werden wir dieses präzise definieren. Unter einer Codierung des Alphabets A verstehen wir eine injektive Abbildung C : A {0, 1} a i C(a i ) Die Bilder C(a i ) werden wir kürzer auch mit c i bezeichnen. Die c i heißen Codeworte. Die Abbildung C nennen wir auch einen Code. Häufig ist nicht so sehr die Abbildung C als vielmehr nur die Menge der Codeworte {c 1,..., c n } interessant. Insbesondere sind viele kombinatorisch interessante Eigenschaften eines Codes Eigenschaften der Menge der Codeworte und nicht so sehr Eigenschaften der Abbildung C. Die Menge der Codeworte eines Codes C bezeichnen wir ebenfalls mit C. Mit dem Code C kann dann sowohl die Abbildung C als auch die Menge der Codeworte C gemeint sein. Unter einer Nachricht verstehen wir ein Element aus A. Wir können also sagen, dass eine Quelle eine Nachricht ausgibt. Eine Codierung C von A kann nun auf Nachrichten erweitert werden, indem für m = a i1... a il A der Wert C(m) definiert wird als Konkatenation C(m) = C(a i1 )... C(a il ). Um von der Codierung einer Nachricht auf die Nachricht selber schließen zu können, muss ein Code eindeutig entschlüsselbar sein. Dabei heißt ein Code eindeutig entschlüsselbar (kurz: e.e.-code), falls jedes Element aus {0, 1} Bild höchstens einer Nachricht ist. Anders ausgedrückt, die Abbildung C erweitert wie oben erklärt auf A muss injektiv sein. Eine stärkere Eigenschaft besitzt ein Präfix-Code. C heißt Präfix-Code, falls keine Indizes 1 i, j n, i j, existieren, so dass C(a i ) = c i ein Präfix von C(a j ) = c j ist. Wir wollen all diese Begriffe an den Beispielen der folgenden Tabelle erläutern. 5

5 Jeder der vier Spalten entspricht eine Abbildung auf A = {a 1, a 2, a 3, a 4 }. A C 1 C 2 C 3 C 4 a a a a Abbildung C 1 : A {0, 1} ist nicht injektiv, daher ist C 1 kein Code. Die Abbildung C 2 : A {0, 1} ist zwar injektiv, nicht jedoch die Erweiterung C 2 : A {0, 1}. So kann 00 Bild sowohl von a 1 a 1 als auch von a 3 sein. C 2 ist also kein e.e.-code. C 3 ein e.e.-code, aber kein Präfix-Code. C 3 ist kein Präfix-Code, da c 1 = 0 Präfix aller übrigen Codeworte ist. In diesem Beispiel kann eine Codierung C(m) eindeutig zu m decodiert werden, indem man beachtet, dass eine 0 jeweils den Beginn der Codierung eines Wortes bedeutet. Die Codierung f(m) = kann z.b. eindeutig decodiert werden zu m = a 1 a 2 a 1 a 1 a 1 a 2 a 2 a 2. C 4 ist sogar ein Präfix-Code, wie man leicht überprüft, indem alle Präfixe von Codeworten mit allen Codeworten vergleicht. C 4 wird auch als Komma- Code bezeichnet, da 0 jeweils das Ende der Codierung eines Wortes kennzeichnet. Vergleichen wir C 3 und C 4 so stellen wir fest, dass auch C 3 in gewisser Weise ein Komma-Code ist. Leider wurde bei C 3 das Komma an die falsche Stelle, nämlich an den Beginn eines Wortes gesetzt. An den beiden Beispielen C 3, C 4 sehen wir, dass e.e.-code und Präfix-Code nicht äquivalent sind. Präfix-Codes sind leicht zu erkennen. Wir wollen uns auch eine elegante Möglichkeit überlegen, Präfix-Codes zu decodieren. Hierzu konstruieren wir zu einem Präfix-Code C = {c 1,..., c n } einen (unbalancierten) binären Baum. Die aus einem Knoten ausgehenden Kanten labeln wir hierzu mit 0 und 1. Nach links ausgehende Kanten labeln wir mit 0, nach rechts ausgehende Kanten mit 1. Jedes Codewort kann dann als Codierung eines von der Wurzel ausgehenden Pfades in einem Baum aufgefasst werden. Den Knoten am Ende dieses Pfades labeln wir dann mit dem Codewort selber. Ein Code ist genau dann ein Präfix-Code, wenn kein Codewort auf dem Pfad zu einem anderen Codewort liegt. Entfernen wir aus dem Baum dann noch alle Kanten und Knoten, die nicht auf einem Pfad liegen, der durch ein Codewort definiert wird, so erhalten wir einen Baum, dessen Blätter genau den 6

6 Codeworten entsprechen. Für den Code C 4 ist der Baum in Abbildung 2.1 dargestellt. Mit Hilfe des binären Baums für einen Präfix-Code C lässt sich Abbildung 2.1: Der Binärbaum für den Präfix-Code C 4 nun leicht eine Algorithmus zur Decodierung beschreiben. Gegeben eine codierte Nachricht C(m) {0, 1}, fassen wir diese codierte Nachricht auf als die Beschreibung eines Pfades im Binärbaum B C für C. D.h., beginnend in der Wurzel verfolgen wir den Pfad in B C der durch C(m) codiert wird. Gelangen wir dabei zu einem Blatt gelabelt mit dem Codewort c i, geben wir C 1 (c i ) = a i aus, gehen zurück zur Wurzel und machen mit dem nächsten Symbol von C(m) weiter. Um C(m) zu decodieren, wird jedes Zeichen von C(m) genau einmal gelesen und ein Kante in B C verfolgt. Damit gilt Satz Zu jedem Präfix-Code C gibt es einen Decodieralgorithmus, der bei Eingabe C(m), m A in Zeit linear in der Länge von C(m) die Nachricht m berechnet. Zunächst ist es nicht offensichtlich wie man erkennt, ob ein Code ein e.e.- Code ist. Wir wollen jetzt ein einfaches hinreichendes und notwendiges Kriterium für e.e.-codes entwickeln. Hierzu zunächst die folgende Definition. Definition Sei C ein Codes. Eine Folge s {0, 1} ist ein Suffix in C, wenn eine der drei folgenden Bedingungen erfüllt ist. 1. Es existieren Codeworte c i, c j C, so dass c i = c j s. 2. Es existiert ein Codewort c i C und ein Suffix s in C, so dass s = cs. 3. Es existiert ein Codewort c i C und ein Suffix s in C, so dass c = ss. Beispiele: 7

7 1. Im Code C 2 erhalten wir die Suffixe s 1 = 0, s 2 = 1. Denn c 3 = c 1 s 1 und c 4 = c 2 s Im Code C 3 erhalten wir die Suffixe s 1 = 1, s 2 = 11, s 3 = 111. Denn c 2 = c 1 s 1, c 3 = c 1 s 2, c 4 = c 1 s Im Code C 4 gibt es keinerlei Suffixe. Dieses ist nicht überraschend, denn in keinem Präfix-Code kann es Suffixe geben, da die Bedingung 1. aus Definition bei einem Präfix-Code für kein s erfüllt sein kann. 4. Betrachten wir den Code C 5 = {0, 10, 101, 11}. Dieser besitzt die Suffixe s 1 = 1, s 2 = 0, s 3 = 01. Denn c 3 = c 2 s 1, c 2 = s 1 s 2, c 3 = s 1 s Schließlich betrachten wir noch den Code C 6 = {1, 110, 101}. Hier erhalten wir die Suffixe s 1 = 10, s 2 = 01, s 3 = 1, s 4 = 0. Denn c 2 = c 1 s 1, c 3 = c 1 s 2, c 3 = s 1 s 3, s 1 = c 1 s 4. In den Codes C 2, C 5, C 6 gibt es jeweils Suffixe, die auch Codeworte sind. In den Codes C 3, C 4 ist dieses nicht der Fall. Die Codes C 3, C 4 sind e.e.-codes, die Codes C 2, C 5, C 6 sind es nicht. Dieses ist kein Zufall wie der folgende Satz zeigt. Satz Ein Code C ist genau dann ein e.e.-code, wenn kein Suffix in C ein Codewort aus C ist. Statt eines exakten Beweises wollen wir uns anhand von Beispielen von der Korrektheit des Satzes überzeugen. Zunächst wollen wir uns überlegen, dass es in einem Code C, der kein e.e.-code ist, einen Suffix geben muss, das Codewort ist. Ist C kein e.e.-code, so gibt es eine Folge c {0, 1}, die sich auf zwei unterschiedliche Arten als Folge von Codeworten schreiben lässt. Mit Hilfe dieser Aufteilung einer Bitfolge in zwei Codewortfolgen kann nun unter Anwendung der Regeln aus Definition ein Suffix konstruiert werde, das auch Codewort ist. Genauer konstruiert man sukzessive Suffixe, die immer weiter rechts in der Bitfolge c beginnen. Dieser Prozess muss irgendwann stoppen, da die Folge c endliche Länge besitzt. Der letzte erzeugte Suffix ist dann ein Codewort. In Abbildung 2.2 ist eine Bitfolge c und ihre Aufteilung in zwei Folgen von Codeworten d i, e j schematisch dargestellt. In dieser Abbildung haben wir auch die sukzessive Anwendung der Regeln aus Definition dargestellt. Die von links unten nach rechts oben schraffierten Suffixe s wurden dabei durch Anwendung der Regel c i = c j s oder der Regel c = ss erzeugt. Die übrigen Suffixe s wurden durch die Anwendung der Regel s = cs erzeugt. 8

8 Abbildung 2.2: Konstruktion eines Codewortes des Suffix ist Nun müssen wir uns überlegen, dass wir aus einem Suffix in C, das gleichzeitig Codewort in C ist, eine Folge C konstruieren können, die sich auf zwei Arten als Folge von Codeworten schreiben lässt. Denn dann ist C nicht e.e. Ist ein Suffix ein Codewort, so muss dieser Suffix durch die Anwendung der drei Regeln in Definition erzeugt worden sein, wobei mit der Regel c i = c j s begonnen werden muss. Aus diesem Prozess kann nun die gesuchte Folge c konstruiert werden. Betrachten wir als Beispiel den Code C 6 = {1, 110, 101} aus unseren Beispielen oben. Das Codewort c 1 = 1 ist auch ein Suffix in C 6. Die Konstruktion des Suffixes 1 beginnt mit den beiden Codeworten c 1 und c 2, die den Suffix 10 liefern. Wir betrachten nun einmal die Folge, die mit c 1 = 1 beginnt und die Folge, die mit c 2 = 110 beginnt. Der Suffix s 1 = 10 und das Codewort c 3 = 101 liefern unter Anwendung von c i = s s bereits den Suffix s 2 = 1. Da s 1 = 10 ein Suffix des Codewortes c 2 = 110 ist, erweitern wir die Folge, die bislang nur aus c 2 besteht, um den neuen Suffix s 2 = c 1. Die Folge, die bislang nur aus c 1 besteht, wird erweitert um das Codewort c 3, das zur Konstruktion von s 2 = 1 benutzt wurde. Nun gilt aber c 1 c 3 = c 2 c 1. Die gewünschte Folge c, die auf zwei verschiedenen Arten als Folge von Codeworten geschrieben kann, ist konstruiert. 9

9 Wir werden jetzt zeigen, dass die Menge der Suffixe in einem Code effizient berechnet werden kann. Mit Satz folgt dann, dass auch effizient entschieden werden kann, ob ein Code eindeutig entschlüsselbar ist. Um die Menge der Suffixe in einem Code C mit Codeworten c 1,..., c n zu berechnen, benutzen wir folgenden Algorithmus. Eingabe: Code C = {c 1,..., c n }. Algorithmus Suffix-Berechnung (SB) Ausgabe: Die Menge S der Suffixe in C. 1. Setze S :=, T := T. 2. Für alle Paare von Codeworten c i, c j, entscheide, ob es ein s {0, 1} gibt mit c i = c j s oder c j = c i s. Falls ja, setze S := S {s}, T := {s}. 3. Solange T, wiederhole die folgenden Schritte. 3a) Wähle ein s T aus und setze T := T \{ s}. 3b) Für alle Codeworte c i entscheide, ob es ein s {0, 1} gibt, so dass c = ss oder s = c i s. Falls ja, und falls s mit keinem Element in S übereinstimmt, setze S := S {s} und T := T {s}. Nach der Definition von Suffixen in einem Code (Definition 2.1.2) ist klar, dass der Algorithmus SB sämtliche Suffixe eines Codes C berechnet. Hingegen ist nicht ganz so klar, dass der Algorithmus endliche Laufzeit hat. Um dieses zu zeigen, zunächst das folgende Lemma. Lemma Sei C = {c 1,..., c n } ein Code und sei l max := max{ c i i = 1,..., n}. Dann ist die Anzahl der Suffixe in C beschränkt durch nl max. Beweis: Jeder Suffix in C muss Suffix eines Codewortes in C sein. Insgesamt gibt es aber höchstens nl max Suffixe von Codeworten in C. Aus Lemma folgt, dass bei Eingabe des Codes C insgesamt höchstens nl max Elemente jemals in die Menge T eingefügt werden. Denn wird s in T eingefügt, so muss s ein Suffix in C sein. Damit aber werden die Schritte 3a), 3b) höchstens nl max -mal durchlaufen. Schritte 3a), 3b) können nun so implementiert werden, dass ein Durchlauf Zeit polynomiell in n und l max benötigt. Da auch der Schritt 2 in Zeit polynomiell in n, l max durchführbar ist und die Eingabegrösse des Codes C mindestens n + l max ist, erhalten wir 10

10 Satz Es ist in polynomieller Zeit entscheidbar, ob ein Code eindeutig entschlüsselbar ist. 11