Codierungstheorie. Statt einer Einleitung. Rudolf Scharlau. 4. April 2006

Transkript

1 Codierungstheorie Rudolf Scharlau 4. April 2006 Statt einer Einleitung Im ersten Teil dieser Vorlesung folgen wir eng dem Buch Information and Coding theory von Gareth A. Jones und J. Mary Jones. Technische Bemerkung: Dieses Skript gibt es, um den Tafelanschrieb und das mitschreiben zu entlasten. Es ist aus einem Foliensatz zu dieser Vorlesung entstanden, der durch Erläuterungen und weitere Beispiel an der Tafel ergänzt wird. Für eine minimalsitische Mitschrift gibt es einen breiten Rand. i

2 Codierungstheorie Rudolf Scharlau, SoSe 2006 Codierung diskreter Quellen Gegenstand dieses Kapitels ist eine erste Einführung in die Codierung diskreter Signalquellen. Dabei bedeutet diskret, daß die Quelle oder Nachricht nur einen endlichen Zeichenvorrat benutzt, wie etwa geschriebener Text, im Gegensatz zu Sprache, Musik oder bewegten Bildern (real oder in einem analogen Audio- oder Video-Format). Die Codierung erfolgt in einem festen Alphabet, typischerweise z.b. nur aus zwei Symbolen 0 und bestehend. Die Codierung soll (zunächst) möglichst platzsparend sein: häufig auftretenden Symbolen werden kurze Codewörter und weniger häufig auftretenden Symbolen längere Codewörter zugeordnet. Eine technische Anwendung wäre die Speicherung auf einem zuverlässigem Medium oder eine nicht störanfällige Übertragung wie beim Morsen. Andere Codes wie der 7 oder 8 bit ASCII-Code beachten die Häufigkeit nicht. Längere Codewörter geben die Möglichkeit der Fehlererkennung oder -korrektur; das ist jedoch nicht Thema dieses ersten Kapitels, sondern wird erst später behandelt.. Grundbegriffe und Bezeichnungen Eine (Informations-)Quelle ist gegeben durch zwei Dinge das Quellalphabet S = {s, s 2,..., s q } eine Wahrscheinlichkeitsverteilung P r : S [0, ]. Wir schreiben kurz p i := Pr(s i ), es ist also q i= p i =. Genauer bestimmen diese Daten eine diskrete, gedächtnislose Quelle. Interpretation: Die von der Informationsquelle gesendete Nachricht ist eine Folge von zufälligen Symbolen aus S, genauer eine Folge X X 2...X n... unabhängiger Zufallsvariablen mit Werten in S und Wahrscheinlichkeitsverteilung P r. Beispiel. Die Nachricht wird fair gewürfelt: S = {, 2, 3, 4, 5, 6}, p i = 6, i =,...6. Beispiel.2 Das Wetter am Tag n: S = {gut, mittel, schlecht}, p i = 4, 2, 4. Beispiel.3 Deutscher Text: S = {a, b, c,...,z, }, q = 25, p i die relative Häufigkeit des i-ten Buchstabens in einem typischen Text. Obiges Modell ist wenig geeignet für dieses Beispiel: die Annahme der Unabhängigkeit der X i, d.h. aufeinanderfolgender Buchstaben, ist hier verletzt. Man benötigt Quellen mit Gedächtnis, modelliert durch abhängige Zufallsvariablen.

3 Codierungstheorie Rudolf Scharlau, SoSe Weitere Begriffe und Bezeichnungen Codealphabet T = {t, t 2,..., t r } Wort über T: endliche Folge w = t i t i2... t il T l (formal ein l-tupel, aber ohne Klammern geschrieben) w := l die Länge von w ε T 0 das leere Wort, ε = 0 T = n 0 T n, T + = n>0 T n Codierung: eine Abbildung c : S T +, s i w i sowie ihre Fortsetzung c : S T, s i s i2...s in w i w i2... w in Beispiel.4 T = Z 2 = {0, } sog. binärer Code S = {, 2, 3, 4, 5, 6}, c : S T die Binärdarstellung. Die Codierung von s = 5234 (5 Würfe des Würfels) ist c(s) = 0000 (ohne Trennzeichen!) Als Code C wird das Bild einer Codierung bezeichnet: C := c(s) = {w, w 2,..., w q } T Die w i heißen Codewörter. Ferner setzt man C := c(s ) = {c(s) s S }. Die Elemente von S sind als (mögliche) Nachrichten zu interpretieren, dementsprechend besteht C aus allen möglichen Codierungen (für die gegebene Codierungsregel c) von Nachrichten. Die durchschittliche Wortlänge l(c, P r) einer Quelle mit Code C und Wahrscheinlichkeitsverteilung Pr wird definiert als l(c, Pr) := w C Pr(w)l(w) = q p i w i (in den obigen Bezeichnungen). Im Fall der Gleichverteilung schreiben wir einfach l(c). Beispiel.5 Der Code C = {, 00,, 00, 0, } aus Beispiel.4 hat die durchschnittliche Wortlänge 4 6 = 7 3 i=.2 Eindeutig decodierbare Codes heißt eindeutig decodierbar oder einfach decodierbar, falls die zugehörige Abbildung c : S T injektiv ist. Das heißt, jede Codierung einer Nachricht (Folge von Codewörtern) stammt von genau einer Nachricht (Folge von Symbolen des Quellalphabets). Äquivalent muß gelten: u,...,u m, v,...,v n C, u u m = v v n = m = n, u i = v i für i =,...,n.

4 Codierungstheorie Rudolf Scharlau, SoSe Beispiel.6 Der Code C aus.4 ist nicht decodierbar, denn, 3 d.h.. = alle Faktoren in C, m = 2, n =. Abhilfe: benutze als neue Codierung die Binärdarstellung mit drei Stellen: 00, 2 00, Der neue Code ist also C = {00, 00, 0, 00, 0, 0}. Allgemeiner gilt: Bemerkung.7 Jeder sog. Block-Code C, d.h. v = w =: l für alle v, w C (die Zahl l heißt auch Blocklänge) ist eindeutig decodierbar. Beweis: klar?! Decodiere z.b. im obigen, modifizierten Beispiel t = = zu s = 235. Natürlich sind nicht nur Blockcodes decodierbar, sondern auch viele andere Codes. Beispiel.8 Der Code C = {0, 0, 0} Z 2 ist eindeutig decodierbar. Wenn wir z.b. S = {a, b, c} mit Codierung a 0, b 0, c 0 nehmen, dann wird t = eindeutig decodiert zu s = bbaccaabaac, nämlich mittels der eindeutigen Aufteilung von t in Codewörter. Nun ein notwendiges und hinreichendes Kriterium für eindeutige Decodierbarkeit: Für einen gegebenen Code C T setze C 0 := C, C = {w T u, v, C : v = uw} C n = {w T u C, v C n : v = uw oder u = vw} für n 2. Es besteht als C aus (rechten) Endstücken von Wörtern aus C n derart, daß das Anfangsstück in C liegt, oder aus Endstücken von Wörtern aus C derart, daß das Anfangsstück in C n liegt. Wir überlegen uns, daß die Mengen C n in geeigneter Weise die Hindernisse für eindeutige Decodierbarkeit beschreiben. Nichteindeutige Zerlegungen liefern Codewörter in einem der C n. Hier zwei einfache Fälle dieses Sachverhaltes: a) v = uw mit v, u, w C = w C C. b) u u 2 = v v 2, u, u 2, v, v 2 C, u > v = u 2 C 2 C. Es ist nämlich u = v w für ein w C und weiter wu 2 = v 2, also u 2 C 2 (zweiter Fall in der Definition von C 2 ). In Übung.4 überlegen wir uns, daß umgekehrt ein Element aus C 2 C, bei dem der zweite Fall der Definition von C 2 vorliegt, zwei verschiedene Zerlegungen eines Wortes in zwei Codewörter liefert. Wenn man die C n nacheinander bestimmt, wird man in jedem Beispiel merken, daß die Folge irgendwann anfängt, sich zu wiederholen, ggf. in Form der leeren Menge (wenn ein C n leer ist, dann auch alle folgenden).

5 Codierungstheorie Rudolf Scharlau, SoSe Beispiel.9 Betrachte den eindeutig decodierbaren Code C = {0, 0, 0} aus Beispiel.8. Man überlegt sich schnell C = {, } und weiter C 2 =. Es sind also auch alle höheren C n leer. Für die Frage der eindeutigen Decodierbarkeit ist nicht wichtig, daß C n leer ist, sondern nur, daß es keine Elemente besitzt, die selbst Codewörter sind. Man überlegt sich, daß nicht eindeutige Zerlegungen mit einer größeren Anzahl von Faktoren zu Codewörtern in C n mit größerem n führen, und auch umgekehrt. Präzise und kurz zusammengefasst gilt: Satz.0 (Sardinas-Patterson) Ein Code C ist eindeutig decodierbar genau dann, wenn C C n = für alle n. Wir wollen den Satz nicht allgemein beweisen, werden aber einige weitere spezielle Situationen in den Übungen betrachten. Für den Augenblick merken wir nur an, daß die vorher zu Fuß festgestellte eindeutige Decodierbarkeit des Codes aus.8/.9 natürlich auch aus dem Satz folgt: Beispiel. Der Code C = {0, 0, 0} erfüllt C C n = für alle n, ist also eindeutig decodierbar Als weitere Illustration des Satzes zeigen wir: Beispiel.2 Der Code C = {0,, 2, 20} ist nicht eindeutig decodierbar. Man überlegt hierfür sukzessive: C = {0}; benutze 20 = 2.0 C, wobei 2 C. C 2 = {0}; benutze 0 =.0 C, wobei C. C 3, denn 0 = 0. C, 0 C 2. Wir finden nun aus der Kombination der benutzten Gleichungen zwei gleiche Produkte mit verschiedenen Faktoren, die alle aus C sind: 20. = 2.0. = = (Zerlegung von 20 in zwei bzw. drei Faktoren aus C.) Wir verzichten auf einen vollständigen Beweis des Satzes von Sardinas und Patterson. Wir werden nämlich im folgenden Abschnitt sehen, daß man für praktische Zwecke sowieso die Bedingung der eindeutigen Decodierbarkeit durch eine stärkere, aber gleichzeitig viel einfacherer Bedingung (sog. präfixfreie Codes ) ersetzen muß. In Abschnitt.6 werden wir dann sehen, daß diese stärkere Bedingung für die ereichbare durchschnittliche Wortlänge eines Codes gar keine Einschränkung bedeutet.

6 Codierungstheorie Rudolf Scharlau, SoSe Unmittelbar Decodierbare Codes Die einzelnen Symbole einer Folge von Codewörtern liegen in der Praxis nicht gleichzeitig vor, sondern werden nacheinander gesendet und empfangen (typischerweise mit einer festen Taktfrequenz ). Wenn man diese Zeitabhängigkeit zumindest ein Stück weit im mathematischen Modell mit abbilden will, wird man auf die Frage geführt, in wie weit bereits ein Anfangsstück einer Folge von Symbolen Information über zumindest das erste gesendete Zeichen, also den ersten Faktor einer Zerlegung in Codewörter, enthält. Mit anderen Worten, nach wie vielen Takten (Zeiteinheiten) kann man mit der Decodierung beginnen? Diese Frage führt auf eine echte Verschärfung der Bedingung der Decodierbarkeit. Beispiel.4 Der Code C = {0, 0, } ist eindeutig decodierbar (benutze z.b. den Satz von S-P; es ist C n = {} für alle n ). Wenn t = 0... (mit n Einsen) Teil einer Nachricht (d.h. eines Produktes von Codewörtern) z = t... = ist, so ist der Anfang der Decodierung (Zerlegung in Codewörter) nicht nur von t bzw. n, sondern von der Gesamtzahl m n der Einsen des ersten Einser-Blocks von z abhängig. Falls m gerade ist, beginnt die Zerlegung mit 0, anderenfalls mit 0. Mit dem Beginn der Decodierung muß bis zur nächsten 0 gewartet werden. Beispiel.6 Betrachte den Code D = {0, 0, }. Er entsteht aus dem Code C in.4, indem die Codewörter in umgekehrter Reihenfolge gelesen werden. Um gleich suggestiver sprechen zu können, geben wir den drei Elementen des Quellalphabetes die Namen a, b, c, entsprechend der Reihenfolge der drei Codewörter. Weil C decodierbar ist, folgt das Gleiche auch für D. Alternativ kann man noch einma den Satz von S-P anwenden: es ist (sogar) D =. Anders als bei.4 kann aber hier die Decodierung sofort erfolgen. Genauer gilt offenbar folgendes: wenn die ersten n Symbole bereits decodiert sind und das n + -te Symbol gleich 0 ist, so ist das nächste Symbol der Decodierung gleich a. Wenn das n+-te Symbol gleich, so muß nur noch das n+2-te abgewartet werden: wenn dieses 0 ist, so wird zu b decodiert, sonst zu c. Definition. Ein Code heißt unmittelbar decodierbar (engl. instantaneous), falls für jedes Produkt z = u u 2... u m von Codewörtern und für jede weitere Darstellung z = v v 2... v n y, wobei die v j ebenfalls Codewörter sind und y beliebig ist, gilt n m und v j = u j für j =,..., n. Mit anderen Worten, die ersten n Symbole der Decodierung lassen sich aus v, v 2,..., v n ablesen, egal wie die Forsetzung y aussieht. Der Code aus.4 ist nicht unmittelbar decodierbar, denn 0... = 0... (der letzte Faktor ist kein Codewort, deswegen hier kein Widerspruch zur Decodierbarkeit). Definition. Ein Wort u heißt Präfix eines Wortes v, wenn v von der Form v = uw für ein nichtleeres Wort w ist.

7 Codierungstheorie Rudolf Scharlau, SoSe Ein Codes heißt präfixfrei, falls kein Codewort Präfix eines anderen Codewortes ist. Der Code aus Beispiel.6 ist präfixfrei, der aus.4 ist es nicht. Satz.7 Ein Code ist unmittelbar decodierbar genau dann, wenn er präfixfrei ist..4 Präfixfreie Codes und die Kraft sche Ungleichung Zur Darstellung und Untersuchung präfixfreier Codes über dem Alphabet T = {t,...,t r } werden die Wörter in einem (r + )- valenten Baum organisiert. Zwei Knoten u, v T werden durch eine (aufsteigende) Kante verbunden, wenn v = wt für ein t T ist. Das leere Wort ε ist Wurzel dieses Baumes. Für T = {0, } erhält man den binären Baum mit Valenz ε Bild. Der binäre Baum bis zur Tiefe 2 Ein Wort u ist Präfix eines Wortes v genau dann, wenn u auf dem eindeutig bestimmten Weg von der Wurzel nach v liegt. Man sagt auch: v dominiert u. Diese Dominanz-Relation in einem Baum mit Wurzel ist übrigens eine Halbordnung (aber natürlich keine totale Ordnung). Ein Code ist also präfixfrei, wenn keine zwei seiner Elemente vergleichbar bzgl. Dominanz sind (eine sog. Antikette in der Halbordnung). Beispiel.8 Wir suchen einen präfixfreien binären Code mit q = 5 Codewörtern. Dabei fahren wir die Strategie, jeweils ein möglichst kurzes Wort hinzuzufügen. Also beginnen wir mit w = 0. Für w 2 kommen Wörter 0... nicht mehr in Frage, ebensowenig w 2 = (da noch weitere Wörter gewählt werden müssen). Dieses führt auf w 2 = 0. Dann entfällt, also geht es mit w 3 = 0 weiter. Schließlich ergibt sich C = {0, 0, 0, 0, }.

8 Codierungstheorie Rudolf Scharlau, SoSe C Bild.2 Wir wollen die möglichen Längenverteilungen l, l 2,...,l q eines präfixfreien Codes {w,...,w q } T + verstehen, dabei l i = w i. Das generelle Ziel ist eine möglichst kleine Gesamtlänge q l i bzw. Durchschnittslänge l(c) = q l iq (vergl. Abschnitt.). i= Andererseits wird man bei größerem q gezwungen, auch längere Wörter zu benutzen, wie schon Beispiel.8 zeigt. Für welche q-tupel l,..., l q existiert nun ein präfixfreier Code mit dieser Längenverteilung? Die kritische Größe ist hier nicht die Summe der l i, sondern der Ausdruck q r. li i= Für ein einzelnes Codewort v T, T = r nennen wir die Zahl auch das Gewicht von v (nicht zu verwechseln mit dem in der r v Codierungstheorie betrachteten Hamming-Gewicht). Im binären Fall haben also 0 und das Gewicht 2 ; 00, 0, 0, das Gewicht 4, Wörter der Länge 3 das Gewicht 8 usw. Für festes l gibt es r l Wörter der Länge l, die Summe ihrer Gewichte, also das Gesamtgewicht der entsprechenden Schicht des Baumes ist gleich. Die Idee bei der Definition des Gewichtes ist, daß die Wahl eines Knotens (Codewortes) der Länge l in einem präfixfreien Code alle oberhalb liegenden Knoten eliminiert, dieses ist anschaulich der Bruchteil r l des gesamten Baumes. Beispiel.9 Es gibt keinen binären Baum mit Längenverteilung, 2, 3, 3, 4. Man prüft das direkt nach, kann den Beweis auch wie folgt lesen: w eliminiert die Hälfte aller Wörter für w 2, die Wahl von w 2 insgesamt 2 + 4, die Wahl von w 3 und w 4 insgesamt den Anteil = des Baumes. Somit bleibt keine Möglichkeit für w 5 mehr. i=

9 Codierungstheorie Rudolf Scharlau, SoSe Satz.20 (Kraft sche Ungleichung) a) Für einen präfixfreien Code C mit Alphabetgröße T = r gilt w C. r w b) Seien umgekehrt Zahlen l,..., l q, r gegeben mit q i=. li r Dann gibt es einen Code {w,...,w q } T, dabei T = r mit w i = l i für alle i =,...,q..5 Die McMillan sche Ungleichung Man kann sich fragen, ob man gegenüber der Kraft schen Ungleichung noch etwas gewinnen kann, wenn man die Bedingung präfixfrei abschwächt zu eindeutig decodierbar. Die Antwort lautet nein, obwohl es viele eindeutig decodierbare Codes gibt, die nicht präfixfrei sind. Satz.2 (McMillan, 956) Gegeben sei ein eindeutig decodierbarer Code C T mit T = r und Längenverteilung l, l 2,...,l q, q = C. Dann gilt q. li r i= Folgerung.22 Zu jedem eindeutig decodierbaren Code gibt es einen präfixfreien Code über dem gleichen Alphabet mit gleichen Wortlängen.