2.7 Der Shannon-Fano-Elias Code

Transkript

1 2.7 Der Shannon-Fano-Elias Code Die Huffman-Codierung ist ein asymptotisch optimales Verfahren. Wir haben auch gesehen, dass sich die Huffman-Codierung gut berechnen und dann auch gut decodieren lassen. Die letzte Aussage trifft allerdings nur zu, wenn das Quellalphabet nicht zu groß ist. Denn zur Berechnung der Codeworte eines Huffman-Codes wird Zeit O(n log n) benötigt, wenn n die Größe des Alphabets ist. Da wir die Wahrscheinlichkeiten in der Verteilung (implizit) sortieren müssen, können wir auch nicht hoffen, die Codeworte in Zeit weniger als n log n zu berechnen. Für die eigentliche Codierung und Decodierung wird auch der Huffman-Baum benötigt. Dieser hat immer Größe Θ(n). Wollen wir nun die Huffman-Codierung etwa auf das Alphabet {0, 1} 50 anwenden, so sehen wir, dass dieses kaum noch praktikabel ist. Deshalb wollen wir nun ein Codierungsverfahren kennen lernen, das angewandt auf Alphabete der Form A b deutlich effizienter ist als die Huffman-Codierung. Dieses Verfahren wurde von Shannon, Fano und Elias entwickelt. Wir nennen es die Shannon-Fano-Elias-Codierung, kurz SFE-Codierung. Wir werden dieses Verfahren zunächst für allgemeine Quelle erklären und dann für Quellen mit Alphabeten der Form A b effiziente Codier- und Decodieralgorithmen beschreiben. In diesem Fall wird das Verfahren arithmetische Codierung genannt. Wir betrachten eine Quelle mit Alphabet A = {a 1,..., a n } und Wahrscheinlichkeitsverteilung p = (p 1,..., p n ). Die p i müssen nicht sortiert sein. Für jedes i = 1,..., n definieren wir nun w i := log 1 p i + 1 i 1 L i := j=1 p j (2.1) T i := L i + p i 1 i 2 = p j + p i 2. Zusätzlich setzen wir L n+1 = 1. Die L i partitionieren das Einheitsintervall [0, 1) in n Teilintervalle I i := [L i, L i+1 ). Die Werte T i sind jeweils Mittelpunkt des Teilintervalls I i = [L i, L i+1 ). Die Breite von I i ist genau p i. Wir ordnen nun dem Symbol a i das i-te Teilintervall I i zu. Damit wird Symbolen ein Teilintervall mit Breite genau ihrer Quellwahrscheinlichkeit zugeordnet. j=1 38

2 Nach Wahl von w i gilt 2 w i p i 2. Weiter bezeichnen wir für eine Zahl x [0, 1] und ein c N mit x c die obersten c Bits der Binärdarstellung von x. Es gilt dann x 0. x c < 2 c. (2.2) Die SFE-Codierung C ordnet nun dem Quellsymbol a i das Codewort C(a i ) = T i wi (2.3) zu. Jedem Symbol a i wird also der Mittelpunkt seines Teilintervalls I i, dargestellt mit w i Bits, zugeordnet. Beispiel: Betrachten wir die Quelle mit Quellsymbolen a 1, a 2, a 3, a 4 und den Wahrscheinlichkeiten 1 16, 3 16, 9 16, Wir erhalten dann die folgenden Werte für w i, T i, C(a i ): i = 1 i = 2 i = 3 i = 4 w i T i C(a i ) Abbildung 2.10 zeigt die Intervalle I i und ihre Mittelpunkte. Das zu a 3 gehörige Intervall L 3, L 4 ist fett in Rot eingezeichnet. Abbildung 2.10: Intervalleinteilung bei SFE-Codierung Wir erhalten nun Satz Die SFE-Codierung liefert einen Präfix-Code. Beweis: Sei C(a i ) ein Präfix von C(a j ), d.h., C(a i ) und C(a j ) stimmen in den ersten w i Bits überein. Dann muss gelten T i T j < 2 w i, denn mit C(a i ), C(a j ) stimmen auch T i, T j in den obersten w i Bits überein. Nun gilt 39

3 aber 2 w i p i /2 und T i T j p i /2. Damit ist die Annahme, dass C(a i ) ein Präfix von C(a j ) ist, zum Widerspruch geführt. Die SFE-Codierung ordnet wahrscheinlichen Symbolen Intervalle großer Breite zu. Mittelpunkte großer Intervall müssen aber nur mit wenigen Bits Präzision dargestellt werden, um nicht mit anderen Mittelpunkten verwechselt werden zu können. Dieses liefert die Kompression bei der SFE-Codierung. Satz Für die erwartete Länge E(C) der SFE-Codierung C einer Quelle mit Wahrscheinlichkeitsverteilung p = (p 1,..., p n ) gilt Beweis: Der Satz folgt aus H(p) < E(C) H(p) + 2. log p i < w i log p i + 2. Aus diesem Satz folgt unmittelbar, dass auch die SFE-Codierung ein asymptotisch optimales Codierungsverfahren ist. Denn angewandt auf das Alphabet A b mit Verteilung p b erreicht die SFE-Codierung eine erwartete Codierungslänge von höchstens H(p b ) + 2 = bh(p) + 2. Damit ist im Grenzwert die erwartete Codierungslänge pro Quellsymbol genau H(p). 2.8 Arithmetische Codierung In diesem Abschnitt lernen wir effiziente Codier- und Decodieralgorithmen für die SFE-Codierung kennen, wenn das Quellalphabet A b und die Wahrscheinlichkeitsverteilung p b, b N, ist, wobei p eine Wahrscheinlichkeitsverteilung auf A = {a 1,..., a n } ist. Die in diesem Abschnitt beschriebenen Techniken werden als arithmetische Codierung bezeichnet. Betrachten wir also eine Quelle mit Alphabet A b, A = {a 1,..., a n }. Die Verteilung auf A ist von der Form p = (Pr(a 1 ),..., Pr(a n )) = (p 1,..., p n ). Die Wahrscheinlichkeit für das Quellsymbol x = (x 1,..., x b ) A b bezeichnen wir mit p(x). Es gilt p(x) = b Pr(x i ). i=1 Auf den Elementen aus A b definieren wir nun eine (totale) Ordnung <. Dazu definieren zunächst auf den Elementen auf A die Ordnung a 1 < a 2 < 40

4 ... < a n. Auf A b benutzen wir nun die lexikographische Ordnung bezüglich der Ordnung auf A. Sind also x = (x 1,..., x b ) und y = (y 1,..., y b ) zwei Elemente aus A b so gilt x < y genau dann, wenn für den kleinsten Index 1 k b mit x k y k gilt x k < y k. Um die arithmetische Codierung für A b mit Wahrscheinlichkeitsverteilung p b zu beschreiben, benutzen wir die folgende Notation. Wir setzen w(x) := log 1 p(x) + 1 L(x) := p(y) y<x y A b (2.4) T (x) := y<x y A b p(y) + p(x) 2. Die Codierung C(x) des Symbols x A b ist dann gegeben durch Es gilt C(x) := T (x)) w(x). (2.5) 2 w(x) < p(x) 2. (2.6) Die so definierte Codierung ist eine SFE-Codierung für eine spezielle Ordnung der Elemente in A b. Insbesondere ist die so definierte arithmetische Codierung also ein Präfix-Code (Satz 2.7.1). Wir wollen nun effiziente Algorithmen zur Berechnung der Codeworte in der arithmetischen Codierung beschreiben. Zunächst beobachten wir, dass die L(x) eine Partitionierung des Einheitsintervalls [0, 1) liefern. Diese Partitionierung kann man sich folgendermassen anschaulich machen. Zunächst wird das Intervall [0, 1) wie bei der SFE-Codierung beschrieben gemäß der Verteilung p in die Teilintervalle I 1,..., I n unterteilt. Um die Unterteilung bei der arithmetischen Codierung zu erhalten, wird nun jedes der Teilintervall I j selber wieder in n Teilintervalle der Breite proportional zu p i unterteilt. Dieses liefert dann die Teilintervalle, die zur arithmetischen Codierung von A 2 gehören. Sind nun die Teilintervalle für A b 1 bereits definiert, erhält man die Intervalle für A b, indem jedes der Teilintervall I der Unterteilung für A b 1 in Teilintervalle mit Breite proportional zu den p i unterteilt wird. Einer der Vorteile der arithmetischen Codierung gegenüber der Huffman- Codierung ist nun, dass nicht alle Codeworte gleichzeitig berechnet werden 41

5 müssen, um die die Codierung eines einzelnen Symbols zu bestimmen. Vielmehr kann die gerade beschriebene Idee des sukzessiven Verfeinerns benutzt werden, um einzelne Codeworte zu berechnen. Hierzu wird bei gegebenem Wort m = m 1 m 2 m b zunächst das Teilintervall I s berechnet, indem das Intervall für m liegt. Dann wird nur in diesem Teilintervall nach dem korrektem Intervall für m gesucht. Die Bestimmung von I j ist einfach, denn der Index s ist gegeben durch 1 s n mit m 1 = a s. Weitere Teilintervalle können dann genauso bestimmt werden. Dieses liefert den folgenden Algorithmus zur Berechnung des Codewortes für m. Die Zahlen L s sind dabei definiert wie in der SFE-Codierung für das Alphabet A mit den Wahrscheinlichkeiten p 1,..., p n. Eingabe m = m 1 m 2 m b A b. Ideal-Encode-AC (IE-AC) 1. Schritt Setze l 0 := 0, u 0 := 1, w 0 := Schritt Für i = 1,..., b wiederhole die folgenden Schritte. 3. Schritt Finde s mit a s = m i. 4. Schritt Setze l i := l i 1 + w i 1 L s u i := l i 1 + w i 1 L s+1 w i = w i 1 p s (2.7) 5. Schritt Gib l b + w b 2 mit log 1 w b + 1 Bits Genauigkeit aus. Der Wert w i gibt jeweils die Breite des aktuellen Intervalls an. Es gilt w i = u i l i. Mit dem oben Gesagten folgt leicht, dass dieser Algorithmus die Codierung C(m i ) korrekt berechnet. Etwas formaler folgt die Korrektheit durch vollständige Induktion über i aus den Gleichungen L(m) = y<m p(y) = y1 A y 1 <m 1 p(y 1 ) + p(m 1 ) y 2 y b A b 1 y 2 y b <m 2 m b p(y 2 y b ). (2.8) 42

6 Da jeder Durchlauf der Schleife im 2. Schritt nur konstante Anzahl von arithmetischen Operationen benötigt, ist die Laufzeit von IE-AC im RAM- Modell gegeben durch O(b). Wir werden hierzu allerdings noch viel mehr sagen müssen. Zunächst jedoch einige Beispiele. Beispiel 1: A = {a 1, a 2, a 3 }, p 1 = 0.8, p 2 = 0.02, p 3 = Codiert werden soll m = a 1 a 3 a 2 a 1. In der folgenden Tabelle sind die Werte s, l i u i, w i im Laufe des Algorithmus IE-AC zusammengefasst. Die Werte für l i, u i, w i ergeben sich jeweils aus (2.7). s l i u i w i i = i = i = i = i = Da log( ) 1 = 9 und u 4 + w 4 2 = ist die Codierung von m gegeben durch Beispiel 2: Es sei A = {0, 1} mit den Quellwahrscheinlichkeiten p 1 = 3 4, p 2 = 1 4. Weiter sei b = 5. Codiert werden soll m = Wir setzen a 1 = 0, a 2 01 und erhalten dann L 1 = 0, L 2 = 3 4, L 3 = 1. Wir erhalten dann die folgende Tabelle für die Werte s, l i u i, w i im Laufe des Algorithmus IE-AC. s l i u i w i i = i = i = i = i = i = Da log = 6 und u 5+l 5 2 = l 5 + w 5 2 = ist die Codierung von m gegeben durch In Abbildung 2.11 sind die einzelnen Teilintervalle, die im Laufe des Algorithmus berechnet werden, schematisch dargestellt. 43

7 Abbildung 2.11: Beispiel für IE-AC Die sukzessive Unterteilung von Intervallen führt auch sofort auf den folgenden Algorithmus zur Decodierung eines einzelnen Codewortes. Eingabe Ein Codewort c {0, 1}. Ideal-Decode-AC (ID-AC) 1. Schritt Setze l 0 := 0, u 0 := 1, w 0 := 1, m = ɛ, t = 0.c. 2. Schritt Für i = 1,..., b wiederhole die folgenden Schritte. 3. Schritt Finde s mit l i 1 + w i 1 L s t < l i 1 + w i 1 L s Schritt Setze 5. Schritt Ausgabe m. l i := l i 1 + w i 1 L s u i := l i 1 + w i 1 L s+1 w i = w i 1 p s m := ma s (2.9) Die Korrektheit des Algorithmus folgt aus der oben definierten Unterteilung in Teilintervalle und den Gleichungen in (2.8). 44

8 Beispiel 4: Gegeben ist eine Quelle mit Alphabet A := {0, 1} und den Wahrscheinlichkeiten p 1 = p(0) = 3 4 und p 2 = p(1) = 1 4. Damit gilt L 1 = 0, L 2 = 3 4 und L 3 = 1. Ausserdem sei b = 3. Wir erhalten das Codewort c = Zunächst setzen wir l 0 = 0, u 0 = 1, m = ɛ und t := = 5 8. Da < 3 4, setzen wir s = 1 und damit ist m 1 = 0. Die neuen Parameterwerte sind nun l 1 = 0, u 1 = 3 4, w 1 = 3 4, m = 0. Als nächstes erhalten wir s = 2 und m 2 = 1, denn l 1 + w 1 L 2 = = < 3 4 = l 1 + w 1 L 3. Als neue Parameter erhalten wir Jetzt berechnen wir s = 1, denn l 2 = 9 16, u 2 = 3 4, w 2 = 3 16, m = 01. l 2 + w 2 L 1 = = < 9 16 = l 2 + w 2 L 2 = = Die neuen Parameterwerte sind l 3 = 9 16, u 3 = 45 64, w 3 = 9 64, m = 010. Damit ist das Wort m = 010 decodiert. Beispiel 3: Gegeben ist die Quelle aus Beispiel 1. Es sei b = 2. Wir erhalten das Codewort c = Es gilt t = 0.c = Wir setzen l 0 = 0, u 0 = 1, w 0 = 1 und m = ɛ. Da < 1, ist m 1 = a 3. Die neuen Parameterwerte sind dann Da l 1 = 0.82, u 1 = 1, w 1 = < , ist m 2 = a 2. Das Codewort ist zu a 3 a 2 decodiert. 45