3 Codierung diskreter Quellen. Quelle Quellcodierer Kanalcodierer reduziert die benötigte Datenmenge. fügt Daten zur Fehlerkorrektur ein.

Transkript

1 3 Codierung diskreter Quellen 3 Einführung 32 Ungleichmäßige Codierung 33 Präfix-Codes 34 Grenzen der Code-Effizienz 35 Optimal-Codierung 3 Zusammenfassung < 24 / 228 > 3 Codierung diskreter Quellen Quelle Quellcodierer Kanalcodierer reduziert die benötigte Datenmenge fügt Daten zur Fehlerkorrektur ein Störung Kanal rekonstruiert Originaldaten korrigiert Übertragungsfehler Senke Quelldecodierer Kanaldecodierer Codierung diskreter Quellen < 25 / 228 >

2 3 Einführung Die Quellcodierung wandelt Sequenzen von Quellsymbolen in Bitsequenzen Aus Effizienzgründen soll die erzeugte Bitsequenz möglichst kurz sein Selbstverständlich soll sich aus der Bitsequenz die Symbolsequenz eindeutig wiederherstellen lassen Definition 3 Eine (Quell)codierung C bildet jedes Symbol x X einer Quelle X auf ein Codewort C(x) {, } + = l= {, }l ab, wobei x x C(x) C(x ) Eine Sequenz von Symbolen x x N wird auf die Sequenz C(x ) C(x N ) abgebildet Die Menge C aller Codewörter C(x) wird Code genannt Beispiel 3 Die Zahlen {,, } lassen sich durch die binäre Darstellung, 2, 3, 4, 5, codieren Die Sequenz 23 würde damit zu codiert und könnte eindeutig decodiert werden Codierung diskreter Quellen Einführung < 2 / 228 > Beispiel 32 Eine alternative Codierung der Zahlen {,, } wäre, 2, 3, 4, 5, Die Sequenz 23 würde damit zu codiert, was als 23, 2, 5, oder 3 decodiert werden könnte Definition 32 Eine Codierung ist eindeutig decodierbar, wenn jedes Paar unterschiedlicher Sequenzen x x N x x M zu unterschiedlichen Sequenzen C(x ) C(x N ) C(x ) C(x M) codiert wird Definition 33 Ein Code (eine Codierung) heißt gleichmäßig, wenn alle Codewörter die gleiche Länge haben Satz 3 Jede gleichmäßige Codierung ist eindeutig decodierbar Beweis Dank der einheitlichen Länge der Codewörter ist die Zerlegung jeder Sequenz C(x ) C(x N ) in die Codewörter C(x i ) eindeutig Codierung diskreter Quellen Einführung < 27 / 228 >

3 32 Ungleichmäßige Codierung Für eine höhere Code-Effizienz (weniger benötigte Bits) sind ungleichmäßige Codierungen unverzichtbar Seien l,, l N die Längen der Codewörter eines Codes C für ein Quellalphabet mit N Symbolen Welche Bedingung müssen die Längen l,, l N erfüllen, damit C eindeutig decodierbar ist? Satz 32 (Satz von McMillan) Seien l,, l N die Codewortlängen einer eindeutig decodierbaren Codierung, so gilt K = N 2 l i (3) Zu jeder Menge von Codewortlängen, die diese Bedingung erfüllen, gibt es eine eindeutig decodierbare Codierung Aber nicht jede Codierung, die die Bedingung erfüllt, ist eindeutig decodierbar! Codierung diskreter Quellen Ungleichmäßige Codierung < 28 / 228 > Beweis Wir beweisen zunächst nur den ersten Teil; die Existenz einer eindeutig decodierbaren Codierung bei erfüllter Bedingung wird später für eine spezielle Klasse von Codierungen gezeigt Wir betrachten ( N ) n ( ) n K n = 2 l i = 2 l + 2 l l N, n (32) was sich in eine Summe von N n Termen der Form 2 l i l i2 l in = 2 k i, i,, N n (33) mit k i = l i + l i2 + + l in expandieren lässt Sei m = max(l, l 2,, l N ) die maximale Codewortlänge, so gilt offenbar n k i nm Daher lässt sich K n = nm k=n N k 2 k (34) schreiben, wobei N k die Anzahl der Terme mit k i = k angibt, was gleichzeitig die Anzahl der Codewortsequenzen der Gesamtlänge k ist Aufgrund der eindeutigen Decodierbarkeit muss N k 2 k, also K n nm k=n 2 k 2 k = für beliebig große n, und daher K nm k=n = nm n + nm (35) Codierung diskreter Quellen Ungleichmäßige Codierung < 29 / 228 >

4 33 Präfix-Codes Definition 34 Ein Code wird Präfix-Code genannt, wenn kein Codewort C(x) Präfix eines anderen Codeworts C(x ) ist, also kein c {, } exististiert, sodass C(x)c = C(x ) für x x Beispiel 33 Der Code {,,,,, } ist ein Präfix-Code Beispiel 34 Der Code {,,,,, } aus Beispiel 32 ist kein Präfix-Code Codierung diskreter Quellen Präfix-Codes < 3 / 228 > Satz 33 Eine auf einem Präfix-Code aufbauende Codierung ist eindeutig decodierbar Beweis Seien die ersten l Bits einer Codesequenz C(x) Aufgrund der Präfix-Eigenschaft gibt es kein Codewort C(x ), dass ebenfalls den Anfang der Codesequenz bilden kann Damit kann das erste Zeichen eindeutig zu x decodiert werden und außerdem die verbleibende Sequenz nach demselben Schema ebenfalls eindeutig decodiert werden Codierung diskreter Quellen Präfix-Codes < 3 / 228 >

5 33 Codebäume ɛ Jedes Codewort wird als Knoten eines binären Baumes repräsentiert Alle Präfixe eines Codewortes finden sich im Codebaum oberhalb des Codeworts Bei einem Präfix-Code befindet sich zwischen Wurzel und einem Blatt des Codebaums maximal ein Codewort Codierung diskreter Quellen Präfix-Codes < 32 / 228 > Beispiel 35 Der Präfix-Code {,,,,, } besitzt folgenden Code-Baum: ɛ Codierung diskreter Quellen Präfix-Codes < 33 / 228 >

6 Beispiel 3 Der Code {,,,,, } (kein Präfix-Code) besitzt folgenden Code-Baum: ɛ Codierung diskreter Quellen Präfix-Codes < 34 / 228 > 332 Kraftsche Ungleichung Satz 34 (Kraftsche Ungleichung) Seien l,, l N die Codewortlängen eines Präfix-Codes, so gilt K = N 2 l i (3) Zu jeder Menge von Codewortlängen, die diese Bedingung erfüllen, gibt es einen Präfix-Code Beweis zum ersten Teil Sei m = max(l,, l N ) Es wird der vollständige binäre Baum der Höhe m betrachtet; er besitzt 2 m Blätter Unterhalb eines Codeworts der Länge l liegen 2 m l Blätter Jedes Blatt liegt unter höchstens einem Codewort, deshalb N 2 m l i 2 m, also N 2 l i (37) Codierung diskreter Quellen Präfix-Codes < 35 / 228 >

7 Beweis zum zweiten Teil OBdA gelte l l 2 l N C(x ) sei ein beliebiger Knoten auf Höhe l ; da 2 m l < N 2 m l i 2 m (für N > ) (38) gibt es mindestens ein Blatt, das nicht unter C(x ) liegt Der Knoten auf Höhe l 2 über diesem Blatt besitzt daher C(x ) nicht als Präfix und wird als C(x 2 ) verwendet Sind auf diese Weise die ersten M < N Codewörter zugeordnet, liegen M 2 m l i < N 2 m l i 2 m (39) Blätter unter Codewörtern, und es gibt weiterhin mindestens ein Blatt, das nicht unter einem Codewort liegt und für die Zuordnung von C(x M+ ) verwendet werden kann Wiederholung dieses Schemas bis N erzeugt einen Präfix-Code Da Präfix-Codes eindeutig decodierbar sind, vervollständigt dies den Beweis zu Satz 32 (Satz von McMillan) Codierung diskreter Quellen Präfix-Codes < 3 / 228 > Beispiel 37 Es soll ein Präfix-Code mit den Längen l = l 2 = l 3 = 2, l 4 = 3, l 5 = l = 4 konstruiert werden ɛ Codierung diskreter Quellen Präfix-Codes < 37 / 228 >

8 Nach den Sätzen von McMillan und Kraft gelten dieselben Bedingungen in Bezug auf die Codewortlängen für die Existenz von eindeutig decodierbaren und Präfix-Codes Dies bedeutet nicht, dass jeder eindeutig decodierbare Code ein Präfix-Code ist (zb {,,, }) aber, dass es zu jedem eindeutig decodierbaren Code einen Präfix-Code mit denselben Codewortlängen gibt (zb {,,, }) Häufig ist es daher ausreichend, nur Präfix-Codes zu betrachten Codierung diskreter Quellen Präfix-Codes < 38 / 228 > 34 Grenzen der Code-Effizienz Definition 35 Die Codierung C einer Quelle X hat die mittlere Codewortlänge L(C) = x X p X (x)l x, (3) wobei l x die Länge des Codeworts C(x) bezeichnet Beispiel 38 Die Codierung, 2, 3, 4, 5, aus Beispiel 3 für den gezinkten Würfel aus Beispiel 25 (p X () = 2, p X(2) = 2 p X (3) = 3 2, p X(4) = 4 2, p X(5) = 5 2, p X() = 2 Codewortlänge L(C) = 3 2, ) hat offensichtlich die mittlere Beispiel 39 Die Codierung, 2, 3, 4, 5, führt für diesen Würfel auf die mittlere Codewortlänge L(C) = ( ) ( ) 2 = 5 2 2,429 Codierung diskreter Quellen Grenzen der Code-Effizienz < 39 / 228 >

9 Satz 35 Sei C eine eindeutig decodierbare Codierung der Quelle X, so gilt L(C) H(X ) (3) Beweis Unter Ausnutzung von Lemma 2 und mit K = x X 2 lx folgt H(X ) = x X p X (x) ld ( p X (x) ) (32) ( 2 l x ) p X (x) ld K x X (33) = p X (x) ( l x ld(k) ) = p X (x)l x + ld(k) p X (x) x X x X x X (34) = L(C) + ld(k) L(C) (35) Dabei wird L(C) = H(X ) erreicht, wenn K = und p X (x) = 2 lx bzw l x = ld ( p X (x) ), was nur in Spezialfällen auf ganzzahlige Längen führt Codierung diskreter Quellen Grenzen der Code-Effizienz < 4 / 228 > Satz 3 Zu jeder Quelle X existiert eine Präfix-Codierung C, sodass H(X ) L(C) H(X ) + (3) Beweis Eine solche Codierung C ist gegeben durch die Shannon-Codierung, bei der ld ( p X (x) ) l x ld ( p X (x) ) + (37) Damit gilt K = x X 2 lx x X 2ld(px (x)) = x X p X(x) =, womit die Kraftsche Ungleichung erfüllt ist Multiplikation von Gleichung (37) mit p X (x) und Summation über alle x führt auf p X (x) ld ( p X (x) ) p X (x)l x p X (x) ld ( p X (x) ) + p X (x) (38) x X x X x X x X }{{}}{{}}{{}}{{} H(X ) L(C) H(X ) Codierung diskreter Quellen Grenzen der Code-Effizienz < 4 / 228 >

10 Satz 37 (Erstes Shannonsches Codierungstheorem) Durch Codierung der erweiterten Quelle X n kann für hinreichend große n eine Codierung mit durchschnittlicher Codewortlänge beliebig nah an der Entropie erreicht werden Beweis Sei C eine Codierung von X n mit die nach Satz 3 existiert Nach Korollar 2 gilt H(X n ) L(C ) H(X n ) +, (39) n H(X ) L(C ) n H(X ) + (32) Für die auf ein Symbol der ursprünglichen Quelle X bezogene mittlere Codewortlänge L = L(C )/n ergibt sich damit und offenbar lim n H(X ) + /n = H(X ) H(X ) L H(X ) + /n, (32) Codierung diskreter Quellen Grenzen der Code-Effizienz < 42 / 228 > 35 Optimal-Codierung Wir haben gesehen, dass die Shannon-Codierung maximal ein Bit mehr pro Symbol zur Codierung benötigt, als durch die Entropie als untere Schranke gegeben ist dies ausreicht, um bei Betrachtung von erweiterten Quellen asymptotisch ideal zu codieren Wie codiert man die praktisch relevanten endlichen Erweiterungen oder nicht erweiterten Quellen? Definition 3 Ein eindeutig decodierbare Codierung C ist optimal, wenn für jede andere eindeutig decodierbare Codierung C gilt, dass L(C) L(C ) Codierung diskreter Quellen Optimal-Codierung < 43 / 228 >

11 35 Huffman-Codierung Algorithmus der Huffman-Codierung für eine Quelle X : Bestimme die beiden Symbole x, x 2 X mit der kleinsten Auftrittswahrscheinlichkeit 2 2 Konstruiere eine neue Quelle X mit X = X \ {x, x 2 } {x,2} und p X (x ) = p X (x ) für x x,2, p X (x,2) = p X (x ) + p X (x 2 ) (Es werden also x und x 2 zu einem Symbol x,2 zusammengefasst) 3 Bestimme die Huffman-Codierung C zu X mit x, x 2, falls X nur zwei Symbole enthält 4 Wähle C(x) = C (x) für x x, x 2, C(x ) = C (x,2), C(x 2 ) = C (x,2) 2 Auswahl bei Nicht-Eindeutigkeit beliebig Codierung diskreter Quellen Optimal-Codierung < 44 / 228 > Beispiel 3 Es sei wieder der gezinkte Würfel aus Beispiel 25 (p X (x) = x 2 ) betrachtet Die mittlere Codewortlänge beträgt ( L(C) = ) ( ) 2 Zum Vergleich: H(X ) 2, = 5 2 2,429 Codierung diskreter Quellen Optimal-Codierung < 45 / 228 >

12 Beispiel 3 Es sei die Erweiterung X 2 des gezinkten Würfels (p X,X (x, x 2 ) = x x 2 44 ) betrachtet, /44,2 2/44 3, 3/44 2,4 8/44 3,2 /44, /44 5, 3/44 3,5 5/44 5,3 5/44,5 3/44,4 4/44 2,2 4/44 4,2 8/44 4, 4/44,5 5/44 3,3 9/44 3, 8/44 4,4 /44 4,5 2/44,3 8/44, 3/44 2, 2/44,3 3/44 5, 5/44 2, 2/44 4, 24/44 2,5 /44 5,2 /44 5,4 2/44, /44 2,3 /44,2 2/44 5,5 25/44 3,4 2/44 4,3 2/44,4 24/44 3/44 5/44 /44 8/44 9/44 /44 2/44 2/44 4/44 /44 8/44 22/44 2/44 24/44 24/44 2/44 3/44 34/44 34/44 38/44 4/44 4/44 49/44 48/44 5/44 /44 8/44 74/44 /44 8/44 97/44 42/44 83/44 258/44 44/44 L(C) 4,828 = 2 2,44 Codierung diskreter Quellen Optimal-Codierung < 4 / 228 > 3 Zusammenfassung Aus den Sätzen von Kraft und McMillan folgt, dass Präfix-Codierungen genauso effizient sein können wie allgemeine, eindeutig decodierbare Codierungen Die Entropie der zu codierenden Quelle stellt eine untere Schranke der mittleren Codewortlänge dar Erstes Shannonsches Codierungstheorem: Durch blockweise Codierung (Codierung der erweiterten Quelle) lässt sich diese Schranke asymptotisch erreichen Die Huffman-Codierung lässt sich durch sukzessives Zusammenfassen der beiden unwahrscheinlichsten Symbole bilden Codierung diskreter Quellen Zusammenfassung < 47 / 228 >