Informationstheorie und Codierung

Transkript

1 Informationstheorie und Codierung 3. Codierung diskreter Quellen Gleichmäßiger Code Ungleichmäßiger Code Fano-, Huffman-Codierung Optimalcodierung von Markoff-Quellen Lauflängencodes nach Golomb und Rice Arithmetische Codierung 36

2 Aufgabe der Quellencodierung Übertragungskanal Nachrichtensenke Quellencodierer Quellendecodierer Nachrichtenquelle redundanzfrei oder redundanzarm Quellencodierung: eineindeutige Zuordnung einer Menge von Codeworten zur Menge der Quellensymbole (= Code) Darstellung der Quelleninformation in einer für die Informationsübertragung und -verarbeitung geeigneten Form eineindeutige möglichst redundanzfreie bzw. redundanzarme Darstellung Coderedundanz: R C = l m H 0 l m : mittlere Codewortlänge H: mittlere Quellenentropie 37

3 Gleichmäßiger Code = Codierung mit fester Codewortlänge l (= l m ) Codewortlänge für verschiedene Codierungen: Binärcodierung (zwei Symbole) l log 2 N = ld N; Bsp. X = {0, 1} Ternärcodierung (drei Symbole) l log 3 N; Bsp. X = {-1, 0, +1} Dezimalcodierung (zehn Symbole) l log 10 N =lg N; Bsp. X = {0, 1, 2,, 9} 38

4 Ungleichmäßiger Code = Codierung mit unterschiedlicher Codewortlänge Zuordnung der Codeworte entsprechend der Symbolauftrittswahrscheinlichkeit mittlere Codewortlänge l m = p i l i (l i : Codewortlänge des Zeichen x i ) i l m H Dekodierbarkeitsbedingung: Kein Codewort darf linker Teil eines anderen Codewortes sein! = Präfixcode sonst irreduzibler Code 39

5 Fano-Codierung Realisierungsschritte: 1. Ordnen der Symbole nach fallender Auftrittswahrscheinlichkeit 2. Teilen in (zwei) Gruppen mit möglichst gleicher Summenauftrittswahrscheinlichkeit 3. Zuordnung der 0 zur oberen Gruppe und der 1 zur unteren Gruppe 4. Wiederholung ab 2. für jede Teilgruppe bis nur noch ein Symbol in den sich jeweils neu ergebende Teilgruppe übrig bleibt 5. Kontrolle: Decodierbarkeitsbedingung Hinweis: umgekehrte Zuordnung von 0 und 1 auch möglich 40

6 Huffman-Codierung Verfeinerung der Fano-Codierung teilweise effektiver Realisierungsschritte: 1. Ordnen der Symbole nach fallender Auftrittswahrscheinlichkeit 2. Zusammenfassen der letzten (niedrigsten Wahrscheinlichkeiten zu einer Summenwahrscheinlichkeit 3. Erneutes Ordnen des unter 2. reduzierten Wahrscheinlichkeitsfeldes entsprechend Wiederholung ab 2. bis nur noch zwei Werte übrig bleiben 5. Erstellung eines Codebaums entsprechend dem Reduktionsschema 6. Zuordnung der Codesymbole 0 und 1 7. Kontrolle: Decodierbarkeitsbedingung 41

7 Erstes Shannonsches Codierungstheorem besagt, dass jede diskrete Quelle völlig redundanzfrei kodiert werden kann, auch wenn keine idealen Wahrscheinlichkeiten vorliegen. H l m < H + 1 m H: mittlere Quellenentropie l m : mittlere Codewortlänge m: Anzahl Zeichen je Block Aussage: beliebige Annäherung an die Quellenentropie möglich Realisierung durch m-fache Erweiterung der Quelle (z.b. Zusammenfassen von m Zeichen in Blöcken und anschließendes Codieren bei diskreten Quellen mit unabhängigen Ereignissen) Achtung: Berücksichtigung von Aufwand und Nutzen Optimalcodierung = annähernd redundanzfrei und mit ökonomisch vertretbarem Aufwand realisierbar (Bsp. Fano, Huffman, ) 42

8 Optimalcodierung von Markoff-Quellen I Beispiel für eine Markoff-Quelle erster Ordnung bei Bildung einer Zweiergruppe (Symbolgruppencodierung): p i,j = p i p j i und H i,j = - p i,j ld p i,j i j Ergebnis: 2H 1 > H i,j > 2H 2 (nicht zielführend, da l mi,j > l m2 ) Lösung zustandsabhängige Codierung Berücksichtigung der Übergangsmöglichkeiten ein Codewort je Übergang Codewortbildung über herkömmliche Verfahren (Shannon, Huffman, ) 43

9 Optimalcodierung von Markoff-Quellen II Zusammenhänge für eine optimalcodierte Markoffquelle erster Ordnung: N N l m = p i p j i l i,j l i,j : Codewortlänge für den Übergang von x i nach x j i1 N j1 H M = - p i p j i ld(p j i ) i1 R C = l m - H M N j1 Anmerkungen: N optimale Teilcodes bei N abhängigen x i Codieraufwand für höhere Ordnungen sehr hoch Mehrfachvergabe von gleichen Codeworten (Decodierbarkeitsbedingung!) Decoder benötigt Startzustand und Matrix (p j i ) 44

10 Schwächen von Präfixcodes Nachteile von Präfixcodes nach Fano und Huffman: optimale Redundanzreduktion nur wenn für jedes x i gilt: p i = 2 -n (mit n N >0 ) l m 1 bit Symbol Verringerung dieser Nachteile: Blockcodierung Vermeidung dieser Nachteile: Codierung nach Golomb, Rice Arithmetische Codierung 45

11 Lauflängencode Lauflängencodierung = verlustfreier Kompressionsalgorithmus Praktische Anwendung: Bilddatenkompression (z.b. Windows Bitmap) Bsp.: Text bei Schwarz-Weiß-Bildschirm große Anzahl weißer Pixel, wenige schwarze Pixel WWWWWWWWWWWWSWWWWSWWWSSS 12W1S4W1S3W3S oder Anzahl der weißen bzw. schwarzen Pixel Anzahl der weißen Pixel, auf denen jeweils ein schwarzes Pixel folgt

12 Lauflängencode nach Golomb vordefinierter Code Darstellung aller nichtnegativen Zahlen effizient bei geometrischer Verteilung der Wahrscheinlichkeiten p x = (p 1 ) x p 0 (Wahrscheinlichkeit für x Einsen gefolgt von einer Null ) günstiges Ereignis (hier: 1) ungünstiges Ereignis (hier: 0) Berechnung über Lauflänge r und Steuerparameter m, für die gilt: (p 1 ) m = 0,5 ; p r = (p 1 ) r p 0 47

13 Golomb-Codewörter für verschiedene m m = 1 m = 2 m = 3 m = 4 r p r Codewort p r Codewort p r Codewort p r Codewort 0 1/2 0 0, , , /4 10 0, , , / , , , / , , , / , , , / , , , / , , , / , , , / , , ,

14 Bildung des Codewortes Quotient: Q = r m Rest: R = r Q m = r mod m Hilfsvariable: C = log 2 m = ld m R * = R, wenn R < 2 C m mit l = C 1 R + 2 C m, wenn R 2 C m mit l = C Zusammensetzung des Codewortes = (Q 1 )_0_ (R * ) binär Länge l 49

15 Lauflängencode nach Rice Untermenge des Golomb-Codes mit m = 2 k einfache Realisierung durch Bitshiften und logische Bitoperationen Quotient: Q = r m r k Rest: R = r Q m = r mod m r (m 1) Zusammensetzung des Codewortes = (R) binär _(Q 1 )_0 k Bits 50

16 Rice-Codewörter für verschiedene k k = 0 k = 1 k = 2 k = 3 r Codewort Codewort Codewort Codewort

17 Arithmetische Codierung 1,0 52 d c b a Alternative zur Huffman-Codierung (z.b. JPEG) keine einzelnen Codeworte ein Codewort für das gesamte Signal bessere Annäherung an Quellenentropie Berechnung über Intervallbetrachtung X = {a, b, c, d} (x i ) = (a b c d) mit i = 0,, N 1 (p(x i )) = (p(i)) = (0,4 0,2 0,1 0,3) Summenwahrscheinlichkeiten: p k (i+1) = p k (i) + p(i) mit i = 0,, N 1 und p k (0) = 0,0 (p k (i)) = (0,0 0,4 0,6 0,7 1,0)

18 Bildung des Codewortes I 1. Bestimmung des aktuellen Intervallbereichs: B = OG UG OG: obere Grenze UG: untere Grenze 2. Bestimmung der Intervallgrenzen des betrachteten Symbols: OG* = UG + B p k(i+1) p k (N) UG* = UG + B p k(i) p k (N) 3. Wiederholung ab 1. für alle Symbole der Folge p k (N): Normierung auf das gesamte Startintervall Bildung des Codewortes: Addition negativer 2er-Potenzen, sodass deren Summe innerhalb des letzten Intervalls (UG* Codewort<OG*) liegt Binäre Darstellung entsprechend der einfließenden 2er-Potenzen

19 Bildung des Codewortes II (ergänzend zum Beispiel an der Tafel) neg. 2er- Potenz 2-1 0, , , , , , , , , Dezimalwert Bit Summe , ,

20 Eigenschaften der arithmetischen Codierung 55 Codierung seltener Symbole stärkerer Verengung des Intervalls Decodierung durch Nachvollziehen der Intervallgrenzen Decoder benötigt: Intervallgröße (i.d.r. zwischen 0 und 1) Wahrscheinlichkeiten für alle Symbole Anzahl der übertragenen Symbole oder Kennzeichnung des Endes der Folge Nachteile: Genauigkeit der Intervallgrenzen (Nachkommastellen) Codierung des gesamten Signals vor der Übertragung (ungünstig in der Praxis) Lösung durch schrittweise Übertragung (siehe Festkommaimplementierung)