Kapitel 2: Informationstheorie. 3. Quellencodierung

Transkript

1 ZHAW, NTM2, Rumc, Kapitel 2: Informationstheorie 3. Quellencodierung Inhaltsverzeichnis 1. EINLEITUNG QUELLENCODIERUNGSTHEOREM HUFFMAN-QUELLENCODIERUNG DATENKOMPRESSION MIT WÖRTERBUCH VERLUSTBEHAFTETE QUELLENCODIERUNG... 7 Literatur [1] Proakis, Salehi, Grundlagen der Kommunikationstechnik, Pearson, [2] D. Salomon, Data Compression, Springer, [3] Hufschmid M., Information und Kommunikation, Grundlagen und Verfahren der Informationsübertragung, Teubner, [4] D. Pan, A Tutorial on MPEG/Audio Compression, Einleitung Die Hauptaufgabe der Quellencodierung ist die Reduktion der Redundanz oder der Irrelevanz am Ausgang der Quelle, damit weniger Daten übertragen oder abgespeichert werden müssen (Datenkompression). Man unterscheidet zwei grundsätzlich verschiedene Quellencodierungsarten. Es gibt die verlustlosen Quellencodierungsverfahren (Redundanzreduktion), mit denen der Empfänger die Originaldaten wieder perfekt herstellen kann. Sie werden z.b. bei der zip-datenkomprimierung verwendet. Für die Nachrichtenübertragung werden die verlustbehafteten Quellencodierungsverfahren wie z.b. MP3, JPEG oder MPEG immer wichtiger. Bei diesen Quellencodierungsverfahren werden nur noch die für das Auge oder das Ohr des Empfängers relevanten Informationen übertragen (Irrelevanzreduktion). Die Kompressionsrate und die Wiedergabequalität sind oft wählbar. Die Datenkompression hat eine hohe wirtschaftliche Bedeutung. Wenn weniger Daten übertragen werden müssen, kommt der Benutzer im Allgemeinen schneller in den Besitz einer Nachricht und muss weniger Übertragungszeit bzw. -volumen bezahlen. Umgekehrt kann ein Betreiber mit der gleichen Infrastruktur mehr Übertragungskapazität anbieten und damit mehr Einnahmen generieren.

2 ZHAW, NTM2, Rumc, Quellencodierungstheorem Das Quellencodierungstheorem von Shannon ist ein fundamentaler Satz in der Informationstheorie und beantwortet die Frage, wie stark Daten komprimiert werden können, ohne dass Information verloren geht. Zur Vorbereitung betrachten wir die Informationsquelle in Abbildung 1, die zu diskreten Zeitpunkten t = nt die Symbole X[n] generiert, wobei T die Symbolperiode bezeichnet. diskrete Quelle Quellensymbole X[0], X[1], X[2],... H bit / Symbol Quellen- Encoder Codebits Y[0], Y[1], Y[2],... Rate R [Codebits / Quellensymbol] Abbildung 1: Diskrete Quelle mit H Bit pro Quellensymbol und Encoder mit Rate R. Wir nehmen an, dass die Quelle stationär ist, d.h. dass sich die statistischen Eigenschaften der Quelle zeitlich nicht ändern. Insbesondere weisen die Symbole X[n] für alle diskreten Zeitpunkte t=nt die gleiche Wahrscheinlichkeitsverteilung P X (x) auf. Weiter nehmen wir an, dass jedes Symbol H bit Information trägt. Wenn es sich um eine Quelle ohne Gedächtnis, eine sogenannte DMS, handelt, entspricht H der Entropie H(X) des Symbols X, d.h. Quelle ohne Gedächtnis: H = H(X) [bit / Symbol]. (1) Wenn die Quelle Gedächtnis hat, kann man zeigen, dass H über die Verbund-Entropie wie folgt bestimmt werden kann (ohne Beweis) Quelle mit Gedächtnis: H = lim n-> H(X[0],...,X[n-1]) / n [bit / Symbol]. (2) Das Mass für die Effizienz des Quellenencoders ist dessen Rate R, die mit der durchschnittlichen Anzahl Codebits pro Quellensymbol gemessen wird. Datenkompression liegt dann vor, wenn die Rate R < log 2 (M) Bits pro M-wertigem Quellensymbol ist. Shannon s Quellencodierungstheorem gibt nun einen unteren Grenzwert für R: Eine Quelle mit H bit / Symbol kann mit einer Rate R [Codebits / Quellensymbol] verlustlos codiert werden, solange R H. Umgekehrt, wenn R < H, kann die Quelle auf keinen Fall verlustlos codiert werden. Das Theorem gibt Bedingungen für die Existenz von Quellencodes an. Es liefert aber leider keine Algorithmen. Eine gute informelle Beschreibung des Theorems mit Hilfe von Shannon s typischen Sequenzen finden Sie in [1].

3 ZHAW, NTM2, Rumc, Huffman-Quellencodierung Bei der Huffman-Codierung werden Blöcke von n Quellensymbolen u = [x 1,...,x n ] auf (binäre) Codewörter y variabler Länge abgebildet, siehe Abbildung 2. Die Idee dieses Verfahrens besteht darin, häufig vorkommende Blöcke mit kurzen Codewörtern zu codieren. diskrete Quelle u = [x 1,..., x n ] fixe Länge (n Quellensymbole) Quellen- Encoder y variable Länge Abbildung 2: Huffman-Quellencodierung. Das Problem mit Codewörtern variabler Länge ist die Synchronisation. In der Regel werden präfixfreie Codes bevorzugt, die keine Codewörter besitzen, die ein Präfix (Vorsilbe) eines anderen Codeworts sind. Präfixfreie Codes sind eindeutig und sofort (nach Erhalt des letzten Codebits) decodierbar. Beispiel Der Code Y = { [0], [10], [110], [1110], [1111] } ist präfixfrei. Der Dekoder kann das Ende eines Codeworts sofort detektieren, wenn er eine 0 empfängt oder wenn er vier 1 in Folge erhalten hat. Im Jahre 1952 hat D. Huffman den folgenden Codierungs-Algorithmus vorgeschlagen: 1. Bezeichne die M n Endknoten eines Baums mit den Eingangswerten u m und weise ihnen die Wahrscheinlichkeiten P(u m ), m=1,...,m n, zu. 2. Verbinde die zwei Knoten mit den kleinsten Wahrscheinlichkeiten. Deaktiviere diese Knoten, aktiviere den neu entstandenen Knoten und weise ihm die Summe der beiden Wahrscheinlichkeiten zu. 3. Falls noch ein aktiver Knoten existiert, gehe zu Ordne jedem Eingangswert bzw. Endknoten u m ein binäres Codewort y m zu, indem von der Wurzel aus bei jeder Verzweigung nach oben eine 1 und nach unten eine 0 eingetragen wird (oder umgekehrt). Beispiel Eine gedächtnisfreie Quelle mit den 5 verschiedenen Symbolen X = {A, B, C, D, E} und den Wahrscheinlichkeiten P X (A) = 1/2 und P X (B) = P X (C) = P X (D) = P X (E) = 1/8 soll symbolweise komprimiert werden, d.h. U=X. In Abbildung 3 sind der Huffman-Code und der zugehörige Baum dargestellt. Das Symbol A kommt am häufigsten vor und wird deshalb mit dem kürzesten Codewort 1 codiert. Die anderen vier Symbole werden mit Codewörtern mit je 3 Bits codiert. Der Code ist präfixfrei.

4 ZHAW, NTM2, Rumc, Symbol Wahr. Code A 1/2 1 Wurzel /2 1/4 1/4 B 1/8 011 C 1/8 010 D 1/8 001 E 1/8 000 Abbildung 3: Huffman-Code und zugehöriger Baum für eine 5-wertige Quelle. Das Mass für die Effizienz des Quellencodes ist die Rate R = E{L} / n [Codebits / Quellensymbol], (3) wobei die durchschnittliche Codewortlänge E{L} wie folgt bestimmt werden kann n M E{ L} P( u ) L( ). (4) m 1 m y m L(y m ) bezeichnet die Länge des binären Codeworts y m, das dem Eingangswert u m, m=1,...,m n, zugeordnet ist. E{.} ist der Erwartungswert-Operator. Huffman-Codes sind optimal und weisen die minimale mittlere Codewortlänge unter allen präfixfreien Codes auf. Man kann zeigen, dass für die Rate R eines Huffman-Codes gilt: H R < H + 1/n. (5) Mit einem Huffman-Code kann man also beliebig nahe an Shannon s Grenzwert für die minimale Rate R bei der Quellencodierung kommen, oder den unteren Grenzwert für R sogar ganz erreichen. Beispiel (Fortsetzung) Jedes Symbol der gedächtnisfreien Quelle im letzten Beispiel oben trägt eine Information von H = H(X) = (1/2) log 2 (2) + (4/8) log 2 (8) =2 bit pro Quellensymbol. Die mittlere Codewort-Länge des Huffman-Codes beträgt E{L} = (1/2) (1/8) 3 = 2 Codebits. Der Encoder besitzt also die Rate R = 2 Codebits pro Quellensymbol und ist gemäss (5) minimal. Es macht in diesem Fall keinen Sinn, mehr als 1 Quellensymbol zu komprimieren. Zum Vergleich: Wenn die 5 Quellensymbole ohne Quellencodierung übertragen werden, müssten 3 Bit pro Quellensymbol aufgewendet werden. Betrachten wir noch die Verteilung der Nullen und Einer im komprimierten Datenstrom. Ein Codewort besteht im Durchschnitt aus 2 Codebits, wovon (1/2) 1+(1/8) ( ) = 1 Codebit eine Eins ist. Im Datenstrom sind Einer und Nullen gleichverteilt. Man könnte auch zeigen, dass die Codebits statistisch unabhängig sind. Ein Codebit trägt in diesem Beispiel also die maximale Information von 1 bit und weist keine Redundanz mehr auf. Die Ausgangsfolge des Encoders kann deshalb nicht mehr weiter komprimiert werden.

5 ZHAW, NTM2, Rumc, Die letzte Aussage im Beispiel oben ist typisch für eine gute Quellencodierung. In einem komprimierten Datenstrom kommen Nullen und Einer praktisch gleich häufig vor und die Redundanz ist im Allgemeinen fast Null. Gleichung (5) und das Quellencodierungstheorem zeigen einmal mehr, dass die Definition der Entropie sinnvoll ist. Der Huffman-Algorithmus kann auch für die nichtbinäre Quellencodierung angepasst werden. Mehr Informationen zu Codebäumen mit Wahrscheinlichkeiten findet man in [3]. Die Huffman-Codierung weist die folgenden Nachteile auf - Die Performance hängt stark von der Quellenstatistik ab. - Die Quellenstatistik muss im Voraus bekannt sein (ev. zuerst messen ). - Die Komplexität der Huffman-Codierung steigt exponentiell mit der Eingangsblocklänge n an, weil der zugehörige Baum M n Endknoten besitzt, wenn ein einzelnes Quellensymbol X M-wertig ist. - Die variable Codewortlänge ist in der Praxis manchmal unerwünscht. Codewortlängen, die ein Vielfaches der Wortlänge eines Computers entsprechen, sind oft von Vorteil. 4. Datenkompression mit Wörterbuch Wörterbuch-basierende, verlustlose Kompressionsmethoden weisen viele Nachteile nicht mehr auf, die die statistischen Kompressionsmethoden wie z.b. die Huffman-Codierung haben, und sind trotzdem Entropie-optimal bzw. weisen (fast) minimale Raten R auf. Die Idee dieser Verfahren besteht darin, die Daten der Quelle in unterschiedlich lange Wörter aufzuteilen und nur noch die Referenzen von fixer Länge, sogenannte Token, zu übertragen, die angeben, wo die einzelnen Wörter in einem Wörterbuch verzeichnet sind. Dabei wird meistens das Wörterbuch selbst während dem Codierungsprozess dynamisch aufgebaut. J. Ziv und A. Lempel entwickelten 1977 und 1978 die wörterbuch-basierenden Codierungsmethoden LZ77 und LZ78. Heute werden diese Methoden in einer grossen Variantenvielfalt breit eingesetzt (http, pdf, zip, gif, tiff,...), vor allen die von T. Welch 1984 entwickelte LZW- Variante. Im Folgenden betrachten wir nur den LZ77-Algorithmus. Die anderen wörterbuch-basierenden Kompressionsverfahren können z.b. in [2] nachgeschlagen werden. Beim LZ77-Verfahren gelangt ein Schiebefenster zur Anwendung, siehe Abildung 4. Sliding Window Output Token FISCHERS FRITZ FISCHT FRISCHE F Such-Buffer S = Wörterbuch (schon verarbeitet) Vorschau- Buffer L Input Symbole S ist typ. einige KBytes gross L ist typ. einige 10 Bytes gross Abbildung 4: Schiebefenster für LZ77-Quellencodierung.

6 ZHAW, NTM2, Rumc, Die Token-Bildung soll an einem Beispiel illustriert werden: 1. Erstes Symbol des Vorschau-Buffers im Such-Buffer suchen, von rechts nach links. Im Beispiel oben ist es der Leerschlag _ vor dem Wort FRISCHE. Nach sieben Positionen (offset = 7) befindet sich zwar ein Leerschlag im Such-Buffer, nämlich zwischen den Wörtern FRITZ und FISCHT. Die Übereinstimmung ist aber länger beim Leerschlag mit dem offset = 13; danach kommt (nun von links nach rechts gesehen) _FRI, was bedeutet: 4 Zeichen in Übereinstimmung. Beim offset =7 wären es nur deren 2 gewesen, nämlich _F. 2. Token der längsten letzten Übereinstimmung ausgeben. Token = (Offset, Länge, nächstes Symbol). Die Tokenlänge beträgt log 2 (S) +log 2 (L-1) + 8 Bits, typisch = 24 Bit. In unserem Fall lautet der Token = (13,4, S ); Der nächste Buchstabe ist das S im Wort FRISCHE, denn er folgt nach den 4 Zeichen _FRI. Falls bei der Suche über die vereinbarte Suchbufferlänge keine Übereinstimmung gefunden wird, lautet jeweils der auszugebende Token = (0,0, nächstes Symbol ). 3. Schiebefenster um Länge+1 nach rechts verschieben. Die Länge war 4, also wird das Fenster um 5 Positionen nach rechts verschoben. Beispiel Im Folgenden soll das Wort ANANAS LZ77-komprimiert werden. Der Suchbuffer S sei 8 Bytes und der Vorschaubuffer L sei 4 Bytes gross. ANAN => (0,0, A ) A NANA => (0,0, N ) AN ANAS => (2,3, S ) Vergleich auf Vorschau-Buffer ausgedehnt ANANAS => fertig, da Vorschau-Buffer leer ist Der Kompressionsfaktor ist in diesem kleinen Beispiel natürlich nicht gross. Der LZ77- Encoder codiert die 6 Bytes bzw. 48 Bits von ANANAS in 3 Token à je = 13 Bits d.h. 39 Codebits. Die Rate beträgt R = 39 / 48 bzw. der Kompressionsfaktor 48 / 39. Der Dekoder ist viel einfacher als der Encoder, weil er die ursprüngliche Nachricht ohne Suchen nur mit Hilfe der Tokenparameter zusammensetzen kann. Dazu ist natürlich ein Buffer der gleichen Grösse wie im Encoder erforderlich. Der LZ77-Encoder vergleicht den Text im Vorschau-Buffer mit benachbartem Text. Daten mit nahe beieinander liegenden Mustern komprimieren gut. Daten mit weit auseinander liegenden Mustern komprimieren dagegen schlecht. Die Kompression wird mit grösseren Buffern besser, dafür steigen die Anzahl Vergleiche und die Suchzeit an.

7 ZHAW, NTM2, Rumc, In der Praxis wird LZ77 zusammen mit Huffman-Coding oft im Deflate-Algorithmus eingesetzt. Es können Kompressionsfaktoren 1/R von für Text erreicht werden. 5. Verlustbehaftete Quellencodierung Die verlustbehafteten Kompressionsalgorithmen sind von der Signalverarbeitung her ziemlich komplex. Im Folgenden werden deshalb nur einige Benchmarks für die verlustbehaftete Quellencodierungsverfahren angegeben. Im Mobilfunkstandard GSM wird die Sprache mit einem Vocoder auf 13 kbit/s komprimiert, ohne dass die Sprachverständlichkeit leidet. Zum Vergleich: In der digitalen Telefonie werden 64 kbit/s pro unidirektionaler Sprachverbindung verwendet, also fast 5 Mal mehr als beim GSM-Vocoder. Mit dem MPEG/Audio-Standard MP3 können Audio-Stereosignale ziemlich klanggetreu mit einer Datenrate von 128 kbit/s übertragen werden. Zum Vergleich: Die Netto-Datenrate für die Übertragung von 20 khz breiten Audio-Stereosignalen in CD-Qualität beträgt 2 x 44.1 ksample/s x 16 Bit/Sample 1.4 Mbit/s, also ca. 11 mal mehr als mit der verlustbehafteten MP3-Kompression. Der JPEG-Standard (Joint Photographic Experts Group) eignet sich gut für die verlustbehaftete Kompression von natürlichen Bildern. Es sind unterschiedliche Kompressionsfaktoren und, damit verbunden, unterschiedliche Qualitäten wählbar, siehe Abbildung Bit / Pixel Originalbild mit True Color Auflösung (RGB) Bit / Pixel (Kompressionsfaktor ) Normalerweise nicht vom Original unterscheidbar. Genügt den höchsten professionellen Anforderungen Bit / Pixel (Kompressionsfaktor ) Exzellente Qualität. Genügt den meisten Anforderungen Bit / Pixel (Kompressionsfaktor ) Gute bis sehr gute Qualität. Genügend für viele Anwendungen Bit / Pixel (Kompressionsfaktor ) Bescheidene bis gute Qualität. Genügend für gewisse Anwendungen. Abbildung 5: Kompressionsfaktoren und Bildqualität bei JPEG. Mit den aktuellen Videokompressionsverfahren wie z.b. H.264/MPEG-4 AVC (Level 3.2) können HDTV-Übertragungen mit einer Auflösung von 1280 x 720 Pixel / 50 Frames (siehe SRF1 HD, 720p/50) von 1.1 Gbps auf 20 Mbps komprimiert werden. Der Kompressionsfaktor beträgt also über 50 bei (sehr) guter Qualität.