Quellencodierung NTM, 2006/05, 9.3 Quellencodierung, Rur, 1

Transkript

1 Quellencodierung NTM, 2006/05, 9.3 Quellencodierung, Rur, 1 Referenzen [1] Proakis, Salehi, Grundlagen der Kommunikationstechnik, Pearson, [2] D. Salomon, Data Compression, Springer, [3] D. Pan, A Tutorial on MPEG/Audio Compression, [4] Verlustlose Quellenkomprimierung (Redundanz-Reduktion) ursprüngliche Daten können exakt rekonstruiert werden Statistische Kompressionsmethoden wie z.b. Huffman-Coding Wörterbuch-basierende Kompression (LZW-Coding): z.b. winzip Verlustbehaftete Quellenkomprimierung (Irrelevanz-Reduktion) nur für Senke (z.b. Ohr) relevante Information wird übertragen Kompressionsrate bzw. Wiedergabequalität oft wählbar Beispiele: (LPC-) Vocoder, MPEG/Audio und JPEG, MPEG Quellencodierungstheorem NTM, 2006/05, 9.3 Quellencodierung, Rur, 2 Voraussetzung diskrete Quelle X[0], X[1], X[2],... mit H bit / Symbol Information Quelle ohne Gedächtnis (DMS): H = H(X) Quelle mit Gedächtnis: Entropierate H = lim n-> H(X[0],...,X[n-1]) / n Quellencodierungstheorem (Shannon, 1948) Die Quelle kann verlustlos codiert werden, solange die Coderate R H. Umgekehrt, wenn R < H, kann die Quelle auf keinen Fall verlustlos codiert werden. Das Theorem gibt Bedingungen für die Existenz von Quellencodes an. Es liefert aber keine Algorithmen. 1

2 Huffman-Codierung Blöcke fester Länge Huffman Encoder NTM, 2006/05, 9.3 Quellencodierung, Rur, 3 Codeworte variabler Länge Grundidee Häufig vorkommende Blöcke werden mit kurzen Codeworten codiert. Problem mit Codeworten variabler Länge: Synchronisation! man bevorzugt präfixfreie Quellencodes Kein Codewort ist ein Präfix (Vorsilbe) eines anderen Codeworts. eindeutig und sofort (ohne Verzögerung) decodierbar Beispiel Der Code { [0], [10], [110], [1110], [1111] } ist präfixfrei. Detektion Codewortende, wenn 0 kommt oder nach vier 1 Huffman-Codes sind optimal haben minimale mittlere Codewortlänge unter allen präfixfreien Codes Huffman-Algorithmus NTM, 2006/05, 9.3 Quellencodierung, Rur, 4 D. Huffman (1952) 1. Symbole Knoten eines Baums zuweisen 2. zwei Symbole mit kleinster Wahrscheinlichkeit in neuem Symbol zusammenfassen, neuer Knoten hat Summe der Wahrscheinlichkeiten 3. wenn nur noch 2 Symbole bzw. Knoten übrig bleiben, 4. sonst von der Wurzel aus bei jeder Verzweigung nach oben eine 0 und nach unten eine 1 eintragen (auch umgekehrt möglich) Beispiel: DMS mit H(X) = 2 bit / Symbol, Alphabet A = {A,B,C,D,E} 0 A 1/2 100 B 1/8 101 C 1/8 110 D 1/8 111 E 1/8 1/4 1/4 1/2 1 Wurzel 0 1 R = E[L] = (1/2) 1+4 (1/8) 3 = 2 bit / Symbol Code ist optimal! 2

3 Huffman-Codierung (2) NTM, 2006/05, 9.3 Quellencodierung, Rur, 5 Rate bzw. mittlere Codewortlänge R = E[L] = L(x): Länge des dem Symbolwert x zugeordneten Codeworts Codierung von n Symbolen einer DMS H(X) R < H(X) + 1/n gilt auch für Quellen mit Gedächtnis, wenn H die Entropierate darstellt => R -> H(X) von oben, Gleichheit wenn P X (x m )=2 -α M m= 1 PX (x m ) L(x m ) M-wertige Huffman-Codes => Algorithmus einfach erweiterbar Nachteile 1. Huffman-Codes hängen stark von der Quellenstatistik ab 2. Quellenstatistik muss im voraus bekannt sein (ev. zuerst messen ) 3. Komplexität wächst exponentiell mit der Blocklänge n Daten-Kompression mit Wörterbuch NTM, 2006/05, 9.3 Quellencodierung, Rur, 6 Referenz D. Salomon, Data Compression: The Complete Reference, 3rd Edition, Springer-Verlag, 2004 Statistische Kompressionsmethoden basieren auf statistischem Datenmodell (siehe z.b. Huffman) Qualität hängt davon ab, wie gut das Modell ist Wörterbuch-basierende Kompressionsmethoden encodieren Symbolstrings mit Wörterbuch-Referenzen fester Länge Wörterbuch ist statisch oder dynamisch (zu bevorzugen) sind Entropie-optimal, wenn grosse Files komprimiert werden im Prinzip bessere Kompression als mit statistischen Methoden normalerweise sind Dekoder einfacher als Encoder J. Ziv und A. Lempel entwickelten LZ77 und LZ78 Methoden => grosse Variantenvielfalt, breit eingesetzt, vor allem auch LZW 3

4 LZ77 (Sliding Window) NTM, 2006/05, 9.3 Quellencodierung, Rur, 7 Sliding Window Output Token FISCHERS FRITZ FISCHT FRISCHE F Such-Buffer = Wörterbuch (schon verarbeitet) S (typ. einige KBytes) Vorschau- Buffer L (typ. einige 10 Bytes) Input Symbole 1. Erstes Symbol des Vorschau-Buffers im Such-Buffer suchen rückwärts von rechts nach links, hier: Leerschlag 2. Token der längsten (letzten) Übereinstimmung ausgeben Token = (Offset, Länge, nächstes Symbol), hier: (13,4, S ) Token-Länge: [log 2 (S)] + [log 2 (L-1)] + 8, typisch: = 24 Bit wenn keine Übereinstimmung: (0,0,nächstes Symbol) 3. Fenster um Länge+1 nach rechts verschieben FISCHERS FRITZ FISCHT FRISCHE FISCHE LZ77 (Sliding Window) Beispiel NTM, 2006/05, 9.3 Quellencodierung, Rur, 8 ANAN => (0,0, A ) A NANA => (0,0, N ) AN ANAS => (2,3, S ) Vergleich auf Vorschau-Buffer ausgedehnt! ANANAS => fertig, da Vorschau-Buffer leer Decoder ist viel einfacher als Encoder Buffer gleicher Grösse wie im Encoder erforderlich findet Übereinstimmung mit Offset und Länge (kein Suchen!) LZ77 vergleicht Vorschau-Buffer mit benachbartem Input-Text Daten mit nahe beieinander liegenden Mustern komprimieren gut Daten mit weit auseinander liegenden Mustern komprimieren schlecht Bessere Kompression mit grösseren Buffern Vorschau-Buffer muss aber klein gehalten werden (# Vergleiche!) Such-Buffer darf auch nicht allzu gross sein (Suchzeit!) Verwendung in embedded systems mit Huffman kombiniert im vielbenutzten Deflate-Algorithmus Zip, Gzip => HTTP, PPP, PNG, MNG, PDF Kompressionsfaktoren 1/R = für Text 4

5 JPEG NTM, 2006/05, 9.3 Quellencodierung, Rur, 9 Gemeinsames Standardisierungsprojekt von CCITT und ISO JPEG steht für Joint Photographic Experts Group Start 1987, erster Draft-Standard 1991, heute weit verbreitet verlustbehaftetes Kompressionsverfahren für natürliche Bilder für Grafiken usw. PNG-Bilddatenkompression vorteilhafter Wichtigste Schritte 1. Transformation Farbbilder RGB => Luminanz / Chrominanz Auge ist viel empfindlicher auf kleine Helligkeitsunterschiede (Luminanz) als auf kleine Farbunterschiede (Chrominanz) Vorbereitung für Datenkompression, kein Informationsverlust 2. Downsampling der beiden Chrominanz-Komponenten Reduktion 2 Chrominanz-Komponenten um Faktor 2 oder 4 JPEG NTM, 2006/05, 9.3 Quellencodierung, Rur, Pixel-Gruppierung Farbkomponenten in 8x8 Blöcke Ausnützung der horizontalen und vertikalen Korrelation Blöcke werden separat komprimiert (Schwachstelle!) 4. Diskrete Cosinus Transformation (8x8 DCT) Transformation in den Frequenzbereich Vorbereitung für Datenkompression DC und 3-4 tieffrequente AC-Werte enthalten Bildinformation 5. Individuelle Quantisierung einzelner Frequenzkomponenten Prinzip: Frequenzkomponenten mit viel bzw. wenig Bildinformation werden fein bzw. grob quantisiert 6. Entropy-Coding der quantisierten Frequenzkomponenten verlustlos, Kombination von RLE und Huffman 7. Addition von Header und JPEG-Parameter 5

6 JPEG Blockverarbeitung NTM, 2006/05, 9.3 Quellencodierung, Rur, 11 2D- DCT Quantizer Entropy Encoder 8x8 Blöcke rekonstruierte Blöcke Compressed Data 2D- IDCT Dequantizer Entropy Decoder JPEG - Kompressionsfaktor und Bildqualität 24 Bit / Pixel Originalbild mit True Color Auflösung Bit / Pixel (Kompressionsfaktor ) Normalerweise nicht vom Original unterscheidbar. Genügt den höchsten professionellen Anforderungen Bit / Pixel (Kompressionsfaktor ) Exzellente Qualität. Genügt den meisten Anforderungen Bit / Pixel (Kompressionsfactor ) Gute bis sehr gute Qualität. Genügend für viele Anwendungen Bit / Pixel (Kompressionsfaktor ) Bescheidene bis gute Qualität. Genügend für gewisse Anwendungen. NTM, 2006/05, 9.3 Quellencodierung, Rur, 12 6

7 Audiokompression NTM, 2006/05, 9.3 Quellencodierung, Rur, 13 Schritte der Digitalisierung Abtastung: verlustlos wenn Rate f s [Sps] > 2 x Signalbandbreite Quantisierung: verlustbehaftet, ca. 6 db SNR pro Bit Auflösung Referenz-Datenraten PCM-Telefonie: 8 ksps x 8 Bit/S = 64 kb/s Hz für Sprachverständlichkeit ausreichend CD-Audio: 2 x 44.1 ksps x 16 Bit/S 1.4 Mb/s (netto, Stereo) Hz und 90 db Dynamik, Ziel klangtreue Wiedergabe Kompressionsfaktoren (LPC)-Vocoder: typ. Datenreduktion 1:5 => 13 kb/s (GSM-Qualität) MP3: typ. Datenreduktion 1:10 12 => kb/s Übersicht LPC-Sprachkompression NTM, 2006/05, 9.3 Quellencodierung, Rur, 14 Approximation Entstehungsprozess des Sprachsignals Modellierung menschlicher Vokaltrakt (à priori Wissen) Pitchfrequenz Rauschgenerator Pulsgenerator Allpol- Filter Parameter Approximation ms Sprachburst Kompression durch Übertragung Filterparameter, benutzte Quelle, Pitch-Frequenz, Lautstärke GSM-Vocoder: 13 kb/s 7

8 MPEG / Audio NTM, 2006/05, 9.3 Quellencodierung, Rur, 15 MPEG: Motion Pictures Experts Group Audio- und Videokompression im Auftrag ISO und IEC MPEG Audio Standard umfasst 3 Layers hierarchische Kompressionsmethoden jeder Layer ohne Video für Audiokompression verwendbar auch in DAB, DVB und DRM eingesetzt Arbeiten dauerten von 1988 bis 1992 Layer 3 am bekanntesten (MP3) beste Kompression, aber am kompliziertesten Typische Datenreduktion bzw. Datenrate (Stereo) (Quelle: [4]) Layer 1: typ. Datenreduktion 1:4 => 384 kb/s Layer 2: typ. Datenreduktion 1:6 8 => kb/s Layer 3: typ. Datenreduktion 1:10 12 => kb/s kleinere Datenraten bei kleinerer Audiobandbreite Menschliches Hörsystem NTM, 2006/05, 9.3 Quellencodierung, Rur, 16 Ruhehörschwelle und Lautstärkeempfindung stark frequenzabhängig im Bereich Hz max. Empfindlichkeit im Bereich 2-4 khz Frequenz-Maskierung leise Töne in der Nähe eines dominanten Tons werden verdeckt hörbare Töne Mithörschwelle unhörbare Töne f Maskierungseffekt hängt von der Frequenz ab 27 kritische Bänder identifiziert (0-50 Hz,, Hz) Zeitliche Maskierung kurzzeitige Empfindlichkeitsreduktion nach prägnantem Hörereignis 10ms wenig empfindlich, ab 200ms wieder voll empfindlich 8

9 MPEG-Audiokompression NTM, 2006/05, 9.3 Quellencodierung, Rur, 17 Grundstruktur (MUSICAM: masking pattern universal subband integrated coding and multiplexing) Filterbank Quantisierer Codierer Multiplexer psychoakust. Modell Coder berechnet für jedes Teilband Mithörschwelle + Quantisierungsstufenhöhe Layer 1 (mono) 32 Teilbänder je mit einer Abtastfrequenz von 48/32 khz = 1.5 khz 12 Samples werden zu einem Block von 8ms Dauer zusammengefasst Header 12 Bit Sync 20 Bit Info Kanalcode (16 Bit, optional) Bit- Zuweisung 4 Bit/Band Skalenfaktoren 6 Bit/Band 32x12 Samples je mit 0 15 Bit MP3 Quelle: [4] NTM, 2006/05, 9.3 Quellencodierung, Rur, Teilbänder (polyphase + MDCT) nichtlinear Huffmann-Coding (häufige kleine Werte => kürzere Codeworte) 9