Quellencodierung I: Redundanzreduktion, redundanzsparende Codes

Transkript

1 Quellecoderug I: Redudazredukto, redudazsparede Codes. Redudaz. Eführug. Defto der Redudaz. allgemee Redudazredukto. redudazsparede Codes. Coderug ach Shao. Coderug ach Fao. Coderug ach Huffma.4 Coderug vo Zechefolge.5 Redudazredukto durch Codeumschaltug

2 . Redudaz. Eführug Redudaz: Bezechug für de Atele eer Nachrcht, de kee Iformato vermttel, also überflüssg sd.... (aus: Dude Iformatk, Dudeverlag, Mahem 99 Bespel: BCD-Code Zeche Codewort Der Code st redudat, wel ur der 6 möglche Codewörter beutzt werde. Bespel: ASCII-Code Zeche NUL SOH STX... x y z { } ~ DEL Codewort... Alle 8 möglche Codewörter werde geutzt (Mmalcode. Trotzdem st der Code redudat, de de Zeche trete mt uterschedlche Wahrschelchkete auf.

3 . Defto der Redudaz Defto: De Codewortläge ees Codewortes st de Azahl der Bärzeche ( oder, de be der Coderug des Codewortes beutzt werde. Defto: De mttlere Codewortläge m st der gewchtete Mttelwert (d.h. der Erwartugswert der Codewortläge aller Zeche: m : = = ( x x m mt p : Wahrschelchket, daß das -te Zeche auftrtt, m : Codewortläge des -te Zeches. Defto: Der mttlere Iformatosgehalt H vo Zeche st der gewchtete Mttelwert des Iformatosgehaltes I der ezele Zeche: H : = mt = x I I = log : Iformatosgehalt des -te Zeches, x p ( x : Wahrschelchket, daß das -te Zeche auftrtt. Defto: De Redudaz ees Codes st de Dfferez zwsche der mttlere Codewortläge ud dem mttlere Iformatosgehalt: R : = m H. De relatve Redudaz gbt a, wevel Prozet der Coderug redudat sd: m H r : =. m

4 . allgemee Redudazredukto - statt Blockcodes Codewörter uterschedlcher Läge verwede - Zeche mt hoher Wahrschelchket erhalte kurzes Codewort - Zeche mt gerger Wahrschelchket erhalte lages Codewort Problem: Übermttlug der Codewortläge Bespel: Zeche Codewort Zechefolge,, wrd codert als ; st cht edeutg decoderbar: etweder,, oder,,, Fao-Bedgug (Präfx-Egeschaft: Ke Codewort aus eem Code bldet de Afag ees adere Codewortes. Shaosches Coderugstheorem: De Coderug ees Zechevorrats ka mmer so vorgeomme werde, daß de Redudaz mmal wrd.

5 . redudazsparede Codes. Coderug ach Shao Voraussetzuge: verschedee Zeche x,..., x mt Wahrschelchkete x,..., x Zeche sd ach falleder Wahrschelchket geordet: p x x... x. ( x st Für jedes Zeche Zeche, also P =, P = x, P = x + x, P = p x + x +, 4 ( x... P p x + x x. = ( allgeme: P + = P + x für =,..., P de kumulatve Wahrschelchket aller vorge Berechug der Codewortläge: De zu beutzede Codewortläge des -te Zeches wrd berechet als m = I = log. x Berechug der Codewörter: - kumulatve Wahrschelchket P, de zum Zeche x gehört, ee Dualzahl umreche - Vorkommastelle gorere, wel se soweso mmer st - Dualzahl ach der m -te Stelle abbreche (Codewort soll geau m Stelle lag se - de Dualzffer ergebe das gesuchte Codewort

6 Bespel: Zeche A B C D E F ( x p x,4,,5,5,5,5 P,4,6,75,9,95 m Codewort Z 5 5,75,5,75,875,975 - mttlere Codewortläge m =,8 Bt - mttlerer Iformatosgehalt H =,46 Bt - Redudaz R =,554 Bt - relatve Redudaz r = 9,77% Bewes der Präfxegeschaft: Hlfssatz: De Dfferez zwsche zwe aufeader folgede kumulatve m m Wahrschelchkete st mdestes, d.h. P P. + Bewes: Es st m = log x. Daraus folgt m log x. Umformug ach p ( x ergbt: m log x m x. Wel ma de kumulatve Wahrschelchket aus P + = P + x bereche m ka, folgt P P. + Der Hlfssatz besagt, daß aufeaderfolgede Codewörter vo der erste bs zur m -te Stelle verschede se müsse (Präfxegeschaft. De Präfxegeschaft zweer belebger Codewörter m Abstad ergbt sch m dadurch, daß ma der Formel P + P de Varable jewels durch +, +,..., +- ersetzt ud alle Glechuge, de ma dabe erhält, addert.

7 . Coderug ach Fao Voraussetzuge: verschedee Zeche x,..., x mt Wahrschelchkete x,..., x Zeche sd ach falleder Wahrschelchket geordet: p x x... x. ( Coderugsvorschrft:. Mege der Zeche möglchst glechwahrschelche Tele auftele. eer Telmege de Null als erste Codewortstelle zuorde, der adere de Es. für bede Telmege dese Schrtte rekursv durchführe, bs eelemetge Telmege etstehe Bespel: Zeche A B C D E F x p x (,4,,5,5,5,5 Codewort - mttlere Codewortläge m =,5 Bt - mttlerer Iformatosgehalt H =,46 Bt - Redudaz R =,4 Bt - relatve Redudaz r = 4,4%

8 . Coderug ach Huffma Voraussetzuge: verschedee Zeche x,..., x mt Wahrschelchkete x,..., x Zeche sd ach falleder Wahrschelchket geordet: p x x... x. ( Coderugsvorschrft:. zwe Zeche der kleste Wahrschelchket heraussuche. eem Zeche de Null als (lks azufügede Codewortstelle zuorde, dem adere de Es. bede Zeche zu eem zusammefasse (Addto der Wahrschelchkete 4. Verfahre wederhole, bs alle Zeche zusammegefaßt sd Bespel: Schrtt : Zeche x x A,4 B, C,5 D,5 E,5 F,5 Codestelle Schrtt : Zeche x p ( x Codestelle A B C D E, F,4,,5,5, Schrtt : Zeche x x A,4 D, E, F,5 B, C,5 Codestelle Schrtt 4: Zeche x x A,4 B, C,5 D, E, F,5 Codestelle

9 Schrtt 5: Zeche x x B, C, D, E, F,6 A,4 Codestelle Zeche A B C D E F x x p Codewort (,4,,5,5,5,5 - mttlere Codewortläge m =, Bt - mttlerer Iformatosgehalt H =,46 Bt - Redudaz R =,54 Bt - relatve Redudaz r =,%.4 Coderug vo Zechefolge Hlfssatz: Bem Shao-Code ka ma de mttlere Codewortläge abschätze als H m < + H. Das bedeutet, daß de mttlere Codewortläge m de mttlere Iformatosgehalt um weger als Bt überstegt. Bewes: De Codewortläge bem Shao-Code st m = log x. Daraus folge m log x ud m < + log x. De mttlere Codewortläge m läßt sch damt auf zwe Arte abschätze: m = x m x log = H p x ud als zwetes = = ( m = x m < x + log = = x + x log = + H. = = x Ma erhält also H m < + H. = = x = x x + x log

10 .4 Coderug vo Zechefolge - Betrachtug vo verschedee Zeche, de zu Zechefolge der Läge N zusammegesetzt werde N - alle möglche Zechefolge mt dem Shao-Code codere - be lage Zechefolge verschwdet de Redudaz, d.h. r Begrüdug: - jedes Zeche der Zechefolge habe mttlere Iformatosgehalt H; also: mttlerer Iformatosgehalt der Zechefolge H N = H N, - für de Zechefolge glt de Abschätzug für de mttlere Codewortläge H N m < + H N, also folgt H N m < + H N, - we de mttlere Codewortläge u cht auf de Zechefolge, soder auf m de ezele Zeche bezoge wrd, ergbt sch H < + H (mt m ' = ; N N H daraus folgt < + N - Abschätzug der relatve Redudaz: H H H H r = = < + = N N - wetere Abschätzug: aus H folgt r < H N N H N N H - für wachsedes N strebt de relatve Redudaz gege Null, lm de aus r = folgt r =. N N H Also: Be der Coderug lager Zechefolge strebt de Redudaz gege Null.

11 .5 Redudazredukto durch Codeumschaltug Idee: Codetabelle beutze, zwsche dee mttels spezeller Codewörter umgeschaltet wrd Bespel: Telegraphealphabet Buchstabe Zffer Codewort A B C D E F G H I J K L M N O P Q R S T U V V X Y Z CR LF Buchstabe Zffer SP -? : wer da? fre fre fre 8 BEL (., = / 6 + CR LF Buchstabe Zffer SP