Quellencodierung I: Redundanzreduktion, redundanzsparende Codes

Transkript

1 Quellecoderug I: Redudazredukto, redudazsparede Codes Quellecoderug Durch de Quellecoderug werde de Date aus der Quelle codert, bevor se ee Übertragugskaal übertrage werde De Coderug det der Verkleerug der zu übertragede Dateege Kopresso Redudaz Eführug Redudaz: Bezechug für de Atele eer Nachrcht, de kee Iforato verttel, also überflüssg sd aus: Dude Iforatk, Dudeverlag, Mahe 99 Bespel: BCD-Code Zeche Codewort Der Code st redudat, wel ur der 6 öglche Codewörter beutzt werde Bespel: ASCII-Code Zeche NUL SOH STX Codewort Alle 8 öglche Codewörter werde geutzt Malcode Trotzde st der Code redudat, de de Zeche trete t uterschedlche Wahrschelchkete auf x y z { } ~ DEL

2 quattatve Erfassug der Redudaz Defto: De Codewortläge ees Codewortes st de Azahl der Bärzeche oder, de be der Coderug des Codewortes beutzt werde Defto: De ttlere Codewortläge st der Mttelwert dh der Erwartugswert der Codewortläge aller Zeche: : = = x p x t p : Wahrschelchket, daß das -te Zeche auftrtt, : Codewortläge des -te Zeches Defto: Der ttlere Iforatosgehalt H vo Zeche st der Mttelwert des Iforatosgehaltes I der ezele Zeche: H : = t = p x I I = log : Iforatosgehalt des -te Zeches, p x p x : Wahrschelchket, daß das -te Zeche auftrtt Defto: De Redudaz ees Codes st de Dfferez zwsche der ttlere Codewortläge ud de ttlere Iforatosgehalt: R : = H De relatve Redudaz gbt a, wevel Prozet der Coderug redudat sd: H r : =

3 Redudazredukto De Redudaz wrd reduzert, de statt Blockcodes Codewörter uterschedlcher Läge beutzt werde Zeche, de t hoher Wahrschelchket auftrete, erhalte e kurzes Codewort, Zeche, de selte auftrete, e lages Be der Coderug wrd de ttlere Codewortläge kleer als de Läge ees Blockcodes Proble: De Läge der Codewörter uß überttelt werde, dat de Codewörter weder edeutg decodert werde köe Bespel: Zeche Codewort De Zechefolge,, wrd codert als De Decoderug st cht edeutg: ka etweder,, oder,,, bedeute Fao-Bedgug Präfx-Egeschaft: Ke Codewort aus ee Code bldet de Afag ees adere Codewortes We dese Bedgug erfüllt st, uß de Codewortläge cht übertrage werde, ud de Decoderug st edeutg Bespel: Telefouer sd ach der Fao-Bedgug codert Shaosches Coderugstheore: De Coderug ees Zechevorrats ka er so vorgeoe werde, daß de Redudaz al wrd

4 redudazsparede Codes Coderug ach Shao Voraussetzuge: De verschedee Zeche x, x,, x trete t de Wahrschelchkete p x, p x,, p x auf De Zeche sd ach falleder Wahrschelchket geordet: p x p x p x Für jedes Zeche x st P de kuulatve Wahrschelchket aller vorge Zeche Das bedeutet P =, P = p x, P = p x + p, x 4 p x + p x p x P = +,, P p x + p x + + p x = Allgee: P + = P + p x für =,, Berechug der Codewortläge: De zu beutzede Codewortläge des -te Zeches wrd berechet als = I = log p x Se st also de kleste atürlche Zahl, de größer oder glech de Iforatosgehalt des Zeches x st Berechug der Codewörter: De kuulatve Wahrschelchket P, de zu Zeche x gehört, wrd ee Dualzahl ugerechet Dabe gelte folgede Regel: De Dualzahl uß öglchst groß, aber kleer als P se De Vorkoastelle wrd gorert, wel se soweso er st sozusage e hdde bt ; es werde also ur de Nachkoastelle ugerechet De Dualzahl wrd das gesuchte Codewort De Dualzahl wrd ach der -te Stelle abgebroche, de das Codewort soll geau Stelle lag se Ma erhält also de Bärzeche b, b,,, de das gesuchte Codewort ergebe b 4

5 Bespel: Zeche x p x A B C D E F,4,,5,5,5,5 P,4,6,75,9,95 Codewort Z 5 5,75,5,75,875,975 De ttlere Codewortläge st =,8 Bt; der ttlere Iforatosgehalt st H=,46 Bt Daraus ergebe sch de Redudaz R=,554 Bt ud de relatve Redudaz r=9,77% Bewes der Präfxegeschaft: Hlfssatz : De kuulatve Wahrschelchket ees Zeches ud de etsprechede Dualzahl uterschede sch de erste Stelle cht, dh P Z < Bewes: De cht abgebrochee Dezaldarstellug vo P se + + P = a + a + + a + a + a a, für { } De Zahl Z, de durch Ureche vo P ach de Regel ee Dualzahl etstade st, se Z = b + b + + b De Zahl Z st also ee Näherug a P De Dfferez beder Zahle st da + P Z = a b + a b + + a b + a + + Nach der Kostruktosregel uß de Dualzahl kleer als P se, dh Z P Wel de Zahl Z aber auch öglchst groß se soll, uß a = b a = b a = b gelte De we des cht glt, gbt es etweder och ee größere Zahl, de Z P erfüllt, oder de Bedgug Z P wurde verletzt Dazu e Bespel: P =, Z = We e Bt Z auf statt auf st, da st Z P verletzt; we e Bt Z auf statt auf st, da gbt es ee größere Zahl, älch de, de obe steht + Es folgt also = P Z a, was sch abschätze läßt als P Z < + + Hlfssatz : De Dfferez zwsche zwe aufeader folgede kuulatve Wahrschelchkete st destes, dh P + P Bewes: Es st = log p x de Codewortläge Daraus folgt log p x Uforug ach p x ergbt: log p x p x p x p x Wel a de kuulatve Wahrschelchket aus P + = P + p x bereche ka, folgt P + P 5

6 Mt de bede Hlfssätze wrd u de Präfxegeschaft des Shao-Codes bewese De Codeegeschaft P Z < bedeutet, daß sch de kuulatve Wahrschelchket des vorge Zeches ud de etsprechede Dualzahl keer Stelle uterschede Aders gesagt, gbt de kuulatve Wahrschelchket P als Dualzahl gerade das etsprechede Codewort a De Aussage P + P besagt, daß aufeaderfolgede Codewörter vo der erste bs zur -te Stelle verschede se üsse Das st de Präfxegeschaft, für zwe aufeaderfolgede Codewörter glt se also De Forel P + P glt für belebge We a bespelswese für efach + + esetzt, erhält a P Dese Glechug zur ursprüglche Forel + + P + + addert, ergbt P P P P, woraus folgt P + + P Das bedeutet, daß auch für Codewörter Abstad de Präfxegeschaft erfüllt st, wel se de erste Stelle verschede se üsse De Präfxegeschaft zweer belebger Codewörter Abstad ergbt sch deetspreched dadurch, daß a der Forel P + P de Varable jewels durch +, +,, +- ersetzt ud alle Glechuge, de a dabe erhält, addert Coderug ach Fao Voraussetzuge: De verschedee Zeche x, x,, x trete t de Wahrschelchkete p x, p x,, p x auf De Zeche sd ach falleder Wahrschelchket geordet: p x p x p x Coderugsvorschrft: De Mege der Zeche wrd Tele aufgetelt, de öglchst glechwahrschelch sd Der ee Telege wrd de Null als erste Codewortstelle zugeordet, der adere de Es Für bede Telege werde dese Schrtte rekursv durchgeführt, bs Telege etstehe, de ur e Zeche ethalte Bespel: Zeche x p x A,4 B, C,5 D,5 E,5 F,5 Codewort 6

7 De ttlere Codewortläge st =,5 Bt; der ttlere Iforatosgehalt st H=,46 Bt Daraus ergebe sch de Redudaz R=,4 Bt ud de relatve Redudaz r=4,4% Coderug ach Huffa Voraussetzuge: De verschedee Zeche x, x,, x trete t de Wahrschelchkete p x, p x,, p x auf De Zeche sd ach falleder Wahrschelchket geordet: p x p x p x Coderugsvorschrft: Zwe Zeche der kleste Wahrschelchket werde herausgesucht De ee Zeche wrd de Null als lks azufügede Codewortstelle zugeordet, de adere de Es De bede Zeche werde zu ee ezge zusaegefaßt Addto der Wahrschelchkete 4 Das Verfahre wrd wederholt, bs alle Zeche zusaegefaßt sd De Huffa-Codes führe zu de klestöglche ttlere Codewortläge Bespel: Schrtt : Schrtt : Schrtt : Zeche x p x A,4 B, C,5 D,5 E,5 F,5 Zeche x p x A,4 B, C,5 D,5 E, F, Zeche x p x A,4 D, E, F,5 B, C,5 Codestelle Codestelle Codestelle 7

8 Schrtt 4: Zeche x p x A,4 B, C,5 D, E, F,5 Codestelle Schrtt 5: Zeche x p x A,4 B, C, D, E, F,6 Codestelle Zeche x p x A,4 B, C,5 D,5 E,5 F,5 Codewort De ttlere Codewortläge st =, Bt; der ttlere Iforatosgehalt st H=,46 Bt Daraus ergebe sch de Redudaz R=,54 Bt ud de relatve Redudaz r=,% Bewes Shaosches Coderugstheore Hlfssatz: Be Shao-Code ka a de ttlere Codewortläge abschätze als H < + H Das bedeutet, daß de ttlere Codewortläge de ttlere Iforatosgehalt u weger als Bt überstegt Bewes: De Codewortläge be Shao-Code st = log Daraus folgt p x eersets log p x ud aderersets < + log p x De ttlere Codewortläge läßt sch dat auf zwe Arte abschätze: = p x p x log = H p x ud als zwetes = = = p x < p x + log = = = p x = p x = p x + p x log = + H = = p x Ma erhält also H < + H p x + p x log 8

9 Bewes des Shaosche Coderugstheores: Der Shao-Code betet ee belebge Aäherug a ee deale Code Wr betrachte u verschedee Zeche, de zu Zechefolge der Läge N zusaegesetzt werde Alle öglche Zechefolge werde t de Shao-Code N codert es gbt verschedee öglche Zechefolge Jedes Zeche der Zechefolge habe de ttlere Iforatosgehalt H; der ttlere Iforatosgehalt der Zechefolge st da H N = H N Für de Zechefolge glt de obge Abschätzug für de ttlere Codewortläge H N < + H N, also folgt H N < + H N We a de ttlere Codewortläge u cht auf de Zechefolge, soder auf de ezele Zeche bezeht, ergbt sch H ' < + H st de ttlere Codewortläge ees coderte Zeches: ' = N N H Daraus folgt < + N ' ' Dat läßt sch de relatve Redudaz abschätze: ' H H H H r = = < + = Dese Uglechug läßt sch weter ' ' N ' ' ' N ' abschätze: Wege H ' folgt älch r < ' H N ' N H N ' N H es glt sogar r Für wachsedes N strebt de relatve Redudaz gege Null, de N H l aus r = folgt r = N N H Das bedeutet, daß be der Coderug lager Zechefolge de Redudaz gege Null strebt 9

10 4 Codeuschaltug Be der Codeuschaltug werde zwe Codetabelle beutzt, zwsche dee ttels spezeller Codewörter ugeschaltet werde ka Dat werde statstsche Abhäggkete ausgeutzt, u de Redudaz zu verrger Bespel: Telegraphealphabet Buchstabe Zffer Codezeche A B C D E F G H I J K L M N O P Q R S T U V V X Y Z CR LF Buchstabe Zffer SP -? : wer da? fre fre fre 8 BEL, = / 6 + CR LF Buchstabe Zffer SP Quelle: T Gras: Coderugsverfahre, BI-Wsseschaftsverlag, 986 Bärbel Mertschg: Grudzüge der Iforatk B, U HH, 997