Grundzüge der Informationstheorie (2)

Transkript

1 Bisherige Erkenntnisse zum Informtionsgehlt: Der Informtionsgehlt h eines Zeihens (einer Nhriht) ist um so höher, je unwhrsheinliher sein Auftreten ist: h = l [ /p ] = -l p Treten ie n Zeihen eines Zeihenvorrts mit ungleihen Whrsheinlihkeiten p i uf (i=,,n; Ʃp i =), so versteht mn unter em mittleren Informtionsgehlt H ie Summe er mit en iniviuellen Whrsheinlihkeiten p i gewihteten Informtionsgehlte h i er einzelnen Zeihen: H = Ʃ (p i h i ) = Ʃ (p i l [/p i ]) = -Ʃ ( p i l p i ) > H nennt mn uh Entropie er Informtions- oer Nhrihtenquelle, ie ie Zeihen entsenet (Prllele zur Thermoynmik); seine Einheit ist it/zeihen. In einem inären System gilt: n=2; p = p p 2 = p

2 Beispiel: Mittlerer Informtionsgehlt er Zeihen einer inären Quelle ei gleiher Auftretungswhrsheinlihkeit p eier Zeihen: H = h = l (/p i ) = l 2 = it ei Auftretungswhrsheinlihkeiten p=/3; ( p)=2/3: H = Ʃ (p i l[/p i ]) = /3 (l 3 l ) + 2/3 (l 3 l 2) = /3 (lg3 / lg2 ) + 2/3 (lg3 / lg2 ) = lg3 / lg2 2/3 = (,477 /,3) 2/3 =,98 it ei Auftretungswhrsheinlihkeiten p=/4; ( p)=3/4: H = Ʃ (p i l[/p i ]) =,25 (l 4 l ) +,75 (l 4 l 3) =,25 (2 ) +,75 (2 lg3 / lg2) =,5 +,75 (2,477 /,3) =,8 it

3 Auftretungswhrsheinlihkeit p, ie en mittleren Informtionsgehlt einer Nhrihtenquelle mximiert: H = p l p ( p) l ( p) = /ln2 { p ln p ln ( p) + p ln ( p) } Extremwert, wo ie. Aleitung /p = wir; hierei: (p ln p) / p = (p)/p ln p + p (ln p)/p = ln p + (ln( p)) / p = (ln ( p)) /( p) ( p)/p = / ( p) ( ) = / ( p) (p ln( p)) / p = (p)/p ln ( p) + p (ln ( p))/p = ln( p) p/( p) H/p = (/ln2) { ln p + /( p) + ln( p) p/( p) } = (/ln2) { ln( p) ln p } = (/ln2) ln [ ( p) / p ] (ln x)/x = /x

4 Erste Aleitung =. wenn: H/p = (/ln2) ln [ ( p) / p ] =, zw. ln [ ( p) / p ] =.h., wenn ( p) / p = oer wenn p=½ -p lp -(-p) l(-p) Zweite Aleitung ist <, enn: ²H/p² = (/ln2) { ln( p) ln p } / p = (/ln2) { /( p) /p } = (/ln2) / [p (p )] < (weil < p ) Ds heißt: Der mittlere Informtionsgehlt einer Binärquelle ist mximl, wenn eie Zeihen gleih whrsheinlih sin. Auh ei Quellen mit mehreren Zeihen ist H mximl, wenn lle verfügren Zeihen gleih whrsheinlih sin (hier ohne Beweis). p

5 Ungleihe Auftretungswhrsheinlihkeiten inär oierter (z.b.: Shrift-) Zeihen können tehnish genutzt weren. Beispiel: Eine Quelle erzeuge 4 Zeihen:,,,, mit vershieenen Whrsheinlihkeiten in zwei Anwenungen α un β: Fll α: p α () = /4; p α () = /4; p α () = /4; p α () = /4 Fll β: p β () = /2; p β () = /4; p β () = /8; p β () = /8 Mittlerer Informtionsgehlt er Zeihen in en zwei Fällen: Fll α: H α = Ʃ (p i l[/p i ]) = 4 (/4 l4) = l 4 = 2 it/zeihen Fll β: H β = Ʃ (p i l[/p i ]) = /2 l 2 + /4 l 4 + 2/8 l 8 = /2 + / /8 =,75 it/zeihen

6 Fll α: p α () = /4; p α () = /4; p α () = /4; p α () = /4 Fll β: p β () = /2; p β () = /4; p β () = /8; p β () = /8 Prinzipiell Shltungen (Binäräume) mit ungleiher Anzhl von Binärstellen (Shltvorgängen) m je Zeihen möglih: A: Binärstellen Coe B: Binärstellen Coe A B

7 Fll α: p α () = /4; p α () = /4; p α () = /4; p α () = /4 Mittlere Anzhl von Binärstellen jeer Relisierung: A: m αa = p α () m A()+p α () m A()+p α () m A()+p α () m A() = 4 (/4 2) = 2 it / Zeihen (= H α ) B: m αb = p α () m B ()+p α () m B ()+p α () m B () + p α () m B () A = /4 + / /4 3 = 2,25 it / Zeihen B Relisierung A günstiger für α!

8 Fll β: p β () = /2; p β () = /4; p β () = /8; p β () = /8 Mittlere Anzhl von Binärstellen jeer Relisierung: Α: m βa = p β () m A()+p β () m A()+p β () m A()+p β () m A() = (/2 + /4 + 2/8) 2 = 2 it / Zeihen Β: m βb = p β () m B ()+p β () m B ()+p β () m B () + p β () m B () A = /2 + / /8 3 =,75 it / Zeihen (= H β ) B Relisierung B günstiger für β!

9 B A Die islng genutzten Shlterstellungen ( Relispyrmien ) lssen sih uh strkt ls inäre Entsheiungsäume, sog. Coeäume rstellen. Die eien Drstellungen sin äquivlent.

10 Alle Coierungsverfhren enötigen eine mittlere Anzhl von Binärstellen m, ie gleih oer größer em mittleren Informtionsgehlt H ist. Bestreung: Entwurf von Coierungsverfhren zur Erlngung einer mittleren Anzhl m von Binärstellen, ie en mittleren Informtionsgehlt niht um mehr ls eine kleine, vorgegeene Zhl ε üersteigt: H m H + ε ( Coierungsstz ) Als Gütekriterium gilt ie (solute) Reunnz R = m H Besoners interessnt sin ie Coierungsverfhren nh Roert Fno (Itlien/USA, ge. 97), nh Dvi Alert Huffmn (USA, ) [ Eine Weiterentwiklung er Huffmn-Coierung wir zur Bil- Kompression eim JPEG- un MPEG-Verfhren eingesetzt. ]

11 Coierung nh Fno: Auflistung in enhrten Splten ller zulässigen Zeihen (nh nehmener Whrsheinlihkeit) ihrer Auftrittswhrsheinlihkeit er Teilsummen Whrsheinlihkeit is zum jeweiligen Zeihen. Beispiel: Fll β (s.o.) x i p(x i ) Ʃp(x i ) Coe m(x i ),5,,25,5 2,25,25 3,25,25 3 Sukzessive Aufteilung er Telle möglihst genu ei en Teilsummen /2 n (je 5%) un Zuornung (v.l.n.r.) von Nullen () en oeren (whrsheinliheren) un Einsen () en unteren Nhrihten, is ie Hälften je nur ein Zeihen enthlten. Die Länge er Coewörter nimmt von oen nh unten zu.

12 Coierung nh Huffmn: Auflistung ller zulässigen Zeihen nh nehmener Whrsheinlihkeit Sukzessive Zusmmenfssung er zwei Zeihen mit en jeweils nierigsten Auftretungswhrsheinlihkeiten zu einem neuen Zeihen Aufstellung einer neuen Liste ohne ie eliminierten Zeihen unter Einreihung es neuen Zeihens mit er ufsummierten Whrsheinlihkeit Wieerholung es Vorgngs, is ie letzte Liste us einem einzigen Eintrg esteht (mit p(x i )=,) Bilung es Coeums in umgekehrter Rihtung (von en Blättern zu er Wurzel) nhn er zusmmengefßten Zeihen (ei frei wählrer Verteilung v. u. ).

13 Coierung nh Huffmn: x i p(x i ),3,24,2,5 e, e e x i p(x i ),3 e,26,24,2 e x i p(x i ),44,3 e,26 e x i p(x i ) e,56,44 x i p(x i ) e, Coierung nh Huffmn: Auflistung zulässiger Zeihen Zusmmenfssung er zwei nierigsten Whrsh/keiten zu neuem Zeihen Neue Liste inkl. Zeihen mit ufsummierter Whrsh/keit Wieerholung is p(x i )=, Bilung es Coeums von en Blättern zu er Wurzel ei frei wählren un.

14 Anmerkungen un Erkenntnisse (ohne Beweis): Die Verfhren von Fno un Huffmn liefern Coierungen, ei enen kein kurzes Coewort em Anfng eines längeren Coewortes gleih ist (Beingung von Fno). Sin ie uftretenen Whrsheinlihkeiten von er Form 2 -n (n N), so liefern ie Coierungsverfhren nh Fno un Huffmn reunnzfreie Coierungsergenisse. Coierungsstz : Zur Coierung er Zeihen einer Informtionsquelle er Entropie H it/zeihen läßt sih stets ein Coe finen, essen Coewörter im Mittel m Binärstellen pro Zeihen enthlten mit H m H + ε. Mit entsprehen hohem Coierungsufwn läßt sih ε elieig klein vorgeen.