Kptel 6: Zele des Kptels e Entrope ls Informtonsmss für de Güte enes odes Begrff der tenkompresson Endeutg deoderre odes Mttlere odelänge knn nht klener ls Quellenentrope sen Krft she Unglehung. Shnnon'shes stheorem 2 Üertrgungsmodell efntonen Wr etrhten ds folgende Üertrgungsmodell Quelle X Senke Y Quellenoderer Knloderer Quellendeoderer Knldeoderer Störung Knl e Quellenoderung st de erste Stufe der n unserem Modell er soll de enendeutge n ener möglhst redundnzfreen Form erfolgen e Knloderung st de zwete Stufe der er wrd oft gezelt zusätzlhe Kontrollnformton zum Störungsshutz n den ode engeut In desem Kptel ehndeln wr usshlesslh redundnzfree Quellenoderung 3 4
efntonen efntonen efnton: En ode üer dem odelphet Δ mt Δ = für ene Menge χ st ene Aldung von χ uf Δ* Für x χezehnet (x) ds odewort und l (x) de Länge von (x) Wenn mt x x 2 uh (x ) (x 2 ) sowe (x) ne ds leere Wort st, dnn hesst der ode nhtdegenerert Oftmls ezehnet mn enfh de Menge der odewörter ls ode Bespel: Für χ = {,,,d} st ()=; (=, ()= und (d)= en ode Wr ezehnen mt de Konktenton enzelner odewörter efnton: En ode st endeutg deoderr, wenn folgende Aldung endeutg st [ x x ] [ ( x )... ( )]... n n x efnton: En ode hesst präfxfre, wenn ken odewort en Präfx enes nderen odewortes st, lso für zwe odewörter und ', nemls '= d glt mt d Δ* Präfxfrehet und endeutge eoderrket snd Egenshften der odewortmenge. Jeder präfxfree ode st endeutg deoderr. 5 6 efntonen Unglehmässge odes Im folgenden snd wr n der ener dskreten Quelle, lso ener Zustndsvrlen X mt Vertelung p X (x) nteressert. Wr untersheden zwshen verge se und worst se Anlyse efnton: En ode zur ener Zufllsvrlen hesst optml, wenn de mttlere odelänge mnml st, lso E [ l ( X )] = p X l mn efnton: En ode, dessen odewörter lle (nht) gleh lng snd, hesst (un)glehmässg ode : Gegeen χ = {,,,d} sowe ()=, (=, ()= und (d)= präfxfre, Bumstruktur unglehmässg d () ( () (d) 7 8
Unglehmässge odes Glehmässge odes ode 2: Gegeen χ = {,} sowe ()=, (= Nht präfxfre, dennoh endeutg deoderr unglehmässg () ( ode 3: Gegeen χ = {,} sowe ()=, (= glehmässg ( () 9 Unglehmässge odes odeäume ode 4: Gegeen χ = {,,} sowe ()=, (=, ()= nht präfxfre unglehmässg nht endeutg deoderr () ( () Bespel: Für χ = {,,,d} st ()=, (=, ()= und (d)= en ode Wr stellen fest, dss der ode ls Bum drgestellt werden knn 2
odeäume odeäume Jeder ode knn ls elmenge der Knoten enes Bumes drgestellt werden. Jeder Knoten st entweder en Bltt (kene Nhfolgeknoten), oder ht höhstens Nhfolgeknoten In unserem Bespel st =2, lso närer Bum En odeum st usgefüllt, wenn jeder nnere Knoten genu Nhfolger ht En präfxfreer ode st usgefüllt, wenn der odeum usgefüllt st und jedem Bltt en odewort zugeordnet st Se B de Menge ller Blätter enes -ären odeumes, und se de Whrshenlhket enes Blttes B Es glt: = B e Blttentrope von st defnert ls = log B e efe t( enes Blttes st de stnz von der Wurzel 3 4 odeäume Krft'she Unglehung nn st folglh de mttlere efe t von t = t( B Für enen usgefüllten, präfxfreen ode für ene Zufllsvrle X mt odeum st t gleh der mttleren Wortlänge, heorem (Krft'she Unglehung): En -ärer präfxfreer ode mt L odewörtern der Längen l,,l L exstert genu dnn, wenn L = l p X = mt ( x) = wenn de Blätter mt den Whrshenlhketen der oderten Symole versehen werden e Krft she Unglehung st lso ene hnrehende Bedngung für de Exstenz enes Präfxodes der gegeenen Struktur 5 6
Krft'she Unglehung Krft'she Unglehung Bewes I: (Präfxode->Unglehung) Wr zegen zunähst, dss für jeden -ären präfxfreen ode dese Bedngung glt: = es st äquvlent mt L B l Angenommen, der Bum wähst von der Wurzel her (Indukton) Für de Wurzel glt B =: B = = = Wrd nun de Wurzel durh Blätter ener um höheren efe ersetzt, so glt B = sowe B = = = e Summe let lso unverändert 7 8 Krft'she Unglehung Krft'she Unglehung Ersetzen wr nun erneut en Bltt der efe durh Blätter der efe 2, so glt B =- +=2*- sowe B 2 = + = = = = = Allgemen glt em Erstz enes Blttes der efe t = Be wenger neuen Blättern nmmt de Summe strkt Also glt für enen -ären Bum mt Blttmenge B B Mt Glehhet für enen usgefüllten Bum. Q.e.d + Bewes II: (Unglehung->Präfxode) Wr zegen nun, dss de Bedngung uh hnrehend st (konstruktv) Wr ezehnen mt w j de Anzhl der odewörter der Länge j Somt glt: w j = B Sowe j= L l = = j= w j Wr konstrueren nun sukzessve enen vollständgen -ären Bum Wr egnnen e efe und Blättern j 9 2
Krft'she Unglehung MMlln heorem Es leen w Blätter ls odewörter stehen und -w Blätter werden zu nsgesmt (-w ) Knoten der efe 2. Wr elssen wederum w 2 Blätter ls odewörter und ersetzen den Rest durh nsgesmt ((w )-w 2 ) Knoten der efe 3 usw. für m=,2,3,. es funktonert genu dnn, wenn n jedem Shrtt noh genug Blätter ls odewörter vorhnden snd, lso w m j= vson durh m ergt: Q.e.d. m m w j m j= m j w j j heorem (MMlln): e odewortlängen l,,l L jedes endeutg deoderren odes für en Alphet mt L Symolen erfüllen eenflls de Krft'she Unglehung L = l Insesondere exstert mmer en präfxfreer ode mt den glehen odewortlängen Endeutg deoderre odes können lso nht esser sen ls präfxfree odes (ken Bewes) 2 22 Implktonen Krft'she Unglehung Für den Fll enes nären, präfxfreen odes glt entsprehend L l 2 = Jeder präfxfree ode muss uh de Krft'she Unglehung erfüllen e Krft'she Unglehung st ene notwendge Bedngung für de Exstenz enes endeutg deoderren odes mt spezfzerten odewortlängen Se st ene notwendge Bedngung für de endeutge ekoderrket Nht jeder ode der Struktur st endeutg deoderr ener dskreten Quelle X mt L=6 Zehen und odes mt l mx = 4 Wr nlyseren 4 Vrnten: X d e f K K2 K3 K4 23 24
Krft'she Unglehung Krft'she Unglehung Wr prüfen: ) Präfxedngung 2) Krft'she Unglehung K3 ) erfüllt 2) erfüllt K ) nht erfüllt: d und f hen den glehen Präfx 2) nht erfüllt 3 + 2 + > 4 8 6 K2 ) nht erfüllt: d und f hen den glehen Präfx 2) erfüllt 3 + + 2 = 4 8 6 K4 ) erfüllt 2) erfüllt Endeutg dekoderr snd nur K3 und K4 Krft'she Unglehung mplzert Exstenz enes deoderren odes 25 26. Shnnon'shes stheorem. Shnnon'shes stheorem Wr suhen Shrnken für de mttlere odelängen optmler, präfxfreer odes heorem (Shnnon): e mttlere odewortlänge E[l (X)] enes optmlen präfxfreen odes üer enem odelphet Δ mt Δ = für ene Zufllsvrle X erfüllt ( X ) E[ l log Für =2 glt ( X ) E[ l ( X )] < ( X ) + Asolut fundmentl! ( X ) ( X )] < + log Bewes (untere Shrnke): Wr etrhten den entsprehenden odeum und ernnern uns, dss t = E[ l ( X )] sowe ( X ) = e untere Shrnke entsprht somt t log Wr ewesen de Unglehung mttels Indukton üer eläume Für enen leeren Bum glt de Bezehung trvlerwese Jeder -äre Bum knn ls Wurzel mt s zu dsjunkten eläumen ufgefsst werden,,, mt dsjunkten Blttmengen B,,B 27 28
. Shnnon'shes stheorem. Shnnon'shes stheorem Se de Summe der Whrshenlhketen der Blätter n elum mt Blttmenge B q = B Wr normeren de Vertelung m elum durh vson, so dss P ( = B q e mttlere Bltttefe t m elum st t = ( t( ) q B e Blttentrope st entsprehend = log q q Als Induktonsnnhme glt t log e mttlere Bltttefe des gnzen Bum st dnn t = = Für de Blttentrope glt dnn: B q ( t + ) = + = q t = q log q q log = B q q 29 3. Shnnon'shes stheorem. Shnnon'shes stheorem erletung: = log = B = log + log q = B q Entsprehend umgeformt = q log q + q = ( ) = ([ q... q ]) + = Aufgrund unserer Annhmen sowe den Grenzen der Entropefunkton glt q = q log q + log = B q = q log q q log = B q q log + = log ( + q t log = q t ) = t log 3 32
. Shnnon'shes stheorem. Shnnon'shes stheorem Bewes (oere Shrnke): Ene ntutv snnvolle Whl der odewortlängen wäre l ( x) = log px x X e odewortlänge sollte lso dem negtven Logrthmus der entsprehenden Symolwhrshenlhketen entsprehen e Krft'she Unglehung wäre nun mt Glehhet erfüllt, d l ( log px ) = = = En solher ode exstert llerdngs nur, wenn lle odelängen gnzzhlg snd p X Also wählen wr sttt dessen l ( x) = log px x X e Krft'she Unglehung glt mmer noh, d l = Somt exstert en ode für dese odelängen. Sene mttlere odelänge st Wr nutzen here, ds log px log px = px = ( X ) El [ ] = px log px + px( log px) = + log u u + 33 34 Implktonen Wr hen zum ersten Ml de Nützlhket der Entrope ls Informtonsmss gerehtfertgt Wr erhlten enen Zusmmenhng zwshen der Entrope ener Zufllsvrlen und der Güte enes optmlen odes dfür Oere Shrnke st um grösser ls untere Shrnke Untere Shrnke wrd m llgemenen nht erreht er Enfluss von Fehlern e zu strker Kompresson st noh nht eknnt 35