Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir

Transkript

1 Kapitel 3: Entropie

2 Motivation Wir erinnern uns: Um eine Zuallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir log N Bits log p N Bits Die Inormation steht in direktem Zusammenhang mit der Unsicherheit Entropie über den Ausgang eines Zuallseperimentes Wie kann diese Unsicherheit quantitativ erasst werden? Statt einer direkten Deinition stellen wir eine Reihe von Anorderungen au

3 Anorderungen I Die Unsicherheit über ein Eperiment soll unabhängig von der Nomenklatur sein und nur von den Wahrscheinlichkeiten der Elementarereignisse abhängen Beispiel: Beim airen Münzwur soll die Unsicherheit gleich gross sein, egal ob wir die Ereignisse Kop und Zahl oder 0 und nennen 3

4 Anorderungen II Die Unsicherheit über ein Eperiment soll unabhängig von der Nomenklatur sein und nur von den Wahrscheinlichkeiten der Elementarereignisse abhängen Die Unsicherheit ist eine Funktion H, welche jeder Wahrscheinlichkeitsverteilung eine reelle Zahl zuordnet, im Falle endlicher Zuallseperimente also jeder Liste [p,..,p L ] sich zu summierender Zahlen Ohne Beschränkung der Allgemeinheit können wir daher eine solche Liste mit L Elementen als geordnet auassen, also p p... p L 4

5 Anorderungen III Ereignisse mit der Wahrscheinlichkeit 0 sollen keinen Einluss haben: [ p,..., p ] H [ p,..., p,0] H L L Allgemein soll gelten, dass ür Eperimente mit gleichwahrscheinlichen Ereignissen die Entropie mit der Anzahl der möglichen Ereignisse zunimmt: H L,..., < L H,..., L + L + 5

6 Anorderungen IV Die Entropie eines Münzwures soll umso kleiner sein, je unairer oder asymmetrischer die Münze ist, und ist maimal ür einen airen Münzwur [ p, p] < H [ q, ] p < q / H q H[p,..,p L ] ist maimal, wenn p p L /L 6

7 Anorderungen V Die Entropie eines Eperimentes, welches aus zwei unabhängigen Einzeleperimenten besteht, soll gleich der Summe der Einzelentropien sein H LM,..., LM H L,..., L + H M,..., M Wenn LM, dann gilt H0 Die Entropie eines Eperimentes mit nur einem einzigen möglichen Ausgang ist also 0. Sie enthält keine Inormation 7

8 Anorderungen VI Normierung: Es ist sinnvoll, die Entropie eines airen Münzwurs au zu normieren, da man ein Bit benötigt, um das Resultat darzustellen H, Glattheit: Kleine Änderungen in der Wahrscheinlichkeitsverteilung sollen nur kleine Änderungen in der Entropie bewirken 8

9 Deinitionen Man kann zeigen, dass die einzige Funktion, welche alle diese Forderungen erüllt, wie olgt deiniert sein muss Deinition : Die Entropie einer diskreten Wahrscheinlichkeitsverteilung [p,...,p L ] ist: [ p ] pl pi log pi H i L,..., Beispiel: Die Entropie der dreiwertigen Verteilung [0.7, , ] ist bit, wie beim airen Münzwur Besonders einach ist die Entropieberechnung, wenn alle Wahrscheinlichkeiten negative Zweierpotenzen sind! 9

10 Deinitionen Die Zuallsvariable X nehme die Zustände {,, L } mit den Wahrscheinlichkeiten p X i an Deinition : Die Entropie einer diskreten Zuallsvariablen X ist: L H X px i log i Anmerkung: Auch ür L kann die obige Summe einen endlichen Wert annehmen Die Menge {,, L } aller Zustände von X nennen wir auch das Alphabet von X p X i 0

11 Inormationsquelle Gegeben: Inormationsquelle mit Alphabet {a,b,c,d} p a pb p c p d Ziel: möglichst optimale Codierung Human Ca Cb Cc Cd Ca 0 0 Cb 0 Cc Cd

12 Inormationsquelle Entropie: E X Bits 4 8 Mittlere Codelänge: L C E[ l C] d i a l C i p C i Ca 0 Cb 0.75 Bits Cc Cd

13 Inormationsquelle Alphabet {a,b,c} p a pb p c C a 0, Cb 0, Cc 3 E X log 3 log 3.58 Bits 3 i c L C l C i i a p C i.66 Bits Ca 0 Cb 0 Cc 3

14 Anmerkungen Beides sind präireie Codes acdaab ist eindeutig dekodierbar Minimale Anzahl Fragen zur Bestimmung von X Ist Xa? Ist Xb? Erwartungswert [ X ] < H H X < E X + 4

15 Binäre Entropieunktion Die Wahrscheinlichkeitsverteilung einer binären Zuallsvariablen X ist durch p X 0p vollständig beschrieben, da gilt: p X -p Die Entropie kann also als Funktion von p augeasst werden h p p log p plog p Sie ist ür 0<p< sowie h0h deiniert hp ist strikt konkav und besitzt ein Maimum bei p/ airer Münzwur 5

16 Binäre Entropieunktion 6

17 Entropie als Erwartungswert Anmerkung: Wir verwenden die Konvention 0 log 0 0 Dennoch gilt, dass Werte mit der Wahrscheinlichkeit 0 von der Betrachtung ausgeschlossen werden Dann kann die Entropie auch als Erwartungswert einer reellwertigen Funktion augeasst werden: [ log P ] H X E X X 7

18 Schranken ür die Entropie Theorem: Es sei χ {,, L } die Menge der möglichen Zustände der Zuallsvariablen X. Dann gilt: oder auch 0 H X log χ [ p,..., p ] L 0 H L log Gleichheit gilt au der linken Seite, wenn p X ür genau ein Gleichheit gilt au der rechten Seite, wenn p,,p L /L 8

19 Beweis I Beweis: Der linke Teil der Ungleichung olgt direkt aus der Tatsache, dass die Funktion log ür 0 < < streng positiv ist und nur ür gemäss Konvention gleich 0 ist Die rechte Ungleichung olgt aus der Jensen- Ungleichung und der Tatsache, dass die Funktion log konkav ist 9

20 0 Beweis II Es gilt: Der letzte Schritt olgt aus Konvention: Im Folgenden wird die Basis ür den Logarithmus angenommen und nicht mehr eplizit geschrieben χ log log log X P E X P E H X X χ X P X P X P E X L i X X

21 Konveität Deinition: Eine Funktion heisst konve au einem Intervall [a,b], wenn ür alle, [ a, b], und λ [0,] gilt : λ + λ λ + λ Eine Funktion ist strikt konve, wenn Gleichheit nur ür λ0 und λ gilt Eine Funktion ist konkav, wenn konve ist Der Graph einer dierenzierbaren, konveen Funktion liegt immer oberhalb jeder Tangente

22 Konveität Eistiert einer Funktion au einem oenen oder geschlossenen Intervall [a,b] und gilt >0, dann ist konve

23 3 Beweis Konveität Taylorreihe von um 0 [ ] 0 " gilt ür 0 * *... '' ' λ λ + ' sei λ λ + ' 0 0 λ λ λ λ λ λ

24 Jensen-Ungleichung Theorem: Für eine konvee Funktion und eine Zuallsvariable X gilt: E [ X ] E[ X ] Entsprechend gilt ür eine konkave Funktion g und eine Zuallsvariable X E [ g X ] g E[ X ] 4

25 Beweis Jensen-Ungleichung Wir gehen davon aus, dass mindestens einmal dierenzierbar ist Sei a+b die Tangente an im Punkt E[X] Wir ersetzen die Funktion in durch Ihre Tangente Dann gilt augrund der Linearität von E [ E X ] ae[ X ] + b E[ ax + b] E[ X ] Dies gilt augrund der Tatsache, dass der Graph der konveen Funktion immer oberhalb der Tangente liegt 5

26 Verbund-Entropie Es sei X,Y ein Paar von Zuallsvariablen Die gemeinsame Entropie Verbundentropie zweier Zuallsvariablen X und Y ist gegeben durch H XY, y p XY Theorem: Es gilt:, ylog p, y [ log p X, Y ] Gleichheit gilt genau dann, wenn Y durch Kenntnis von X eindeutig bestimmt ist, Y also keine neue Inormation enthält, also ür ein y gilt XY H X H XY E XY p Y X, y 6

27 Beweis Verbund-Entropie HX und HXY sind Erwartungswerte: [ log p X, ] H XY E Y Im Rahmen der Verbundwahrscheinlichkeiten zweier Zuallsvariablen haben wir olgende Gesetzmässigkeit kennengelernt: XY p XY, y p X Dies gilt ür alle möglichen Zustandspaare,y 7

28 Verbund-Entropie Folgendes Theorem ist von zentraler Bedeutung: Theorem: Es gilt H XY H X + H Y Gleichheit gilt genau dann, wenn Y und X statistisch unabhängig sind Der Beweis erolgt durch Einsetzen sowie Anwendung der Jensen-Ungleichung: H X E + H Y [ log p X log p Y log p X, Y ] X H XY Y XY Die Entropie des Verbundereignisses XY ist höchstens so gross, wie die Summe der Entropien der Einzelereignisse. 8

29 Bild dazu HXYHX HY HX HXY HXYHX + HY 9