Vorlesung 14. Gemeinsame Entropie und bedingte Entropie

Transkript

1 Vorlesung 14 Gemeinsame Entropie und bedingte Entropie 1

2 Wir betrachten ein zufälliges Paar (X,Y) mit Verteilungsgewichten ρ(a,b) Die Entropie von (X,Y) (auch gemeinsame Entropie von X und Y genannt) ist H[X,Y] := H[(X,Y)] = a,bρ(a,b)logρ(a,b). Die gemeinsame Verteilung von X,Y kann man zerlegen: ρ(a,b) = ρ 0 (a)p(a,b). Diese Zerlegung überträgt sich auf die Entropie: 2

3 H[X,Y] = a,bρ(a,b)(logρ 0 (a)+logp(a,b)) = a ρ 0(a)logρ 0 (a) a ρ 0(a) b P(a,b)logP(a,b) = H[X]+ a ρ 0(a)H[Y X = a] mit H[Y X = a] := b P(a,b)logP(a,b) (die Entropie von Y gegeben das Ereignis {X = a}). 3

4 H[X,Y] = H[X]+ a ρ 0(a)H[Y X = a] = H[X]+H[Y X] mit H[Y X] := P(X = a)h[y X = a] a die bedingte Entropie von Y, gegeben X. H[X,Y] = H[X]+H[Y X] Sind X und Y unabhängig, dann gilt H[Y X] = H[Y], also H[X,Y] = H[X]+H[Y] 4

5 Allgemein gilt: H[X] + H[Y] H[X,Y] = a,bp(x = a,y = b)logp(x = a) a,bp(x = a,y = b)logp(y = b) + a,bp(x = a,y = b)logp(x = a,y = b) = a,b P(X = a,y = b)log P(X = a,y = b) P(X = a)p(y = b) = D((X,Y) ( X,Ỹ)) mit X verteilt wie X, Ỹ verteilt wie Y, X,Ỹ unabhängig. 5

6 H[X, Y] ist symmetrisch in (X, Y) (denn die Verteilungsgewichte von (Y,X) sind ρ(b,a) := ρ(a,b)). Also ist auch H[Y] +H[X] H[X,Y] symmetrisch in X und Y. Dieses ist gleich H[Y] H[Y X] =: I[X Y], die sogenannte wechselseitige Information von X und Y. 6

7 Wir hatten I[X Y] als relative Entropie (von (X, Y) bezüglich seiner Entkopplung ) erkannt. Die relative Entropie ist nichtnegativ (Vorlesung 13), also folgt H[Y X] H[Y] und analog (vgl. Buch (24.11)) H[Y X,Z] H[Y Z]. Merke: Zusätzliches Bedingen verkleinert die Entropie. 7

8 Beispiel: Stationäre Quellen. X 1,X 2,... heißt stationär verteilt, wenn für alle m,n N die gemeinsamen Verteilungen von X 1,...,X n und von X m+1,...,x m+n übereinstimmen. Wir werden zeigen: h Q := lim n H 2 [X 1,...,X n ] n existiert. 8

9 h Q := lim n H 2 [X 1,...,X n ] n [0,H 2 (X 1 )] Extremfälle: (i) X 1,X 2,... unabhängig und identisch verteilt: H 2 [X 1,...,X n ] = nh 2 [X 1 ], h Q = H 2 [X 1 ] (ii) X 1 = X 2 =... H 2 [X 1,...,X n ] = H 2 [X 1 ], h Q = 0 r Q := 1 h Q H 2 [X 1 ] heißt relative Redundanz der Quelle. 9

10 Behauptung: h Q := lim n H 2 [X 1,...,X n ] n existiert. Beweis: H[X 1,...,X n ] = H[X 2,...,X n ]+H[X 1 X 2,...,X n ] = = H[X n ]+H[X n 1 X n ]+ +H[X 1 X 2,...,X n ]. Mittels Stationarität folgt H[X 1,...,X n ] = H[X 1 ]+H[X 1 X 2 ]+ +H[X 1 X 2,...,X n ]. Zusätzliches Bedingen verkleinert die Entropie, also fallen die Summanden monoton. Aus der Konvergenz der Summanden folgt die Konvergenz des arithmetischen Mittels gegen denselben Grenzwert. 10

11 Entropiereduktion unter Abbildungen H[h(X)] H[X] denn wegen P ( X = a,h(x) = h(a) ) = P(X = a) ist H[X] = H[X,h(X)]. Weiter ist H[X,h(X)] = H[h(X)]+H[X h(x)] H[h(X)]. 11

12 Simulation diskreter Verteilungen per Münzwurf Wir betrachten einen vollen Binärbaum. Dieser beschreibt einen fairen Münzwurf, der zufällig abbricht: Für jedes Blatt b der Tiefe t endet das Experiment mit Wahrscheinlichkeit 2 t in b. Die Blätter seien mit Elementen einer abzählbaren Menge S beschriftet. Z. B. für S = {c,d,e}: c c d c e 12

13 Es sei X das zufällige Blatt, in dem das Experiment endet, und h(x) seine Beschriftung. c c d c e Dann hat die Verteilung von Y = h(x) die Gewichte π(c) = , π(d) = 1 16, π(e) = 1 4. Das Experiment erzeugt per Münzwurf eine Zufallsvariable Y mit Verteilung π. 13

14 Jede Verteilung π auf einer abzählbaren Menge S lässt sich auf diese Weise simulieren: Man schreibe die Gewichte von π als Dualbruch, π(b) = 2 l(b,j), j mit natürlichen Zahlen 1 l(b,1) < l(b,2) <. Dann gilt b,j2 l(b,j) = b π(b) = 1. 14

15 π(b) = j 2 l(b,j), b,j2 l(b,j) = b π(b)= 1. Nach dem Lemma von Fano-Kraft gibt es also einen vollen binären Baum, der für jedes Paar (b,j) ein Blatt der Tiefe l(b,j) frei hält. Versieht man alle diese Blätter mit der Beschriftung b, dann endet der Münzwurf in einem mit b beschrifteten Blatt mit der Wahrscheinlichkeit 2 l(b,j) = π(b). j 15

16 Wir stellen jetzt eine Beziehung her zwischen der erwarteten Anzahl der für die Simulation von π benötigten Münzwürfe und der binären Entropie von π. Zur Erinnerung: X ist das zufällige Blatt, in dem das Experiment endet, und Y = h(x) seine Beschriftung. 16

17 Ist l(a) die Tiefe des Blattes a, dann gilt: P(X = a) = 2 l(a) Also folgt: E[l(X)] = H 2 [X] Für Y = h(x) gilt H 2 [X] = H 2 [X,Y] = H 2 [Y]+H 2 [X Y] Wir werden zeigen: H 2 [X Y] 2 und bekommen so die Abschätzung: H 2 [Y] E[l(X)] H 2 [Y]+2 17

18 π(b) = j Behauptung: H 2 [X Y] 2 Beweis: Wir hatten die Dualbruchdarstellung 2 l(b,j), mit natürlichen Zahlen 1 l(b,1) < l(b,2) <. Die Blätter a 1,a 2,..., die mit b beschriftet sind, lassen sich also so anordnen, dass l(a 1 ) < l(a 2 ) < gilt. Für p i := P(X = a i Y = b) = 2 l(a i) /π(b) folgt p i+1 p i /2. Dies impliziert, dass es eine Zahl k gibt, so dass p i > 2 i für i k und p i 2 i für i > k. Es folgt i 1i( p i 2 i) = (i k) ( p i 2 i) 0, und somit i 1 i 1ip i i 1i2 i = 2. Mit Entropieschranke (Vorlesung 13): H 2 [X Y = b] 2. Es folgt H 2 [X Y] 2. 18