Bedingte Entropie. Bedingte Entropie. Bedingte Entropie. Kapitel 4: Bedingte Entropie I(X;Y) H(X Y) H(Y) H(X) H(XY)

Transkript

1 Bedngte Entrope Kaptel : Bedngte Entrope Das vorherge Theorem kann durch mehrfache Anwendung drekt verallgemenert werden H (... H ( = Ebenso kann de bedngt Entrope defnert werden Defnton: De bedngte Entrope von, gegeben, st H ( = H ( H ( H( st also de restlche Unscherhet über, wenn bekannt st Bedngte Entrope Bedngte Entrope Defnton: De gegensetge Informaton, de über gbt (sowe symmetrsch über, st I( ; : = H ( + H ( H ( I(; st de Redukton der Unscherhet über, wenn man erfährt H( I(; H( I( ; = H ( H ( = H ( H ( = I( ; H( H( H(

2 Bedngte Entrope Bedngte Entrope Theorem: Es glt: 0 H ( H ( Mt Glechhet lnks genau dann, wenn durch vollständg bestmmt st De rechte Unglechhet st äquvalent zu I( ; 0 Also, mt Glechhet rechts genau dann, wenn und statstsch unabhängg snd Alle Defntonen und Aussagen gelten auch für Lsten von Zufallsvarablen, wobe z.b. H ( RS TUV = H ( RSTUV H ( TUV Durch wederholte Anwendung der Defnton erhalten wr de Kettenregel für Entropen: H ( Oder auch H (... = H (... =... = H (... = Man vergleche des mt den Formeln für de bedngten Wahrschenlchketen zu Begnn von Modul und wende den Logarthmus an. ( = ( = 5 6 Rehenfolge der Varablen Alternatve Herletung Wchtg st, zu verstehen, dass de Rehenfolge, n der de Zufallsvarablen abgespalten werden, egal st! H ( = H ( + H ( + H ( Z H ( = H ( + H ( Z + H ( H ( = H ( + H ( + H ( Z H ( = H ( + H ( Z + H ( H ( = H ( + H ( + H ( H ( = H ( + H ( + H ( De bedngte Entrope kann auch we folgt hergeletet werden Für en Eregns A mt Wahrschenlchket (A können wr H( A als de Entrope der bedngten Vertelung p A defneren H ( x ( A p A( xlog p A = x Seen und zwe Zufallsvarablen. De bedngte Entrope H( =y st H = y p ylog p y ( x = 7

3 Alternatve Herletung Bedngte Entrope ( H( ergbt sch durch gewchtete Mttelwertbldung (Erwartungswert, also H ( = H ( = y p y = E [ log (, ] ( y De Unglechung H( <=H( bedeutet, dass zusätzlche Informaton de Unscherhet nemals erhöhen kann Dennoch kann de Entrope H( =y durchaus lokal grösser werden als H( (sehe Bespel Zwe Zufallsvarablen haben folgende Vertelungen: \ x ( x = y = j j= ebenso y ( y = j j 9 0 Bedngte Entrope ( x y j, daraus folgt : 7 H ( = Bts, H ( = Bts H( = ( y H( = y j= j j = H( = + H( = + H( = + H( = Bedngte Entrope ( H ( x = = = mt, x = = ( x, log ( x, =, x ( x, ( = ( ( x,, x H ( = = H,,, = 7 =

4 Bedngte Entrope ( H ( = ( y H ( = y j = j j = H,,, + H,,, + H,,, + H (, 0, 0,0 7 7 = = Bts H ( = Bts und H ( = Bts H ( H (, jedoch glt mmer : H ( -H ( = H ( -H ( = I(, = / Bts Bedngte bnäre Entrope ( Seen und zwe bnäre Zufallsvarablen {0,} ( 0, = (,0 = (0,0 =, (, = 0 H ( = 0 = 0 log( 0 (0,0 = = {0,} 0 =, 0 (0 (,0 = = H ( = 0 = log log = + = Bt Bedngte bnäre Entrope ( Bedngte bnäre Entrope ( H ( = (0 = H ( {0,}, ( x log ( = = (0, = =, = ( ( x ( (, = 0 H ( = (0 H ( = 0 + = Bt + 0 Bts = Bt < H ( ( H ( De Entrope kann lokal anstegen, Fällt jedoch m Durchschntt mmer = H ( H ( = = 0 = < H ( < H ( = 0 5 6

5 Mehrere Varablen Bedngte Informaton Entsprechend glt für Zufallsvarablen H ( = H (, Z = z p ( z Z wobe H (, Z = z z = y p Z y, zlog p Z y, z Wr erwetern unser Dagramm um ene wetere Varable Wr erhalten 7 Bereche Jeder Berech entsprcht ener Kombnaton von 7 Verbundentropen H(, H(, H(, H(, H(, H(, H( der Bereche haben berets ene Interpretaton Bedngte Entropen H(, H(, H(Z Wr wollen de übrgen Bereche kennen lernen Sehe Bld 7 Bld Interpretaton H( H( I(; R(;; I(;Z I(;Z H(Z H( H( De bedngten Informatonen I(;, I(;Z, I(;Z können we folgt nterpretert werden: Defnton: De bedngte, gegensetge Informaton, de über gbt, gegeben Z, st I( ; : = H ( + H ( H ( H ( Oder auch I( ; : = H ( H ( I(; st also de Redukton der Unscherhet über, wenn man erfährt, wobe aber Z schon bekannt st Man nterpretere R(;; (kann negatv sen H( R ( ; ; : = H ( + H ( + H ( H ( H ( H ( + H ( 9 0

6 Interpretaton Bespel : Markov-Kette Theorem: Es glt I( ; 0 De Aussage, dass Zusatznformaton de Entrope ncht vergrössern kann, glt jedoch ncht für I(; > I(;, da R(;; negatv werden kann Z bewrkt n desem Falle ene stärkere Redukton von H(, als von H( Herbe glt: H ( H ( > H ( H ( Mt Hlfe von Entropen kann ntutv gerechnet werden. Wr betrachten zwe Bespele Q Zel Z Wr betrachten folgende Markov-Kette und snd rozessoren, de Berechnungen durchführen wrd durch n übergeführt usw. und können belebge determnstsche oder probablstsche Operatonen durchführen Enschränkung: Ken versteckter fad von nach Z, also Markov-Egenschaft Bespel : Markov-Kette Bespel : Markov-Kette Des st, we bekannt, glechbedeutend mt pz y, z = pz ( y, z Mttels Entrope wrd daraus H ( Z = H ( Z oder auch I( Z; = 0 Es glt de Symmetre-Egenschaft I ( Z; = I( ; Z Und damt de Umkehrbarket der Markov-Kette, also ->->Z sowe Z->-> Lemma (Informatonsverarbetung: Falls ->->Z, dann gelten I( ; I( ;, sowe I( ; I( ; Bewes: Es glt I ( ; = R( ; ; + I( ; Z Und I ( ; = R( ; ; + I( ; Z Also glt I( ; I( ; = I( ; Z I( ; Z = I( ; Z 0 Es gbt kene Operaton auf, de de Informaton erhöhen kann, welche über enthält

7 erfekte Verschlüsselung erfekte Verschlüsselung En Klartext M soll mt enem gehemen Schlüssel K zu enem Chffrat C verschlüsselt werden Empfänger kann mt Schlüssel den Code entschlüsseln Defnton: En Verschlüsselungsverfahren hesst perfekt scher, wenn I ( M ; C = 0 ( M C = ( M Bedeutung: Auch mt unbegrenzten Rechenressourcen st der Code ncht zu knacken! Stärkste (theoretsche Scherhet Theorem: In enem perfekt scheren Verschlüsselungssystem glt: H ( K H ( M Aufgrund der Entschlüsselbarket von M mt C und K glt: H ( M CK = 0 erfekte Scherhet bedeutet b=-a m Bld Wr ernnern uns, dass b < 0 möglch st Umgekehrt st auch I ( C; K 0 c b = a H(K>=H(M folgt aus Verglech der Regonen 5 6 Bld dazu H(M H(M KC=0 a H(C b c H(K 7