Kapitel 4: Bedingte Entropie

Transkript

1 Kapitel 4: Bedingte Entropie

2 Bedingte Entropie Das vorherige Theorem kann durch mehrfache Anwendung direkt verallgemeinert werden N 2... N i i Ebenso kann die bedingt Entropie definiert werden Definition: Die bedingte Entropie von, gegeben, ist ist also die restliche Unsicherheit über, wenn bekannt ist Copyright M. Gross, ET ürich 2006,

3 Copyright M. Gross, ET ürich 2006, 2007 Bedingte Entropie Definition: Die gegenseitige nformation, die über gibt sowie symmetrisch über, ist ist die Reduktion der Unsicherheit über, wenn man erfährt :

4 Bedingte Entropie Copyright M. Gross, ET ürich 2006,

5 Bedingte Entropie Theorem: Es gilt: 0 Mit Gleichheit links genau dann, wenn durch vollständig bestimmt ist Die rechte Ungleichheit ist äquivalent zu Also, mit Gleichheit rechts genau dann, wenn und statistisch unabhängig sind Alle Definitionen und Aussagen gelten auch für Listen von ufallsvariablen, wobei z.b. 0 RS TUV RSTUV TUV Copyright M. Gross, ET ürich 2006,

6 Bedingte Entropie Durch wiederholte Anwendung der Definition erhalten wir die Kettenregel für Entropien: Oder auch N... N i... i i N... N i... i i Man vergleiche dies mit den Formeln für die bedingten Wahrscheinlichkeiten zu Beginn von Modul 2 und wende den Logarithmus an. N N i i i Copyright M. Gross, ET ürich 2006,

7 Copyright M. Gross, ET ürich 2006, Reihenfolge der Variablen Wichtig ist, zu verstehen, dass die Reihenfolge, in der die ufallsvariablen abgespalten werden, egal ist!

8 Alternative erleitung Die bedingte Entropie kann auch wie folgt hergeleitet werden Für ein Ereignis A mit Wahrscheinlichkeit A können wir A als die Entropie der bedingten Verteilung p A definieren A p A log p A Seien und zwei ufallsvariablen. Die bedingte Entropie y ist y p, ylog p, y Copyright M. Gross, ET ürich 2006,

9 Alternative erleitung ergibt sich durch gewichtete Mittelwertbildung Erwartungswert, also y E y p [ log, ] y Die Ungleichung < bedeutet, dass zusätzliche nformation die Unsicherheit niemals erhöhen kann Dennoch kann die Entropie y durchaus lokal grösser werden als siehe Beispiel Copyright M. Gross, ET ürich 2006,

10 Bedingte Entropie wei ufallsvariablen haben folgende Verteilungen: \ , y i i j j ebenso y j i y j Copyright M. Gross, ET ürich 2006,

11 Bedingte Entropie 2 i 2 4 y j, daraus folgt : 7 Bits, Bits y y j j j Copyright M. Gross, ET ürich 2006, 2007

12 Copyright M. Gross, ET ürich 2006, Bedingte Entropie 8 4, 8, 4 2, 2,, mit, log, 4 i i i i i i i i i 4 7 8, 8, 4, 2

13 Bedingte Entropie 4 4 y y j j j,,,,,, ,,,, 0, 0, Bits Bits und Bits 8 8, jedoch gilt immer : - -, / 8Bits Copyright M. Gross, ET ürich 2006, 2007

14 Bedingte binäre Entropie Seien und zwei binäre ufallsvariablen {0,} 0,,0 0,0,, 0,0 log,0 0,0 2 {0,},0 2,,0 0,0 0 log log Bit Copyright M. Gross, ET ürich 2006,

15 Copyright M. Gross, ET ürich 2006, Bedingte binäre Entropie 2, 2 0 log {0,} 0,, 0,,, 0 0 < <

16 Bedingte binäre Entropie Bit Bit < 0 Bits 0 Die Entropie kann lokal ansteigen, Fällt jedoch im Durchschnitt immer Copyright M. Gross, ET ürich 2006,

17 Mehrere Variablen Entsprechend gilt für ufallsvariablen wobei, z p z z, z, y p, y, zlog p, y, z Copyright M. Gross, ET ürich 2006,

18 Bedingte nformation Wir erweitern unser Diagramm um eine weitere Variable Wir erhalten 7 Bereiche Jeder Bereich entspricht einer Kombination von 7 Verbundentropien,,,,,, der Bereiche haben bereits eine nterpretation Bedingte Entropien,, Wir wollen die übrigen Bereiche kennen lernen Siehe Bild Copyright M. Gross, ET ürich 2006,

19 Bild R Copyright M. Gross, ET ürich 2006,

20 nterpretation Die bedingten nformationen,, können wie folgt interpretiert werden: Definition: Die bedingte, gegenseitige nformation, die über gibt, gegeben, ist : Oder auch : ist also die Reduktion der Unsicherheit über, wenn man erfährt, wobei aber schon bekannt ist Man interpretiere R kann negativ sein R : Copyright M. Gross, ET ürich 2006,

21 nterpretation Theorem: Es gilt Die Aussage, dass usatzinformation die Entropie nicht vergrössern kann, gilt jedoch nicht für >, da R negativ werden kann bewirkt in diesem Falle eine stärkere Reduktion von, als von ierbei gilt: > 0 Mit ilfe von Entropien kann intuitiv gerechnet werden. Wir betrachten zwei Beispiele Copyright M. Gross, ET ürich 2006,

22 Beispiel : Markov-Kette Q 2 iel Wir betrachten folgende Markov-Kette und 2 sind rozessoren, die Berechnungen durchführen wird durch in übergeführt usw. und 2 können beliebige deterministische oder probabilistische Operationen durchführen Einschränkung: Kein versteckter fad von nach, also Markov-Eigenschaft Copyright M. Gross, ET ürich 2006,

23 Beispiel : Markov-Kette Dies ist, wie bekannt, gleichbedeutend mit Mittels Entropie wird daraus oder auch p, y, z p y, z Es gilt die Symmetrie-Eigenschaft Und damit die Umkehrbarkeit der Markov-Kette, also ->-> sowie ->-> 0 Copyright M. Gross, ET ürich 2006,

24 Copyright M. Gross, ET ürich 2006, Beispiel : Markov-Kette Lemma nformationsverarbeitung: Falls ->->, dann gelten Beweis: Es gilt Und Also gilt, sowie R R 0 Es gibt keine Operation auf, die die nformation erhöhen kann, welche über enthält

25 erfekte Verschlüsselung Ein Klartet M soll mit einem geheimen Schlüssel K zu einem Chiffrat C verschlüsselt werden Empfänger kann mit Schlüssel den Code entschlüsseln Definition: Ein Verschlüsselungsverfahren heisst perfekt sicher, wenn M C 0 M C M Bedeutung: Auch mit unbegrenzten Rechenressourcen ist der Code nicht zu knacken! Stärkste theoretische Sicherheit Copyright M. Gross, ET ürich 2006,

26 erfekte Verschlüsselung Theorem: n einem perfekt sicheren Verschlüsselungssystem gilt: K M Aufgrund der Entschlüsselbarkeit von M mit C und K gilt: M CK erfekte Sicherheit bedeutet b-a im Bild Wir erinnern uns, dass b < 0 möglich ist Umgekehrt ist auch K>M folgt aus Vergleich der Regionen 0 C K 0 c b a Copyright M. Gross, ET ürich 2006,

27 Bild dazu M MKC0 a C b c K Copyright M. Gross, ET ürich 2006,