Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir

Transkript

1 Kapitel 3: Entropie

2 Motivation Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir log N Bits log p N Bits Die Information steht in direktem Zusammenhang mit der Unsicherheit (Entropie) über den Ausgang eines Zufallsexperimentes Wie kann diese Unsicherheit quantitativ erfasst werden? Statt einer direkten Definition stellen wir eine Reihe von Anforderungen auf

3 Anforderungen I Die Unsicherheit über ein Experiment soll unabhängig von der Nomenklatur sein und nur von den Wahrscheinlichkeiten der Elementarereignisse abhängen Beispiel: Beim fairen Münzwurf soll die Unsicherheit gleich gross sein, egal ob wir die Ereignisse Kopf und Zahl oder 0 und nennen 3

4 Anforderungen II Die Unsicherheit über ein Experiment soll unabhängig von der Nomenklatur sein und nur von den Wahrscheinlichkeiten der Elementarereignisse abhängen Die Unsicherheit ist eine Funktion H, welche jeder Wahrscheinlichkeitsverteilung eine reelle Zahl zuordnet, im Falle endlicher Zufallsexperimente also jeder Liste [p,..,p L ] sich zu summierender Zahlen Ohne Beschränkung der Allgemeinheit können wir daher eine solche Liste mit L Elementen als geordnet auffassen, also p p... p L 4

5 Anforderungen III Ereignisse mit der Wahrscheinlichkeit 0 sollen keinen Einfluss haben: [ p,..., p ]) H ([ p,..., p,0]) H ( L L Allgemein soll gelten, dass für Experimente mit gleichwahrscheinlichen Ereignissen die Entropie mit der Anzahl der möglichen Ereignisse zunimmt: H L,..., < L H,..., L + L + 5

6 Anforderungen IV Die Entropie eines Münzwurfes soll umso kleiner sein, je unfairer oder asymmetrischer die Münze ist, und ist maximal für einen fairen Münzwurf [ p, p] ) < H ([ q, ]) p < q / H ( q H([p,..,p L ]) ist maximal, wenn p p L /L 6

7 Anforderungen V Die Entropie eines Experimentes, welches aus zwei unabhängigen Einzelexperimenten besteht, soll gleich der Summe der Einzelentropien sein H LM,..., LM H L,..., L + H M,..., M Wenn LM, dann gilt H()0 Die Entropie eines Experimentes mit nur einem einzigen möglichen Ausgang ist also 0. Sie enthält keine Information 7

8 Anforderungen VI Normierung: Es ist sinnvoll, die Entropie eines fairen Münzwurfs auf zu normieren, da man ein Bit benötigt, um das Resultat darzustellen H, Glattheit: Kleine Änderungen in der Wahrscheinlichkeitsverteilung sollen nur kleine Änderungen in der Entropie bewirken 8

9 Definitionen Man kann zeigen, dass die einzige Funktion, welche alle diese Forderungen erfüllt, wie folgt definiert sein muss Definition : Die Entropie einer diskreten Wahrscheinlichkeitsverteilung [p,...,p L ] ist: ([ p ] pl ) pi log pi H i L,..., Beispiel: Die Entropie der dreiwertigen Verteilung [0.7, , ] ist bit, wie beim fairen Münzwurf Besonders einfach ist die Entropieberechnung, wenn alle Wahrscheinlichkeiten negative Zweierpotenzen sind! 9

10 Definitionen Die Zufallsvariable X nehme die Zustände {x,,x L } mit den Wahrscheinlichkeiten p X (x i ) an Definition : Die Entropie einer diskreten Zufallsvariablen X ist: L H ( X ) px ( xi )log i Anmerkung: Auch für L kann die obige Summe einen endlichen Wert annehmen Die Menge {x,,x L } aller Zustände von X nennen wir auch das Alphabet von X p X ( x i ) 0

11 Informationsquelle Gegeben: Informationsquelle mit Alphabet {a,b,c,d} p( a) p(b) p( c) p( d) Ziel: möglichst optimale Codierung (Huffman) C(a) C(b) C(c) C(d) C(a) 0 0 C(b) 0 C(c) C(d)

12 Informationsquelle Entropie: H( X ) Bits 4 8 Mittlere Codelänge: L( C) E[ l( C)] d i a l( C( i)) p( C( i)) C(a) 0 C(b) 0.75 Bits C(c) C(d)

13 Informationsquelle Alphabet {a,b,c} p( a) p(b) p( c) C( a) 0, C(b) 0, C(c) H( X) log 3 log 3.58 Bits 3 i 3 c L( C) l( C( i)) i a p( C( i)).66 Bits C(a) 0 C(b) 0 C(c) 3

14 Anmerkungen Beides sind präfixfreie Codes acdaab ist eindeutig dekodierbar Minimale Anzahl Fragen zur Bestimmung von X Ist Xa? Ist Xb? Erwartungswert [ X ] < H ( ) H ( X ) < E min X + F 4

15 Binäre Entropiefunktion Die Wahrscheinlichkeitsverteilung einer binären Zufallsvariablen X ist durch p X (0)p vollständig beschrieben, da gilt: p X ()-p Die Entropie kann also als Funktion von p aufgefasst werden h ( p) p log p ( p)log ( p) Sie ist für 0<p< sowie h(0)h()0 definiert h(p) ist strikt konkav und besitzt ein Maximum bei p/ (fairer Münzwurf) 5

16 Binäre Entropiefunktion 6

17 Entropie als Erwartungswert Anmerkung: Wir verwenden die Konvention 0 log (0) 0 Dennoch gilt, dass Werte mit der Wahrscheinlichkeit 0 von der Betrachtung ausgeschlossen werden Dann kann die Entropie auch als Erwartungswert einer reellwertigen Funktion aufgefasst werden: [ log P ( )] H ( X ) E X X 7

18 Schranken für die Entropie Theorem: Es sei χ {x,,x L } die Menge der möglichen Zustände der Zufallsvariablen X. Dann gilt: oder auch 0 H ( X ) log χ [ p,..., p ]) L 0 H ( L log Gleichheit gilt auf der linken Seite, wenn p X (x) für genau ein x Gleichheit gilt auf der rechten Seite, wenn p,,p L /L 8

19 Beweis I Beweis: Der linke Teil der Ungleichung folgt direkt aus der Tatsache, dass die Funktion f ( x) x log x für 0 < x < streng positiv ist und nur für x gemäss Konvention gleich 0 ist Die rechte Ungleichung folgt aus der Jensen- Ungleichung und der Tatsache, dass die Funktion f ( x) log x konkav ist 9

20 0 Beweis II Es gilt: Der letzte Schritt folgt aus Konvention: Im Folgenden wird die Basis für den Logarithmus angenommen und nicht mehr explizit geschrieben χ log ) ( log ) ( log ) ( X P E X P E x H X X χ ) ( ) ( ) ( X P X P X P E X L i X X

21 Konvexität Definition: Eine Funktion f(x) heisst konvex auf einem Intervall [a,b], wenn für alle x, x [ a, b], x x und λ [0,] gilt : f ( λx + ( λ) x) λf ( x ) + ( λ) f ( x) Eine Funktion ist strikt konvex, wenn Gleichheit nur für λ0 und λ gilt Eine Funktion f ist konkav, wenn f konvex ist Der Graph einer differenzierbaren, konvexen Funktion liegt immer oberhalb jeder Tangente

22 Konvexität Existiert f (x) einer Funktion f auf einem offenen oder geschlossenen Intervall [a,b] und gilt f (x)>0, dann ist f konvex

23 Beweis Konvexität Taylorreihe von f um x 0 * für x 0 xx xx f( x) f( x ) + f '( x ) ( x x ) + f ''( x ) sei x [ ] * x...x gilt f "( x ) 0 0 λx + ( λ) x ( x x ) * 0 f x ) f ( x ) + f '( x ) ( λ) ( x ) λ f ( 0 0 x ( x) f ( x0) + f '( x0) λ ( x x ) ( λ) f ( λ x + ( λ) x) λ f ( x ) + ( λ) f ( x) 3

24 Jensen-Ungleichung Theorem: Für eine konvexe Funktion f und eine Zufallsvariable X gilt: E [ f ( X )] f ( E[ X ]) Entsprechend gilt für eine konkave Funktion g und eine Zufallsvariable X E [ g( X )] g( E[ X ]) 4

25 Beweis Jensen-Ungleichung Wir gehen davon aus, dass f mindestens einmal differenzierbar ist Sei ax+b die Tangente an f im Punkt xe[x] Wir ersetzen die Funktion in x durch Ihre Tangente Dann gilt aufgrund der Linearität von E f [ E( X )] ae[ X ] + b E[ ax + b] E[ f ( X )] Dies gilt aufgrund der Tatsache, dass der Graph der konvexen Funktion immer oberhalb der Tangente liegt 5

26 Verbund-Entropie Es sei (X,Y) ein Paar von Zufallsvariablen Die gemeinsame Entropie (Verbundentropie) zweier Zufallsvariablen X und Y ist gegeben durch H ( XY ) ( x, y) p XY Theorem: Es gilt: ( x, y)log p ( x, y) [ log p ( X, Y )] Gleichheit gilt genau dann, wenn Y durch Kenntnis von X eindeutig bestimmt ist, Y also keine neue Information enthält, also für ein y gilt XY H ( X ) H ( XY ) E XY p YX ( x, y) 6

27 Beweis Verbund-Entropie H(X) und H(XY) sind Erwartungswerte: [ log p ( X, )] H ( XY ) E Y Im Rahmen der Verbundwahrscheinlichkeiten zweier Zufallsvariablen haben wir folgende Gesetzmässigkeit kennengelernt: XY p XY ( x, y) p ( x) X Dies gilt für alle möglichen Zustandspaare (x,y) 7

28 Verbund-Entropie Folgendes Theorem ist von zentraler Bedeutung: Theorem: Es gilt H ( XY ) H ( X ) + H ( Y ) Gleichheit gilt genau dann, wenn Y und X statistisch unabhängig sind Der Beweis erfolgt durch Einsetzen sowie Anwendung der Jensen-Ungleichung: H ( X E ) + H ( Y ) H ( XY ) [ log p ( X ) log p ( Y ) log p ( X, Y )] X Y + XY Die Entropie des Verbundereignisses XY ist höchstens so gross, wie die Summe der Entropien der Einzelereignisse. 8

29 Bild dazu H(XY)H(X) H(Y) H(X) H(XY) H(XY)H(X) + H(Y) 9