zu Aufgabe 26: a) A 3 A 2 A 4 A 1 A 5 A 0 A 6

Größe: px

Ab Seite anzeigen:

Download "zu Aufgabe 26: a) A 3 A 2 A 4 A 1 A 5 A 0 A 6"

Calvin Kopp
vor 6 Jahren
Abrufe

1 zu ufgabe 6: a) p( ) p( ) p( 3 ) p( ) p( 5 ) p( 6 ) p( 7 ) = p( 3 ) = p( 3 ) = p( 3 ) = p( ) = p( ) = p( ) = p( ) = p( ) = p( ) = p( ) = p( ) = 8 p( ) = p( ) = p( ) = p( ) Lösung: b) binär 8 p( ) = p( 7 ) = p( ) = p( 6 ) = ternär 8 p( 3 ) = p( 5 ) = p( ) = chtung: Bei nicht-binärer Codierung müssen u U (je nach nzahl der Quellensymbole) vorher Dummy-Symbole mit Wahrscheinlichkeit Null eingeführt werden 8 Hinweis: Bei der Verteilung der Symbole muss die immer der linken Wahrscheinlichkeit zugewiesen werden, da diese (aufgrund der Sortierung) immer größer oder gleich den anderen Wahrscheinlichkeiten ist (denen die anderen Symbole zugewiesen werden) c) binär ternär Lehrveranstaltung Informationstheorie, Sommersemester 7

2 zu ufgabe 7: b) p Y X (y x) y (Z = ) (Z = 3) (Z = ) x (Z = ) (Z = ) (Z = 3) 3 (Z = 3) (Z = ) (Z = ) c) schematische Darstellung des DMC: Z X (mod 3) Y Kanalmatrix des DMC: p Y X ( ) p Y X ( ) p Y X ( ) K = p Y X ( ) p Y X ( ) p Y X ( ) = p Y X ( 3) p Y X ( 3) p Y X ( 3) Die Zeilen und Spalten der Kanalmatrix sind Permutationen voneinander Der DMC ist symmetrisch, siehe ( 3) Graph des DMC: X 3 Y Lehrveranstaltung Informationstheorie, Sommersemester 7

3 d) Informationskapazität: C = (log (3) H(Z)) bit C ist minimal, wenn H(Z) maximal ist Mit ( 9) ) gilt: Z muss gleichverteilt sein, d h = = 3 Dann gilt C = bit C ist maximal, wenn H(Z) minimal ist Mit ( 9) 6) gilt: Z muss mit Wahrscheinlichkeit konstant sein, d h ) = und = oder ) = und = oder 3) = und =, wobei hier nur Fall 3) wegen,, möglich ist Dann gilt C = log (3) bit Informationskapazität als Funktion der Parameter und : 6 C Lehrveranstaltung Informationstheorie, Sommersemester 7

4 zu ufgabe 8: X Y = X Y K K X Y Y Markowkette: X Y Y b) Die Kanalmatrix K des Gesamtkanals ergibt sich aus der Multiplikation der Kanalmatrizen K und K der Teilkanäle in der Reihenfolge der Hintereinanderschaltung, d h K = K K Illustration: y j K x i K K Lehrveranstaltung Informationstheorie, Sommersemester 7

5 c) Kanal ist ein BSC mit Fehlerwahrscheinlichkeit und Kanalmatrix K = Kanal ist ein BSC mit Fehlerwahrscheinlichkeit und Kanalmatrix K = Kanalmatrix K des Gesamtkanals ergibt sich durch Matrixmultiplikation: K = K K = mit = ( ) + ( ) Gesamtkanal ist ein BSC mit Fehlerwahrscheinlichkeit = ( ) + ( ) Die Informationskapazität des BSC ist gegeben durch (siehe ufgabe 3, ( 39) oder Vorlesung): C = ( H b ()) bit = ( H b ( ( ) + ( ))) bit Die optimale Wahrscheinlichkeitsverteilung am Kanaleingang ist eine Gleichverteilung Informationskapazität als Funktion der Parameter und : C Lehrveranstaltung Informationstheorie, Sommersemester 7

6 d) Kanal ist ein BSC mit Fehlerwahrscheinlichkeit und Kanalmatrix K wie in c) Kanal ist ein BEC mit uslöschungswahrscheinlichkeit und Kanalmatrix K = Kanalmatrix K des Gesamtkanals ergibt sich durch Matrixmultiplikation: K = K K = ( )( ) ( ) ( ) ( )( ) Der Gesamtkanal ist Gallager-symmetrisch Informationskapazität wird durch Gleichverteilung der Eingangssymbole erreicht: C = I(X ; Y ) = H(Y ) H(Y X ) px Gleichverteilung p X Gleichverteilung Für eine Gleichverteilung am Kanaleingang, d h p X () = p X () =, ergibt sich folgende Wahrscheinlichkeitsfunktion für die Zufallsgröße Y : y Δ p Y (y ) ( ) ( ) Entropie H(Y ) mit Gleichverteilung für X : H(Y ) = (( ) + H b ( )) bit bedingte Entropie H(Y X ) mit Gleichverteilung für X : Informationskapazität: H(Y X ) = H(Y X = ) + H(Y X = ) = ( )( ) log ( )( ) ( ) log ( ) log ( ) = ( ) H b ( ) + H b ( ) bit C = Hb ( ) bit Für = ist der Gesamtkanal ein BEC und für = ist der Gesamtkanal ein BSC Lehrveranstaltung Informationstheorie, Sommersemester 7

7 Informationskapazität als Funktion der Parameter und : C Lehrveranstaltung Informationstheorie, Sommersemester 7

Ähnliche Dokumente

Begriffe aus der Informatik Nachrichten

Begriffe aus der Informatik Nachrichten Gerhard Goos definiert in Vorlesungen über Informatik, Band 1, 1995 Springer-Verlag Berlin Heidelberg: Die Darstellung einer Mitteilung durch die zeitliche Veränderung