Klausur zur Vorlesung Informationstheorie

Transkript

1 INSTITUT FÜR THEORETISCHE NACHRICHTENTECHNIK UND INFORMATIONSVERARBEITUNG UNIVERSITÄT HANNOVER Appelstraße 9A 07 Hannover Klausur zur Vorlesung Informationstheorie Datum: Uhrzeit: 09:00 Uhr Zeitdauer: Stunden Hilfsmittel: ausgeteilte Formelsammlung, nicht-programmierbarer Taschenrechner Anzahl der Blätter: 9 (einschließlich Deckblatt und Formelsammlung) Name: Matrikelnummer: Aufgabe Summe Punkte Bewertung: Es können nur Ergebnisse und Aufgabenteile berücksichtigt werden, die nachvollziehbar bzw. begründet sind. Jedes abzugebende Blatt ist mit Namen und Matrikelnummer zu kennzeichnen. Bitte nicht mit Bleistift oder Rotstift schreiben!

2 Aufgabe : (6.0 Punkte) Eine Markov-Quelle mit den Zuständen S bis S und den Symbolen a = N a = A a = beliebiger anderer Buchstabe des Alphabets sei durch folgendes Zustandsdiagramm gegeben: a ;... S a ; 0, 6 a ; 0, a ; 0, 6 a ; 0, S a ; 0, S a ; 0, a ;... a ;... Abbildung : Zustandsdiagramm der Markov-Quelle mit Zuständen S j und den bedingten Symbolwahrscheinlichkeiten P (a k S j ) a) Welche Ordnung besitzt die Markov-Quelle? (Begründung!) (0.5) b) Ergänzen Sie die fehlenden Wahrscheinlichkeiten P (a k S j ). (0.5) c) Bestimmen Sie die Wahrscheinlichkeiten der Zustände S, S und S. (.0) d) Berechnen Sie die bedingte Entropie H(U N U,..., U N ). (.0) e) Entwerfen Sie einen binären Huffman-Code für jeden Zustand der Quelle. (.0)

3 f) Berechnen Sie die mittlere Codewortlänge und die Redundanz der Codierung. (0.75) g) Wie groß ist die Wahrscheinlichkeit für das Auftreten der Symbolfolge ANNA, wenn sich die Quelle im Zustand S befindet? (0.5) h) Welcher binäre Huffman-Code wird in diesem Fall gesendet? (0.75)

4 Aufgabe : (6.5 Punkte) Gegeben ist ein binärer symmetrischer Kanal mit der Fehlerwahrscheinlichkeit P () = p. U BSK U a = 0 p p p b = 0 a = p b = Abbildung : Binärer symmetrischer Kanal (BSK) a) Bestimmen Sie die Irrelevanz H(U U ) des BSK in Abhängigkeit von p. (.0) b) Bestimmen Sie die Kanalkapazität C = max P (u ) T (U ; U ) des BSK in Abhängigkeit von p. (.0) c) Für welche Fehlerwahrscheinlichkeit p wird die Kanalkapazität C maximal und für welche minimal? Skizzieren Sie den Verlauf von C über p in einem Diagramm. (.0) d) Es werden binär symmetrische Kanäle hintereinander geschaltet. Berechnen Sie die Fehlerwahrscheinlichkeit P() des resultierenden BSK. (.0) e) Es werden n binär symmetrische Kanäle hintereinander geschaltet. Beweisen Sie mittels vollständiger Induktion, dass der resultierende BSK folgende Fehlerwahrscheinlichkeit besitzt: P (n) = ( ( p)n ) (.5) Hinweis: Beweisprinzip der vollständigen Induktion A(n) ist eine von n N abhängige Aussage. Zeigt man:. A() ist richtig (Induktionsanfang);. unter der Voraussetzung, dass für einen beliebige natürliche Zahl n die Aussage A(n) richtig ist, ist auch A(n + ) richtig (Induktionsschritt); dann ist A(n) für alle n richtig.

5 Aufgabe : (7.0 Punkte) Gegeben ist eine diskrete gedächtnislose Quelle mit den Quellensymbolen k und der Wahrscheinlichkeit der Quellensymbole Q(k). k Q(k) Der Quellencoder enthält einen Begrenzer, der das Quellensignal auf [ ; ] begrenzt. Als Verzerrungsmass gilt: { 0 für k = j d(k; j) = für k j a) Stellen Sie die Verzerrungsmatrix auf. (0.5) b) Geben Sie die Zuordnung zwischen Eingangs- und Ausgangsalphabet an, die auf eine minimale mittlere Verzerrung d min führt. (0.5) c) Berechnen Sie die minimale mittlere Verzerrung d min. (.0) d) Bestimmen Sie die Wahrscheinlichkeiten P (j) bei minimaler mittlerer Verzerrung und berechnen Sie die Rate-Distortion-Funktion R(d min). (.0) e) Vergleichen Sie R(d min) mit der Entropie der unverzerrten Quelle. Erläutern Sie das Ergebnis. (.0) f) Berechnen Sie die maximale mittlere Verzerrung d max. (.5) g) Zeichnen Sie alle errechneten Größen in Abbildung ein. Skizzieren Sie den prinzipiellen Verlauf der Rate-Distortion-Funktion R(d ) in Abbildung. (0.5) h) Wie ändert sich der Verlauf der Rate-Distortion-Funktion, wenn das Quellensignal wie folgt modifiziert wird? (Begründung - keine Rechnung!) (.0) k Q(k) 5

6 R(d*) d* Abbildung : Rate-Distortion-Funktion R(d ) 6

7 Aufgabe : (5.5 Punkte) Gegeben ist eine stationäre, gedächtnisbehaftete Gaußsche Quelle mit dem bandbegrenzten Leistungsdichtespektrum aus Abbildung. S(f) B f W Abbildung : Leistungsdichtespektrum S(f) der Quelle Eine Amplitutenquantisierung verursacht ein konstantes Rauschleistungsdichtespektrum: N(f) = Θ = B a) Bestimmen Sie die Leistung P der Quelle in Abhängigkeit von B und W (.0) b) Berechnen Sie die durch N(f) verursachte Verzerrung d in Abhängigkeit von B und W. (.0) c) Berechnen Sie den Wert der Rate-Distortion-Funktion R(d ) für dieses Rauschleistungsdichtespektrum. (.5) Hinweis: ln z dz = z ln z z für z > 0 7

8 Diese Musterlösung dient zum Selbststudium alter Klausuraufgaben. Es besteht keine Garantie auf Fehlerfreiheit oder Vollständigkeit. Aufgabe : Musterlösung a). Ordnung b) P (a S ) = 0,, P (a S ) = 0,, P (a S ) = 0, 8 c) Wahrscheinlichkeit der Zustände: P (S j ) = P (a k S l )P (S l ) l= k= P (S j ) = j= P (S ) = 0, P (S ) + 0, P (S ) + 0, P (S ) P (S ) = 0, P (S ) + 0, P (S ) + 0, P (S ) P (S ) = 0, 6 P (S ) + 0, 6 P (S ) + 0, 8P (S ) = P (S ) + P (S ) + P (S ) 0, 9 P (S ) + 0, P (S ) + 0, P (S ) = 0 P (S ) + P (S ) = 9 P (S ) () 0, 6 P (S ) + 0, 6 P (S ) 0, P (S ) = 0 () P (S ) + P (S ) + P (S ) = () () in () 0 P (S ) = P (S ) = 0 in () und () 0, P (S ) + 0, P (S ) = 0, 09 () 0, 6 P (S ) 0, P (S ) = 0, 06 (5) 6 () (5) 0, 8P (S ) = 0, 6 P (S ) = 0, 75 in () P (S ) = 0, 5 8

9 d) Bedingte Entropie H(U N U N ): H(U N U N ) = P (a k, a l )logp (a k a l ) k= l= = P (a k S j )P (S j )logp (a k S j ) k= j= = (0, [0, log 0, + 0, log 0, + 0, 6 log 0, 6] +0, 5 [0, log 0, + 0, log 0, + 0, 6 log 0, 6] +0, 75 [0, log 0, + 0, log 0, + 0, 8 log 0, 8]) = 0, [, 9568] + 0, 5[, 9568] + 0, 75[0, 998] bit =, 055 Symbol e) Huffman-Code: für alle Zustände S, S, S ergibt sich der gleiche Code f) Mittlere Codewortlänge und Redundanz: u N P (u N ) Code a a 0 a 00 n = P (a k S j )P (S j ) n k k= j= = 0, [0, + 0, + 0, 6 ] +0, 5 [0, + 0, + 0, 6 ] +0, 75 [0, + 0, + 0, 8 ] bit =, 5 Symbol bit R = n H(U N U N ) = 0, 6885 Symbol g) Wahrscheinlichkeit für ANNA: 0, 0, 0, 0, = 0, 000 h) gesendeter Code:

10 Diese Musterlösung dient zum Selbststudium alter Klausuraufgaben. Es besteht keine Garantie auf Fehlerfreiheit oder Vollständigkeit. Aufgabe : Musterlösung a) siehe Skript S. 55 b) siehe Skript S. 55 c) siehe Skript S. 55 d) binär symmetrische Kanäle hintereinander geschaltet: P () = p( p) + ( p)p = ( p)p = p p e) n binär symmetrische Kanäle hintereinander geschaltet: P () = ( ( p) ) = (p) = p P (n + ) = P (n)( p) + ( P (n))p = ( ( p)n )( p) + [ ( ( p)n )]p = (( p) ( p)n ( p) + p p + ( p) n p) = (( p) ( p)n+ + p p) = ( ( p)n+ ) = P (n + ) 0

11 Diese Musterlösung dient zum Selbststudium alter Klausuraufgaben. Es besteht keine Garantie auf Fehlerfreiheit oder Vollständigkeit. Aufgabe : Musterlösung a) Verzerrungsmatrix j k b) Zuordnung zwischen Eingangs- und Ausgangsalphabet j k c) Minimale mittlere Verzerrung d min = 7. d) P (j = ) = 9 P (j = 0) = P (j = ) = P (j = ) = R(d min) =, 5997 bit Symbol H(U N ) =.65 bit Symbol e) d max =

12 Diese Musterlösung dient zum Selbststudium alter Klausuraufgaben. Es besteht keine Garantie auf Fehlerfreiheit oder Vollständigkeit. Aufgabe : Musterlösung a) Leistung P der Quelle P = B W b) Schnittpunkt S(f) und N(f) B = B W f + B W f = f = W Verzerrrung d d = 6 W B + B W = 6 [ B W = 6 [ B W = 6 + W ( W W ( W B W f + B)df B W f + B)df + ( B W ( W ) + B( B W )) ( B W + B W + B W 8 [ = 6B W ] = 0.75B W W ( W ) + B( ] W )) ] B W c) Rate-Distortion-Funktion R(d ) R(d ) = 6 = W W W 0 W 0 log S(f) Θ log B W f + B B df df

13 = W ln W 0 ln( f W + ) df = ln(z) ( W W ln )dz = ln(z) dz 8 ln = [( ln ) ( ln )] 8 ln = [ ( )] 8 ln = 8 ln [.5577] bit = Symbol