INSTITUT FÜR THEORETISCHE NACHRICHTENTECHNIK UND INFORMATIONSVERARBEITUNG UNIVERSITÄT HANNOVER Appelstraße 9A 07 Hannover Klausur zur Vorlesung Informationstheorie Datum: 0.0.00 Uhrzeit: 09:00 Uhr Zeitdauer: Stunden Hilfsmittel: ausgeteilte Formelsammlung, nicht-programmierbarer Taschenrechner Anzahl der Blätter: 9 (einschließlich Deckblatt und Formelsammlung) Name: Matrikelnummer: Aufgabe Summe Punkte Bewertung: Es können nur Ergebnisse und Aufgabenteile berücksichtigt werden, die nachvollziehbar bzw. begründet sind. Jedes abzugebende Blatt ist mit Namen und Matrikelnummer zu kennzeichnen. Bitte nicht mit Bleistift oder Rotstift schreiben!
Aufgabe : (6.0 Punkte) Eine Markov-Quelle mit den Zuständen S bis S und den Symbolen a = N a = A a = beliebiger anderer Buchstabe des Alphabets sei durch folgendes Zustandsdiagramm gegeben: a ;... S a ; 0, 6 a ; 0, a ; 0, 6 a ; 0, S a ; 0, S a ; 0, a ;... a ;... Abbildung : Zustandsdiagramm der Markov-Quelle mit Zuständen S j und den bedingten Symbolwahrscheinlichkeiten P (a k S j ) a) Welche Ordnung besitzt die Markov-Quelle? (Begründung!) (0.5) b) Ergänzen Sie die fehlenden Wahrscheinlichkeiten P (a k S j ). (0.5) c) Bestimmen Sie die Wahrscheinlichkeiten der Zustände S, S und S. (.0) d) Berechnen Sie die bedingte Entropie H(U N U,..., U N ). (.0) e) Entwerfen Sie einen binären Huffman-Code für jeden Zustand der Quelle. (.0)
f) Berechnen Sie die mittlere Codewortlänge und die Redundanz der Codierung. (0.75) g) Wie groß ist die Wahrscheinlichkeit für das Auftreten der Symbolfolge ANNA, wenn sich die Quelle im Zustand S befindet? (0.5) h) Welcher binäre Huffman-Code wird in diesem Fall gesendet? (0.75)
Aufgabe : (6.5 Punkte) Gegeben ist ein binärer symmetrischer Kanal mit der Fehlerwahrscheinlichkeit P () = p. U BSK U a = 0 p p p b = 0 a = p b = Abbildung : Binärer symmetrischer Kanal (BSK) a) Bestimmen Sie die Irrelevanz H(U U ) des BSK in Abhängigkeit von p. (.0) b) Bestimmen Sie die Kanalkapazität C = max P (u ) T (U ; U ) des BSK in Abhängigkeit von p. (.0) c) Für welche Fehlerwahrscheinlichkeit p wird die Kanalkapazität C maximal und für welche minimal? Skizzieren Sie den Verlauf von C über p in einem Diagramm. (.0) d) Es werden binär symmetrische Kanäle hintereinander geschaltet. Berechnen Sie die Fehlerwahrscheinlichkeit P() des resultierenden BSK. (.0) e) Es werden n binär symmetrische Kanäle hintereinander geschaltet. Beweisen Sie mittels vollständiger Induktion, dass der resultierende BSK folgende Fehlerwahrscheinlichkeit besitzt: P (n) = ( ( p)n ) (.5) Hinweis: Beweisprinzip der vollständigen Induktion A(n) ist eine von n N abhängige Aussage. Zeigt man:. A() ist richtig (Induktionsanfang);. unter der Voraussetzung, dass für einen beliebige natürliche Zahl n die Aussage A(n) richtig ist, ist auch A(n + ) richtig (Induktionsschritt); dann ist A(n) für alle n richtig.
Aufgabe : (7.0 Punkte) Gegeben ist eine diskrete gedächtnislose Quelle mit den Quellensymbolen k und der Wahrscheinlichkeit der Quellensymbole Q(k). k - - - 0 Q(k) Der Quellencoder enthält einen Begrenzer, der das Quellensignal auf [ ; ] begrenzt. Als Verzerrungsmass gilt: { 0 für k = j d(k; j) = für k j a) Stellen Sie die Verzerrungsmatrix auf. (0.5) b) Geben Sie die Zuordnung zwischen Eingangs- und Ausgangsalphabet an, die auf eine minimale mittlere Verzerrung d min führt. (0.5) c) Berechnen Sie die minimale mittlere Verzerrung d min. (.0) d) Bestimmen Sie die Wahrscheinlichkeiten P (j) bei minimaler mittlerer Verzerrung und berechnen Sie die Rate-Distortion-Funktion R(d min). (.0) e) Vergleichen Sie R(d min) mit der Entropie der unverzerrten Quelle. Erläutern Sie das Ergebnis. (.0) f) Berechnen Sie die maximale mittlere Verzerrung d max. (.5) g) Zeichnen Sie alle errechneten Größen in Abbildung ein. Skizzieren Sie den prinzipiellen Verlauf der Rate-Distortion-Funktion R(d ) in Abbildung. (0.5) h) Wie ändert sich der Verlauf der Rate-Distortion-Funktion, wenn das Quellensignal wie folgt modifiziert wird? (Begründung - keine Rechnung!) (.0) k - - - - 0 Q(k) 5
R(d*).0.0.0.0 0.0 0.5 0.5 0.75.0.5 d* Abbildung : Rate-Distortion-Funktion R(d ) 6
Aufgabe : (5.5 Punkte) Gegeben ist eine stationäre, gedächtnisbehaftete Gaußsche Quelle mit dem bandbegrenzten Leistungsdichtespektrum aus Abbildung. S(f) B f W Abbildung : Leistungsdichtespektrum S(f) der Quelle Eine Amplitutenquantisierung verursacht ein konstantes Rauschleistungsdichtespektrum: N(f) = Θ = B a) Bestimmen Sie die Leistung P der Quelle in Abhängigkeit von B und W (.0) b) Berechnen Sie die durch N(f) verursachte Verzerrung d in Abhängigkeit von B und W. (.0) c) Berechnen Sie den Wert der Rate-Distortion-Funktion R(d ) für dieses Rauschleistungsdichtespektrum. (.5) Hinweis: ln z dz = z ln z z für z > 0 7
Diese Musterlösung dient zum Selbststudium alter Klausuraufgaben. Es besteht keine Garantie auf Fehlerfreiheit oder Vollständigkeit. Aufgabe : Musterlösung a). Ordnung b) P (a S ) = 0,, P (a S ) = 0,, P (a S ) = 0, 8 c) Wahrscheinlichkeit der Zustände: P (S j ) = P (a k S l )P (S l ) l= k= P (S j ) = j= P (S ) = 0, P (S ) + 0, P (S ) + 0, P (S ) P (S ) = 0, P (S ) + 0, P (S ) + 0, P (S ) P (S ) = 0, 6 P (S ) + 0, 6 P (S ) + 0, 8P (S ) = P (S ) + P (S ) + P (S ) 0, 9 P (S ) + 0, P (S ) + 0, P (S ) = 0 P (S ) + P (S ) = 9 P (S ) () 0, 6 P (S ) + 0, 6 P (S ) 0, P (S ) = 0 () P (S ) + P (S ) + P (S ) = () () in () 0 P (S ) = P (S ) = 0 in () und () 0, P (S ) + 0, P (S ) = 0, 09 () 0, 6 P (S ) 0, P (S ) = 0, 06 (5) 6 () (5) 0, 8P (S ) = 0, 6 P (S ) = 0, 75 in () P (S ) = 0, 5 8
d) Bedingte Entropie H(U N U N ): H(U N U N ) = P (a k, a l )logp (a k a l ) k= l= = P (a k S j )P (S j )logp (a k S j ) k= j= = (0, [0, log 0, + 0, log 0, + 0, 6 log 0, 6] +0, 5 [0, log 0, + 0, log 0, + 0, 6 log 0, 6] +0, 75 [0, log 0, + 0, log 0, + 0, 8 log 0, 8]) = 0, [, 9568] + 0, 5[, 9568] + 0, 75[0, 998] bit =, 055 Symbol e) Huffman-Code: für alle Zustände S, S, S ergibt sich der gleiche Code f) Mittlere Codewortlänge und Redundanz: u N P (u N ) Code a a 0 a 00 n = P (a k S j )P (S j ) n k k= j= = 0, [0, + 0, + 0, 6 ] +0, 5 [0, + 0, + 0, 6 ] +0, 75 [0, + 0, + 0, 8 ] bit =, 5 Symbol bit R = n H(U N U N ) = 0, 6885 Symbol g) Wahrscheinlichkeit für ANNA: 0, 0, 0, 0, = 0, 000 h) gesendeter Code: 0 00 00 0 9
Diese Musterlösung dient zum Selbststudium alter Klausuraufgaben. Es besteht keine Garantie auf Fehlerfreiheit oder Vollständigkeit. Aufgabe : Musterlösung a) siehe Skript S. 55 b) siehe Skript S. 55 c) siehe Skript S. 55 d) binär symmetrische Kanäle hintereinander geschaltet: P () = p( p) + ( p)p = ( p)p = p p e) n binär symmetrische Kanäle hintereinander geschaltet: P () = ( ( p) ) = (p) = p P (n + ) = P (n)( p) + ( P (n))p = ( ( p)n )( p) + [ ( ( p)n )]p = (( p) ( p)n ( p) + p p + ( p) n p) = (( p) ( p)n+ + p p) = ( ( p)n+ ) = P (n + ) 0
Diese Musterlösung dient zum Selbststudium alter Klausuraufgaben. Es besteht keine Garantie auf Fehlerfreiheit oder Vollständigkeit. Aufgabe : Musterlösung a) Verzerrungsmatrix j - 0 - - - 0 k 0 0 0 0 b) Zuordnung zwischen Eingangs- und Ausgangsalphabet j - 0-0 0 0-0 0 0-0 0 0 k 0 0 0 0 0 0 0 0 0 0 0 0 0 c) Minimale mittlere Verzerrung d min = 7. d) P (j = ) = 9 P (j = 0) = P (j = ) = P (j = ) = R(d min) =, 5997 bit Symbol H(U N ) =.65 bit Symbol e) d max =
Diese Musterlösung dient zum Selbststudium alter Klausuraufgaben. Es besteht keine Garantie auf Fehlerfreiheit oder Vollständigkeit. Aufgabe : Musterlösung a) Leistung P der Quelle P = B W b) Schnittpunkt S(f) und N(f) B = B W f + B W f = f = W Verzerrrung d d = 6 W B + B W = 6 [ B W = 6 [ B W = 6 + W ( W W ( W B W f + B)df B W f + B)df + ( B W ( W ) + B( B W )) ( B W + B W + B W 8 [ = 6B W 8 + + ] = 0.75B W W ( W ) + B( ] W )) ] B W c) Rate-Distortion-Funktion R(d ) R(d ) = 6 = W W W 0 W 0 log S(f) Θ log B W f + B B df df
= W ln W 0 ln( f W + ) df = ln(z) ( W W ln )dz = ln(z) dz 8 ln = [( ln ) ( ln )] 8 ln = [ (5.5577 )] 8 ln = 8 ln [.5577] bit = 0.58989 Symbol