Übungsaufgaben zur Vorlesung Quellencodierung

Transkript

1 Übungsaufgaben zur Vorlesung Quellencodierung Aufgabe 1: Gegeben seien die Verbundwahrscheinlichkeiten zweier diskreter Zufallsvariablen x und y: P(x, y) x 1 = 1 x 2 = 2 x 3 = 3 y 1 = y 2 = y 3 = a) Berechne die Wahrscheinlichkeiten P(x), P(y), P(x y) und P(y x). b) Sind x und y unkorreliert, d.h. linear unabhängig? c) Sind x und y statistisch unabhängig? Aufgabe 2: Eine gedächtnislose Signalquelle möge die in der Tabelle aufgeführten Abtastwerte x k mit den angegebenen Wahrscheinlichkeiten als Symbolalphabet erzeugen. Die Abtastwerte werden durch einen Quadrierer mit der Kennlinie A bzw. B geschickt. Für beide Kennlinien sollen die Abtastwerte y k, ihre Wahrscheinlichkeiten P(y k ) und die Entropie H(Y) am Ausgang des Quadrierers berechnet werden. x k x 1 = 0 x 2 = 1 x 3 = 2 x 4 = 3 x 5 = 4 P(x k ) x A B y A: y x 2 B: y x für x 2.5 sonst Aufgabe 3: Für eine stationäre Quelle mit 4 Symbolen kennt man folgende Wahrscheinlichkeiten: a k P(a k ) P(u N u N 1 ) u N : a 1 a 2 a 3 a 4 a u N 1 : a a a a a a a a) Berechne die Verbundwahrscheinlichkeit P(u N, u N 1 ). b) Berechne die Entropie H(U), den Entscheidungsgehalt H 0 und die Redundanz R unter der Annahme einer gedächtnislosen Quelle. c) Berechne die bedingte Entropie H(U N U N 1 ). 1

2 Aufgabe 4: Eine stationäre, gedächtnislose Nachrichtenquelle sendet 4 Symbole mit den angegebenen Wahrscheinlichkeiten. a k a 1 a 2 a 3 a 4 P(a k ) a) Konstruiere einen binären Huffman Code für die Einzelsymbole und berechne seine mittlere Codewortlänge. b) Konstruiere einen binären Huffman Code für Symbolpaare (Blöcke aus 2 Symbolen) und berechne die mittlere Codewortlänge je Symbol. c) Berechne Entropie und Redundanz der Quelle und vergleiche die Ergebnisse mit a) und b). Berechne die Redundanz für die Codes a) und b). Aufgabe 5: Gegeben ist der dargestellte Markov Prozeß: a 1 ; a 2 ; a 1 ; 1 a 3 ; 0.35 a 2 ; 0.35 a 3 ; a) Man bestimme die Wahrscheinlichkeiten der Zustände P(S j ), der Symbole P(a k ) und die bedingten Wahrscheinlichkeiten P(a k a j ). b) Von wievielter Ordnung ist der Markov Prozeß? c) Berechne den Entscheidungsgehalt der Quelle H 0 und den mittleren Informationsgehalt eines Einzelsymbols H 1. Konstruiere einen Huffman Code für die Einzelsymbole und vergleiche die mittlere Codewortlänge mit H 0 und H 1. d) Berechne die Entropie der Quelle H Q. Konstruiere nun einen Huffman Code, der das Gedächtnis der Quelle optimal ausnutzt. Vergleiche die mittlere Codewortlänge n H mit H Q. e) In einem redundanzreduzierenden Blockcoder werden Blöcke von L aufeinanderfolgenden Symbolen gemeinsam codiert. Man gebe die untere Grenze für die mittlere Codewortlänge am Ausgang eines solchen Coders in Abhängigkeit von L, H 1 und H Q an (binäre Codierung: D=2). f) Wie groß muß L gewählt werden, damit die mittlere Codewortlänge pro Quellensymbol n B der Blockcodierung die Codewortlänge n H der Markov Quellen Codierung aus d) sicher unterschreitet? 2

3 Aufgabe 6: Zur digitalen Übertragung von Faksimilesignalen werden die Bildvorlagen, die die zwei Helligkeitsstufen weiß und schwarz aufweisen, zeilenweise abgetastet und in gleichbreite Bildpunkte aufgeteilt. Nach der Digitalisierung liegt eine zeit und wertdiskrete Nachrichtenquelle mit den Quellensymbolen s (schwarz) und w (weiß) vor. Es wird vorausgesetzt, daß die Wahrscheinlichkeit, ob ein Bildpunkt schwarz oder weiß ist, nur vom Helligkeitswert des vorangegangenen Bildpunktes abhängt. Es gelten folgende Verbundwahrscheinlichkeiten: P(u N, u N 1 ) u N = s w u N 1 = s w a) Stelle die Quelle in Form eines Markov Prozesses dar. Von wievielter Ordnung ist er? Berechne die Übergangswahrscheinlichkeiten P(u N s j ), die Wahrscheinlichkeiten der Zustände s j sowie der Symbole s und w. b) Bestimme die Entropie H M der Markov Quelle. Es soll nun eine Lauflängencodierung realisiert werden. Dabei werden die Bildpunktfolgen in Abschnitte aufeinanderfolgender Bildpunkte gleicher Helligkeit aufgeteilt und für jeden Abschnitt die Lauflänge in codierter Form übertragen. Es werden schwarze und weiße Lauflängen voneinander getrennnt behandelt. c) Bestimme die Wahrscheinlichkeiten für schwarze und weiße Lauflängen P s (l) bzw. P w (l) in Abhängigkeit der Lauflänge l. Wie groß sind die mittleren Lauflängen l s bzw. l w? d) Berechne die Entropie H L eines Bildpunktes dieser Lauflängencodierung und vergleiche das Ergebnis mit H M. Hinweis: i0 i0 q i 1 1 q mit q <1 i q i1 1 mit q <1 (1 q) 2 3

4 Aufgabe 7: Für eine gedächtnislose Binärquelle soll die Codierung mit fester Codewortlänge untersucht werden. Die Quelle sendet die Symbole a 1 und a 2 mit den Wahrscheinlichkeiten P(a 1 ) = 0.7 bzw. P(a 2 ) = 0.3. Die Codierung erfolgt binär, d.h. es gilt D = 2. a) Berechne für Blocklängen von L {1, 2,.., 85} die Wahrscheinlichkeit P(T), daß für einen Block kein Codewort zur Verfügung steht: P(T) P ld P(u 1,,u L ) L H(U) mit = 0.1. b) Beurteile die Praktibilität dieser Codierung. Aufgabe 8: Eine gedächtnislose Nachrichtenquelle sendet 4 Symbole mit den angegebenen Wahrscheinlichkeiten. Zur Quellencodierung wird eine arithmetische Codierung eingesetzt. a k a 1 a 2 a 3 a 4 P(a k ) a) Bestimme die Codeworte eines Elias Codes für Symbolpaare (Blockcodierung mit L=2). b) Berechne die mittleren Codewortlängen des Elias Codes und vergleiche die Ergebnisse mit einem entsprechenden Huffman Code (siehe Aufgabe 4b). Erläutere die Vor und Nachteile der verschiedenen Codierungsverfahren. Aufgabe 9: Eine gedächtnislose Nachrichtenquelle sendet 5 Symbole mit den angegebenen Wahrscheinlichkeiten. a k a 1 a 2 a 3 a 4 a 5 P(a k ) Die Quellensymbole werden zu Blöcken der Länge L=5 zusammengefaßt, mittels eines Elias Codes codiert und binär übertragen. Der Decoder empfängt folgendes Codewort: Welche Symbolfolge wurde gesendet? 4

5 Aufgabe 10: Eine Quelle mit unbekannter Statistik sendet die Zeichen a, b und c als Quellensymbole. Zur Quellencodierung wird der Algorithmus von Lempel Ziv Welch (LZW) eingesetzt. Die Quelle sendet folgende Symbolfolge: ababcabcabcaabcaa a) Codiere die Symbolfolge mit Hilfe des LZW Algorithmus. b) Decodiere die in a) codierte Folge von Tabellenindizes. Aufgabe 11: Eine gedächtnislose Quelle sendet zwei Symbole mit den Wahrscheinlichkeiten Q(0) und Q(1). Das Ausgangsalphabet des Quellencoders bestehe aus zwei Symbolen und es gelte ein Verzerrungsmaß d(k; j) k j k 0, 1 und j 0, 1 a) Berechne die minimale mittlere Verzerrung d * min und die zugehörige Übertragungsrate R(d * min). b) Berechne die maximale mittlere Verzerrung d * max. c) Berechne mit Hilfe des Lagrange schen Verfahrens die Rate Distortion Funktion R(d * ). Aufgabe 12: Eine gedächtnislose Quelle sendet 8 Symbole mit den angegebenen Wahrscheinlichkeiten aus. Für den nachfolgenden Quellencoder gelte folgendes Verzerrungsmaß: k: Q(k): d(k;j): j = /16 k = / / / / / / / a) Berechne die minimale mittlere Verzerrung d * min und vergleiche R(d* min) mit H(Q). b) Berechne die maximale mittlere Verzerrung d * max. 5

6 Aufgabe 13: Gegeben sei eine wertkontinuierliche, zeitdiskrete, gedächtnislose Quelle mit der Varianz 2 und einer mittelwertfreien Laplace schen Wahrscheinlichkeitsdichte p(u) 1 2 u e 2 a) Berechne die Entropie H(U) und für ein Verzerrungsmaß d(u; v) (v u) 2 die Rate Distortion Funktion R(d * ). b) Berechne für die gegebene Quelle die Repräsentativwerte x k und Entscheidungswerte d k eines 3 stufigen Max Quantisierers. c) Berechne die Wahrscheinlichkeiten P(x k ) und die Entropie H Max am Ausgang des Max Quantisiers. d) Berechne für 2 die Verzerrung D des Max Quantisierers sowie R(d * D) und skizziere die Rate Distortion Funktion R(d * ). e) Erzeuge eine Trainingsmenge mit T=1000 Trainingswerten mit einer Laplaceverteilung für 2. Entwerfe mit Hilfe des LBG Algorithmus je einen Quantisierer mit K=3 sowie K=10 Stufen und vergleiche die Ergebnisse mit c) und d). Aufgabe 14: Die spektrale Leistungsdichte einiger Quellen kann näherungsweise durch die nachfolgende Funktion beschrieben werden. S(f) A A f 0 f 2n für für f f 0 f f 0 a) Berechne die mittlere Leistung P und die mittlere Verzerrung d * E (u v) 2, wenn eine Bandbegrenzung auf W durchgeführt wird (W > f 0 ). b) Ermittle die obere Grenze der Rate Distortion Funktion in allgemeiner Form als Funktion des Verhältnisses P/d *. c) Ermittle die Rate Distortion Funktion für die beiden nachfolgend angegebenen Quellen: Bildquelle: n=1 f 0 = 15 khz W = 5 MHz Sprachquelle: n = 2 f 0 = 500 Hz W = 3400 Hz 6

7 Aufgabe 15: Es sollen die mittleren quadratischen Quantisierungsfehler verschiedener zweidimensionaler Vektorquantisierer verglichen werden. Dabei ist die Näherung nach Panter und Dite anzuwenden, d.h. es ist davon auszugehen, daß die Wahrscheinlichkeitsdichte innerhalb einer Quantisierungszelle konstant ist. a) b) c) a) Berechne den mittleren quadratischen Quantisierungsfehler E[q 2 ] eines gleichförmigen skalaren Quantisierers (Z 2 Lattice) mit der Zellgröße x. b) Berechne E[q 2 ] für ein D 2 Lattice mit der Zellgröße x. c) Berechne E[q 2 ] für ein hexagonales A 2 Lattice mit der Zellhöhe. Die Breite einer Quantisierungszelle ergibt sich dann zu 2. 3 Aufgabe 16: Gegeben seien die Werte der Autokorrelationsfunktion R xx (n) eines stationären, mittelwertfreien Signals x: R xx (n) 8 3, 2 3, 2 3, 1 3 a) Bestimme die optimalen Koeffizienten eines linearen Prädiktors 3. Ordnung. b) Berechne den minimalen mittleren quadratischen Prädiktionsfehler 2 e min. c) Berechne den maximalen Gewinn des linearen Prädiktors G LPmax in db mit: G LPmax 10 log 10 2 x 2 e min 7

8 Aufgabe 17: Gegeben sei wiederum das Signal x aus Aufgabe 16. a) Bestimme die Transformationsmatrix für eine Karhunen Loeve Transformation (KLT) 3. Ordnung. b) Berechne den mittleren quadratischen Fehler der Transformation 2 e, wenn nur die ersten beiden Koeffizienten des Ergebnisvektors übertragen werden. c) Berechne den maximalen Transformationsgewinn G KLT in db mit: G KLT 10 log 10 2 x m N 1 N m1 8