AUFGABEN ZUR INFORMATIONSTHEORIE

Transkript

1 AUFGABEN ZUR INFORMATIONSTHEORIE Aufgabe Wr betrachten das folgende Zufallsexperment: Ene fare Münze wrd so lange geworfen, bs erstmals Kopf erschent. De Zufallsvarable X bezechne de Anzahl der dazu notwendgen Versuche. Wrd bespelswese schon m ersten Versuch Kopf geworfen, so glt X =, werden zwe Würfe benötgt, X = 2, usw. a) Ergänzen Se de untenstehende Tabelle mt den entsprechenden Wahrschenlchketen P(X). X P(X) b) Leten Se enen allgemenen Ausdruck für P(X=x) her. c) Bestmmen Se de Entrope H(X) des Zufallsexperments n bt. d) Fnden Se ene effzente Folge von Ja-Nen Fragen zur Ermttlung des Werts der Zufallsvarable X. Wevele Fragen müssen m Mttel gestellt werden. Verglechen Se dese Grösse mt der Entrope H(X). De folgenden Bezehungen könnten sch als nützlch erwesen: n r = n= r r n r = ( r) n= n r 2 Prof. Dr. M. Hufschmd /6

2 Aufgabe 2 Ene Nachrchtenquelle generert de ver Symbole A, B, C und D mt den Wahrschenlchketen P(A) = 0.8, P(B) = 0., P(C) = 0.08 und P(D) = a) We gross st de Entrope der Quelle? We gross wäre de Entrope der Quelle, falls alle Zechen mt glecher Wahrschenlchket auftreten würden? b) Entwerfen Se für dese Quelle enen Huffman-Code. We gross st de mttlere Codewortlänge? c) Zwe aufenanderfolgende Symbole werden n ener Symbolkette zusammengefasst und gemensam codert. Verfzeren Se, dass de Entrope der Symbolkette gerade dopppelt so gross st we dejenge enes Enzelsymbols. Entwerfen Se enen Huffmann-Code für de 6 möglchen Symbolpaare. We gross st n desem Fall de mttlere Codewortlänge pro Symbol? Aufgabe 3 Ene zwewertge Symbolquelle mt den Wahrschenlchketen P = 0.9 und P2 = 0. soll so codert werden, dass m Mttel maxmal 0.8 bt/symbol verwendet werden müssen. a) Wevele Symbole müssen glechzetg codert werden, damt des garantert werden kann? b) Entwerfen Se enen Code, der de Anforderungen erfüllt. We gross st dessen durchschnttlche Codewortlänge pro Symbol? Verglechen Se des mt der Entrope der Quelle. Aufgabe 4 Informaton soll mt der Rate R C über enen Gauss'schen Kanal (Bandbrete B, Rauschlestungsdchte η) übertragen werden. De dazu pro bt benötgte Energe bezechnen wr mt Eb. a) We st der Zusammenhang zwschen der Nutzsgnallestung PS und der Energe pro bt Eb? b) Welche Energe pro bt wrd mnmal benötgt, damt ene fehlerfree Übertragung möglch st? We gross st zu desem Zweck de Rate R zu wählen? c) Das Verhältns Eb/η wrd als Sgnal- zu Rauschverhältns pro bt bezechnet. We gross muss deses be enem ncht bandbegrenzten Kanal (B ) mndestens sen, damt ene fehlerfree Übertragung möglch st? De thermsche Rauschlestung PN, de en belebger Wderstand abgeben kann, st gegeben durch P = η N B = k T B. Darn snd k = J/K de Boltzmannkonstante, T de absolute Temperatur und B de Bandbrete. d) Welche Energe benötgen Se mnmal, um be Zmmertemperatur (T = 293 K) de Informatonsmenge bt über enen ncht bandbegrenzten, Gauss'schen Kanal zu übertragen? De folgende Bezehung könnte sch als nützlch erwesen: Prof. Dr. M. Hufschmd 2/6

3 x 2 lm = ln( 2 ) x 0 x Aufgabe 5 a) Zegen Se, dass für alle x > 0 glt: log2(x) (x - )/ln(2). Tpp: Zechnen Se de Kurven graphsch auf und denken Se daran, dass log2(x) = ln(x)/ln(2). b) Verwenden Se de obge Bezehung, um zu zegen, dass für de Entrope ener Quelle mt L möglchen Symbolen mmer glt: Tpp: Zegen Se, dass klener oder glech Null st. H log2(l) H log ( L) = P( u ) log L L = P( u ) log = log ( L) P( u ) = c) Unter welchen Voraussetzung glt H = log2(l)? log ( L) P( u ) 2 2 Aufgabe 6 Wr betrachten ene Quelle, de aus enem Symbolvorrat von jewels 9 Symbolen auswählt, deren Auftrttswahrschenlchketen P(u) n der folgenden Tabelle angeben snd: P(u) Q = P( u j ) j= L( u ) = log 2 De ersten L(u) Nachkommastellen ener P( u ) Bnärdarstellung von Q De n der obgen Tabelle angegebenen Werte Q snd de aufsummerten Auftrttswahrschenlchketen Prof. Dr. M. Hufschmd 3/6

4 Q = P( u j ). j= Berechnen Se zunächst de Codewortlängen L(u) = log2(/p(u)) und tragen Se dese n de Tabelle en. Danach ermtteln Se de Bnärdarstellung der aufsummerten Wahrschenlchket Q, wobe de Bnärdarstellung jewels nach L(u) Zffern abgebrochen wrd. Bespel: hat de Bnärdarstellung Q2 = 0.22 = de nach der 3. Stelle abgebrochen und n de Tabelle engetragen wrd. a) Vervollständgen Se de Tabelle. b) De Nachkommastellen der Bnärdarstellung werden als Code betrachtet. Erfüllt der derart konstruerte Code de Präfxbedngung? c) Zechnen Se den Bnärbaum des Codes auf und bestmmen Se de mttlere Codewortlänge. We verglecht sch dese mt der Entrope der Quelle? d) Konstrueren Se für de gleche Quelle enen Huffman Code. Aufgabe 7 Ene Nachrchtenquelle hat enen Symbolvorrat von 3 Symbolen (A,B,C) mt den folgenden Auftrttswahrschenlchketen: P(A) = 0.7, P(B) = 0.2, P(C) = 0. a) Enzelne Ausgangssymbole werden optmal n bnäre, präfxfree Zechenfolgen codert. Welche Aussage können Se über de durchschnttlche Anzahl bnärer Zffern pro Symbol machen? b) Nun werden jewels 5 Symbole n ene bnäre, präfxfree Zechenfolge codert. We lautet n desem Fall de Aussage über de durchschnttlche Anzahl bnärer Zffern pro Symbol? c) Konstrueren Se enen optmalen Code, der jewels zwe Symbole der Nachrchtenquelle n ene bnäre, präfxfree Zechenfolge codert. We gross st de durchschnttlche Codewortlänge pro Symbol? d) Ist der n c) konstruerte Code endeutg? Aufgabe 8 Gegeben se ene Informatonsquelle, welche de sechs Symbole A, B, C, D, E und F mt den Wahrschenlchketen erzeugt. P(A) = 0.3, P(B) = 0.24 P(C) = 0.2, P(D) = 0.5 P(E) = 0.07, P(F) = 0.04 a) Berechnen Se de Entrope der Informatonsquelle. Prof. Dr. M. Hufschmd 4/6

5 b) Konstrueren Se für de gegebene Quelle enen bnären präfxfreen Code mt optmaler mttlerer Codewortlänge. Geben Se desen n Tabellenform an. We gross st dessen mttlere Codewortlänge? c) De Symbole der Informatonsquelle sollen mt Hlfe des unter b) konstruerten Codes über enen Telefonekanal mt ener Bandbrete von 3. khz und enem Sgnal-zu-Rauschverhältns von 30 db übertragen werden. Welche Symbolrate (n Symbolen pro Sekunde) kann be fehlerfreer Übertragung auch mt belebg hohem Aufwand ncht überschrtten werden? Tp: Falls Se se Telaufgabe b) ncht lösen konnten, nehmen Se enen mttlere Codewortlänge von E[W] = 2.45 an. d) Jewels dre Symbole der Informatonsquelle werden nun mt enem optmalen, präfxfreen Code n en bnäres Codewort codert. Welche Aussage können Se über de mttlere Codewortlänge pro Symbol machen? e) De Symbole der Informatonsquelle sollen mt ener Symbolrate von r = 20'000 Symbolen/s über enen ncht bandbegrenzten AWGN-Kanal mt ener Rauschlestungsdchte von η = 30µW/Hz übertragen werden. Zu desem Zweck werden jewels sehr vele Symbole n en enzges bnäres Codewort codert. Welche mnmale Sgnallestung wrd dazu benötgt? Aufgabe 9 En Gerät zur automatschen Bldauswertung unterschedet nur de Zustände Schwarz und Wess. Auf den verwendeten Bldern treten de Zustände mt den Wahrschenlchketen P(Schwarz) = 0.2 und P(Wess) = 0.8 auf. a) Führen Se ene Huffman-Coderung unter der Voraussetzung durch, dass jewels 2 Bldpunkte zu enem Symbol zusammengefasst werden! Zechnen Se den entsprechenden Codebaum und geben Se de Codetabelle an. b) We gross st de mttlere Codewortlänge pro Symbol? Aufgabe 0 Se wollen Daten über enen bandbegrenzten AWGN-Kanal übertragen. De Bandbrete beträgt B = 3. khz, das Sgnal-zu-Rauschverhältns st 40 db. De zu übertragenden Symbole stammen aus ener Nachrchtenquelle mt ener Entrope von H =.76 bt/symbol. a) De spektrale Lestungsdchte des Rauschens beträgt η = 3 nw/hz. We gross st de Sgnallestung? b) Berechnen Se de Kapaztät des gegebenen Kanals. c) De enzelnen Symbole werden mt enem optmalen, bnären, präfxfreen Code codert. Wevele Symbole können Se (be belebg hohem Aufwand) pro Sekunde mnmal über den gegebenen Kanal übertragen? Anders gefragt: Welche Symbolrate können Se mt den vorhandenen Angaben garanteren? d) We kann de Symbolrate verbessert werden und welche maxmale Symbolrate kann damt errecht werden? e) Um welchen Faktor ändert sch de Kanalkapaztät, wenn de Bandbrete verdoppelt wrd, de Sgnallestung jedoch glech blebt? Prof. Dr. M. Hufschmd 5/6

6 Aufgabe Bestmmen Se den Wahrhetsgehalt der nachfolgenden Aussagen (Falsch gesetzte Kreuze führen zu enem Punkteabzug!) Voraussetzung: De Sgnallestung soll endlch bleben! Über enen Kanal mt der Bandbrete 3.4 khz können grundsätzlch maxmal 6.8 kbts/s übertragen werden. Über enen verrauschten Kanal mt unendlcher Bandbrete können belebg vele bts/s übertragen werden. Über enen rauschfreen Kanal mt endlcher Bandbrete können belebg vele bts/s übertragen werden. Wahr Falsch Aufgabe 2 Tpp: De Telaufgaben d) und e) können ohne de Resultate der vorhergehenden Telaufgaben gelöst werden. Se sollen enen bnären präfxfreen Code für 5 Symbole entwerfen. De Codewortlängen für de ersten ver Symbole snd mt w =, w2 = 2, w3 = 4 und w4 = 4 vorgegeben. a) We gross wählen Se de Länge w5 des fünften Codeworts, damt de durchschnttlche Codewortlänge möglchst klen wrd (nkl. Begründung)? b) Geben Se enen bnären präfxfreen Code mt den vorgegebenen Codewortlängen an. De Auftretenswahrschenlchketen für de fünf Symbole snd nun we folgt gegeben: P(u) = 0.3, P(u2) = 0.3, P(u3) = 0., P(u4) = 0., P(u5) = 0.2. c) We gross st de durchschnttlche Codewortlänge des unter b) konstruerten Codes? d) Konstrueren Se nun für de Symbolquelle enen Huffmann-Code. We gross st nun de durchschnttlche Codewortlänge? e) Um we vele Prozent kann de durchschnttlche Codewortlänge pro Symbol noch verbessert werden und we müsste man dazu vorgehen? Aufgabe 3 a) Welche der nachfolgenden Codes snd scher kene Huffman-Codes (ganz glech we de Auftretenswahrschenlchketen vertelt snd)? Mt Begründung! () {0, 0, } () {00, 0, 0, 0} () {0, 0} Prof. Dr. M. Hufschmd 6/6

7 Aufgabe 4 Wr betrachten ene Informatonsquelle, deren 5 möglche Symbole de folgenden Auftretenswahrschenlchketen P(u) aufwesen: u A B C D E P(u) /2 /6 /6 /8 /24 Bem so genannten Shannon-Code werden de Codewortlängen gemäss der folgenden Bezehung gewählt: w = log 2 P( u ) a) Zegen Se, dass mt desen Codewortlängen en bnärer, präfxfreer Code für de gegebene Quelle gebldet werden kann. b) Berechnen Se de durchschnttlche Codewortlänge deses Codes. c) Konstrueren Se für de gegebene Quelle zwe bnäre präfxfree Codes mt optmaler mttlerer Codewortlänge. De beden Codes sollen unterschedlche Mengen von Codewortlängen aufwesen. d) Welches snd de durchschnttlchen Codewortlängen der beden unter c) konstruerten Codes? e) Überprüfen Se den Wahrhetsgehalt der folgenden Aussage: De Codewortlängen enes optmalen bnären präfxfreen Codes snd für alle Symbole mmer klener glech der Codewortlängen enes Shannon-Codes. Begründen Se Ihre Antwort. Unter Umständen st man ncht daran nteressert, enen Code mt möglchst klener mttlerer Codewortlänge zu konstrueren. Es st bespelswese denkbar, dass das Symbol E (obwohl es nur relatv selten auftrtt) ene hohe Prortät hat und deshalb enem kurzen Codewort zugeordnet werden sollte. Um des zu berückschtgen werden für jedes Symbol u unterschedlche Kosten pro Bt c defnert. De Kosten für de Übertragung enes Symbols ergeben sch aus dem Produkt der Codewortlänge w mt den Kosten pro Bt c. Es soll nun en Code mt möglchst klenen durchschnttlchen Kosten konstruert werden. E [ c w ] = 5 = P( u ) c w u A B C D E P(u) /2 /6 /6 /8 /24 c f) Konstrueren Se für de gegebene Quelle enen bnären präfxfreen Code mt mnmalen durchschnttlchen Kosten. We gross snd de durchschnttlchen Kosten für de Übertragung enes Symbols? Prof. Dr. M. Hufschmd 7/6

8 Aufgabe 5 Be enem faren Würfel st ene Fläche mt enem roten Punkt (rt), de anderen fünf Flächen snd mt schwarzen Punkten (sz) gekennzechnet. Der Würfel wrd so lange geworfen, bs de rote Fläche erschent, jedoch höchstens n = 4 mal. Damt ergeben sch de n der nachfolgenden Tabelle angegebenen Eregnsse. U Farbfolge P(u ) u u2 u3 u4 u5 rt sz, rt sz, sz, rt sz,sz,sz,rt sz, sz, sz, sz a) Berechnen Se zu jedem der fünf möglchen Eregnsse de dazugehörge Auftretenswahrschenlchket und tragen Se dese n de Tabelle en. b) Berechnen Se de Entrope deses Zufallsexperments. c) Konstrueren Se nun enen bnären, präfxfreen Code zur Darstellung des Eregns mt optmaler durchschnttlcher Codewortlänge und geben Se hn n Tabellenform an. d) We gross st de durchschnttlche Codewortlänge des unter c) konstruerten Codes? e) De Eregnsse sollen mt dem unter c) konstruerten Code über enen bandbegrenzten AWGN-Kanal mt der Bandbrete B = 300 Hz übertragen werden. We gross muss das Sgnal-zu-Rauschverhältns n Dezbel mndestens sen, damt R = 0 4 Eregnsse pro Sekunde mt belebg klener Fehlerwahrschenlchket übertragen werden können? f) Durch welche Massnahme kann de durchschnttlche Codewortlänge pro Eregns noch verbessert werden? Um we vele Dezbel kann dadurch de Anforderung an das Sgnal-zu- Rauschverhältns gemldert werden? Das Experment wrd nun derart modfzert, dass mmer das Auftreten der roten Fläche abgewartet wrd, also n. g) Geben Se enen allgemenen Ausdruck für de Wahrschenlchket P(u) an, dass de rote Fläche m -ten Wurf erschent. h) Berechnen Se nun de Entrope des Zufallsexperments. Tpps: = = α ( ) α = α = α ( α ) 2 Prof. Dr. M. Hufschmd 8/6

9 Aufgabe 6 Ene Quelle gbt zufällg zwe Symbole X und Y aus. Das Symbol X stammt aus der Menge {a, b, c, d}, das Symbol Y aus der Menge {α, β, γ}. De Wahrschenlchket P(X = x, Y = y) für en belebges Eregns (X = x, Y = y) st durch de nachfolgende Tabelle gegeben: a b c d α β γ De Wahrschenlchket für das Eregns (X = a, Y = α) beträgt also bespelswese 6%. a) Vorerst betrachten wr jede Kombnaton (X = x, Y = y) der beden Symbole als en Ergebns. Das Zufallsexperment kann also 2 möglche Ergebnsse lefern (wobe enes, nämlch (c, β), de Wahrschenlchket 0 bestzt). Berechnen Se nun de Entrope deser Quelle. H(X,Y) b) Konstrueren Se für dese Quelle enen Huffman-Code. Welche durchschnttlche Codewortlänge west deser Code auf? Tpp: Beachten Se, dass für das Eregns (c, β) ken Codewort notwendg st, da es ne auftrtt. Prof. Dr. M. Hufschmd 9/6

10 c) Wenn wr nur das Symbol Y betrachten, mt welcher Wahrschenlchket P(Y = α) trtt dann der Wert Y = α auf? Berechnen Se ebenfalls de Wahrschenlchketen P(Y = β) und P(Y = γ). d) Berechnen Se de Entrope H(Y) der Zufallsvarablen Y. e) De Beobachtung des Symbols Y habe de Erkenntns Y = α gelefert. In desem Fall st nur noch das Symbol X zufällg und kann ver möglche Werte annehmen. Welche Wahrschenlchket P(X = a Y = α) bestzt das Eregns X = a, falls Y = α gegeben st? Berechnen Se ebenfalls P(X = b Y = α), P(X = c Y = α) und P(X = b Y = α). f) Unter der Voraussetzung, dass Y = α bekannt st, st nur noch das Symbol X ungewss. Das Zufallsexperment kann also ver möglche Ergebnsse lefern, deren Wahrschenlchketen n e) berechnet wurden. Berechnen Se n desem Fall de Ungewsshet (Entrope) H(X Y = α) über den Wert des Symbols X. Aufgabe 7 In der deutschen Sprache kommen de Buchstaben E, N, I, S, R, A und T mt den folgenden Wahrschenlchketen vor: Buchstabe Wahrschenlchket E 0.74 N I S R A T Alle anderen Buchstaben sollen mt dem Symbol Λ dargestellt werden. a) Mt welcher Wahrschenlchket trtt das Symbol Λ auf? b) Berechnen Se de Entrope H deser Informatonsquelle. c) Bestmmen Se für dese Quelle enen bnären, präfxfreen Code mt mnmaler durchschnttlcher Codewortlänge. Geben Se den Code n Tabellenform an. d) We vele Bts werden durchschnttlch zur Coderung enes Symbols benötgt? Prof. Dr. M. Hufschmd 0/6

11 Aufgabe 8 De Beobachtung ener Nachrchtenquelle hat ergeben, dass dese de dre Symbole A, B und C mt den Wahrschenlchketen P(A) = 4/9, P(B) = 3/9 und P(C) = 2/9 ausgbt. a) Berechnen Se de Entrope deser Quelle. b) Erstellen Se für dese Quelle enen Huffman-Code, wenn jewels zwe aufenanderfolgende Symbole n en bnäres Codewort abgebldet werden. c) We gross st de durchschnttlche Anzahl bnärer Zffern pro Symbol? De genauere Beobachtung der glechen Quelle ergbt, dass de Wahrschenlchket für das Symbol Xn vom vorhergehenden Symbol Xn- abhängt. (De Quelle verfügt also über en Gedächtns von enem Symbol). De entsprechenden Übergangswahrschenlchketen snd n der nachfolgenden Tabelle angegeben: P(Xn = A Xn- = A) =/2 P(Xn = B Xn- = A) = /4 P(Xn = C Xn- = A) = /4 P(Xn = A Xn- = B) = /3 P(Xn = B Xn- = B) = /3 P(Xn = C Xn- = B) = /3 P(Xn = A Xn- = C) = /2 P(Xn = B Xn- = C) = /2 P(Xn = C Xn- = C) = 0 d) Geben Se für de neun möglchen Symbolpaare (AA, AB,..., CC) jewels deren Auftretenswahrschenlchket an. e) Berechnen Se de Entrope H(Xn,Xn-), d.h. de Ungewsshet über zwe aufenanderfolgende Symbole. f) Erstellen Se für dese Quelle mt Gedächtns enen Huffman-Code, wenn jewels zwe aufenanderfolgende Symbole n en bnäres Codewort abgebldet werden. g) We gross st de durchschnttlche Anzahl bnärer Zffern pro Symbol? h) Berechnen Se de Entrope H(Xn Xn- = A) des Symbols Xn, falls bekannt st, dass das vorhergehende Symbol Xn- = A war. ) Berechnen Se de Entrope H(Xn Xn- = B). j) Berechnen Se de Entrope H(Xn Xn- = C). k) Berechnen Se de sogenannte Entroperate H(Xn Xn-). Tpp: P x, y) = P ( x) P ( y ) X, Y ( X Y X x Prof. Dr. M. Hufschmd /6

12 Aufgabe 9 X und X2 snd vonenander unabhängge, bnäre Zufallswerte, welche de Werte 0 und mt der Wahrschenlchket ½ annehmen. Z Z, Z2 und Z3 snd vonenander unabhängge, bnäre Zufallswerte, welche den Wert mt der Wahrschenlchket p annehmen. a) Geben Se de Wahrschenlchketen für de n der nachfolgenden Tabelle angegebenen Eregnsse an. Eregns Wahrschenlchket X X 2 Z 2 Y Y 2 Y = 0 Z 3 Y = X 3 (X, X2) = (0, 0) Y 3 (X, X2) = (0, ) (X, X2) = (, 0) (X, X2) = (, ) Y3 = 0 Y3 = b) Berechnen Se de Entropen H(Y), H(Y3), H(X, X2), H(X, X2, X3) und H(Y, Y2). c) Berechnen Se de bedngte Entrope H(Y X). Geben Se das Resultat n Funkton der bnären Entropefunkton h(p) an. d) Berechnen Se de bedngte Entrope H(Y, Y2 X, X2). Geben Se das Resultat n Funkton der bnären Entropefunkton h(p) an. e) Berechnen Se de Transnformaton I(X,X2;Y,Y2). Aufgabe 20 Am Ausgang ener Informatonsquelle wrd das Wort MISSISSIPPISHIP beobachtet. Wr gehen davon aus, dass dese Beobachtung für de Quelle typsch st, d.h. de relatve Häufgket der Buchstaben entsprcht der Wahrschenlchket. a) Geben Se an, mt welcher Wahrschenlchket (egentlch relatver Häufgket) jeder Buchstabe auftrtt. b) Konstrueren Se enen bnären, präfxfreen Code, mt dem das Wort MISSISSIPPISHIP möglchst effzent codert werden kann. c) We vele bnäre Zffern werden m Durchschntt gebraucht, um enen Buchstaben der Quelle zu coderen? d) We gross st de Entrope der Quelle? Prof. Dr. M. Hufschmd 2/6

13 Aufgabe 2 In enem Haufen von n = 6 Münzen snd n = 5 Münzen far. Ene Münze st so geznkt, dass se mmer Kopf zegt. Das Zufallsexperment läuft we folgt ab:. Ene Münze wrd zufällg ausgewählt. 2. Dese Münze wrd dann k = 3 mal hnterenander geworfen. Dabe wrd de Anzahl Würfe, de Kopf zegen, notert. Wr defneren de folgenden Zufallsvarablen: 0 De gewählte Münze st far X = De gewählte Münze st geznkt Y : Anzahl Würfe, de Kopf zegen. a) We gross snd de Wahrschenlchketen P(X = 0) und P(X = )? b) We gross st de Ungewsshet H(X) darüber, ob de gewählte Münze far st? c) Berechnen Se für y = 0,, 2, 3 de Wahrschenlchketen P(Y = y X = 0) und P(Y = y X = ). d) We gross snd de Wahrschenlchketen P(Y = 3) und P(X = 0 Y = 3)? e) We gross st de Entrope H(X Y)? f) We gross st de Transnformaton I(X;Y)? Tpps: P(Y = y) = P(X = 0) P(Y = y X = 0) + P(X = ) P(Y = y X = ) P(X = x) P(Y = y X = x) P(X = x Y = y) = P(Y = y) Prof. Dr. M. Hufschmd 3/6

14 Aufgabe 22 Das folgende Glücksrad wrd verwendet, um zufällg de Zahlen, 2, 3, 4, und 5 zu wählen. Der Wnkel Φ gbt an, n welcher Poston das Glücksrad stehen gebleben st. Es darf zunächst angenommen werden, dass das Glücksrad deal arbetet, d.h. jede Stellung (jedes Φ) st glech wahrschenlch. a) Konstrueren Se enen Huffman-Code um das Ergebns des Glücksrades zu coderen und noteren Se für jedes Feld das Codewort. b) We gross st de durchschnttlche Codewortlänge? Durch enen Konstruktonsfehler st das Glücksrad ncht genau symmetrsch, weshalb ncht mehr alle Wnkel Φ glech wahrschenlch snd. De Wahrschenlchketsdchte st velmehr durch de Formel gegeben. ( ) ( ) ( + cos ϕ ) 0 ϕ < 2 π pφ ϕ = 2 π 0 sonst c) Bestmmen Se für jedes Feld de Wahrschenlchket, dass es getroffen wrd. d) Konstrueren Se wederum enen Huffman Code und noteren Se de Codeworte. e) Es werden jewels 000 Zehungen durchgeführt. Das Resultat aller 000 Zehungen soll mt möglchst wengen Bts n enem Codewort codert werden. We gross st de durchschnttlche Anzahl Bts, de Se dafür be optmaler Coderung übertragen müssen, höchstens? Aufgabe 23 De 2006 möglchen Symbole ener gedächtnslosen Quelle erschenen alle mt der glechen Wahrschenlchket am Ausgang. a) Gbt es für dese Quelle enen bnären, präfxfreen Code mt ener mttleren Codewortlänge von E[W] < 0.5? b) Gbt es für dese Quelle enen bnären, präfxfreen Code mt 42 Codeworten der Länge 0 und 964 Codeworten der Länge? Prof. Dr. M. Hufschmd 4/6

15 Aufgabe 24 Für en enfaches Muskprogramm sollen Noten möglchst platzsparend abgelegt werden. Ene Melode kann her aus den Tonhöhen C, D, E, F, G, A, H bestehen, de jewels als ganze, halbe, vertel oder achtel Noten gespelt werden. Statstker haben errechnet, dass jede Tonhöhe/Tondauer ene bestmmte mttlere Häufgket n der Musk bestzt: Tonhöhe Tondauer C D E F G A H / /2 /4 /8 25.9% %.5% 6.0% 7.%.8% 5% 20% 40% 35% Man kann davon ausgehen, dass Tonhöhe und Tondauer statstsch unabhängg snd! Muskstücke sollen nach Huffman codert abgelegt werden. Herfür gbt es zwe Alternatven: Tonhöhe und Tondauer werden getrennt abgelegt. Dafür werden zwe getrennte Huffman- Bäume erzeugt. Für jede Kombnaton aus Tonhöhe und Tondauer (=Note) wrd ene Wahrschenlchket bestmmt. Es wrd en Huffman-Baum für de resulterenden 28 Noten erzeugt. a) Berechnen Se de Entrope der Tonhöhe, der Tondauer und der Note. b) Stellen Se de Huffman-Bäume für de erste Möglchket (Tonhöhe und dauer getrennt codert) auf. We vele bnäre Zffern müssen m Durchschntt pro Note übertragen werden? c) Welche Aussage können Se, ohne enen Code zu konstrueren, über de durchschnttlche Codewortlänge machen, falls de Muskstücke nach der zweten Methode (Tonhöhe und dauer gemensam codert) codert werden? Prof. Dr. M. Hufschmd 5/6

16 Kurzfragen. Wr betrachten ene Nachrchtenquelle ohne Gedächtns. Das Ausgangssymbol wrd aus ener Menge von endlch velen Symbolen ausgewählt. a) Wovon hängt de Entrope der Nachrchtenquelle ab? b) Unter welchen Voraussetzungen st de Entrope der Nachrchtenquelle glech Null? c) Unter welchen Voraussetzungen st de Entrope der Nachrchtenquelle maxmal? d) Was st der Untersched zwschen Entrope und Informaton? 2. De Ausgangssymbole ener Nachrchtenquelle stammen aus ener Menge mt seben Elementen, wobe das Symbol x mt der Wahrschenlchket P(x) ausgegeben wrd. Gegeben snd ver Quellencodes. X P(X=x ) Code Code 2 Code 3 Code 4 x x x x x x x a) Welche Codes snd präfxfre? b) Welcher der präfxfreen Codes hat de kürzeste durchschnttlche Codewortlänge? 3. Weso st es ncht snnvoll, en verschlüsseltes Sgnal mt enem Quellencode komprmeren zu wollen? Prof. Dr. M. Hufschmd 6/6