Übung zur Vorlesung. Informationstheorie und Codierung

Transkript

1 Übung zur Vorlesung Informatonstheore und Coderung Prof. Dr. Lla Lajm März 25 Ostfala Hochschule für angewandte Wssenschaften Hochschule Braunschweg/Wolfenbüttel Postanschrft: Salzdahlumer Str. 46/ Wolfenbüttel Besucheranschrft: Salzdahlumer Str. 46/ Wolfenbüttel

2 Übung Informatonstheore und Coderung 25 Aufgaben Alphabet und Wörter Aufgabe. Es se das Alphabet,, 2 und 3 gegeben. a. Bestmmen Se:,,, und b. We groß st? 2. En Alphabet A, bestehend aus 26 Buchstaben, 3 Umlauten sowe dem Leerzechen und den neun Satzzechen., ; :?! und soll Bnär und hexadezmal dargestellt werden. We vele bnäre bzw. hexadezmale Stellen snd für de Darstellung enes s mndestens erforderlch? Coderung und Decoderung Aufgabe 2 En Sender kann ver Coderte Nachrchten aussenden (Es handelt sch her um ener bnären Blockcoderung der Länge 2): De Börse st sehr fest. Sollen wr verkaufen? De Kurse fallen. Helft uns gegensteuern! Enes Tages wrd de folge empfangen. Dabe hat man das erste verpasst und erst das zwete empfangen. Zusätzlch weß man ncht, wo de Mttelung aufhört, da der Sender mmer weter sendet. Rekonstrueren Se de gesendete Botschaft unter der Annahme, dass der Sender etwas Snnvolles übertragen hat. Aufgabe 3: Präfxfreer Code Gegeben se das Alphabet,. Ist de Menge,,,, en snnvoller Code für fünf Nachrchten? Aufgabe 4: Bestmmen Se für jeden der folgenden Codes, ob deser endeutg decoderbar st und ob es sch um enen präfxfreen Code handelt. Ist der Code ncht endeutg decoderbar, dann geben Se ene Codesequenz an, für welche zwe unterschedlche Interpretatonen als Sequenz aus Codewörtern exsteren. Sonst repräsenteren Se den Code mt enem Codebaum. 24. Februar 25 Sete von 43

3 Übung Informatonstheore und Coderung 25.,,, 2.,, 3.,, 4., 5.,, Bemerkung: Exstert en endeutg decoderbarer Code, dann exstert auch en präfxfreer Code mt denselben Codewortlängen. Deshalb werden für endeutg decoderbare Codes üblcherwese Präfxfree Codes Verwendet. Aufgabe 5: Unglechung von Kraft En bnärer Baum habe 7 Endknoten, deren Abstände von der Wurzel snd:. Exstert deser Baum? 2. Wenn ja, stellen Se desen Baum dar. Aufgabe 6: Unglechung von Kraft 2; 3; 4. Exstert für folgende Codewortlängen en bnärer Präfxfreer Code? Wenn ja, dann konstrueren Se enen entsprechenden Code a., 2, 3, 4, 5, 5 b., 2, 3, 4, 4, 5 c. 2, 2, 2, 3, 4 2. Exstert für folgende Codewortlängen en ternärer Präfxfreer Code? Wenn ja, dann konstrueren Se enen entsprechenden Code a.,2,3,,2,3,2 b.,2,3,4,,2,3,4 c. 3,3,3,3,3,3,2,, Aufgabe 7: ASCII Coderung. We lautet der ASCII Code vom A (Hexadezmalzahl = 4) 2. Vervollständgen Se de folgende Tabelle zur Umrechnung von Dezmal, Hexadezmal und Bnärzahl 24. Februar 25 Sete 2 von 43

4 Übung Informatonstheore und Coderung 25 Dezmalzahl Hexadezmalzahl Bnärzahl 75 9 B3 25 Quellencoderung Aufgabe 8 Gegeben se ene Quelle Q mt 4 en (A, B, C und D). De Auftrttswahrschenlchketen der e seen:,8,,8,2. We groß st de Informaton enes enzelnen s? 2. We groß st de Entrope der Quelle? 3. We groß wäre de Entrope be glecher Auftrttswahrschenlchket der 4 e? Aufgabe 9 Ene Quelle enthält 4 e: Q A B C D. Berechnen Se: a. Den Entschedungsgehalt H. b. De Entrope HQ c. De Redundanz der Quelle R. 2. De Quelle wrd mt ener optmalen Codewortlänge codert (angepasst an den Informatonsgehalt der enzelnen e). a. Berechnen Se de mttlere Codewortlänge pro Lx b. We lauten de Codewörter der enzelnen e? c. Berechnen Se de mttlere Codewortlänge L d. Berechnen Se de Redundanz des Codes R Aufgabe : Fano Coderung Quelle Q st gegeben durch Alphabet und absolute Häufgketen: Coderen Se de Quelle nach Fano (Coderungstabelle und Code Baum) 24. Februar 25 Sete 3 von 43

5 Übung Informatonstheore und Coderung We groß st de mttlere Codewortlänge? Aufgabe : Fano Coderung Erstellen Se jewels den Codebaum und Code Tabelle. Geben Se für jedes Zechen de Coderung an und berechnen Se de mttlere Codewortlänge. 2. Zegen Se, dass es her nach dem Fano dre unterschedlche möglche Coderungen gbt und dass de Fano Coderung ncht mmer optmal st Aufgabe 2: Gegeben st de Quelle,4,,2,3. We groß st de Entrope der Quelle? 2. Fano Coderung a. Coderen Se de Quelle mt dem Fano Algorthmus b. Berechnen Se de mttlere Codewortlänge und de Redundanz des Codes 3. Shannon Coderung a. Coderen Se de Quelle mt dem Shannon Algorthmus b. Berechnen Se de mttlere Codewortlänge und de Redundanz des Codes 4. Huffman Coderung a. Coderen Se de Quelle mt dem Huffmann Algorthmus b. Berechnen Se de mttlere Codewortlänge und de Redundanz des Codes 5. Verglechen Se de Ergebnsse der dre Algorthmen. Aufgabe 3: Shannon Coderung Ene Quelle enthält en Zechenvorrat von 4 Zechen (A, B, C, D). De Auftrttswahrschenlchketen der enzelnen Zechen seen: PA =,8; PB =,; PC =,8; PD =,2.. We groß snd de Informatonsgehalte der enzelnen Zechen? 2. We groß st de Entrope der Quelle? We groß wäre de Entrope der Quelle be glecher Auftrttswahrschenlchket der ver Zechen? Für de Übertragung soll en Bnärcode nach Shannon entwckelt werden. 3. Welche mttlere Codewortlänge ergbt sch aus dem erstellten Code. Aufgabe 4: Huffman Coderung Gegeben se de folgende Nachrcht: RZROZPZZ. Geben Se de zugehörge Huffman Coderung an. 24. Februar 25 Sete 4 von 43

6 Übung Informatonstheore und Coderung Ermtteln Se durch Rechnung, ob es sch dabe um enen optmalen Code handelt und begründen Se das Ergebns. Welche Regel trfft her zu? Aufgabe 5: Huffman Coderung Für enen Zechenvorrat snd folgende Auftrttswahrschenlchketen gegeben: Zechen R E H K P A S Häufgket,9,,4,5,2,3,2. Leten Se de zugehörge Huffman Coderung her 2. Berechnen Se de Redundanz des Codes 3. Coderen Se de Zechenfolgen a. KEKSE b. HARKE 4. Ist der Code optmal? Wann lefert der Huffman Algorthmus enen optmalen Code? Aufgabe 6: Gegeben se de Quelle,7,2,. Coderen Se de e von und berechnen Se de mttlere Codewortlänge 2. Coderen Se paare von und bestmmen Se de mttlere Codewortlänge pro. Verglechen Se bede Ergebnsse mt der Entrope der Quelle Aufgabe 7: Gegeben st folgende Bnärsequenz:. Berechnen Se für de obge Nachrcht: a. Den Entschedungsgehalt b. De Entrope c. De Redundanz pro und de gesamte Redundanz der Nachrcht. 2. Es snd jewels zwe benachbarte Bts zu enem Zechen zusammenzufassen. Beantworten Se für de sch daraus ergebende folge alle Fragen gemäß a c. 3. Coderen Se de folge mt Shannon. Welche Redundanz ergbt sch? 4. Coderen Se de folge mt Huffman. Welche Redundanz ergbt sch jetzt? Aufgabe 8: Gegeben st folgende Nachrcht:. We groß snd AACDABCAAADBACAC 24. Februar 25 Sete 5 von 43

7 Übung Informatonstheore und Coderung 25 a. der Entschedungsgehalt der Nachrchtenquelle, b. der Informatonsgehalt der enzelnen Zechen, c. de Entrope und Redundanz der Nachrcht. 2. De Zechen sollen bnär codert und dann übertragen werden. Der Code lautet: A = B = C = D = a. Geben Se den Informatonsgehalt der bnären Zechen und an b. Welche Redundanz ergbt sch jetzt? c. Machen Se enen Vorschlag, we de Redundanz durch ene optmerte Coderung verrngert werden kann. Aufgabe 9: Ene farbge Grafk besteht aus Mllon Bldpunkten, de ROT, GRÜN, BLAU, WEISS und SCHWARZ aussehen können. Das gesamte Bld wrd n Sekunde übertragen. Alle genannten Farben/Hellgketen treten n der Grafk glech häufg auf.. Berechnen Se den Entschedungsgehalt der Quelle farbge Grafk und geben Se den Informatonsgehalt für jedes der möglchen Zechen (Farben bzw. Hellgketswerte) an. 2. De Zustände der Bldpunkte sollen bnär codert werden (gleche Codewortlänge). Welcher Datenfluss ergbt sch herbe? Welche Redundanz legt jetzt vor? 3. Stellen Se de Zechen mt dem Huffman Code dar. Welche mttlere Codewortlänge ergbt sch? Welche Redundanz resultert? Dskrete Quelle mt Gedächtns Aufgabe 2: Gegeben Se ene Quelle,, mt Gedächtns. Für de Quellensymbole gelten de folgenden bedngten Wahrschenlchketen: Stellen Se de Quelle anschaulch mt Hlfe enes Markov Dagramms. Ordnung dar. 2. Bestmmen Se de wahrschenlchketen, und 3. Berechnen Se de Verbundwahrschenlchketen, 4. Berechnen Se de Entrope der Quelle, de bedngte Entrope und de Verbundentrope Februar 25 Sete 6 von 43

8 Übung Informatonstheore und Coderung 25 Aufgabe 2: Markov Quelle Ene dskrete Quelle, mt Gedächtns habe den Zustandsgraf aus der folgenden Abbldung. 3/4? A B?. Geben Se de Übergangswahrschenlchketen an. 2. Berechnen Se de Auftrttswahrschenlchketen der enzelnen Zustände. 3. Geben Se de Entrope der Quelle an unter Berückschtgung der Übergangswahrschenlchketen. 4. Fassen Se jewels dre Zechen zu enem zusammen. Berechnen Se de Wahrschenlchketen der möglchen e. 5. Führen Se ene Huffman Coderung durch und geben Se de mttlere Codewortlänge des Codes. Kanalcoderung Aufgabe 22 (A32 Dr. Jäger) Gegeben se en symmetrscher bnärer Kanal (BSC), dessen Engangszechen und de Auftrttswahrschenlchketen,4 und,6 haben und dessen Btfehlerwahrschenlchket,5 beträgt.. Bestmmen Se de Entrope der Kanalausgabe, 2. de Entrope der Irrelevanz, 3. de Transnformaton,. Aufgabe 23 (A3 Dr. Jäger) Gegeben se der skzzerte Kanal 24. Februar 25 Sete 7 von 43

9 Übung Informatonstheore und Coderung 25 We groß st de Kanalkapaztät, wenn de Engangs und Ausgangszechen glechvertelt snd? Aufgabe 24 (A3 Dr. Jäger) Gegeben se en symmetrscher Bnärkanal mt ener Übertragungsrate von / und ener Btfehlerwahrschenlchket von, De Daten, de über desen Kanal übertragen werden sollen, stammen von ener bnären Quelle ( und ) mt den Auftrttswahrschenlchketen und. De e der Quelle werden statstsch unabhängg vonenander ausgewählt.. We groß st de Kanalkapaztät? 2. We groß st de Entrope der Quelle mt,3 und,7? 3. Welche maxmale rate kann m Prnzp fehlerfre übertragen werden? Aufgabe 25 (A34 Dr. Jäger) Es se en fehlererkennender und fehlerkorrgerender Code über dem Alphabet, mt ener Codewortlänge 2 gegeben. a. We vele Nachrchtenstellen können mt desem Code übertragen werden, wenn bs zu 3 Fehler korrgert werden sollen? b. We vele verschedene Nachrchten können dann maxmal codert werden? c. We groß st de Mnmaldstanz des Codes? d. We vele Fehler können (ggf. ohne Korrekturmöglchket) erkannt werden? Aufgabe 26 En Hammng Code der Länge soll zur renen Fehlererkennung mt anschleßender Bestätgung engesetzt werden. De Btfehlerwahrschenlchket enes symmetrschen Bnärkanals beträgt 5. We groß st de Wahrschenlchket, dass en Codewort fehlerhaft empfangen wrd? 2. We groß st de Wahrschenlchket, dass en fehlerbehaftetes Empfangswort ncht erkannt wrd? 24. Februar 25 Sete 8 von 43

10 Übung Informatonstheore und Coderung 25 Aufgabe 27: (A33 Dr. Jäger) Gegeben se en lnearer Blockcode über dem Alphabet, mt der Generatormatrx. Stellen Se den vollständgen Code auf (Lste der Nachrchtenwörter mt den zugehörgen Codewörtern). 2. Berechnen Se, und des Codes. 3. Geben Se alle möglchen Vektoren an, de n der Korrgerkugel um legen. 4. We lautet de Generatormatrx des zugehörgen separerbaren Codes? 5. Stellen Se de Kontrollmatrx für den separerbaren Code auf. 6. Geben Se de Glechungen zur Ermttlung der Kontrollstellen an (Ablesen aus der Kontrollmatrx). 7. We lauten dann de zugehörgen Prüfglechungen? 8. Erstellen Se aus der Kontrollmatrx de vollständge Syndromtabelle (für Enzelfehler). Können alle Enzelfehler korrgert werden? 9. We lauten de zu den folgenden (verfälschten) Empfangsvektoren gehörenden (korrgerten) Codewörter ; ; Aufgabe 28: (A37 Dr. Jäger) Gegeben se en zyklscher Code C über, mt dem Generatorpolynom, der Codewörter der Länge 7 erzeugt.. We vele Kontroll und Nachrchtenstellen hat der Code? 2. Geben Se de zugehörge Generatormatrx des Codes an. 3. Coderen Se de Nachrchtenvektoren und n vektoreller und n polynomaler Darstellung. a. Konstrueren Se de Codewortpolynome des zugehörgen separerbaren Codes zu den Nachrchtenwörtern und. b. Erstellen Se ene Syndromtabelle für alle Enzelfehler. c. Es werden das Wort und das Wort empfangen. Prüfen Se, ob es sch um gültge Codewörter handelt und korrgeren Se gegebenenfalls de Empfangswörter. Faltungscoderung 24. Februar 25 Sete 9 von 43

11 Übung Informatonstheore und Coderung 25 Aufgabe 29: Gegeben st en Coderer für enen Faltungscode der rate mt der Scheberegsterlänge 2.. Zechnen Se das Trells und das Zustandsdagramm. 2. Decoderen Se de Empfangssequenz. Handelt es sch um ener fehlerfreen oder fehlerbehafteten Übertragung? 3. Decoderen Se de Empfangssequenz. Handelt es sch um ener fehlerfreen oder fehlerbehafteten Übertragung? Aufgabe 3: Gegeben st der folgende Faltungscoderer:. Welche Coderate hat deser Coderer? 2. Geben Se de Ausgangsbtsequenz am Ausgang des Coderers, wenn am Engang de Sequenz vorlegt. 3. Vervollständgen Se das folgende Trellsdagramm. 24. Februar 25 Sete von 43

12 Übung Informatonstheore und Coderung t Zustände 4. Decoderen Se de Empfangsfolge. Handelt es sch um ener fehlerfreen oder Fehlerbehafteten Übertragung? We vele Fehler wurden erkannt bzw. korrgert? 24. Februar 25 Sete von 43

13 Übung Informatonstheore und Coderung 25 2 Lösungen Alphabet und Wörter Aufgabe. Es se das Alphabet,, und gegeben. a. Bestmmen Se:,,, und : Menge aller Wörter der Länge über. : Menge aller Wörter mt ener maxmalen Länge über.,, 2,, 2,,, 2, 2, 2, 22,, 2,, 2 2, 2, 22,, 2,, 2 2, 2, 2 2, 2, 22 2, 2, 22 22, 22, 222 b. We groß st? En Alphabet, bestehend aus 26 Buchstaben, 3 Umlauten sowe dem Leerzechen und den neun Satzzechen., ; :?! und soll Bnär und hexadezmal dargestellt werden. We vele bnäre bzw. hexadezmale Stellen snd für de Darstellung enes s mndestens erforderlch? Alphabet hat nsgesamt: e Bnär: 2 32 zu weng; 2 64 OK Bnär: Es snd 6 Stellen erforderlch. Hexadezmal:. Stelle 6 5 Zechen zu weng 2. Stelle 6 6 bs max OK Hexadezmal: Es snd 2 Stellen erforderlch. 24. Februar 25 Sete 2 von 43

14 Übung Informatonstheore und Coderung 25 Coderung und Decoderung Aufgabe 2 En Sender kann ver Coderte Nachrchten aussenden (Es handelt sch her um ener bnären Blockcoderung der Länge 2): De Börse st sehr fest. Sollen wr verkaufen? De Kurse fallen. Helft uns gegensteuern! Enes Tages wrd de folge empfangen. Dabe hat man das erste verpasst und erst das zwete empfangen. Zusätzlch weß man ncht, wo de Mttelung aufhört, da der Sender mmer weter sendet. Rekonstrueren Se de gesendete Botschaft unter der Annahme, dass der Sender etwas Snnvolles übertragen hat. Lösung: Möglchket : Das erste st de Nachrcht lautet: De Börse st sehr fest. De Kurse fallen. Helft uns gegensteuern! Möglchket 2: Das erste st de Nachrcht lautet: Helft uns gegensteuern! De Kurse fallen. Das erste Zechen war. Aufgabe 3: Präfxfreer Code Gegeben se das Alphabet,. Ist de Menge,,,, en snnvoller Code für fünf Nachrchten? Lösung: Codewort 2 () st auch n Codewort 3 () enthalten ken Präfxfreer Code Code ungünstg Aufgabe 4: Bestmmen Se für jeden der folgenden Codes, ob deser endeutg decoderbar st und ob es sch um enen präfxfreen Code handelt. Ist der Code ncht endeutg decoderbar, dann geben Se ene Codesequenz an, für welche zwe unterschedlche Interpretatonen als Sequenz aus Codewörtern exsteren. Sonst repräsenteren Se den Code mt enem Codebaum..,,, 24. Februar 25 Sete 3 von 43

15 Übung Informatonstheore und Coderung 25 2.,, 3.,, 4., 5.,, Bemerkung: Exstert en endeutg decoderbarer Code, dann exstert auch en präfxfreer Code mt denselben Codewortlängen. Deshalb werden für endeutg decoderbare Codes üblcherwese Präfxfree Codes Verwendet. Lösung:.,,, Ist en Blockcode und Präfxfre we alle Blockcodes. Da alle Codeworte de gleche Länge haben, kann en Code nur dann Präfx enes anderen Codewortes sen, wenn dese dentsch snd. 2.,, Ist präfxfre alle Codeworte snd Blätter enes Baums 3.,, Ist ncht präfxfre, denn st Präfx von. Dennoch st deser Code endeutg decoderbar, denn ken Codewort Suffx enes anderes st. En suffxfreer Code kann mmer vom Ende ener Sequenz begnnend endeutg decodert werden. 4., Ist ncht präfxfre, denn st Präfx von. Trotzdem endeutg decoderbar, da mmer ene n der Sequenz endeutg erkannt werden kann. 24. Februar 25 Sete 4 von 43

16 Übung Informatonstheore und Coderung 25 5.,, Ken Präfxfreer Code und ncht endeutg decoderbar. Bespel: und, snd zwe Interpretatonen der selben Sequenz. Aufgabe 5: Unglechung von Kraft En bnärer Baum habe 7 Endknoten, deren Abstände von der Wurzel snd: 2; 3; 4. Exstert deser Baum? 2. Wenn ja, stellen Se desen Baum dar. Lösung:. Unglechung von Kraft: 2 Baum exstert 2. Baum ,875 l=2 l=3 l=3 l=3 l=3 l=4 l=4 Aufgabe 6: Unglechung von Kraft 2. Exstert für folgende Codewortlängen en bnärer Präfxfreer Code? Wenn ja, dann konstrueren Se enen entsprechenden Code a.,,,,, Unglechung von Kraft: Code exstert 24. Februar 25 Sete 5 von 43

17 Übung Informatonstheore und Coderung 25 l= l=2 l=3 l=4 b.,,,,, Unglechung von Kraft: Baum (und somt Code) exstert ncht c.,,,, l= Code exstert l=2 l=2 l=2 l=3 3. Exstert für folgende Codewortlängen en ternärer Präfxfreer Code? Wenn ja, dann konstrueren Se enen entsprechenden Code a.,,,,,, Februar 25 Sete 6 von 43 l=4

18 Übung Informatonstheore und Coderung 25 Code exstert ncht b.,,,,,,, Code exstert l= l= l=2 l=2 l=3 l=3 l=4 l=4 c. 3,3,3,3,3,3,2,, Code exstert l= l= l=2 l=3 l=3 Aufgabe 7: ASCII Coderung. We lautet der ASCII Code vom A (Hexadezmalzahl = 4) 4 4 ASCII Code mt Partätsbt: 2. Vervollständgen Se de folgende Tabelle zur Umrechnung von Dezmal, Hexadezmal und Bnärzahl Dezmalzahl Hexadezmalzahl Bnärzahl 75 2CB 24. Februar 25 Sete 7 von 43

19 Übung Informatonstheore und Coderung B Lösung: Dezmal Hexadezmal Dezmal Bnär Aufgabe ä Gegeben se ene Quelle Q mt 4 en (A, B, C und D). De Auftrttswahrschenlchketen der e seen:,8,,8,2. We groß st de Informaton enes enzelnen s?,8,322, 3,322,8 3,643,2 5, We groß st de Entrope der Quelle?,8,322, 3,322,8 3,643,2 5,643,994 / 3. We groß wäre de Entrope be glecher Auftrttswahrschenlchket der 4 e? 4 2 / 24. Februar 25 Sete 8 von 43

20 Übung Informatonstheore und Coderung 25 Aufgabe 9 Ene Quelle enthält 4 e: Q A B C D. Berechnen Se: a. Den Entschedungsgehalt. Der Entschedungsgehalt = Nachrchtenmenge pro N ld4 H m ld 2 Bt H 2 Bt b. De Entrope = mttlerer Informatonsgehalt Entrope H p(x ) I(x ) p(x ) ld p(x ) H pa ld ld H, 75 p p ldp p ldp p ldp 8 bt, 75 2 ld4 ld8 ld8 3 8 A Bt B B C 8 c. De Redundanz der Quelle. R H H 2, 75,25 R,25 Bt Bt C 2. De Quelle wrd mt ener optmalen Codewortlänge codert (angepasst an den Informatonsgehalt der enzelnen e). a. Berechnen Se de mttlere Codewortlänge pro b. We lauten de Codewörter der enzelnen e? D D 24. Februar 25 Sete 9 von 43

21 Übung Informatonstheore und Coderung 25 Code A 2 B 4 C 8 D c. Berechnen Se de mttlere Codewortlänge L p m p m A A p m 2 3 3, ,75 B B p m p m C C bt d. Berechnen Se de Redundanz des Codes Bt R H c H,75, 75 R Bt Aufgabe : Fano Coderung Bt Quelle Q st gegeben durch Alphabet und absolute Häufgketen: Coderen Se de Quelle nach Fano (Coderungstabelle und Code Baum) D D 24. Februar 25 Sete 2 von 43

22 Übung Informatonstheore und Coderung 25 A 5 A B 7 B C 6 C D 6 D E 5 E Zugehörger Baum: A B C D E 2. We groß st de mttlere Codewortlänge? / 2,28 / Aufgabe : Fano Coderung Erstellen Se jewels den Codebaum und Code Tabelle. Geben Se für jedes Zechen de Coderung an und berechnen Se de mttlere Codewortlänge. 2. Zegen Se, dass es her nach dem Fano dre unterschedlche möglche Coderungen gbt und dass de Fano Coderung ncht mmer optmal st Lösung. 24. Februar 25 Sete 2 von 43

23 Übung Informatonstheore und Coderung 25 C,33 C A,25 A B,25 B D,6 D Alternatve Lösung A und B vertauschen 2 / 2. Möglchket : A,4 B,2 A B 2 / C,2 C D,2 D 24. Februar 25 Sete 22 von 43

24 Übung Informatonstheore und Coderung 25 Möglchket 2: A,4 A B,2 B 2 / C,2 C D,2 D Möglchket 3: A,4 A B,2 B C,2 C D,2 D,43,23,22,2 2 / Entrope :,4,4 3,2,2,92 / De Fano Coderung st leder ncht optmal. Aufgabe 2: Gegeben st de Quelle,4,,2,3. We groß st de Entrope der Quelle?,4,4,,,2,2,3,3, 2. Fano Coderung a. Coderen Se de Quelle mt dem Fano Algorthmus 24. Februar 25 Sete 23 von 43

25 Übung Informatonstheore und Coderung 25 A,4 A D,3 D C,2 C B, B b. Berechnen Se de mttlere Codewortlänge und de Redundanz des Codes,43,3,22,3,9 / 3. Shannon Coderung a. Coderen Se de Quelle mt dem Shannon Algorthmus Bnär Code A,4,32 2, D,3,73 2,4,.. C,2 2,32 3,7, B, 3,32 4,9, b. Berechnen Se de mttlere Codewortlänge und de Redundanz des Codes 2,42,33,24, 2,4 / 2,4,8463,5537 Bt/ 4. Huffman Coderung a. Coderen Se de Quelle mt dem Huffmann Algorthmus Sorterung: A > D > C > B 24. Februar 25 Sete 24 von 43

26 Übung Informatonstheore und Coderung 25 W D,3,6 C,3 A,4 B A B C D,2, b. Berechnen Se de mttlere Codewortlänge und de Redundanz des Codes,43,3,22,3,9 / 5. Verglechen Se de Ergebnsse der dre Algorthmen. Es glt und, De Shannon Coderung st also ncht optmal Aufgabe 3: Shannon Coderung Ene Quelle enthält en Zechenvorrat von 4 Zechen (A, B, C, D). De Auftrttswahrschenlchketen der enzelnen Zechen seen:, ;, ;, ;,.. We groß snd de Informatonsgehalte der enzelnen Zechen? Def: Informatonsgehalt: I ( x) ld ld( px p( x) Wahrschenlchket Informatonsgehalt A,8,8,32 B,, 3,32 C,8,8 3,64 D,2,2 5, Februar 25 Sete 25 von 43

27 Übung Informatonstheore und Coderung We groß st de Entrope der Quelle? Entrope der Quelle? p x ) I( x ) p( x) H ld p( x ) ( H p( A) I( xa) p( B) I( xb) p( C) I( xc ) p( D) I( xd) H,8 ld(,8), ld(,),8ld(,8),2ld(,2) H,994 Bt / We groß wäre de Entrope der Quelle be glecher Auftrttswahrschenlchket der ver Zechen? p( A) p( B) p( C) p( D) H H ld(4) H H o 2Bt/ 3. Für de Übertragung soll en Bnärcode nach Shannon entwckelt werden. Bnär Code A,8,32, B, 3,32 4,8, C,8 3,64 4,9, D,2 5,64 6,98, Welche mttlere Codewortlänge ergbt sch aus dem erstellten Code.,84,4,86,2,64 / Aufgabe 4: Huffman Coderung Gegeben se de folgende Nachrcht: RZROZPZZ. Geben Se de zugehörge Huffman Coderung an. 2. R Z O P Februar 25 Sete 26 von 43

28 Übung Informatonstheore und Coderung 25 Huffman-Code S Z 4 R 4 2 O 8 4 P 8 3. Ermtteln Se durch Rechnung, ob es sch dabe um enen optmalen Code handelt und begründen Se das Ergebns. Welche Regel trfft her zu? 4 L 2 3 3, R Z O P L,75 Bt / H: Entrope; H ld(4) ld(2) ld(8) ld(8),75 bt / H,75 Bt / optmaler Code Aufgabe 5: Huffman Coderung Für enen Zechenvorrat snd folgende Auftrttswahrschenlchketen gegeben: Zechen R E H K P A S Häufgket,9,,4,5,2,3,2 24. Februar 25 Sete 27 von 43

29 Übung Informatonstheore und Coderung 25. Leten Se de zugehörge Huffman Coderung her Code: H H P,6,4 A,35,25 S R S A P K,2,5,3,2 E R,9,6 K E,5, 2. Berechnen Se de Redundanz des Codes R L H L p( x ) m H p( x ) ld p( x ) L,94,5,4,55,23,33,23 L 2,5 Bt /,9ld H,3 H,995 Bt /,9,ld,,4ld,4,5ld,5,2ld,2 ld,3,2 ld(,2) R L H 2,5,995Bt /,55 Bt / 3. Coderen Se de Zechenfolgen a. KEKSE b. HARKE 24. Februar 25 Sete 28 von 43

30 Übung Informatonstheore und Coderung 25 H A R K E 4. Ist der Code optmal? Wann lefert der Huffman Algorthmus enen optmalen Code? Nen, da R Wenn de Wahrschenlchket = /(2 ) st Aufgabe 6: Gegeben se de Quelle,,,. Coderen Se de e von mt Huffman und berechnen Se de mttlere Codewortlänge W A,7,3,72,22,,3 / B,2 C, 2. Coderen Se paare von mt Huffman und bestmmen Se de mttlere Codewortlänge pro. Verglechen Se bede Ergebnsse mt der Entrope der Quelle Coderung AA,49,49 AB,4 3,42 AC,7 4,26 BA,4 3,42 BB,4 4,6 BC,2 5, CA,7 4,28 CB,2 6,2 CC, 6,6 24. Februar 25 Sete 29 von 43

31 Übung Informatonstheore und Coderung 25,5 AA,49 AC,7,23,4,9 CA BB,7,5,4 BA,4,28 AB,4,3 BC,2 CB,2 CC, Aufgabe 7: Gegeben st folgende Bnärsequenz: 2,33,65,3. Berechnen Se für de obge Nachrcht: a. Den Entschedungsgehalt Zechen und nsgesamt 32 Zechen Zechen Wahrschenlchket Februar 25 Sete 3 von 43

32 Übung Informatonstheore und Coderung 25 b. De Entrope H p(x ) I(x ) 3 4 ld ld 4 3 4, 8Bt 4 H,8bt/ p(x ) ld p(x ) c. De Redundanz pro und de gesamte Redundanz der Nachrcht. Redundanz pro,8,9 / R, 9Bt / Gesamt Redundanz 32 R ges 6, 8 Bt 2. Es snd jewels zwe benachbarte Bts zu enem Zechen zusammenzufassen. Beantworten Se für de sch daraus ergebende folge alle Fragen gemäß ac. Zwe benachbarte Bts zu enem Zechen zusammenfassen Es entstehen 4 e: A = B= C = D= Zechen A B C Wahrschenlchket a. Der Entschedungsgehalt H=ld(4) = 2 Bt b. De Entrope H p(x ) I(x ) 9 6 ld ld 6 9 6,49 Bt / p(x) ld p(x ) ld ld6 24. Februar 25 Sete 3 von 43

33 Übung Informatonstheore und Coderung 25 H,49 Bt/ c. De Redundanz pro und de gesamte Redundanz der Nachrcht. Redundanz pro R = H H = 2,49 =,5 Bt/ R,5 Bt/ Gesamt Redundanz Rges = R x 6 Zechen R ges 8, 6 Bt 3. Coderen Se de folge mt Shannon. Welche Redundanz ergbt sch? Zechen A B C D Bnär Code 9,5625,83, 6, ,5625, 6 5,325,678 2,625, 6, ,9375, 6 Welche Redundanz ergbt sch?,6875 L H, , Coderen Se de folge mt Huffman. Welche Redundanz ergbt sch jetzt? 24. Februar 25 Sete 32 von 43

34 Übung Informatonstheore und Coderung 25 Code: A A 9/6 7/6 B C D C 5/6 2/6 D B /6 /6 Redundanz des Codes: ,5625,5625 L H,725 Aufgabe 8: Gegeben st folgende Nachrcht: AACDABCAAADBACAC. We groß snd a. der Entschedungsgehalt der Nachrchtenquelle, Insgesamt 6 Zechen Wahrschenlchketen H ld4 2 Bt 8 p( A) p( C) p( B) p( D) 6 8 b. der Informatonsgehalt der enzelnen e, 24. Februar 25 Sete 33 von 43

35 Übung Informatonstheore und Coderung 25 Ix ld px A ld 2 Bt B ld8 3 Bt C ld4 2 Bt D ld8 3 Bt c. de Entrope und Redundanz der Nachrcht. Entrope: H px H H,75 Bt/ ld px , Redundanz: 2,75 R,25 Bt/ 2. De e sollen bnär codert und dann übertragen werden. Der Code lautet: A = B = C = D = a. Geben Se den Informatonsgehalt der bnären Zechen und an A, B, C, D ersetzen durch Bnärzechen und neu durchzählen: 22x LOW und x HIGH Informatonsgehalt: b. Welche Redundanz ergbt sch jetzt? , ,68 5 Entrope: H p I p I, 896 Bt H, 896 Bt Redundanz: R H H,896, 4Bt R, 4 Bt 24. Februar 25 Sete 34 von 43

36 Übung Informatonstheore und Coderung 25 c. Machen Se enen Vorschlag, we de Redundanz durch ene optmerte Coderung verrngert werden kann. Redundanzredukton durch angepasste Codewortlänge der Zechen. Häufge Zechen mt kurzer Codewortlänge, seltene Zechen mt längerer Codewortlänge (Code erstellen über Huffman Code). Mttlere Codewortlänge wrd mnmert. Redundanz: R = L H Aufgabe 9: Ene farbge Grafk besteht aus Mllon Bldpunkten, de ROT, GRÜN, BLAU, WEISS und SCHWARZ aussehen können. Das gesamte Bld wrd n Sekunde übertragen. Alle genannten Farben/Hellgketen treten n der Grafk glech häufg auf.. Berechnen Se den Entschedungsgehalt der Quelle farbge Grafk und geben Se den Informatonsgehalt für jedes der möglchen Zechen (Farben bzw. Hellgketswerte) an. Entschedungsgehalt N = 5 Zechen 5 2,32 Informatonsgehalt I ( x ) ld p( x ) Alle 5 Zechen treten glechwahrschenlch auf p x I( x ) ld ld(5) 2,32Bt / p( x ) I(x ) 2,32 bt/ Entrope p(x ) I(x ) 5 Be glecher Wahrschenlchket H H 2,32 bt/ Nachrchtenfluss H bt H' sec 6 Bldpunkte/sec = Zet n der en Quellzechen ausgewählt und übertragen wrd = sec 6 pkt 6 sec 24. Februar 25 Sete 35 von 43

37 Übung Informatonstheore und Coderung 25 2,32Bt / Zechen H' 6 sec/ Zechen H' 2,32MBt/sec Redundanz R H H da Glechvertelung 2. De Zustände der Bldpunkte sollen bnär codert werden (gleche Codewortlänge). Welcher Datenfluss ergbt sch herbe? Welche Redundanz legt jetzt vor? Bnäre Coderung der Bldpunkte. Gleche Codewortlänge benutzen. 5 Zechen => 2,32 bt/ H Für de Coderung werden 3 Bt/Zechen verwendet. z.b.: Rot => Grün => Blau => Weß => Schwarz => Datenfluss =? Bt/sec Es werden 6 Bldpunkte/sec übertragen probldpunkt:3bt/bldpunkte Redundanz H' 3MBt/sec 3,68 2,32 3. Stellen Se de Zechen mt dem Huffman Code dar. Welche mttlere Codewortlänge ergbt sch? Welche Redundanz resultert? 24. Februar 25 Sete 36 von 43

38 Übung Informatonstheore und Coderung 25 3/5 2/5 2/5 /5 /5 /5 /5 /5 Schwarz Wess Blau Grün Rot Rot => Grün => Blau => Weß => Schwarz => L ,4 5 R L H 2,4,8 bt 2,32 bt bt 24. Februar 25 Sete 37 von 43