(Prüfungs-)Aufgaben zur Codierungstheorie 1) Gegeben sei die folgende CCITT2-Codierung der Dezimalziffern: Dezimal CCITT2 0 0 1 1 0 1 1 1 1 1 0 1 2 1 1 0 0 1 3 1 0 0 0 0 4 0 1 0 1 0 5 0 0 0 0 1 6 1 0 1 0 1 7 1 1 1 0 0 8 0 1 1 0 0 9 0 0 0 1 1 a) Wie hoch ist die Hamming-Distanz H dieses Codes: b) Wie hoch ist die absolute Redundanz des Codes: (Hinweis: log 2 10 = 3,322) c) Wie hoch ist die relative Redundanz des Codes in Prozent: d) Zeichnen Sie den Codebaum für den CCITT2-Code der Dezimalziffern nach folgendem Konstruktionsprinzip: 0 nach rechts, 1 nach links, Wurzel oben, Blätter unten 2) Gegeben sei der folgende sog. Exzeß-3-Code: Dezimal d c b a 0 0 0 1 1 1 0 1 0 0 2 0 1 0 1 3 0 1 1 0 4 0 1 1 1 5 1 0 0 0 6 1 0 0 1 7 1 0 1 0 8 1 0 1 1 9 1 1 0 0 a) Wie hoch ist die Hamming-Distanz H dieses Codes:
b) Zeichnen Sie den Codebaum für den Exzeß-3-Code nach folgendem Konstruktionsprinzip: 0 nach rechts, 1 nach links, Wurzel oben, Blätter unten 3) Gegeben sei die folgende Shannon sche Nachrichtenquelle: X = { a, b, c, d }, p(a) = 0,1, p(b) = 0,25, p(c) = 0,5, p(d) = 0,15 a) Bestimmen Sie den Informationsgehalt der einzelnen Zeichen sowie die Entropie von X. Hinweis: log 2 10 = 3,32, log 2 6,666 = 2,74 b) Konstruieren Sie den Huffman-Code h für diese Nachrichtenquelle. Konstruktion: Codierung: h(a) = h(b) = h(c) = h(d) = c) Bestimmen Sie die mittlere Wortlänge und die absolute Redundanz des Huffman-Codes. 4) Gegeben sei die folgende Shannon sche Nachrichtenquelle: X = { a, b, c, d }, p(a) = 0,15, p(b) = 0,4, p(c) = 0,25, p(d) = 0,2 a) Bestimmen Sie den Informationsgehalt der einzelnen Zeichen sowie die Entropie von X. Hinweis: log 2 2,5 = 1,322, log 2 5 = 2,322, log 2 6,666 = 2,737 b) Konstruieren Sie eine Huffman-Codierung h für diese Nachrichtenquelle. Konstruktion: Codierung: h(a) = h(b) = h(c) = h(d) = c) Bestimmen Sie die mittlere Wortlänge und die absolute Redundanz des Huffman-Codes. 5) Betrachten Sie das Alphabet A = {0, 1, 2, 3, 4, 5, 6, 7, 8, 9}. In der Vorlesung wurden verschiedene Codierungen fester Wortlänge von A angegeben (z.b. BCD- oder Gray-Code), die alle mindestens die Wortlänge 4 und somit eine relativ hohe Redundanz haben. Konstruieren Sie eine binäre Codierung der Einzelzeichen des Alphabets A, die minimale mittlere Wortlänge (und somit auch Redundanz) hat. Zeichnen Sie den Codebaum und bestimmen Sie die mittlere Wortlänge dieses Codes. Hinweis: Betrachten Sie A als Shannon'sche Nachrichtenquelle, in der alle Zeichen gleiche Wahrscheinlichkeit haben.
6) Zur Übertragung von 4-bit-Werten wird der folgende Hamming-Code verwendet: 4 Datenbits (a 3, a 5, a 6, a 7 ), 3 Prüfbits (p 1, p 2, p 4 ), Anordnung: p 1 p 2 a 3 p 4 a 5 a 6 a 7. p 1 = a 3 a 5 a 7 ( bezeichnet die XOR-Operation p 2 = a 3 a 6 a 7 zur Bildung des Paritätsbits) p 4 = a 5 a 6 a 7 Bestimmen Sie aus den folgenden empfangenen 7-bit-Worten, welches Bit falsch übertragen wurde (evtl. keines), sowie die korrekten, gesendeten 4-bit-Werte. a) Empfangenes Wort p 1 p 2 a 3 p 4 a 5 a 6 a 7 1 0 0 1 1 1 0 Welches Bit wurde falsch übertragen? Gesendeter 4-bit- Wert a 3 a 5 a 6 a 7 b) p 1 p 2 a 3 p 4 a 5 a 6 a 7 0 1 1 0 0 1 1 c) p 1 p 2 a 3 p 4 a 5 a 6 a 7 1 0 1 1 1 0 1 Nebenrechnungen bitte hier ausführen und mit abgeben: 7) Gegeben sei die folgende Shannon sche Nachrichtenquelle: X = { a, b, c, d }, p(a) = 0.1, p(b) = 0.2, p(c) = 0.5, p(d) = 0.2 a) Bestimmen Sie den Informationsgehalt der einzelnen Zeichen sowie die Entropie von X. Hinweise: log 2 x = log 2 e * ln x = 1,4427 * ln x ln 10 = 2.3026, ln 5 = 1.6094, ln 2 = 0.6931 b) Konstruieren Sie eine Huffman-Codierung h für diese Nachrichtenquelle Baum-Konstruktion : Codierung : c) Bestimmen Sie die mittlere Wortlänge und die absolute Redundanz des zuvor entwickelten Huffman-Codes.
8) Gegeben sei eine Nachrichtenquelle, die die Zeichen A, B und C jeweils mit den angegebenen Wahrscheinlichkeiten aussendet. Zeichen P i A 0,5 B 0,4 C 0,1 a) Entwerfen Sie den Huffman-Code für die Codierung der einzelnen Zeichen. b) Geben Sie die mittlere Wortlänge des Codes an. c) Geben Sie die Entropie der Nachrichtenquelle an. d) Entwerfen Sie nun den Huffman-Code für die Codierung aller Paare von Zeichen der Nachrichtenquelle. e) Wie groß ist jetzt die mittlere Wortlänge bei der Paarcodierung? Hinweise: log b x = log b a * log a x, ld x = ld e * ln x, ld x = 1,4427 * ln x ld 0,1 = -3,322 ; ld 0,4 = -1,322 ; ld 0,5 = -1,0 ; ld 2,5 = 1,322 ; ld 5 = 2,322 ; ld 10 = 3,322 9) In einem 3-Bit-Code wird eine Hammingdistanz 3 gefordert. a) Wieviele Codewörter sind verwendbar, ohne weitere Bits zuzufügen? b) Berechnen Sie die absolute und relative Redundanz einer derartigen Codierung. c) Geben Sie 2 Beispiele für eine solche Codierung an. d) Was leistet ein derartiger Code im Hinblick auf Fehlererkennung und behebung? 10) Gegeben sei die folgende Shannon sche Nachrichtenquelle: X = { a, b, c, d }, p(a) = 0,15, p(b) = 0,4, p(c) = 0,25, p(d) = 0,2 a) Geben Sie die größte untere Schranke (der Mathematiker würde sagen: das Infimum) für die mittlere Wortlänge einer beliebigen Codierung dieser Shannon'schen Nachrichtenquelle an. Hinweis: log 2 2,5 = 1,322, log 2 5 = 2,322, log 2 6,666 = 2,737 b) Geben Sie eine bestmögliche Codierung der Einzelzeichen für diese Shannon'sche Nachrichtenquelle an und bestimmen Sie die mittlere Wortlänge dieser Codierung. c) Wie würden Sie vorgehen, um eine Codierung dieser Nachrichtenquelle mit kleinerer mittlerer Wortlänge als in b) zu konstruieren? (Keine Ausführung der Konstruktion!)
11) Bei einem 4-stelligen Uhrendisplay wird jede Stelle (also 10h, 1h, 10min, 1min) als BCD- Zahl übertragen, so daß 16 Leitungen benötigt werden. Um Leitungen einzusparen, soll die Uhrzeit als binärcodierter Minutenwert übertragen werden. Der Tag hat bekanntlich 24*60 = 1440 Minuten. a) Wie hoch sind die absolute und die relative Redundanz, wenn der Minutenwert als 16-stellige Binärzahl übertragen wird? Hinweis: log 2 (1440) = 10,4919 b) Wieviele Bits (und somit Leitungen) lassen sich also einsparen? Würden die eingesparten Leitungen ausreichen, um die Übertragung mit einer 1-bit- Fehlerkorrektur mittels Hamming-Code zu versehen? Ihre Antwort ist rechnerisch zu begründen. 12) In einer Anwendung sollen die 26 Buchstaben des Alphabets, unterschieden nach Großund Kleinschreibung, codiert werden, insgesamt also 52 Zeichen. Achtung: Bitte alle Antworten mit Begründung oder klar ersichtlichem Lösungsweg! a) Wieviele Bits müssen bei einer Blockcodierung mindestens verwendet werden? b) Wie groß sind bei so einer Blockcodierung die absolute und relative Redundanz? Hinweis: log 2 52 = 5,700. c) Um einen effizienteren Code mit variabler Wortlänge zu erhalten wird das Alphabet als Shannon sche Nachrichtenquelle betrachtet, in der alle Zeichen gleiche Wahrscheinlichkeit haben. Geben Sie die größte untere Schranke (das Infimum) für die mittlere Wortlänge aller möglichen Codierungen an. d) In der Huffman-Codierung der Einzelzeichen dieser Shannon schen Nachrichtenquelle haben 8 Zeichen einen Code der Länge 5, die restlichen 44 Zeichen einen Code der Länge 6. Wie groß ist die mittlere Wortlänge dieser Codierung? e) Wieviele Prüfbits müssen zu dem Blockcode aus a) mindestens hinzugefügt werden, um einen 1-Bit-Fehler-erkennenden Code zu erhalten? Geben Sie an, wie diese(s) Prüfbit(s) berechnet werden können. f) Wieviele Prüfbits müssen zu dem Blockcode aus a) mindestens hinzugefügt werden, um einen 1-Bit-Fehler-korrigierenden Code zu erhalten (mit Begründung). 13) Betrachten Sie das Alphabet A = {0, 1, 2, 3, 4, 5, 6, 7, 8, 9}. a) Wie groß ist die Redundanz bei der Codierung von A mit einem 4-Bit-Blockcode (BCDoder Aiken- oder Gray-Code usw.)? Hinweis: log 2 10 = 3,32
b) Konstruieren Sie eine binäre Codierung der Einzelzeichen des Alphabets A, die minimale mittlere Wortlänge (und somit auch Redundanz) hat. Zeichnen Sie den Codebaum und bestimmen Sie die mittlere Wortlänge und die Redundanz dieses Codes. Hinweis: Betrachten Sie A als Shannon'sche Nachrichtenquelle, in der alle Zeichen gleiche Wahrscheinlichkeit haben. 14) Gegeben sei die folgende Shannon sche Nachrichtenquelle: X = { a, b, c, d, e }, p(a) = 1/3, p(b) = 1/3, p(c) = 1/6, p(d) = 1/12, p(e) = 1/12 a) Bestimmen Sie den Informationsgehalt der einzelnen Zeichen sowie die Entropie von X. Hinweise: log 2 3 = 1,585, log 2 6 = 2,585, log 2 12 = 3,585 (Eigentlich hätte ja eine der Angaben gereicht, die anderen berechnet man im Kopf, wenn man mit Logarithmen umgehen kann ). b) Konstruieren Sie einen Huffman-Code h für diese Nachrichtenquelle und berechnen Sie dessen mittlere Wortlänge. c) Konstruieren Sie einen weiteren Huffman-Code k für diese Nachrichtenquelle, bei dem die Längen der Codewörter sich von denen bei Ihrem Code h aus Teil b) unterscheiden, und berechnen Sie dessen mittlere Wortlänge. 15) Wir wissen, dass jede Codierung der Dezimalziffern 0, 1,, 9 mit einem 4-Bit-Blockcode keine Fehlererkennung ermöglicht, da sie notwendigerweise Hammingdistanz 1 hat. In der Vorlesung wurden folgende Blockcodes mit mehr als 4 Bit angegeben: Dezimal CCITT2 Biquinär 1 aus 10 0 0 1 1 0 1 0 0 0 0 0 1 0000000001 1 1 1 1 0 1 0 0 0 0 1 0 0000000010 2 1 1 0 0 1 0 0 0 1 0 0 0000000100 3 1 0 0 0 0 0 0 1 0 0 0 0000001000 4 0 1 0 1 0 0 1 0 0 0 0 0000010000 5 0 0 0 0 1 1 0 0 0 0 1 0000100000 6 1 0 1 0 1 1 0 0 0 1 0 0001000000 7 1 1 1 0 0 1 0 0 1 0 0 0010000000 8 0 1 1 0 0 1 0 1 0 0 0 0100000000 9 0 0 0 1 1 1 1 0 0 0 0 1000000000 a) Bestimmen Sie für jede der 3 Codierungen die Hammingdistanz und geben Sie an, welche Art der Fehlererkennung und der Fehlerbehebung somit jeweils möglich ist. b) Geben Sie einen 1-bit-fehlererkennenden Blockcode minimaler Länge für die Dezimalziffern an. Erklären Sie auch, wie Ihre Codierung entstanden ist. Hinweis: Mit einem der Standardverfahren aus der Vorlesung ist dies sehr einfach. c) Was ist die minimale Länge eines 1-bit-fehlerkorrigierenden Blockcodes für die Dezimalziffern (Begründung)?
16) Die Zeichen des Alphabets A = {00, 01,, 98, 99} der mit zwei Dezimalziffern darstellbaren natürlichen Zahlen werden als 2-stellige BCD-Zahl (d.h. im packed decimal genannten Datenformat) binär codiert (also z.b. die Zahl 47 10 als 01000111). a) Wie groß ist der Entscheidungsgehalt des physikalischen Zeichenvorrats? b) Wie groß ist der Entscheidungsgehalt des semantischen Zeichenvorrats? (Wenn Sie keinen Taschenrechner zur Verfügung haben genügt die Angabe der Stelle[n] vor dem Komma.) c) Wie groß sind die absolute und die relative Redundanz der Codierung? d) Kann die Redundanz der Codierung zur Fehlererkennung und/oder zur Fehlerbehebung genutzt werden? e) Geben Sie einen binären Blockcode minimaler Wortlänge für das Alphabet A an (der Platz hier reicht aus!). 17) Die Zeichen des Alphabets A = {00, 01,, 98, 99} der mit zwei Dezimalziffern darstellbaren natürlichen Zahlen werden durch zwei 8-bit-ASCII-Zeichen binär codiert (also z.b. die Zahl 23 10 als 00110010 00110011, weil ASCII(2)= 00110010 und ASCII(3)=00110011). a) Wie groß ist der Entscheidungsgehalt des physikalischen Zeichenvorrats? b) Wie groß ist der Entscheidungsgehalt des semantischen Zeichenvorrats? (Wenn Sie keinen Taschenrechner zur Verfügung haben genügt die Angabe der Stelle[n] vor dem Komma.) c) Wie groß sind die absolute und die relative Redundanz der Codierung? d) Kann die Redundanz der Codierung zur Fehlererkennung und/oder zur Fehlerbehebung genutzt werden? e) Geben Sie einen binären Blockcode minimaler Wortlänge für das Alphabet A an (der Platz hier reicht aus!). 18) Eine aus 10 Dezimalziffern bestehende Kennung (für irgendetwas) wird um zwei Prüfziffern ergänzt, in denen die Summe der ersten 10 Ziffern gespeichert wird. Geben Sie jeweils eine kurze Begründung für Ihre Antworten auf die folgenden Fragen. a) Kann mit Hilfe der Prüfziffern erkannt werden, wenn eine der 10 Ziffern falsch ist? Nie Meistens, aber nicht immer Manchmal, aber eher selten Immer b) Kann mit Hilfe der Prüfziffern erkannt werden, wenn zwei der 10 Ziffern falsch sind? Nie Meistens, aber nicht immer Manchmal, aber eher selten Immer
c) Kann mit Hilfe der Prüfziffern erkannt werden, wenn zwei der 10 Ziffern vertauscht wurden? Nie Meistens, aber nicht immer Manchmal, aber eher selten Immer 19) Die Zeichen des Alphabets A = {000, 001,, 998, 999} der mit drei Dezimalziffern darstellbaren natürlichen Zahlen werden als 3-stellige BCD-Zahl (d.h. im packed decimal genannten Datenformat) binär codiert (also z.b. die Zahl 347 10 als 0011 0100 0111). a) Wie groß ist der Entscheidungsgehalt des physikalischen Zeichenvorrats? b) Wie groß ist der Entscheidungsgehalt des semantischen Zeichenvorrats? (Wenn Sie keinen Taschenrechner zur Verfügung haben genügt die Angabe der Stelle[n] vor dem Komma.) c) Wie groß sind die absolute und die relative Redundanz der Codierung? d) Kann die Redundanz dieser Codierung zur Fehlererkennung und/oder zur Fehlerbehebung genutzt werden? e) Wieviele Bits muss ein binärer Blockcode für das Alphabet A mindestens haben? Geben Sie einen solchen Blockcode minimaler Wortlänge an (der Platz hier reicht aus, wenn auch nicht für das Hinschreiben aller Codewörter).