Grundlagen der Technischen Informatik. 3. Übung

Transkript

1 Grundlagen der Technischen Informatik 3. Übung Christian Knell Keine Garantie für Korrekt-/Vollständigkeit

2 3. Übungsblatt Themen Aufgabe : Aufgabe 2: Aufgabe 3: Informationstheorie Huffman-Code Entropie

3 3. Übungsblatt Aufgabe a) Nennen Sie die kleinste Anzahl an Prüfstellen, die benötigt wird, um einen Hamming-Code mit 6 (bzw. oder 2) Informationsstellen zu bilden, welcher die Korrektur von Einzelbitfehlern erlaubt. 2 k m + k + k = #Prüfstellen m = #Informationsstellen

4 3. Übungsblatt Aufgabe a) Nennen Sie die kleinste Anzahl an Prüfstellen, die benötigt wird, um einen Hamming-Code mit 6 (bzw. oder 2) Informationsstellen zu bilden, welcher die Korrektur von Einzelbitfehlern erlaubt. 2 k m + k + Für m = 6: 2 k 7 + k k ld(7 + k) Ausprobieren liefert: k = 4

5 3. Übungsblatt Aufgabe a) Nennen Sie die kleinste Anzahl an Prüfstellen, die benötigt wird, um einen Hamming-Code mit 6 (bzw. oder 2) Informationsstellen zu bilden, welcher die Korrektur von Einzelbitfehlern erlaubt. 2 k m + k + Für m = : 2 k 2 + k k ld(2 + k) Ausprobieren liefert: k = 4

6 3. Übungsblatt Aufgabe a) Nennen Sie die kleinste Anzahl an Prüfstellen, die benötigt wird, um einen Hamming-Code mit 6 (bzw. oder 2) Informationsstellen zu bilden, welcher die Korrektur von Einzelbitfehlern erlaubt. 2 k m + k + Für m = 2: 2 k 3 + k k ld(3 + k) Ausprobieren liefert: k = 5

7 3. Übungsblatt Aufgabe b) Geben Sie die Gleichungen für die Prüfstellen eines Hamming-Codes (HD min = 3) mit 6 Informationsstellen auf Basis des in der Vorlesung vorgestellten Konstruktionsschemas an. Das Konstruktionsschema:. Aufstellen der Huffman-Matri 2. Aufstellen der Gleichungen

8 3. Übungsblatt Aufgabe b) Geben Sie die Gleichungen für die Prüfstellen eines Hamming-Codes (HD min = 3) mit 6 Informationsstellen auf Basis des in der Vorlesung vorgestellten Konstruktionsschemas an.. Aufstellen der Huffman-Matri: m + k Spalten ld(m + k) Zeilen (Aufrunden!) Jede Spalte mit nur einer entspricht einer Prüfstelle (y i ) Alle anderen Spalten entsprechen Informationsstellen ( i )

9 3. Übungsblatt Aufgabe b) Geben Sie die Gleichungen für die Prüfstellen eines Hamming-Codes (HD min = 3) mit 6 Informationsstellen auf Basis des in der Vorlesung vorgestellten Konstruktionsschemas an.. Aufstellen der Huffman-Matri: y y y y

10 3. Übungsblatt Aufgabe b) Geben Sie die Gleichungen für die Prüfstellen eines Hamming-Codes (HD min = 3) mit 6 Informationsstellen auf Basis des in der Vorlesung vorgestellten Konstruktionsschemas an. 2. Aufstellen der Gleichungen: Für jedes Prüfbit: Ver-XOR-n der Informationsstellen ihrer Zeilen

11 3. Übungsblatt Aufgabe b) Geben Sie die Gleichungen für die Prüfstellen eines Hamming-Codes (HD min = 3) mit 6 Informationsstellen auf Basis des in der Vorlesung vorgestellten Konstruktionsschemas an. 2. Aufstellen der Gleichungen: y y y y y y y y

12 3. Übungsblatt Aufgabe 2 Ein Satz soll kodiert und anschließend übertragen werden. Die Häufigkeit der verwendeten Zeichen ist in der folgenden Tabelle gegeben: Zeichen A B C D E F G H Häufigkeit a) Erstellen Sie für die gegebenen Zeichen und ihre zugehörigen Häufigkeiten einen Huffman-Codierungsbaum. Geben Sie dabei auch die einzelnen Teilschritte an. b) Geben Sie die aus dem Huffman-Codierungsbaum aus der Teilaufgabe a) resultierenden Codierung der Zeichen an. c) Wie viele Bits sind mindestens notwendig, wenn man für die Codierung jedes verwendeten Zeichens dieselbe Anzahl Bits verwenden würde?

13 3. Übungsblatt Aufgabe 2 a) Erstellen Sie für die gegebenen Zeichen und ihre zugehörigen Häufigkeiten einen Huffman-Codierungsbaum. Geben Sie dabei auch die einzelnen Teilschritte an. Zeichen E G C B H F A D Häufigkeit

14 3. Übungsblatt Aufgabe 2 a) Erstellen Sie für die gegebenen Zeichen und ihre zugehörigen Häufigkeiten einen Huffman-Codierungsbaum. Geben Sie dabei auch die einzelnen Teilschritte an. E: G: C: 3 B: 4 H: 4 F: 6 A: 9 D: E und G zusammenfassen zu EG Neues Element der Größe 2 2 C: 3 B: 4 H: 4 F: 6 A: 9 D: E: G:

15 3. Übungsblatt Aufgabe 2 a) Erstellen Sie für die gegebenen Zeichen und ihre zugehörigen Häufigkeiten einen Huffman-Codierungsbaum. Geben Sie dabei auch die einzelnen Teilschritte an. EG und C zusammenfassen zu CEG Neues Element der Größe 5 B: 4 H: 4 5 F: 6 A: 9 D: 2 C: 3 E: G:

16 3. Übungsblatt Aufgabe 2 a) Erstellen Sie für die gegebenen Zeichen und ihre zugehörigen Häufigkeiten einen Huffman-Codierungsbaum. Geben Sie dabei auch die einzelnen Teilschritte an. B und H zusammenfassen zu BH Neues Element der Größe 8 5 F: 6 8 A: 9 D: 2 C: 3 B: 4 H: 4 E: G:

17 3. Übungsblatt Aufgabe 2 a) Erstellen Sie für die gegebenen Zeichen und ihre zugehörigen Häufigkeiten einen Huffman-Codierungsbaum. Geben Sie dabei auch die einzelnen Teilschritte an. CEG und F zusammenfassen zu CEFG Neues Element der Größe 8 A: 9 D: B: 4 H: 4 5 F: 6 2 C: 3 E: G:

18 3. Übungsblatt Aufgabe 2 a) Erstellen Sie für die gegebenen Zeichen und ihre zugehörigen Häufigkeiten einen Huffman-Codierungsbaum. Geben Sie dabei auch die einzelnen Teilschritte an. BH und A zusammenfassen zu ABH Neues Element der Größe 7 D: 7 5 F: 6 8 A: 9 2 C: 3 B: 4 H: 4 E: G:

19 3. Übungsblatt Aufgabe 2 a) Erstellen Sie für die gegebenen Zeichen und ihre zugehörigen Häufigkeiten einen Huffman-Codierungsbaum. Geben Sie dabei auch die einzelnen Teilschritte an. D und CEFG zusammenfassen zu CDEFG Neues Element der Größe A: 9 D: B: 4 H: 4 5 F: 6 2 C: 3 E: G:

20 3. Übungsblatt Aufgabe A: 9 D: B: 4 H: 4 5 F: 6 2 C: 3 E: G:

21 3. Übungsblatt Aufgabe 2 b) Geben Sie die aus dem Huffman-Codierungsbaum aus der Teilaufgabe a) resultierenden Codierung der Zeichen an A: 9 D: B: 4 H: 4 5 F: 6 E G C B H F A D E: 2 G: C: 3

22 3. Übungsblatt Aufgabe 2 b) Geben Sie die aus dem Huffman-Codierungsbaum aus der Teilaufgabe a) resultierenden Codierung der Zeichen an. Zeichen E G C B H F A D Codierung c) Wie viele Bits sind mindestens notwendig, wenn man für die Codierung jedes verwendeten Zeichens dieselbe Anzahl Bits verwenden würde? Anzahl: ld(8) = 3

23 3. Übungsblatt Aufgabe 3 Gegeben sei ein Alphabet bestehend aus den Buchstaben A-F. In einer empfangenen Nachricht wurden die folgenden Häufigkeiten ermittelt: a) Berechnen Sie den maimalen Entropiewert der Quelle. H Zeichen A B C D E F Häufigkeit N ma ld ( N) ld ( N) i N H ma ld (6) 2,585

24 3. Übungsblatt Aufgabe 3 b) Wieviele Bits werden demnach benötigt, falls alle Zeichen mit gleichlangen Binärwörtern kodiert werden sollen? Aufrunden des maimalen Entropiewertes auf die nächste ganze Zahl, also ld ( 6) 3

25 3. Übungsblatt Aufgabe 3 c) Berechnen Sie den Informationsgehalt der einzelnen Zeichen sowie die Entropie der Quelle unter Berücksichtigung der gegebenen Häufigkeiten. Informationsgehalt: I( i) ld ( ) p( i) Zeichen A B C D E F p(i),2,,5,5,3,2 I(i) 2,322 3,322 4,322 2,737,737 2,322

26 3. Übungsblatt Aufgabe 3 c) Berechnen Sie den Informationsgehalt der einzelnen Zeichen sowie die Entropie der Quelle unter Berücksichtigung der gegebenen Häufigkeiten. Zeichen A B C D E F p(i),2,,5,5,3,2 I(i) 2,322 3,322 4,322 2,737,737 2,322 Entropie ist Erwartungswert des Informationsgehalts, also: H N p( i) I( i) N p( i) ld ( i i p i)

27 3. Übungsblatt Aufgabe 3 c) Berechnen Sie den Informationsgehalt der einzelnen Zeichen sowie die Entropie der Quelle unter Berücksichtigung der gegebenen Häufigkeiten. Zeichen A B C D E F p(i),2,,5,5,3,2 I(i) 2,322 3,322 4,322 2,737,737 2,322 Entropie ist Erwartungswert des Informationsgehalts, also: H,2* ld (5),* ld (),5* ld (2) 2,5* ld ( ),3* ld ( ),2* ld (5) 3 3 2,49

28 3. Übungsblatt Aufgabe 3 d) Kodieren Sie das Alphabet mit Hilfe eines Huffman-Codes unter Berücksichtigung der gegebenen Häufigkeiten und berechnen Sie die daraus resultierende durchschnittliche Codewortlänge m. Zeichen A B C D E F Kodierung #Bits m =,2 * 2 +, * 4 + +,5 * 4 +,5 * 3 + +,3 * 2 +,2 * 2 = = 2,45

29 3. Übungsblatt Aufgabe 3 e) Zwecks Fehlererkennung sollen die Buchstaben des Alphabets nun kodiert werden, wobei lediglich Einfachfehler erkannt (aber nicht korrigiert) werden sollen. Die Länge der Codewörter soll dabei so kurz wie möglich gewählt werden. In diesem Fall HD min = 2 3 Bits reichen dafür jedoch nicht aus (,,, ) Für 4 Bits ergeben sich folgende (mögliche) Codewörter: Zeichen A B C D E F Code

30 3. Übungsblatt Danke für die Aufmerksamkeit