Übung zur Vorlesung. Informationstheorie und Codierung

Save this PDF as:
 WORD  PNG  TXT  JPG

Größe: px
Ab Seite anzeigen:

Download "Übung zur Vorlesung. Informationstheorie und Codierung"

Transkript

1 Übung zur Vorlesung Informationstheorie und Codierung Prof. Dr. Lilia Lajmi Juni 25 Ostfalia Hochschule für angewandte Wissenschaften Hochschule Braunschweig/Wolfenbüttel Postanschrift: Salzdahlumer Str. 46/ Wolfenbüttel Besucheranschrift: Salzdahlumer Str. 46/ Wolfenbüttel

2 Übung Informationstheorie und Codierung 25 Aufgaben Alphabet und Wörter Aufgabe. Es sei das Alphabet,, 2 und 3 gegeben. a. Bestimmen Sie:,,, und b. Wie groß ist? 2. Ein Alphabet A, bestehend aus 26 Buchstaben, 3 Umlauten sowie dem Leerzeichen und den neun Satzzeichen., ; :?! und soll Binär und hexadezimal dargestellt werden. Wie viele binäre bzw. hexadezimale Stellen sind für die Darstellung eines Symbols mindestens erforderlich? Codierung und Decodierung Aufgabe 2 Ein Sender kann vier Codierte Nachrichten aussenden (Es handelt sich hier um einer binären Blockcodierung der Länge 2): Die Börse ist sehr fest. Sollen wir verkaufen? Die Kurse fallen. Helft uns gegensteuern! Eines Tages wird die Symbolfolge empfangen. Dabei hat man das erste Symbol verpasst und erst das zweite empfangen. Zusätzlich weiß man nicht, wo die Mitteilung aufhört, da der Sender immer weiter sendet. Rekonstruieren Sie die gesendete Botschaft unter der Annahme, dass der Sender etwas Sinnvolles übertragen hat. Aufgabe 3: Präfixfreier Code Gegeben sei das Alphabet,. Ist die Menge,,,, ein sinnvoller Code für fünf Nachrichten? Aufgabe 4: Bestimmen Sie für jeden der folgenden Codes, ob dieser eindeutig decodierbar ist und ob es sich um einen präfixfreien Code handelt. Ist der Code nicht eindeutig decodierbar, dann geben Sie eine Codesequenz an, für welche zwei unterschiedliche Interpretationen als Sequenz aus Codewörtern existieren. Sonst repräsentieren Sie den Code mit einem Codebaum. 5. Juni 25 Seite von 56

3 Übung Informationstheorie und Codierung 25.,,, 2.,, 3.,, 4., 5.,, Bemerkung: Existiert ein eindeutig decodierbarer Code, dann existiert auch ein präfixfreier Code mit denselben Codewortlängen. Deshalb werden für eindeutig decodierbare Codes üblicherweise Präfixfreie Codes Verwendet. Aufgabe 5: Ungleichung von Kraft Ein binärer Baum habe 7 Endknoten, deren Abstände von der Wurzel sind:. Existiert dieser Baum? 2. Wenn ja, stellen Sie diesen Baum dar. Aufgabe 6: Ungleichung von Kraft 2; 3; 4. Existiert für folgende Codewortlängen ein binärer Präfixfreier Code? Wenn ja, dann konstruieren Sie einen entsprechenden Code a., 2, 3, 4, 5, 5 b., 2, 3, 4, 4, 5 c. 2, 2, 2, 3, 4 2. Existiert für folgende Codewortlängen ein ternärer Präfixfreier Code? Wenn ja, dann konstruieren Sie einen entsprechenden Code a.,2,3,,2,3,2 b.,2,3,4,,2,3,4 c. 3,3,3,3,3,3,2,, Aufgabe 7: ASCII Codierung. Wie lautet der ASCII Code vom Symbol A (Hexadezimalzahl = 4) 2. Vervollständigen Sie die folgende Tabelle zur Umrechnung von Dezimal, Hexadezimal und Binärzahl 5. Juni 25 Seite 2 von 56

4 Übung Informationstheorie und Codierung 25 Dezimalzahl Hexadezimalzahl Binärzahl 75 9 B3 25 Quellencodierung Aufgabe 8 Gegeben sei eine Quelle Q mit 4 Symbolen (A, B, C und D). Die Auftrittswahrscheinlichkeiten der Symbole seien:,8,,8,2. Wie groß ist die Information eines einzelnen Symbols? 2. Wie groß ist die Entropie der Quelle? 3. Wie groß wäre die Entropie bei gleicher Auftrittswahrscheinlichkeit der 4 Symbole? Aufgabe 9 Eine Quelle enthält 4 Symbole: Q A B C D. Berechnen Sie: a. Den Entscheidungsgehalt H. b. Die Entropie HQ c. Die Redundanz der Quelle R. 2. Die Quelle wird mit einer optimalen Codewortlänge codiert (angepasst an den Informationsgehalt der einzelnen Symbole). a. Berechnen Sie die mittlere Codewortlänge pro Symbol Lx b. Wie lauten die Codewörter der einzelnen Symbole? c. Berechnen Sie die mittlere Codewortlänge L d. Berechnen Sie die Redundanz des Codes R Aufgabe : Fano Codierung Quelle Q ist gegeben durch Alphabet und absolute Häufigkeiten: Codieren Sie die Quelle nach Fano (Codierungstabelle und Code Baum) 2. Wie groß ist die mittlere Codewortlänge? 5. Juni 25 Seite 3 von 56

5 Übung Informationstheorie und Codierung 25 Aufgabe : Fano Codierung Erstellen Sie jeweils den Codebaum und Code Tabelle. Geben Sie für jedes Zeichen die Codierung an und berechnen Sie die mittlere Codewortlänge. 2. Zeigen Sie, dass es hier nach dem Fano drei unterschiedliche mögliche Codierungen gibt und dass die Fano Codierung nicht immer optimal ist Aufgabe 2: Gegeben ist die Quelle,4,,2,3. Wie groß ist die Entropie der Quelle? 2. Fano Codierung a. Codieren Sie die Quelle mit dem Fano Algorithmus b. Berechnen Sie die mittlere Codewortlänge und die Redundanz des Codes 3. Shannon Codierung a. Codieren Sie die Quelle mit dem Shannon Algorithmus b. Berechnen Sie die mittlere Codewortlänge und die Redundanz des Codes 4. Huffman Codierung a. Codieren Sie die Quelle mit dem Huffmann Algorithmus b. Berechnen Sie die mittlere Codewortlänge und die Redundanz des Codes 5. Vergleichen Sie die Ergebnisse der drei Algorithmen. Aufgabe 3: Shannon Codierung Eine Quelle enthält ein Zeichenvorrat von 4 Zeichen (A, B, C, D). Die Auftrittswahrscheinlichkeiten der einzelnen Zeichen seien: PA =,8; PB =,; PC =,8; PD =,2.. Wie groß sind die Informationsgehalte der einzelnen Zeichen? 2. Wie groß ist die Entropie der Quelle? Wie groß wäre die Entropie der Quelle bei gleicher Auftrittswahrscheinlichkeit der vier Zeichen? 3. Für die Übertragung soll ein Binärcode nach Shannon entwickelt werden. Welche mittlere Codewortlänge ergibt sich aus dem erstellten Code. Aufgabe 4: Huffman Codierung Gegeben sei die folgende Nachricht: RZROZPZZ. Geben Sie die zugehörige Huffman Codierung an. 2. Ermitteln Sie durch Rechnung, ob es sich dabei um einen optimalen Code handelt und begründen Sie das Ergebnis. Welche Regel trifft hier zu? 5. Juni 25 Seite 4 von 56

6 Übung Informationstheorie und Codierung 25 Aufgabe 5: Huffman Codierung Für einen Zeichenvorrat sind folgende Auftrittswahrscheinlichkeiten gegeben: Zeichen R E H K P A S Häufigkeit,9,,4,5,2,3,2. Leiten Sie die zugehörige Huffman Codierung her 2. Berechnen Sie die Redundanz des Codes 3. Codieren Sie die Zeichenfolgen a. KEKSE b. HARKE 4. Ist der Code optimal? Wann liefert der Huffman Algorithmus einen optimalen Code? Aufgabe 6: Gegeben sei die Quelle,7,2,. Codieren Sie die Symbole von und berechnen Sie die mittlere Codewortlänge 2. Codieren Sie Symbolpaare von und bestimmen Sie die mittlere Codewortlänge pro Symbol. Vergleichen Sie beide Ergebnisse mit der Entropie der Quelle Aufgabe 7: Gegeben ist folgende Binärsequenz:. Berechnen Sie für die obige Nachricht: a. Den Entscheidungsgehalt b. Die Entropie c. Die Redundanz pro Symbol und die gesamte Redundanz der Nachricht. 2. Es sind jeweils zwei benachbarte Bits zu einem Symbol zusammenzufassen. Beantworten Sie für die sich daraus ergebende Symbolfolge alle Fragen gemäß a c. 3. Codieren Sie die Symbolfolge mit Shannon. Welche Redundanz ergibt sich? 4. Codieren Sie die Symbolfolge mit Huffman. Welche Redundanz ergibt sich jetzt? Aufgabe 8: Gegeben ist folgende Nachricht: AACDABCAAADBACAC. Wie groß sind a. der Entscheidungsgehalt der Nachrichtenquelle, b. der Informationsgehalt der einzelnen Zeichen, c. die Entropie und Redundanz der Nachricht. 2. Die Zeichen sollen binär codiert und dann übertragen werden. Der Code lautet: A = B = C = D = 5. Juni 25 Seite 5 von 56

7 Übung Informationstheorie und Codierung 25 a. Geben Sie den Informationsgehalt der binären Zeichen und an b. Welche Redundanz ergibt sich jetzt? c. Machen Sie einen Vorschlag, wie die Redundanz durch eine optimierte Codierung verringert werden kann. Aufgabe 9: Eine farbige Grafik besteht aus Million Bildpunkten, die ROT, GRÜN, BLAU, WEISS und SCHWARZ aussehen können. Das gesamte Bild wird in Sekunde übertragen. Alle genannten Farben/Helligkeiten treten in der Grafik gleich häufig auf.. Berechnen Sie den Entscheidungsgehalt der Quelle farbige Grafik und geben Sie den Informationsgehalt für jedes der möglichen Zeichen (Farben bzw. Helligkeitswerte) an. 2. Die Zustände der Bildpunkte sollen binär codiert werden (gleiche Codewortlänge). Welcher Datenfluss ergibt sich hierbei? Welche Redundanz liegt jetzt vor? 3. Stellen Sie die Zeichen mit dem Huffman Code dar. Welche mittlere Codewortlänge ergibt sich? Welche Redundanz resultiert? Diskrete Quelle mit Gedächtnis Aufgabe 2: Gegeben Sei eine Quelle,, mit Gedächtnis. Für die Quellensymbole gelten die folgenden bedingten Wahrscheinlichkeiten: Stellen Sie die Quelle anschaulich mit Hilfe eines Markov Diagramms. Ordnung dar. 2. Bestimmen Sie die Symbolwahrscheinlichkeiten, und 3. Berechnen Sie die Verbundwahrscheinlichkeiten, 4. Berechnen Sie die Entropie der Quelle, die bedingte Entropie und die Verbundentropie Aufgabe 2: Markov Quelle Eine diskrete Quelle, mit Gedächtnis habe den Zustandsgraf aus der folgenden Abbildung Juni 25 Seite 6 von 56

8 Übung Informationstheorie und Codierung 25 3/4? A B?. Geben Sie die Übergangswahrscheinlichkeiten an. 2. Berechnen Sie die Auftrittswahrscheinlichkeiten der einzelnen Zustände. 3. Geben Sie die Entropie der Quelle an unter Berücksichtigung der Übergangswahrscheinlichkeiten. 4. Fassen Sie jeweils drei Zeichen zu einem Symbol zusammen. Berechnen Sie die Wahrscheinlichkeiten der möglichen Symbole. 5. Führen Sie eine Huffman Codierung durch und geben Sie die mittlere Codewortlänge des Codes. Kanalcodierung Aufgabe 22: (A32 Dr. Jäger) Gegeben sei ein symmetrischer binärer Kanal (BSC), dessen Eingangszeichen und die Auftrittswahrscheinlichkeiten,4 und,6 haben und dessen Bitfehlerwahrscheinlichkeit,5 beträgt.. Bestimmen Sie die Entropie der Kanalausgabe, 2. die Entropie der Irrelevanz, 3. die Transinformation,. Aufgabe 23: (A3 Dr. Jäger) Gegeben sei der skizzierte Kanal Wie groß ist die Kanalkapazität, wenn die Eingangs und Ausgangszeichen gleichverteilt sind? 5. Juni 25 Seite 7 von 56

9 Übung Informationstheorie und Codierung 25 Aufgabe 24: (A3 Dr. Jäger) Gegeben sei ein BSC Kanal mit einer Übertragungsrate / und einer Bitfehlerwahrscheinlichkeit von, Die Daten, die über diesen Kanal übertragen werden sollen, stammen von einer binären Quelle ( und ) mit den Auftrittswahrscheinlichkeiten und. Die Symbole der Quelle werden statistisch unabhängig voneinander ausgewählt.. Wie groß ist die Kanalkapazität? 2. Wie groß ist die Entropie der Quelle mit,3 und,7? 3. Welche maximale Symbolrate kann im Prinzip fehlerfrei übertragen werden? Aufgabe 25: (A34 Dr. Jäger) Es sei ein fehlererkennender und fehlerkorrigierender Code über dem Alphabet, mit einer Codewortlänge 2 gegeben.. Wie viele Nachrichtenstellen können mit diesem Code übertragen werden, wenn bis zu 3 Fehler korrigiert werden sollen? 2. Wie viele verschiedene Nachrichten können dann maximal codiert werden? 3. Wie groß ist die Minimaldistanz des Codes? 4. Wie viele Fehler können (ggf. ohne Korrekturmöglichkeit) erkannt werden? Aufgabe 26 Ein Hamming Code der Länge soll zur reinen Fehlererkennung mit anschließender Bestätigung eingesetzt werden. Die Bitfehlerwahrscheinlichkeit eines symmetrischen Binärkanals beträgt 5. Wie groß ist die Wahrscheinlichkeit, dass ein Codewort fehlerhaft empfangen wird? 2. Wie groß ist die Wahrscheinlichkeit, dass ein fehlerbehaftetes Empfangswort nicht erkannt wird? Aufgabe 27: (A33 Dr. Jäger) Gegeben sei ein linearer Blockcode über dem Alphabet, mit der Generatormatrix. Stellen Sie den vollständigen Code auf (Liste der Nachrichtenwörter mit den zugehörigen Codewörtern). 2. Berechnen Sie, und des Codes. 3. Geben Sie alle möglichen Vektoren an, die in der Korrigierkugel um liegen. 5. Juni 25 Seite 8 von 56

10 Übung Informationstheorie und Codierung Wie lautet die Generatormatrix des zugehörigen separierbaren Codes? 5. Stellen Sie die Kontrollmatrix für den separierbaren Code auf. 6. Geben Sie die Gleichungen zur Ermittlung der Kontrollstellen an (Ablesen aus der Kontrollmatrix). 7. Wie lauten dann die zugehörigen Prüfgleichungen? 8. Erstellen Sie aus der Kontrollmatrix die vollständige Syndromtabelle (für Einzelfehler). Können alle Einzelfehler korrigiert werden? 9. Zeigen Sie dann (durch Berechnung der möglichen Syndrome), dass sich auch alle Bündelfehler der Länge 2 korrigieren lassen.. Wie lauten die zu den folgenden (verfälschten) Empfangsvektoren gehörenden (korrigierten) Codewörter ; ; Aufgabe 28: (A37 Dr. Jäger) Gegeben sei ein zyklischer Code C über, mit dem Generatorpolynom, der Codewörter der Länge 7 erzeugt.. Wie viele Kontroll und Nachrichtenstellen hat der Code? 2. Geben Sie die zugehörige Generatormatrix des Codes an. 3. Codieren Sie die Nachrichtenvektoren und in vektorieller und in polynomialer Darstellung. 4. Konstruieren Sie die Codewortpolynome des zugehörigen separierbaren Codes zu den Nachrichtenwörtern und. 5. Erstellen Sie eine Syndromtabelle für alle Einzelfehler. 6. Es werden das Wort und das Wort empfangen. Prüfen Sie, ob es sich um gültige Codewörter handelt und korrigieren Sie gegebenenfalls die Empfangswörter. Faltungscodierung Aufgabe 29: Gegeben ist ein Codierer für einen Faltungscode der rate mit der Schieberegisterlänge 2.. Zeichnen Sie das Trellis und das Zustandsdiagramm. 2. Decodieren Sie die Empfangssequenz. Handelt es sich um einer fehlerfreien oder fehlerbehafteten Übertragung? 3. Decodieren Sie die Empfangssequenz. Handelt es sich um einer fehlerfreien oder fehlerbehafteten Übertragung? 5. Juni 25 Seite 9 von 56

11 Übung Informationstheorie und Codierung 25 Aufgabe 3: Gegeben ist der folgende Faltungscodierer: + Ausgabebits c 2 c c c 2 c q i- q i- q i q i Eingabebits c + +. Welche Coderate hat dieser Codierer? 2. Geben Sie die Ausgangsbitsequenz am Ausgang des Codierers, wenn am Eingang die Sequenz vorliegt. 3. Vervollständigen Sie das folgende Trellisdiagramm. - - t Zustände 4. Decodieren Sie die Empfangsfolge. Handelt es sich um einer fehlerfreien oder Fehlerbehafteten Übertragung? Wie viele Fehler wurden erkannt bzw. korrigiert? 5. Juni 25 Seite von 56

12 Übung Informationstheorie und Codierung 25 2 Lösungen Alphabet und Wörter Aufgabe. Es sei das Alphabet,, und gegeben. a. Bestimmen Sie:,,, und : Menge aller Wörter der Länge über. : Menge aller Wörter mit einer maximalen Länge über.,, 2,, 2,,, 2, 2, 2, 22,, 2,, 2 2, 2, 22,, 2,, 2 2, 2, 2 2, 2, 22 2, 2, 22 22, 22, 222 b. Wie groß ist? Ein Alphabet, bestehend aus 26 Buchstaben, 3 Umlauten sowie dem Leerzeichen und den neun Satzzeichen., ; :?! und soll Binär und hexadezimal dargestellt werden. Wie viele binäre bzw. hexadezimale Stellen sind für die Darstellung eines Symbols mindestens erforderlich? Alphabet hat insgesamt: Symbole Binär: 2 32 zu wenig; 2 64 OK Binär: Es sind 6 Stellen erforderlich. Hexadezimal:. Stelle 6 5 Zeichen zu wenig 2. Stelle 6 6 bis max OK Hexadezimal: Es sind 2 Stellen erforderlich. 5. Juni 25 Seite von 56

13 Übung Informationstheorie und Codierung 25 Codierung und Decodierung Aufgabe 2 Ein Sender kann vier Codierte Nachrichten aussenden (Es handelt sich hier um einer binären Blockcodierung der Länge 2): Die Börse ist sehr fest. Sollen wir verkaufen? Die Kurse fallen. Helft uns gegensteuern! Eines Tages wird die Symbolfolge empfangen. Dabei hat man das erste Symbol verpasst und erst das zweite empfangen. Zusätzlich weiß man nicht, wo die Mitteilung aufhört, da der Sender immer weiter sendet. Rekonstruieren Sie die gesendete Botschaft unter der Annahme, dass der Sender etwas Sinnvolles übertragen hat. Lösung: Möglichkeit : Das erste Symbol ist die Nachricht lautet: Die Börse ist sehr fest. Die Kurse fallen. Helft uns gegensteuern! Möglichkeit 2: Das erste Symbol ist die Nachricht lautet: Helft uns gegensteuern! Die Kurse fallen. Das erste Zeichen war. Aufgabe 3: Präfixfreier Code Gegeben sei das Alphabet,. Ist die Menge,,,, ein sinnvoller Code für fünf Nachrichten? Lösung: Codewort 2 () ist auch in Codewort 3 () enthalten kein Präfixfreier Code Code ungünstig Aufgabe 4: Bestimmen Sie für jeden der folgenden Codes, ob dieser eindeutig decodierbar ist und ob es sich um einen präfixfreien Code handelt. Ist der Code nicht eindeutig decodierbar, dann geben Sie eine Codesequenz an, für welche zwei unterschiedliche Interpretationen als Sequenz aus Codewörtern existieren. Sonst repräsentieren Sie den Code mit einem Codebaum..,,, 5. Juni 25 Seite 2 von 56

14 Übung Informationstheorie und Codierung 25 2.,, 3.,, 4., 5.,, Bemerkung: Existiert ein eindeutig decodierbarer Code, dann existiert auch ein präfixfreier Code mit denselben Codewortlängen. Deshalb werden für eindeutig decodierbare Codes üblicherweise Präfixfreie Codes Verwendet. Lösung:.,,, Ist ein Blockcode und Präfixfrei wie alle Blockcodes. Da alle Codeworte die gleiche Länge haben, kann ein Code nur dann Präfix eines anderen Codewortes sein, wenn diese identisch sind. 2.,, Ist präfixfrei alle Codeworte sind Blätter eines Baums 3.,, Ist nicht präfixfrei, denn ist Präfix von. Dennoch ist dieser Code eindeutig decodierbar, denn kein Codewort Suffix eines anderes ist. Ein suffixfreier Code kann immer vom Ende einer Sequenz beginnend eindeutig decodiert werden. 4., Ist nicht präfixfrei, denn ist Präfix von. Trotzdem eindeutig decodierbar, da immer eine in der Sequenz eindeutig erkannt werden kann. 5. Juni 25 Seite 3 von 56

15 Übung Informationstheorie und Codierung 25 5.,, Kein Präfixfreier Code und nicht eindeutig decodierbar. Beispiel: und, sind zwei Interpretationen der selben Sequenz. Aufgabe 5: Ungleichung von Kraft Ein binärer Baum habe 7 Endknoten, deren Abstände von der Wurzel sind: 2; 3; 4. Existiert dieser Baum? 2. Wenn ja, stellen Sie diesen Baum dar. Lösung:. Ungleichung von Kraft: 2 Baum existiert 2. Baum ,875 l=2 l=3 l=3 l=3 l=3 l=4 l=4 Aufgabe 6: Ungleichung von Kraft 2. Existiert für folgende Codewortlängen ein binärer Präfixfreier Code? Wenn ja, dann konstruieren Sie einen entsprechenden Code a.,,,,, Ungleichung von Kraft: Code existiert 5. Juni 25 Seite 4 von 56

16 Übung Informationstheorie und Codierung 25 l= l=2 l=3 l=4 b.,,,,, Ungleichung von Kraft: Baum (und somit Code) existiert nicht c.,,,, l= Code existiert l=2 l=2 l=2 l=3 3. Existiert für folgende Codewortlängen ein ternärer Präfixfreier Code? Wenn ja, dann konstruieren Sie einen entsprechenden Code a.,,,,,, Juni 25 Seite 5 von 56 l=4

17 Übung Informationstheorie und Codierung 25 Code existiert nicht b.,,,,,,, Code existiert l= l= l=2 l=2 l=3 l=3 l=4 l=4 c. 3,3,3,3,3,3,2,, Code existiert l= l= l=2 l=3 l=3 Aufgabe 7: ASCII Codierung. Wie lautet der ASCII Code vom Symbol A (Hexadezimalzahl = 4) 4 4 ASCII Code mit Paritätsbit: 2. Vervollständigen Sie die folgende Tabelle zur Umrechnung von Dezimal, Hexadezimal und Binärzahl Dezimalzahl Hexadezimalzahl Binärzahl 75 2CB B3 5. Juni 25 Seite 6 von 56

18 Übung Informationstheorie und Codierung Lösung: Dezimal Hexadezimal Dezimal Binär Aufgabe ä Gegeben sei eine Quelle Q mit 4 Symbolen (A, B, C und D). Die Auftrittswahrscheinlichkeiten der Symbole seien:,8,,8,2. Wie groß ist die Information eines einzelnen Symbols?,8,322, 3,322,8 3,643,2 5, Wie groß ist die Entropie der Quelle?,8,322, 3,322,8 3,643,2 5,643,994 / 3. Wie groß wäre die Entropie bei gleicher Auftrittswahrscheinlichkeit der 4 Symbole? 4 2 / 5. Juni 25 Seite 7 von 56

19 Übung Informationstheorie und Codierung 25 Aufgabe 9 Eine Quelle enthält 4 Symbole: Q A B C D. Berechnen Sie: a. Den Entscheidungsgehalt. Der Entscheidungsgehalt = Nachrichtenmenge pro Symbol N ld4 H m ld 2 Bit H 2 Symbol Bit Symbol b. Die Entropie = mittlerer Informationsgehalt Entropie H p(x ) I(x ) p(x ) ld p(x ) H pa ld ld H, 75 i i p p ldp p ldp p ldp 8 bit, 75 Symbol 2 ld4 ld8 ld8 3 8 A Bit Symbol B B C 8 c. Die Redundanz der Quelle. R H H 2, 75,25 R,25 Bit Symbol Bit Symbol C 2. Die Quelle wird mit einer optimalen Codewortlänge codiert (angepasst an den Informationsgehalt der einzelnen Symbole). a. Berechnen Sie die mittlere Codewortlänge pro Symbol b. Wie lauten die Codewörter der einzelnen Symbole? i D i D 5. Juni 25 Seite 8 von 56

20 Übung Informationstheorie und Codierung 25 Code A 2 B 4 C 8 D c. Berechnen Sie die mittlere Codewortlänge L p m p m p m p m p m i i A 2 3 3, ,75 A B B C C bit Symbol d. Berechnen Sie die Redundanz des Codes Bit R H c H,75, 75 Symbol R Bit Symbol Aufgabe : Fano Codierung Bit Symbol Quelle Q ist gegeben durch Alphabet und absolute Häufigkeiten: Codieren Sie die Quelle nach Fano (Codierungstabelle und Code Baum) D D 5. Juni 25 Seite 9 von 56

21 Übung Informationstheorie und Codierung 25 Symbol A 5 A B 7 B C 6 C D 6 D E 5 E Zugehöriger Baum: 2. Wie groß ist die mittlere Codewortlänge? / 2,28 / Aufgabe : Fano Codierung Erstellen Sie jeweils den Codebaum und Code Tabelle. Geben Sie für jedes Zeichen die Codierung an und berechnen Sie die mittlere Codewortlänge. 2. Zeigen Sie, dass es hier nach dem Fano drei unterschiedliche mögliche Codierungen gibt und dass die Fano Codierung nicht immer optimal ist Lösung. 5. Juni 25 Seite 2 von 56

22 Übung Informationstheorie und Codierung 25 Symbol C,33 C A,25 A B,25 B D,6 D Alternative Lösung A und B vertauschen 2 / 2. Möglichkeit : Symbol A,4 B,2 A B 2 / C,2 C D,2 D 5. Juni 25 Seite 2 von 56

23 Übung Informationstheorie und Codierung 25 Möglichkeit 2: Symbol A,4 A B,2 B 2 / C,2 C D,2 D Möglichkeit 3: Symbol A,4 A B,2 B C,2 C D,2 D,43,23,22,2 2 / Entropie :,4,4 3,2,2,92 / Die Fano Codierung ist leider nicht optimal. Aufgabe 2: Gegeben ist die Quelle,4,,2,3. Wie groß ist die Entropie der Quelle?,4,4,,,2,2,3,3, 2. Fano Codierung a. Codieren Sie die Quelle mit dem Fano Algorithmus 5. Juni 25 Seite 22 von 56

24 Übung Informationstheorie und Codierung 25 A,4 A D,3 D C,2 C B, B b. Berechnen Sie die mittlere Codewortlänge und die Redundanz des Codes,43,3,22,3,9 / 3. Shannon Codierung a. Codieren Sie die Quelle mit dem Shannon Algorithmus Symbol Binär Code A,4,32 2, D,3,73 2,4,.. C,2 2,32 3,7, B, 3,32 4,9, b. Berechnen Sie die mittlere Codewortlänge und die Redundanz des Codes 2,42,33,24, 2,4 / 2,4,8463,5537 Bit/Symbol 4. Huffman Codierung a. Codieren Sie die Quelle mit dem Huffmann Algorithmus Sortierung: A > D > C > B 5. Juni 25 Seite 23 von 56

25 Übung Informationstheorie und Codierung 25 W D,3,6 C,3 A,4 B A B C D,2, b. Berechnen Sie die mittlere Codewortlänge und die Redundanz des Codes,43,3,22,3,9 / 5. Vergleichen Sie die Ergebnisse der drei Algorithmen. Es gilt und, Die Shannon Codierung ist also nicht optimal Aufgabe 3: Shannon Codierung Eine Quelle enthält ein Zeichenvorrat von 4 Zeichen (A, B, C, D). Die Auftrittswahrscheinlichkeiten der einzelnen Zeichen seien:, ;, ;, ;,.. Wie groß sind die Informationsgehalte der einzelnen Zeichen? Def: Informationsgehalt: I ( x) ld ld( px p( x) Symbol Wahrscheinlichkeit Informationsgehalt A,8,8,32 B,, 3,32 C,8,8 3,64 D,2,2 5,64 5. Juni 25 Seite 24 von 56

26 Übung Informationstheorie und Codierung Wie groß ist die Entropie der Quelle? Entropie der Quelle? p xi ) I( xi ) p( x) H ld p( x ) ( i H p( A) I( xa) p( B) I( xb) p( C) I( xc ) p( D) I( xd) H,8 ld(,8), ld(,),8 ld(,8),2ld(,2) H,994 Bit / Symbol Wie groß wäre die Entropie der Quelle bei gleicher Auftrittswahrscheinlichkeit der vier Zeichen? p( A) p( B) p( C) p( D) H H ld(4) H H o 2Bit/Symbol 3. Für die Übertragung soll ein Binärcode nach Shannon entwickelt werden. Symbol Binär Code A,8,32, B, 3,32 4,8, C,8 3,64 4,9, D,2 5,64 6,98, Welche mittlere Codewortlänge ergibt sich aus dem erstellten Code.,84,4,86,2,64 / Aufgabe 4: Huffman Codierung Gegeben sei die folgende Nachricht: RZROZPZZ. Geben Sie die zugehörige Huffman Codierung an. 2. Symbol R Z O P Juni 25 Seite 25 von 56

27 Übung Informationstheorie und Codierung 25 Huffman-Code S Z 4 R 4 2 O 8 4 P 8 3. Ermitteln Sie durch Rechnung, ob es sich dabei um einen optimalen Code handelt und begründen Sie das Ergebnis. Welche Regel trifft hier zu? 4 L 2 3 3, R Z O P L,75 Bit / Symbol H: Entropie; H ld(4) ld(2) ld(8) ld(8),75 bit / Symbol H,75 Bit / Symbol optimaler Code Aufgabe 5: Huffman Codierung Für einen Zeichenvorrat sind folgende Auftrittswahrscheinlichkeiten gegeben: Zeichen R E H K P A S Häufigkeit,9,,4,5,2,3,2 5. Juni 25 Seite 26 von 56

28 Übung Informationstheorie und Codierung 25. Leiten Sie die zugehörige Huffman Codierung her Code: H H P,6,4 A,35,25 S R S A P K,2,5,3,2 E R,9,6 K E,5, 2. Berechnen Sie die Redundanz des Codes R L H L p( x ) m i i H p( xi ) ld p( x i ) L,94,5,4,55,23,33,23 L 2,5 Bit / Symbol,9ld H,3 H,995 Bit / Symbol,9,ld,,4ld,4,5ld,5,2ld,2 ld,3,2 ld(,2) R L H 2,5,995Bit / Symbol,55 Bit / Symbol 3. Codieren Sie die Zeichenfolgen a. KEKSE K E K S E 5. Juni 25 Seite 27 von 56

29 Übung Informationstheorie und Codierung 25 b. HARKE H A R K E 4. Ist der Code optimal? Wann liefert der Huffman Algorithmus einen optimalen Code? Nein, da R Wenn die Wahrscheinlichkeit = /(2 i ) ist Aufgabe 6: Gegeben sei die Quelle,,,. Codieren Sie die Symbole von mit Huffman und berechnen Sie die mittlere Codewortlänge,72,22,,3 / 2. Codieren Sie Symbolpaare von mit Huffman und bestimmen Sie die mittlere Codewortlänge pro Symbol. Vergleichen Sie beide Ergebnisse mit der Entropie der Quelle Symbol Codierung AA,49,49 AB,4 3,42 AC,7 4,26 BA,4 3,42 BB,4 4,6 BC,2 5, CA,7 4,28 CB,2 6,2 5. Juni 25 Seite 28 von 56

30 Übung Informationstheorie und Codierung 25 CC, 6,6 Aufgabe 7: 2,33,65,3 Gegeben ist folgende Binärsequenz:. Berechnen Sie für die obige Nachricht: a. Den Entscheidungsgehalt Symbole und 2 Symbole: 2 b. Die Entropie Insgesamt 32 Zeichen mit den Symbol Wahrscheinlichkeiten: 5. Juni 25 Seite 29 von 56

31 Übung Informationstheorie und Codierung 25 H Symbol Wahrscheinlichkeit p(x ) I(x ) 3 4 ld ld 4 3 4, 8Bit i i 4 H,8bit/ Symbol p(xi ) ld p(x i ) c. Die Redundanz pro Symbol und die gesamte Redundanz der Nachricht. Redundanz pro Symbol,8,9 / R, 9Bit/ Symbol Gesamt Redundanz 32 R ges 6, 8 Bit 2. Es sind jeweils zwei benachbarte Bits zu einem Symbol zusammenzufassen. Beantworten Sie für die sich daraus ergebende Symbolfolge alle Fragen gemäß ac. Zwei benachbarte Bits zu einem Symbol zusammenfassen Es entstehen 4 neue Symbole mit folgenden Wahrscheinlichkeiten: Symbol Wahrscheinlichkeit A = 9 6 B = 6 C = 5 6 D = 6 5. Juni 25 Seite 3 von 56

32 Übung Informationstheorie und Codierung 25 a. Der Entscheidungsgehalt 4 2 b. Die Entropie H p(x ) I(x ) i 9 6 ld ld 6 9 6,49 Bit / Symbol i H,49Bit/ Symbol p(xi) ld 5 6 p(x ) ld ld6 i c. Die Redundanz pro Symbol und die gesamte Redundanz der Nachricht. Redundanz pro Symbol R = H H = 2,49 =,5 Bit/Symbol R,5Bit/ Symbol Gesamt Redundanz 6 6,5 R ges 8, 6 Bit 3. Codieren Sie die Symbolfolge mit Shannon. 8,6 Symbol A C B D Binär Code 9,5625,83, 6 5,325,678 2,5625, 6, ,875, 6, ,9375, 6 Welche Redundanz ergibt sich? , Juni 25 Seite 3 von 56

33 Übung Informationstheorie und Codierung 25,6875 L H, Codieren Sie die Symbolfolge mit Huffman. Welche Redundanz ergibt sich jetzt? Code: A B A C 9/6 7/6 D C 5/6 2/6 D B /6 /6 Redundanz des Codes: ,5625,5625 L H,725 Aufgabe 8: Gegeben ist folgende Nachricht: AACDABCAAADBACAC. Wie groß sind a. der Entscheidungsgehalt der Nachrichtenquelle, Insgesamt 6 Zeichen 5. Juni 25 Seite 32 von 56

34 Übung Informationstheorie und Codierung 25 Wahrscheinlichkeiten H ld4 2 Bit 8 p( A) p( C) p( B) p( D) 6 8 b. der Informationsgehalt der einzelnen Symbole, Symbol Ix i ld px A ld 2 Bit B ld8 3 Bit C ld4 2 Bit D ld8 3 Bit c. die Entropie und Redundanz der Nachricht. Entropie: H pxi H H,75Bit/ Symbol ld px 2 i i , Redundanz: 2,75 R,25Bit/ Symbol 2. Die Symbole sollen binär codiert und dann übertragen werden. Der Code lautet: A = B = C = D = a. Geben Sie den Informationsgehalt der binären Zeichen und an A, B, C, D ersetzen durch Binärzeichen und neu durchzählen: 22x LOW und x HIGH Informationsgehalt: ,54 5. Juni 25 Seite 33 von 56

35 Übung Informationstheorie und Codierung ,68 5 b. Welche Redundanz ergibt sich jetzt? Entropie: H p I p I, 896 Bit H, 896Bit Redundanz: R H H,896, 4Bit R, 4Bit c. Machen Sie einen Vorschlag, wie die Redundanz durch eine optimierte Codierung verringert werden kann. Redundanzreduktion durch angepasste Codewortlänge der Zeichen. Häufige Zeichen mit kurzer Codewortlänge, seltene Zeichen mit längerer Codewortlänge (Code erstellen über Huffman Code). Mittlere Codewortlänge wird minimiert. Redundanz: R = L H Aufgabe 9: Eine farbige Grafik besteht aus Million Bildpunkten, die ROT, GRÜN, BLAU, WEISS und SCHWARZ aussehen können. Das gesamte Bild wird in Sekunde übertragen. Alle genannten Farben/Helligkeiten treten in der Grafik gleich häufig auf.. Berechnen Sie den Entscheidungsgehalt der Quelle farbige Grafik und geben Sie den Informationsgehalt für jedes der möglichen Zeichen (Farben bzw. Helligkeitswerte) an. Entscheidungsgehalt N = 5 Zeichen 5 2,32 Informationsgehalt I ( x ) i ld p( x i ) Alle 5 Zeichen treten gleichwahrscheinlich auf p x I( xi ) ld ld(5) 2,32Bit/ Symbol p( xi ) I(x i ) 2,32bit/Symbol Entropie p(x ) I(x ) i i i 5 Bei gleicher Wahrscheinlichkeit H H 2,32bit/Symbol 5. Juni 25 Seite 34 von 56

36 Übung Informationstheorie und Codierung 25 Nachrichtenfluss H bit Symbol H' sec Symbol 6 Bildpunkte/sec = Zeit in der ein Quellzeichen ausgewählt und übertragen wird = 2,32Bit / Zeichen H' H' 2,32MBit/sec 6 sec/ Zeichen Redundanz R H H da Gleichverteilung sec 6 pkt 6 sec 2. Die Zustände der Bildpunkte sollen binär codiert werden (gleiche Codewortlänge). Welcher Datenfluss ergibt sich hierbei? Welche Redundanz liegt jetzt vor? Binäre Codierung der Bildpunkte. Gleiche Codewortlänge benutzen. 5 Zeichen => 2,32bit/Symbol H Für die Codierung werden 3 Bit/Zeichen verwendet. z.b.: Rot => Grün => Blau => Weiß => Schwarz => Datenfluss =? Bit/sec Es werden 6 Bildpunkte/sec übertragen probildpunkt:3bit/bildpunkte Redundanz H' 3MBit/sec 3 2,32 5. Juni 25 Seite 35 von 56

37 Übung Informationstheorie und Codierung 25,68 3. Stellen Sie die Zeichen mit dem Huffman Code dar. Welche mittlere Codewortlänge ergibt sich? Welche Redundanz resultiert? 3/5 2/5 2/5 /5 /5 /5 /5 /5 Schwarz Weiss Blau Grün Rot Rot => Grün => Blau => Weiß => Schwarz => L ,4 5 bit Symbol R L H 2,4 bit Symbol 2,32 bit Symbol,8 5. Juni 25 Seite 36 von 56

38 Übung Informationstheorie und Codierung 25 Diskrete Quelle mit Gedächtnis Aufgabe 2: Gegeben Sei eine Quelle,, mit Gedächtnis. Für die Quellensymbole gelten die folgenden bedingten Wahrscheinlichkeiten: Stellen Sie die Quelle anschaulich mit Hilfe eines Markov Diagramms. Ordnung dar Bestimmen Sie die Symbolwahrscheinlichkeiten, und / / / / / / / / / 5. Juni 25 Seite 37 von 56

39 Übung Informationstheorie und Codierung Aus den Gleichungen (2) und (3) folgt Eingesetzt in Gleichung () Es gilt dennoch: Berechnen Sie die Verbundwahrscheinlichkeiten, Es gilt:, /, 2 2 z.b., / 4. Berechnen Sie die Entropie der Quelle, die bedingte Entropie und die Verbundentropie Entropie der Quelle X: ,42,42 Bedingte Entropie: /, / 5. Juni 25 Seite 38 von 56

40 Übung Informationstheorie und Codierung 25, /, /, / /, /, /, /, /, /, / /,5228 Verbundentropie:, /,,42,5228 2,564, 2,564 2,,282 Aufgabe 2: Markov Quelle Eine diskrete Quelle, mit Gedächtnis habe den Zustandsgraf aus der folgenden Abbildung. 3/4? A B?. Geben Sie die Übergangswahrscheinlichkeiten an. / 4, / / 3 4, / 2. Berechnen Sie die Auftrittswahrscheinlichkeiten der einzelnen Zustände. / / , Juni 25 Seite 39 von 56

41 Übung Informationstheorie und Codierung Geben Sie die Entropie der Quelle an unter Berücksichtigung der Übergangswahrscheinlichkeiten. Bedingte Entropie:, / / / / / / / / / /,8 / / / / / / / 4,8, /, Fassen Sie jeweils drei Zeichen zu einem Symbol zusammen. Berechnen Sie die Wahrscheinlichkeiten der möglichen Symbole. Symbol AAA AAB ABA ABB BAA BAB BBA BBB Wahrscheinlichkeit / / / / / / / / / / / / / / / / 5. Juni 25 Seite 4 von 56

42 Übung Informationstheorie und Codierung Führen Sie eine Huffman Codierung durch und geben Sie die mittlere Codewortlänge des Codes. Codierung: AAA AAB ABA BAA BAB Mittlere Codewortlänge : , ,654 Kanalcodierung Aufgabe 22: (A32 Dr. Jäger) Gegeben sei ein symmetrischer binärer Kanal (BSC), dessen Eingangszeichen und die Auftrittswahrscheinlichkeiten,4 und,6 haben und dessen Bitfehlerwahrscheinlichkeit,5 beträgt.. Bestimmen Sie die Entropie der Kanalausgabe, / / 5. Juni 25 Seite 4 von 56

43 Übung Informationstheorie und Codierung 25,4,5,6,5,4,4,4,5,6,95,59,59 Oder,4,4,59,59,976, die Entropie der Irrelevanz, / / / / / / / / / / / / / : Shannon Gleichung /,95,95,5,5 /,29 3. die Transinformation,., /,,976,29,69,,69 5. Juni 25 Seite 42 von 56

44 Übung Informationstheorie und Codierung 25 Aufgabe 23: (A3 Dr. Jäger) Gegeben sei der skizzierte Kanal Wie groß ist die Kanalkapazität, wenn die Eingangs und Ausgangszeichen gleichverteilt sind? Beweis:, / Gleichverteilte Symbole am Kanalausgang 3 /,,, / 3 /, 3 / 3 3 / 3 / /, /, /, /, /,,,,, /,,,, / Juni 25 Seite 43 von 56

45 Übung Informationstheorie und Codierung 25 / 3 Aufgabe 24: (A3 Dr. Jäger) Gegeben sei ein BSC Kanal mit einer Übertragungsrate / und einer Bitfehlerwahrscheinlichkeit von,. Die Daten, die über diesen Kanal übertragen werden sollen, stammen von einer binären Quelle ( und ) mit den Auftrittswahrscheinlichkeiten und. Die Symbole der Quelle werden statistisch unabhängig voneinander ausgewählt.. Wie groß ist die Kanalkapazität? max, max, 533 /,,,, 2. Wie groß ist die Entropie der Quelle mit, und,?,3,3,3,7,7,88 / 3. Welche maximale Symbolrate kann im Prinzip fehlerfrei übertragen werden? Satz der Kanalkapazität: / / Symbolrate Bitrate 64 / Aufgabe 25: / 533 / 64 /,88 / Es sei ein fehlererkennender und fehlerkorrigierender Code über dem Alphabet, mit einer Codewortlänge 2 gegeben. 5. Juni 25 Seite 44 von 56

46 Übung Informationstheorie und Codierung 25. Wie viele Nachrichtenstellen können mit diesem Code übertragen werden, wenn bis zu 3 Fehler korrigiert werden sollen? 3 und 2. Es gilt: 2 3!!! 2! 2!! 3! 3! , Wie viele verschiedene Nachrichten können dann maximal codiert werden? Es können maximal Nachrichten codiert werden 3. Wie groß ist die Minimaldistanz des Codes? Hier gilt: Wie viele Fehler können (ggf. ohne Korrekturmöglichkeit) erkannt werden? 6 6 Aufgabe 26: Ein Hamming Code der Länge soll zur reinen Fehlererkennung mit anschließender Bestätigung eingesetzt werden. Die Bitfehlerwahrscheinlichkeit eines symmetrischen Binärkanals beträgt 5. Wie groß ist die Wahrscheinlichkeit, dass ein Codewort fehlerhaft empfangen wird?,345, Juni 25 Seite 45 von 56

47 Übung Informationstheorie und Codierung Wie groß ist die Wahrscheinlichkeit, dass ein fehlerbehaftetes Empfangswort nicht erkannt wird? Es sollen 3 oder 6 Fehler sein ,288 4,288 Aufgabe 27: Gegeben sei ein linearer Blockcode über dem Alphabet, mit der Generatormatrix. Stellen Sie den vollständigen Code auf (Liste der Nachrichtenwörter mit den zugehörigen Codewörtern) Berechnen Sie, und des Codes ; 3; 5. Juni 25 Seite 46 von 56

48 Übung Informationstheorie und Codierung Geben Sie alle möglichen Vektoren an, die in der Korrigierkugel um liegen. Vektoren in der Kugel haben einen Bitunterschied zum gültigen Codewort c, da ist. ; ; 4. Wie lautet die Generatormatrix des zugehörigen separierbaren Codes? ; ; 5. Stellen Sie die Kontrollmatrix für den separierbaren Code auf. 6. Geben Sie die Gleichungen zur Ermittlung der Kontrollstellen an (Ablesen aus der Kontrollmatrix). 7. Wie lauten dann die zugehörigen Prüfgleichungen? 5. Juni 25 Seite 47 von 56

49 Übung Informationstheorie und Codierung Erstellen Sie aus der Kontrollmatrix die vollständige Syndromtabelle (für Einzelfehler). Können alle Einzelfehler korrigiert werden? da (Orthogonal) : Ist ein Fehlervektor mit Bitfehler ; ; Die Vollständige Syndromtabelle:, wobei eine Einheitsmatrix ist. Syndrom Tabelle: Ja Es können Einzelfehler korrigiert werden (Durch Vergleich mit den Spalten der Kontrollmatrix.). Z.B. Fehler an Bit 3 Ergebnis = dritte Spalte von. 9. Zeigen Sie dann (durch Berechnung der möglichen Syndrome), dass sich auch alle Bündelfehler der Länge 2 korrigieren lassen. Prüfmatrix: Fehlermatrix : Syndromtabelle 5. Juni 25 Seite 48 von 56

50 Übung Informationstheorie und Codierung 25 Alle Spaltenvektoren der Syndromtabelle sind verschieden Man kann also Bündelfehler erkennen und korrigieren.. Wie lauten die zu den folgenden (verfälschten) Empfangsvektoren gehörenden (korrigierten) Codewörter ; ; dritte Spalte aus Fehler in Bit 3. Erste Spalte aus der Syndromtabelle für Bündelfehler Fehler in Bit und in Bit 2. Zweite Spalte aus der Syndromtabelle für Bündelfehler Fehler in Bit 2 und in Bit 3. Aufgabe 28: Gegeben sei ein zyklischer Code C über, mit dem Generatorpolynom, der Codewörter der Länge 7 erzeugt. 5. Juni 25 Seite 49 von 56

51 Übung Informationstheorie und Codierung 25. Wie viele Kontroll und Nachrichtenstellen hat der Code? Kontrollstellen: 4: Höchste Ordnung im Generatorpolynom. Nachrichtenstellen: Geben Sie die zugehörige Generatormatrix des Codes an. 3. Codieren Sie die Nachrichtenvektoren und in vektorieller und in polynomialer Darstellung. Vektoriell: Polynomial: z z z z 4. Konstruieren Sie die Codewortpolynome des zugehörigen separierbaren Codes zu den Nachrichtenwörtern und. Schritt : 5. Juni 25 Seite 5 von 56

52 Übung Informationstheorie und Codierung 25 Schritt 2: Division des Polynoms durch : : : : : : Schritt 3: 5. Erstellen Sie eine Syndromtabelle für alle Einzelfehler. ist ohne Rest durch teilbar. Polynomdivision durchführen und Rest als Syndrom verwenden. : ; : ; : 5. Juni 25 Seite 5 von 56

53 Übung Informationstheorie und Codierung 25 : : : : 6. Es werden das Wort und das Wort empfangen. Prüfen Sie, ob es sich um gültige Codewörter handelt und korrigieren Sie gegebenenfalls die Empfangswörter. berechnen und dann mit Syndrom vergleichen : ; Laut Syndromtabelle gilt: Fehler in Bit 2 ist kein gültiges Empfangswort. wird korrigiert zu : ; ist ein gültiges Empfangswort. Es gilt also Faltungscodierung Aufgabe 29: Gegeben ist ein Codierer für einen Faltungscode der rate mit der Schieberegisterlänge Juni 25 Seite 52 von 56

54 Übung Informationstheorie und Codierung 25. Zeichnen Sie das Trellis und das Zustandsdiagramm. p Eingabebits p(k) Es existieren2 k 2 Zellengruppen 2 Zustände(Zust.,Zust.) Zustandsdiagramm Ausgang =CC Trellisdiagramm 2. Decodieren Sie die Empfangssequenz. Handelt es sich um einer fehlerfreien oder fehlerbehafteten Übertragung? ist die gesendete Folge. fehlerfrei Übertragung 3. Decodieren Sie die Empfangssequenz. Handelt es sich um einer fehlerfreien oder fehlerbehafteten Übertragung? ist die gesendete Folge. Fehlerbehaftete Übertragung 5. Juni 25 Seite 53 von 56

55 Übung Informationstheorie und Codierung 25 Aufgabe 3: Gegeben ist der folgende Faltungscodierer: Welche Coderate hat dieser Codierer? Geben Sie die Ausgangsbitsequenz am Ausgang des Codierers, wenn am Eingang die Sequenz vorliegt. Ausgabebitsequenz: 5. Juni 25 Seite 54 von 56

56 Übung Informationstheorie und Codierung Vervollständigen Sie das folgende Trellisdiagramm. t Zustände 7. Decodieren Sie die Empfangsfolge. Handelt es sich um einer fehlerfreien oder Fehlerbehafteten Übertragung? Wie viele Fehler wurden erkannt bzw. korrigiert? Juni 25 Seite 55 von 56

57 Übung Informationstheorie und Codierung 25 Fehlerfreie Übertragung Fehler Decodierte Sequenz 5. Juni 25 Seite 56 von 56

Klausur Informationstheorie und Codierung

Klausur Informationstheorie und Codierung Klausur Informationstheorie und Codierung WS 2013/2014 23.01.2014 Name: Vorname: Matr.Nr: Ich fühle mich gesundheitlich in der Lage, die Klausur zu schreiben Unterschrift: Aufgabe A1 A2 A3 Summe Max. Punkte

Mehr

Informationstheorie und Codierung. Prof. Dr.-Ing. Lilia Lajmi l.lajmi@ostfalia.de

Informationstheorie und Codierung. Prof. Dr.-Ing. Lilia Lajmi l.lajmi@ostfalia.de Informationstheorie und Codierung Prof. Dr.-Ing. Lilia Lajmi l.lajmi@ostfalia.de Inhaltsverzeichnis 3. Kanalcodierung 3.1 Nachrichtentheorie für gestörte Kanäle 3.1.1 Transinformation 3.1.2 Kanalkapazität

Mehr

1. Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes

1. Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 1 Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 1 Woche: Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 5/ 44 Unser Modell Shannon

Mehr

Organisation. Was kommt zum Test? Buch Informatik Grundlagen bis inkl. Kapitel 7.4 Wissensfragen und Rechenbeispiele

Organisation. Was kommt zum Test? Buch Informatik Grundlagen bis inkl. Kapitel 7.4 Wissensfragen und Rechenbeispiele Organisation Was kommt zum Test? Buch Informatik Grundlagen bis inkl Kapitel 74 Wissensfragen und Rechenbeispiele 3 Vorträge zur Übung Informationstheorie, Huffman-Codierung und trennzeichenfreie Codierung

Mehr

Übung 13: Quellencodierung

Übung 13: Quellencodierung ZHAW, NTM, FS2008, Rumc, /5 Übung 3: Quellencodierung Aufgabe : Huffmann-Algorithmus. Betrachten Sie die folgende ternäre, gedächtnislose Quelle mit dem Symbolalphabet A = {A,B,C} und den Symbol-Wahrscheinlichkeiten

Mehr

Grundlagen der Technischen Informatik. 2. Übung

Grundlagen der Technischen Informatik. 2. Übung Grundlagen der Technischen Informatik 2. Übung Christian Knell Keine Garantie für Korrekt-/Vollständigkeit Organisatorisches Übungsblätter zuhause vorbereiten! In der Übung an der Tafel vorrechnen! Bei

Mehr

Theoretische Grundlagen der Informatik WS 09/10

Theoretische Grundlagen der Informatik WS 09/10 Theoretische Grundlagen der Informatik WS 09/10 - Tutorium 6 - Michael Kirsten und Kai Wallisch Sitzung 13 02.02.2010 Inhaltsverzeichnis 1 Formeln zur Berechnung Aufgabe 1 2 Hamming-Distanz Aufgabe 2 3

Mehr

KANALCODIERUNG AUFGABEN. Aufgabe 1. Aufgabe 2

KANALCODIERUNG AUFGABEN. Aufgabe 1. Aufgabe 2 AUFGABEN KANALCODIERUNG Aufgabe Wir betrachten den Hamming-Code mit m = 5 Prüfbits. a) Wie gross ist die Blocklänge n dieses Codes? b) Wie viele gültige Codewörter umfasst dieser Code? c) Leiten Sie die

Mehr

Einführung in die Kodierungstheorie

Einführung in die Kodierungstheorie Einführung in die Kodierungstheorie Einführung Vorgehen Beispiele Definitionen (Code, Codewort, Alphabet, Länge) Hamming-Distanz Definitionen (Äquivalenz, Coderate, ) Singleton-Schranke Lineare Codes Hamming-Gewicht

Mehr

JKU Young Scientists Matheseminar

JKU Young Scientists Matheseminar JKU Young Scientists Matheseminar Matheseminar WS 2013/14 Codierung und Information Das grundlegende Problem der Kommunikation besteht darin, an einer Stelle entweder genau oder angenähert eine Nachricht

Mehr

(Prüfungs-)Aufgaben zur Codierungstheorie

(Prüfungs-)Aufgaben zur Codierungstheorie (Prüfungs-)Aufgaben zur Codierungstheorie 1) Gegeben sei die folgende CCITT2-Codierung der Dezimalziffern: Dezimal CCITT2 0 0 1 1 0 1 1 1 1 1 0 1 2 1 1 0 0 1 3 1 0 0 0 0 4 0 1 0 1 0 5 0 0 0 0 1 6 1 0 1

Mehr

Übung zur Vorlesung. Informationstheorie und Codierung

Übung zur Vorlesung. Informationstheorie und Codierung Übung zur Vorlesung Informatonstheore und Coderung Prof. Dr. Lla Lajm März 25 Ostfala Hochschule für angewandte Wssenschaften Hochschule Braunschweg/Wolfenbüttel Postanschrft: Salzdahlumer Str. 46/48 3832

Mehr

Codierungstheorie Rudolf Scharlau, SoSe 2006 9

Codierungstheorie Rudolf Scharlau, SoSe 2006 9 Codierungstheorie Rudolf Scharlau, SoSe 2006 9 2 Optimale Codes Optimalität bezieht sich auf eine gegebene Quelle, d.h. eine Wahrscheinlichkeitsverteilung auf den Symbolen s 1,..., s q des Quellalphabets

Mehr

Codierung. Auszug aus dem Skript von Maciej Liśkiewicz und Henning Fernau

Codierung. Auszug aus dem Skript von Maciej Liśkiewicz und Henning Fernau Codierung Auszug aus dem Skript von Maciej Liśkiewicz und Henning Fernau Ein bisschen Informationstheorie Betrachten wir das folgende Problem: Wie lautet eine sinnvolle Definition für das quantitative

Mehr

Der Huffman Algorithmus

Der Huffman Algorithmus Der Huffman Algorithmus Für das Folgende setzen wir voraus, dass die Quellensymbole q ν einem Alphabet {q μ } = {A, B, C,...} mit dem Symbolumfang M entstammen und statistisch voneinander unabhängig seien.

Mehr

Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai 2011

Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai 2011 Rechnernetze Übung 5 Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai 2011 Ziel: Nachrichten fehlerfrei übertragen und ökonomisch (wenig Redundanz) übertragen Was ist der Hamming-Abstand?

Mehr

Problem: Finde für Alphabet mit n Zeichen einen Binärcode, der die Gesamtlänge eines Textes (über diesem Alphabet) minimiert.

Problem: Finde für Alphabet mit n Zeichen einen Binärcode, der die Gesamtlänge eines Textes (über diesem Alphabet) minimiert. Anwendungen von Bäumen 4.3.2 Huffman Code Problem: Finde für Alphabet mit n Zeichen einen Binärcode, der die Gesamtlänge eines Textes (über diesem Alphabet) minimiert. => nutzbar für Kompression Code fester

Mehr

Informationstheorie und Codierung. Prof. Dr.-Ing. Lilia Lajmi

Informationstheorie und Codierung. Prof. Dr.-Ing. Lilia Lajmi Informationstheorie und Codierung Prof. Dr.-Ing. Lilia Lajmi l.lajmi@ostfalia.de Organisatorisches Vorlesung 2 SWS ( 2,5 LP) - Dienstags. 12:00-13:30 Uhr, Raum L122 Unterlagen - Vorlesungsfolien - Übungsaufgaben

Mehr

Single Parity check Codes (1)

Single Parity check Codes (1) Single Parity check Codes (1) Der Single Parity check Code (SPC) fügt zu dem Informationsblock u = (u 1, u 2,..., u k ) ein Prüfbit (englisch: Parity) p hinzu: Die Grafik zeigt drei Beispiele solcher Codes

Mehr

CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005

CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005 CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005. Das Problem.. Quellcodierung und Datenkompression. Wir wollen eine Nachricht über einen digitalen Kanal, der nur 0 oder übertragen kann, schicken.

Mehr

3 Quellencodierung. 3.1 Einleitung

3 Quellencodierung. 3.1 Einleitung Source coding is what Alice uses to save money on her telephone bills. It is usually used for data compression, in other words, to make messages shorter. John Gordon 3 Quellencodierung 3. Einleitung Im

Mehr

Codierungstheorie. Code-Arten und Code-Sicherung

Codierungstheorie. Code-Arten und Code-Sicherung Codierungstheorie Code-Arten und Code-Sicherung Inhaltsübersicht und Literatur Informationstheorie Was ist eine Codierung? Arten von Codes Informationsgehalt und Entropie Shannon'sches Codierungstheorem

Mehr

Gegeben ist ein systematischer (7,3)-Cod. Die drei seiner Codewörter lauten:

Gegeben ist ein systematischer (7,3)-Cod. Die drei seiner Codewörter lauten: Prof. Dr.-Ing. H.G. Musmann INSTITUT FÜR THEORETISCHE NACHRICHTENTECHNIK UND INFORMATIONSVERARBEITUNG UNIVERSITÄT HANNOVER Appelstraße 9A 67 Hannover Gegeben ist ein systematischer (7,)-Cod. Die drei seiner

Mehr

4. Woche Decodierung; Maximale, Perfekte und Optimale Codes. 4. Woche: Decodierung; Maximale, Perfekte und Optimale Codes 69/ 140

4. Woche Decodierung; Maximale, Perfekte und Optimale Codes. 4. Woche: Decodierung; Maximale, Perfekte und Optimale Codes 69/ 140 4 Woche Decodierung; Maximale, Perfekte und Optimale Codes 4 Woche: Decodierung; Maximale, Perfekte und Optimale Codes 69/ 140 Szenario für fehlerkorrigierende Codes Definition (n, M)-Code Sei C {0, 1}

Mehr

Übungsaufgaben zur Vorlesung Quellencodierung

Übungsaufgaben zur Vorlesung Quellencodierung Übungsaufgaben zur Vorlesung Quellencodierung Aufgabe 1: Gegeben seien die Verbundwahrscheinlichkeiten zweier diskreter Zufallsvariablen x und y: P(x, y) x 1 = 1 x 2 = 2 x 3 = 3 y 1 = 1 0.1 0.1 0.1 y 2

Mehr

Übung 1: Quellencodierung

Übung 1: Quellencodierung ZHAW, NTM2, Rumc, /7 Übung : Quellencodierung Aufgabe : Huffman-Algorithmus. Betrachten Sie die folgende ternäre, gedächtnislose Quelle mit dem Symbolalphabet A = {A,B,C} und den Symbol-Wahrscheinlichkeiten

Mehr

Einführung in die Informatik II Aus der Informationstheorie: Datenkompression

Einführung in die Informatik II Aus der Informationstheorie: Datenkompression Einführung in die Informatik II Aus der Informationstheorie: Datenkompression Prof. Bernd Brügge, Ph.D Institut für Informatik Technische Universität München Sommersemester 2 2. Juli 2 Copyright 2 Bernd

Mehr

Technische Informatik - Eine Einführung

Technische Informatik - Eine Einführung Martin-Luther-Universität Halle-Wittenberg Fachbereich Mathematik und Informatik Lehrstuhl für Technische Informatik Prof. P. Molitor Technische Informatik - Eine Einführung Darstellung von Zeichen und

Mehr

Theoretische Grundlagen der Informatik

Theoretische Grundlagen der Informatik Theoretische Grundlagen der Informatik Übung 8 Dirk Achenbach 7. Februar 2013 I NSTITUT FÜR K RYPTOGRAPHIE UND S ICHERHEIT KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum

Mehr

Code-Arten und Code-Sicherung. Literatur: Blieberger et.al.: Informatik (Kap. 3 und 4), Springer-Verlag R.-H. Schulz: Codierungstheorie, Vieweg

Code-Arten und Code-Sicherung. Literatur: Blieberger et.al.: Informatik (Kap. 3 und 4), Springer-Verlag R.-H. Schulz: Codierungstheorie, Vieweg Codierungstheorie Code-Arten und Code-Sicherung Inhaltsübersicht und Literatur Informationstheorie Was ist eine Codierung? Arten von Codes Informationsgehalt und Entropie Shannon'sches Codierungstheorem

Mehr

Formelsammlung. Wahrscheinlichkeit und Information

Formelsammlung. Wahrscheinlichkeit und Information Formelsammlung Wahrscheinlichkeit und Information Ein Ereignis x trete mit der Wahrscheinlichkeit p(x) auf, dann ist das Auftreten dieses Ereignisses verbunden mit der Information I( x): mit log 2 (z)

Mehr

Lineare Codes. Dipl.-Inform. Wolfgang Globke. Institut für Algebra und Geometrie Arbeitsgruppe Differentialgeometrie Universität Karlsruhe 1 / 19

Lineare Codes. Dipl.-Inform. Wolfgang Globke. Institut für Algebra und Geometrie Arbeitsgruppe Differentialgeometrie Universität Karlsruhe 1 / 19 Lineare Codes Dipl.-Inform. Wolfgang Globke Institut für Algebra und Geometrie Arbeitsgruppe Differentialgeometrie Universität Karlsruhe 1 / 19 Codes Ein Code ist eine eindeutige Zuordnung von Zeichen

Mehr

Mathematik für Information und Kommunikation

Mathematik für Information und Kommunikation Mathematik für Information und Kommunikation Am Beispiel des Huffman- Algorithmus Thomas Borys und (Christian Urff) Huffman im Alltag MPEG Telefax JPEG MP3 ZIP avid Huffman avid Huffman [95-999] www.soe.ucsc.edu/people/faculty/huffman.html

Mehr

15 Optimales Kodieren

15 Optimales Kodieren 15 Optimales Kodieren Es soll ein optimaler Kodierer C(T ) entworfen werden, welcher eine Information (z.b. Text T ) mit möglichst geringer Bitanzahl eindeutig überträgt. Die Anforderungen an den optimalen

Mehr

Redundanz. Technische Informationsquelle Entropie und Redundanz Huffman Codierung. Martin Werner WS 09/10. Martin Werner, Dezember 09 1

Redundanz. Technische Informationsquelle Entropie und Redundanz Huffman Codierung. Martin Werner WS 09/10. Martin Werner, Dezember 09 1 Information, Entropie und Redundanz Technische Informationsquelle Entropie und Redundanz Huffman Codierung Martin Werner WS 9/ Martin Werner, Dezember 9 Information und Daten Informare/ Informatio (lat.)

Mehr

Codierung, Codes (variabler Länge)

Codierung, Codes (variabler Länge) Codierung, Codes (variabler Länge) A = {a, b, c,...} eine endliche Menge von Nachrichten (Quellalphabet) B = {0, 1} das Kanalalphabet Eine (binäre) Codierung ist eine injektive Abbildung Φ : A B +, falls

Mehr

Empfänger. Sender. Fehlererkennung und ggf. Fehlerkorrektur durch redundante Informationen. Längssicherung durch Paritätsbildung (Blockweise)

Empfänger. Sender. Fehlererkennung und ggf. Fehlerkorrektur durch redundante Informationen. Längssicherung durch Paritätsbildung (Blockweise) Datensicherung Bei der digitalen Signalübertragung kann es durch verschiedene Einflüsse, wie induktive und kapazitive Einkopplung oder wechselnde Potentialdifferenzen zwischen Sender und Empfänger zu einer

Mehr

Aufgabe 7.1 Bei einer digitalen Übertragung liege folgendes Modell vor:

Aufgabe 7.1 Bei einer digitalen Übertragung liege folgendes Modell vor: 1 Aufgabe 7.1 Bei einer digitalen Übertragung liege folgendes Modell vor: Q x q x akf digitale Übertrag. q y akf S y Quellensymboldauer T q = 1ms diskreter Kanal Q x sei eine stationäre Markov-Quelle nullter

Mehr

Index. Chien-Suche, 220 CIRC, 234 Code, 2, 9 äquidistanter, 81

Index. Chien-Suche, 220 CIRC, 234 Code, 2, 9 äquidistanter, 81 Index Abelsche Gruppe, 140 Abgeschlossenheit, 47, 140, 143 Abhängigkeit lineare, 53 Abtastfolge, 226 ACS-Operation, 279 Addition, 46, 163 Alphabet, 1 ARQ, 6, 174 Assoziativität, 47, 52, 140, 143 Audio-CD,

Mehr

Ein (7,4)-Code-Beispiel

Ein (7,4)-Code-Beispiel Ein (7,4)-Code-Beispiel Generator-Polynom: P(X) = X 3 + X 2 + 1 Bemerkung: Es ist 7 = 2^3-1, also nach voriger Überlegung sind alle 1-Bit-Fehler korrigierbar Beachte auch d min der Codewörter ist 3, also

Mehr

A2.3: Zur LZ78 Komprimierung

A2.3: Zur LZ78 Komprimierung A2.3: Zur LZ78 Komprimierung Im Gegensatz zur Entropiecodierung nach Huffman oder Shannon, bei der man die Quellenstatistik (möglichst genau) kennen muss, sind solche Einschränkungen bei den von Abraham

Mehr

Codierung. H.-G. Hopf

Codierung. H.-G. Hopf Codierung H.-G. Hopf Inhalt Informationsübermittlung Codierung von Zeichen GDI: Codierung / 2 Inhalt Informationsübermittlung Codierung von Zeichen GDI: Codierung / 3 Ideale Kommunikation Übertragungskanal

Mehr

Fehlerkorrigierende Codes

Fehlerkorrigierende Codes Fehlerkorrigierende Codes SS 2013 Gerhard Dorfer 2 Inhaltsverzeichnis 1 Fehlerkorrigierende Codes 4 1.1 Einführende Beispiele................................. 4 1.2 Mathematische Grundlagen..............................

Mehr

Kapitel 3: Etwas Informationstheorie

Kapitel 3: Etwas Informationstheorie Stefan Lucks 3: Informationstheorie 28 orlesung Kryptographie (SS06) Kapitel 3: Etwas Informationstheorie Komplexitätstheoretische Sicherheit: Der schnellste Algorithmus, K zu knacken erfordert mindestens

Mehr

3 Der Hamming-Code. Hamming-Codes

3 Der Hamming-Code. Hamming-Codes 3 Der Hamming-Code Hamming-Codes Ein binärer Code C heißt ein Hamming-Code Ha s, wenn seine Kontrollmatrix H als Spalten alle Elemente in Z 2 s je einmal hat. Die Parameter eines n-k-hamming-codes sind:

Mehr

Optimalcodierung. Thema: Optimalcodierung. Ziele

Optimalcodierung. Thema: Optimalcodierung. Ziele Optimalcodierung Ziele Diese rechnerischen und experimentellen Übungen dienen der Vertiefung der Kenntnisse im Bereich der Optimalcodierung, mit der die Zeichen diskreter Quellen codiert werden können.

Mehr

, 2015W Übungstermin: Do.,

, 2015W Übungstermin: Do., VU Technische Grundlagen der Informatik Übung 2: Numerik, Codierungstheorie 183.579, 2015W Übungstermin: Do., 29.10.2015 Allgemeine Hinweise: Versuchen Sie beim Lösen der Beispiele keine elektronischen

Mehr

Def.: Sei Σ eine Menge von Zeichen. Die Menge Σ* aller Zeichenketten (Wörter) über Σ ist die kleinste Menge, für die gilt:

Def.: Sei Σ eine Menge von Zeichen. Die Menge Σ* aller Zeichenketten (Wörter) über Σ ist die kleinste Menge, für die gilt: 8. Grundlgen der Informtionstheorie 8.1 Informtionsgehlt, Entropie, Redundnz Def.: Sei Σ eine Menge von Zeichen. Die Menge Σ* ller Zeichenketten (Wörter) über Σ ist die kleinste Menge, für die gilt: 1.

Mehr

Rechnernetze Übung 5. Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai Wo sind wir?

Rechnernetze Übung 5. Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai Wo sind wir? Rechnernetze Übung 5 Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai 2012 Wo sind wir? Quelle Nachricht Senke Sender Signal Übertragungsmedium Empfänger Quelle Nachricht Senke Primäres

Mehr

6 Fehlerkorrigierende Codes

6 Fehlerkorrigierende Codes R. Reischuk, ITCS 35 6 Fehlerkorrigierende Codes Wir betrachten im folgenden nur Blockcodes, da sich bei diesen das Decodieren und auch die Analyse der Fehlertoleranz-Eigenschaften einfacher gestaltet.

Mehr

Klausur zur Vorlesung Informationstheorie

Klausur zur Vorlesung Informationstheorie INSTITUT FÜR INFORMATIONSVERARBEITUNG UNIVERSITÄT HANNOVER Appelstraße 9A 0167 Hannover Klausur zur Vorlesung Informationstheorie Datum:.02.2006 Uhrzeit: 9:00 Uhr Zeitdauer: 2 Stunden Hilfsmittel: ausgeteilte

Mehr

Übungsblatt Nr. 7. Lösungsvorschlag

Übungsblatt Nr. 7. Lösungsvorschlag Institut für Kryptographie und Sicherheit Prof. Dr. Jörn Müller-Quade Nico Döttling Dirk Achenbach Tobias Nilges Vorlesung Theoretische Grundlagen der Informatik Übungsblatt Nr. 7 svorschlag Aufgabe (K)

Mehr

Grundlagen der Informationstheorie. Hanna Rademaker und Fynn Feldpausch

Grundlagen der Informationstheorie. Hanna Rademaker und Fynn Feldpausch Grundlagen der Informationstheorie Hanna Rademaker und Fynn Feldpausch . Thema Informationstheorie geht zurück auf Claude Shannon The Mathematical Theory of Communication beschäftigt sich mit Information

Mehr

2.7 Der Shannon-Fano-Elias Code

2.7 Der Shannon-Fano-Elias Code 2.7 Der Shannon-Fano-Elias Code Die Huffman-Codierung ist ein asymptotisch optimales Verfahren. Wir haben auch gesehen, dass sich die Huffman-Codierung gut berechnen und dann auch gut decodieren lassen.

Mehr

Zusammenfassung zu Codierungstheorie

Zusammenfassung zu Codierungstheorie Zusammenfassung zu Codierungstheorie Sara Adams 5. Juli 2005 Diese Zusammenfassung basiert auf der Vorlesung Codierungstheorie gehalten im Sommersemester 2005 von Prof. Dr. Hans-Dietrich Gronau an der

Mehr

Man unterscheidet zwei Gruppen von Codes: Blockcodes und Faltungscodes.

Man unterscheidet zwei Gruppen von Codes: Blockcodes und Faltungscodes. Versuch: Kanalcodierung. Theoretische Grundlagen Kanalcodierungstechniken werden zur Erkennung und Korrektur von Übertragungsfehlern in digitalen Systemen eingesetzt. Auf der Sendeseite wird zur Originalinformation

Mehr

Kapitel 1: Codierungstheorie. 1.2 Quellcodierung 1.3 Fehlererkennende Codes 1.4 Fehlerkorrigierende Codes

Kapitel 1: Codierungstheorie. 1.2 Quellcodierung 1.3 Fehlererkennende Codes 1.4 Fehlerkorrigierende Codes Inhalt: 1.1 Einführung 1.2 Quellcodierung 1.3 Fehlererkennende Codes 1.4 Fehlerkorrigierende Codes 1.1 Einführung In In der der Codierungstheorie unterscheidet man man Quellcodierung und und Kanalcodierung.

Mehr

Allgemeine Beschreibung von Blockcodes

Allgemeine Beschreibung von Blockcodes Allgemeine Beschreibung von Blockcodes Bei Blockcodierung wird jeweils eine Sequenz von m q binären Quellensymbolen (M q = 2) durch einen Block von m c Codesymbolen mit dem Symbolumfang M c dargestellt.

Mehr

Modul Diskrete Mathematik WiSe 2011/12

Modul Diskrete Mathematik WiSe 2011/12 Modul Diskrete Mathematik WiSe / Ergänzungsskript zum Kapitel 3.4. Hinweis: Dieses Manuskript ist nur verständlich und von Nutzen für Personen, die regelmäßig und aktiv die zugehörige Vorlesung besuchen

Mehr

Kapitel 3. Codierung von Text (ASCII-Code, Unicode)

Kapitel 3. Codierung von Text (ASCII-Code, Unicode) Kapitel 3 Codierung von Text (ASCII-Code, Unicode) 1 Kapitel 3 Codierung von Text 1. Einleitung 2. ASCII-Code 3. Unicode 2 1. Einleitung Ein digitaler Rechner muss jede Information als eine Folge von 0

Mehr

2. Digitale Codierung und Übertragung

2. Digitale Codierung und Übertragung 2. Digitale Codierung und Übertragung 2.1 Informationstheoretische Grundlagen 2.2 Speicherbedarf und Kompression 2.3 Digitalisierung, Digitale Medien Ludwig-Maximilians-Universität München Prof. Hußmann

Mehr

FH Darmstadt FB Informatik Klausurensammlung Rechnergrundlagen Prof. Komar

FH Darmstadt FB Informatik Klausurensammlung Rechnergrundlagen Prof. Komar Matr.Nr.: Name: Leistungsnachweis Rechnergrundlagen SS 2006 Skripte, Umdrucke, Kopien, handschriftliche Aufzeichnungen und Taschenrechner sind zugelassen. Die Lösungs-Ergebnisse sind ausschließlich auf

Mehr

Übung 14: Block-Codierung

Übung 14: Block-Codierung ZHW, NTM, 26/6, Rur Übung 4: Block-Codierung Aufgabe : Datenübertragung über BSC. Betrachten Sie die folgende binäre Datenübertragung über einen BSC. Encoder.97.3.3.97 Decoder Für den Fehlerschutz stehen

Mehr

CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005

CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005 CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005 1. Das Problem 1.1. Kanalcodierung und Fehlerkorrektur. Wir wollen eine Nachricht über einen digitalen Kanal, der nur 0 oder 1 übertragen kann, schicken.

Mehr

Informationssicherheit - Lösung Blatt 2

Informationssicherheit - Lösung Blatt 2 Informationssicherheit - Lösung Blatt 2 Adam Glodek adam.glodek@gmail.com 13.04.2010 1 1 Aufgabe 1: One Time Pad 1.1 Aufgabenstellung Gegeben ist der folgende Klartext 12Uhr (ASCII). Verschlüsseln Sie

Mehr

A1.7: Entropie natürlicher Texte

A1.7: Entropie natürlicher Texte A1.7: Entropie natürlicher Texte Anfang der 1950er Jahre hat Claude E. Shannon die Entropie H der englischen Sprache mit einem bit pro Zeichen abgeschätzt. Kurz darauf kam Karl Küpfmüller bei einer empirischen

Mehr

6. Woche: Lineare Codes, Syndrom, Gilbert-Varshamov Schranke. 6. Woche: Lineare Codes, Syndrom, Gilbert-Varshamov Schranke 107/ 238

6. Woche: Lineare Codes, Syndrom, Gilbert-Varshamov Schranke. 6. Woche: Lineare Codes, Syndrom, Gilbert-Varshamov Schranke 107/ 238 6 Woche: Lineare Codes, Syndrom, Gilbert-Varshamov Schranke 6 Woche: Lineare Codes, Syndrom, Gilbert-Varshamov Schranke 107/ 238 Erinnerung: Der Vektorraum F n 2 Schreiben {0, 1} n als F n 2 Definition

Mehr

TGI-Übung Dirk Achenbach

TGI-Übung Dirk Achenbach TGI-Übung 7 06.02.2014 Dirk Achenbach INSTITUT FÜR THEORETISCHE INFORMATIK KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Agenda

Mehr

Schriftliche Prüfung

Schriftliche Prüfung OTTO-VON-GUERICKE-UNIVERSITÄT MAGDEBURG FAKULTÄT FÜR INFORMATIK Schriftliche Prüfung im Fach: Technische Grundlagen der Informatik Studiengang: Bachelor (CV / CSE / IF / WIF) am: 19. Juli 2008 Bearbeitungszeit:

Mehr

Informationstheorie und Codierung. Prof. Dr.-Ing. Lilia Lajmi

Informationstheorie und Codierung. Prof. Dr.-Ing. Lilia Lajmi Informationstheorie und Codierung Prof. Dr.-Ing. Lilia Lajmi l.lajmi@ostfalia.de Inhaltsverzeichnis 2. Quellencodierung 2.1 Motivation 2.2 Shannon sche Informationstheorie 2.3 Binärcodierung nach Shannon

Mehr

Theoretische Grundlagen der Informatik

Theoretische Grundlagen der Informatik Theoretische Grundlagen der Informatik Vorlesung am 12.01.2012 INSTITUT FÜR THEORETISCHE 0 KIT 12.01.2012 Universität des Dorothea Landes Baden-Württemberg Wagner - Theoretische und Grundlagen der Informatik

Mehr

7 Rechnen mit Polynomen

7 Rechnen mit Polynomen 7 Rechnen mit Polynomen Zu Polynomfunktionen Satz. Zwei Polynomfunktionen und f : R R, x a n x n + a n 1 x n 1 + a 1 x + a 0 g : R R, x b n x n + b n 1 x n 1 + b 1 x + b 0 sind genau dann gleich, wenn

Mehr

Fehlerschutz durch Hamming-Codierung

Fehlerschutz durch Hamming-Codierung Versuch.. Grundlagen und Begriffe Wesentliche Eigenschaften der Hamming-Codes für die Anwendung sind: der gleichmäßige Fehlerschutz für alle Stellen des Codewortes und die einfache Bildung des Codewortes

Mehr

Information & Kommunikation - Zusammenfassung

Information & Kommunikation - Zusammenfassung Information & Kommunikation - Zusammenfassung Patrick Pletscher 29 September 2004 Grundlagen der Informationstheorie Entropie als Mass für Unsicherheit Definition der Entropie Die Entropie einer diskreten

Mehr

Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai 2012

Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai 2012 Rechnernetze Übung 6 Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai 2012 Ziel: Nachrichten fehlerfrei übertragen und ökonomisch (wenig Redundanz) übertragen Was ist der Hamming-Abstand?

Mehr

Codierung. Codierung. EAN Europäische Artikelnummer Ziffern 1 und 2 codieren das Hersteller-Land. Ziffer 2 bis 12 codieren Händler und Ware

Codierung. Codierung. EAN Europäische Artikelnummer Ziffern 1 und 2 codieren das Hersteller-Land. Ziffer 2 bis 12 codieren Händler und Ware Codierung Codierung Haydn: Streichquartett op 54.3 aus Largo, Violine I 1 2 Ziffern 1 und 2 codieren das Hersteller-Land Ziffer 2 bis 12 codieren Händler und Ware Die letzte Ziffer ist eine Prüfziffer

Mehr

Primzahlen und RSA-Verschlüsselung

Primzahlen und RSA-Verschlüsselung Primzahlen und RSA-Verschlüsselung Michael Fütterer und Jonathan Zachhuber 1 Einiges zu Primzahlen Ein paar Definitionen: Wir bezeichnen mit Z die Menge der positiven und negativen ganzen Zahlen, also

Mehr

Einleitung. Kapitel 1

Einleitung. Kapitel 1 Kapitel 1 Einleitung In diesem Abschnitt geben wir einen kurzen Überblick über den Inhalt der Vorlesung. Wir werden kurz die wesentlichen Probleme erläutern, die wir ansprechen wollen. Wir werden auch

Mehr

Grundlagen der Informatik (BSc) Übung Nr. 5

Grundlagen der Informatik (BSc) Übung Nr. 5 Übung Nr. 5: Zahlensysteme und ihre Anwendung Bitte kreuzen Sie in der folgenden Auflistung alle Zahlensysteme an, zu welchen jeder Ausdruck als Zahl gehören kann! (Verwenden Sie 'x für Wahl, ' ' für Ausschluß

Mehr

, 2016W Übungstermin: Fr.,

, 2016W Übungstermin: Fr., VU Technische Grundlagen der Informatik Übung 2: Numerik, Codierungstheorie 183.579, 2016W Übungstermin: Fr., 28.10.2016 Allgemeine Hinweise: Versuchen Sie beim Lösen der Beispiele keine elektronischen

Mehr

Wann sind Codes eindeutig entschlüsselbar?

Wann sind Codes eindeutig entschlüsselbar? Wann sind Codes eindeutig entschlüsselbar? Definition Suffix Sei C ein Code. Ein Folge s {0, 1} heißt Suffix in C falls 1 c i, c j C : c i = c j s oder 2 c C und einen Suffix s in C: s = cs oder 3 c C

Mehr

Referat zum Thema Huffman-Codes

Referat zum Thema Huffman-Codes Referat zum Thema Huffman-Codes Darko Ostricki Yüksel Kahraman 05.02.2004 1 Huffman-Codes Huffman-Codes ( David A. Huffman, 1951) sind Präfix-Codes und das beste - optimale - Verfahren für die Codierung

Mehr

Technische Informatik - Eine Einführung

Technische Informatik - Eine Einführung Martin-Luther-Universität Halle-Wittenberg Fachbereich Mathematik und Informatik Lehrstuhl für Technische Informatik Prof. P. Molitor Ausgabe: 2005-02-21 Abgabe: 2005-02-21 Technische Informatik - Eine

Mehr

Grundlagen der Technischen Informatik. Codierung und Fehlerkorrektur. Kapitel 4.2

Grundlagen der Technischen Informatik. Codierung und Fehlerkorrektur. Kapitel 4.2 Codierung und Fehlerkorrektur Kapitel 4.2 Prof. Dr.-Ing. Jürgen Teich Lehrstuhl für Hardware-Software-Co-Design Technische Informatik - Meilensteine Informationstheorie Claude Elwood Shannon (geb. 1916)

Mehr

Blockweise und symbolweise Codierung

Blockweise und symbolweise Codierung Blockweise und symbolweise Codierung Bei der Übertragungscodierung unterscheidet man zwischen zwei Arten, der symbolweisen und der blockweisen Codierung. Bei symbolweiser Codierung, die im Kapitel 2.4

Mehr

A3.9: Viterbi Algorithmus: Grundlegendes

A3.9: Viterbi Algorithmus: Grundlegendes A3.9: Viterbi Algorithmus: Grundlegendes Die Grafik zeigt ein Trellisdiagramm und definiert gleichzeitig die Fehlergrößen Γ i (S 0 ) und Γ i (S 1 ) zu den Zeitpunkten i = 0 bis i = 5. Aus diesem Trellis

Mehr

3 Codierung ... 3.3 Code-Sicherung. 3.3.1 Stellendistanz und Hamming-Distanz. 60 3 Codierung

3 Codierung ... 3.3 Code-Sicherung. 3.3.1 Stellendistanz und Hamming-Distanz. 60 3 Codierung 60 3 Codierung 3 Codierung... 3.3 Code-Sicherung Oft wählt man absichtlich eine redundante Codierung, so dass sich die Code-Wörter zweier Zeichen (Nutzwörter) durch möglichst viele binäre Stellen von allen

Mehr

1 Kryptosysteme 1 KRYPTOSYSTEME. Definition 1.1 Eine Kryptosystem (P(A), C(B), K, E, D) besteht aus

1 Kryptosysteme 1 KRYPTOSYSTEME. Definition 1.1 Eine Kryptosystem (P(A), C(B), K, E, D) besteht aus 1 RYPTOSYSTEME 1 ryptosysteme Definition 1.1 Eine ryptosystem (P(A), C(B),, E, D) besteht aus einer Menge P von lartexten (plaintext) über einem lartextalphabet A, einer Menge C von Geheimtexten (ciphertext)

Mehr

Signalübertragung und -verarbeitung

Signalübertragung und -verarbeitung ILehrstuhl für Informationsübertragung Schriftliche Prüfung im Fach Signalübertragung und -verarbeitung 6. Oktober 008 5Aufgaben 90 Punkte Hinweise: Beachten Sie die Hinweise zu den einzelnen Teilaufgaben.

Mehr

Grundlagen der Technischen Informatik. Informationsgehalt. Kapitel 4.1

Grundlagen der Technischen Informatik. Informationsgehalt. Kapitel 4.1 Informationsgehalt Kapitel 4.1 Prof. Dr.-Ing. Jürgen Teich Lehrstuhl für Hardware-Software-Co-Design Technische Informatik - Meilensteine Informationstheorie Claude Elwood Shannon (geb. 1916) Quelle Sender

Mehr

2 Informationstheorie

2 Informationstheorie 2 Informationstheorie Formale Grundlagen der Informatik I Herbstsemester 2012 Robert Marti Vorlesung teilweise basierend auf Unterlagen von Prof. emer. Helmut Schauer Grundbegriffe Informatik (IT: Information

Mehr

Konzepte der Informatik

Konzepte der Informatik Konzepte der Informatik Vorkurs Informatik zum WS 2011/2012 26.09. - 30.09.2011 17.10. - 21.10.2011 Dr. Werner Struckmann / Christoph Peltz Stark angelehnt an Kapitel 1 aus "Abenteuer Informatik" von Jens

Mehr

Formelsammlung Kanalcodierung

Formelsammlung Kanalcodierung Formelsammlung Kanalcodierung Allgemeines Codewortlänge: N Anzahl der Informationsstellen: K Coderate: R = K/N Hamming-Distanz: D( x i, x j ) = w( x i xj ) Codedistanz: d = min D( x i, x j ); i j Fehlerkorrektur:

Mehr

Angewandte Informationstechnik

Angewandte Informationstechnik Angewandte Informationstechnik im Bachelorstudiengang Angewandte Medienwissenschaft (AMW) Fehlererkennung und -korrektur Dr.-Ing. Alexander Ihlow Fakultät für Elektrotechnik und Informationstechnik FG

Mehr

Inhaltsverzeichnis Informations- und Codierungstheorie

Inhaltsverzeichnis Informations- und Codierungstheorie Inhaltsverzeichnis 2 Informations- und Codierungstheorie 1 2.1 Grundlegende Definitionen.................... 2 2.1.1 Diskrete gedächtnislose Informationsquelle....... 2 2.1.2 Das Informationsmaß nach Shannon...........

Mehr

Zahlensysteme: Oktal- und Hexadezimalsystem

Zahlensysteme: Oktal- und Hexadezimalsystem 20 Brückenkurs Die gebräuchlichste Bitfolge umfasst 8 Bits, sie deckt also 2 8 =256 Möglichkeiten ab, und wird ein Byte genannt. Zwei Bytes, also 16 Bits, bilden ein Wort, und 4 Bytes, also 32 Bits, formen

Mehr

Grundlagen Digitaler Systeme (GDS)

Grundlagen Digitaler Systeme (GDS) Grundlagen Digitaler Systeme (GDS) Prof. Dr. Sven-Hendrik Voß Sommersemester 2015 Technische Informatik (Bachelor), Semester 1 Termin 10, Donnerstag, 18.06.2015 Seite 2 Binär-Codes Grundlagen digitaler

Mehr

Decodierung von Faltungscode- und Turbocode-basierten 2D-Barcodes unter Ausnutzung des Matched-Filter Ansatzes

Decodierung von Faltungscode- und Turbocode-basierten 2D-Barcodes unter Ausnutzung des Matched-Filter Ansatzes Decodierung von Faltungscode- und Turbocode-basierten 2D-Barcodes unter Ausnutzung des Matched-Filter Ansatzes Andreas Weinand 1, Wolfgang Sauer-Greff 2, Hans D. Schotten 1 1 Lehrstuhl für Funkkommunikation

Mehr

Zyklische Codes Rechnernetze Übung SS2010

Zyklische Codes Rechnernetze Übung SS2010 Zyklische Codes Binärcodes Blockcodes Lineare Codes Nichtlineare Codes Zyklische Codes Systematische Codes Binärcodes Blockcodes Lineare Codes Nichtlineare Codes Zyklische Codes Systematische Codes Durch

Mehr