Informations- und Kodierungstheorie

Vorlesung Informations- und Kodierungstheorie 0 Informations- und Kodierungstheorie Was Sie wissen sollten: Einschreibung in jexam (VL und Übung) VL-Skript komplett im Netz Skript enthält keine Beispiellösungen! Beispiele werden an der Tafel vorgerechnet (Tafelbild!!!) Ergänzende/Vertiefende Folienvorlagen zur VL werden im Netz bereitgestellt Zur Klärung von Fragen: Übung!!!, E-Mail, APB 3069 Begleitbuch: Informations- und Kodierungstheorie. 4. Auflage, 2012 (im Anhang weiterführende Literatur zu finden) Fachprüfung: handgeschriebenes Formelblatt einseitig A4, Taschenrechner 1 Einführung

Vorlesung Informations- und Kodierungstheorie 1 Informations- und Kodierungstheorie C.E. Shannon (1948) a R.W. Hamming (1950) b Informationstheorie setzt sich mit zwei Problemstellungen auseinander: Inwieweit lässt sich Information kompakt darstellen? Inwieweit überträgt man Information fehlerfrei (quasi fehlerfrei)? Informationstheorie begründet die Grenzen, was ist erreichbar, was nicht (Zwei Kodierungstheoreme, SHANNON-Grenze fehlerfreier Übertragung) Kodierungstheorie konstruiert praktikable Umsetzungen (weniger komplexe Algorithmen, die sich den Grenzen annähern) 1 Einführung Begleitbuch: Informations- und Kodierungstheorie. 4. Auflage, 2012 a C.E. Shannon. A Mathematical Theory of Communication. BSTJ 27(1948)379-423, 623-656 b R.W. Hamming. Error Detecting and Correcting Codes. BSTJ 29(1950)147-160

Vorlesung Informations- und Kodierungstheorie 2 Information Statistischer Aspekt Semantischer Aspekt (Bedeutung der Information) Pragmatischer Aspekt (Nutzen für den Informationsempfänger) Statistische Informationstheorie Quelle Kodierer Übertragungskanal Dekodierer Senke Störung Information ist beseitigte Unbestimmtheit Das Maß dieser Unbestimmtheit ist äquivalent der Ermittlung der Informationsmenge. 1 Einführung

Vorlesung Informations- und Kodierungstheorie 3 Quelle Kodierer Übertragungskanal Dekodierer Quelle Senke Störung Informationsquellen diskrete Quellen kontinuierliche Quellen Einzelquellen Verbundquellen Quellen mit unabhängigen Ereignissen Quellen mit abhängigen Ereignissen (MARKOW Quellen) 2 Informationsquellen 2.1 Systematisierung

Vorlesung Informations- und Kodierungstheorie 4 Definition Eine Quelle mit dem Alphabet Ü Ü ¾ Ü Æ und der Verteilung der zugehörigen Auftrittswahrscheinlichkeiten Ô Ü µµ Ô Ü µ Ô Ü ¾ µ Ô Ü Æ µµ ¼ Ô Ü µ wobei ÆÈ Ô Ü µ wird als diskrete Quelle mit unabhängigen Ereignissen bezeichnet. Die Unbestimmtheit (Informationsgehalt) eines Ereignisses Ü ist À log Ô Ü µ log Ô Ü µ im Weiteren À ld Ô Ü µ ld Ô Ü µ 2 Informationsquellen 2.2 Diskrete Quellen 2.2.1 Einzelquellen

Vorlesung Informations- und Kodierungstheorie 5 Für À ¾ Æ µ gilt dann: À ld Ô Ü µ À ¾ ld Ô Ü ¾ µ..., À Æ ld Ô Ü Æ µ Gewichteter Mittelwert À É À Ñ : À Ñ ÆÈ Ô Ü µ À ÆÈ Ô Ü µ ld Ô Ü µ ÆÈ Ô Ü µ ld Ô Ü µ À Ñ (Quellen)Entropie, gleichzeitig mittlerer Informationsgehalt in bit/ereignis, bit/messwert, bit/(quellen-)zeichen bit/qz u. ä. Beispiel Æ ¾ Ô Ü µµ Ô Ü µ Ô Ü ¾ µµ ¼µ sicheres, unmögliches Ereignis Warum log bzw. ld, d. h. Anwendung des logarithm. Informationsmaßes? 2 Informationsquellen 2.2 Diskrete Quellen 2.2.1 Einzelquellen

Vorlesung Informations- und Kodierungstheorie 6 Sonderfall der Gleichverteilung: Ô Ü µ Æ für alle À É À ¼ ld Æ Maximalwert der Entropie oder Entscheidungsgehalt der Quelle Beweis Definition Der Entscheidungsgehalt von zwei unabhängigen und gleichwahrscheinlichen Ereignissen einer Quelle À ¼ ld ¾ Ø ÖÒ wird als Einheit der Informationsmenge bezeichnet. L: Begleitbuch, S. 1-20 2 Informationsquellen 2.2 Diskrete Quellen 2.2.1 Einzelquellen

Vorlesung Informations- und Kodierungstheorie 7 MARKOW-Quellen (diskrete Quellen mit abhängigen Ereignissen): Das Ereignis Ü Ñ µ tritt unter der Bedingung ein, dass ganz bestimmte Ereignisse Ü µ Ü ¾µ Ü Ñµ bereits eingetreten sind. Die Auswahl des Ereignisses Ü Ñ µ erfolgt demnach mit der bedingten Wahrscheinlichkeit Ô Ü Ñ µ Ü Ñµ Ü ¾µ Ü µ MARKOW-Quellen erster Ordnung: Ô Ü Ñ µ Ü Ñµ µ wofür wir im Folgenden schreiben Ô Ü Ü µ ¾ Æ µ 2 Informationsquellen 2.2 Diskrete Quellen 2.2.2 MARKOW-Quellen

Vorlesung Informations- und Kodierungstheorie 8 Definition Eine MARKOW-Quelle ist das mathematische Modell einer Informationsquelle, bei dem die aufeinanderfolgende Auswahl von Ereignissen, d. h. die Folge der Zustände, sowohl von der momentanen Verteilung der Auftritts- bzw. Zustandswahrscheinlichkeiten als auch von der Verteilung der Übergangswahrscheinlichkeiten abhängt. Zustandsgraph einer binären MARKOW-Quelle erster Ordnung p( x x ) 2 1 x 1 x 2 p( x x ) 1 1 p( x x ) 1 2 p( x x ) 2 2 2 Informationsquellen 2.2 Diskrete Quellen 2.2.2 MARKOW-Quellen

Vorlesung Informations- und Kodierungstheorie 9 MARKOW-Kette p(x... p(x... N i ) p(xn) )... p(x j x i ).... p(x... j ) p(x p(x 2 1 ) ) t t+1 p(x p(x 2 1 ) ) Zeit Nach dem Satz von der vollständigen Wahrscheinlichkeit gilt: ÆÈ Ô Ü µ Ø Ô Ü µ Ø Ô Ü Ü µ ¾ Æ µ 2 Informationsquellen 2.2 Diskrete Quellen 2.2.2 MARKOW-Quellen

Vorlesung Informations- und Kodierungstheorie 10 Entropie von MARKOW-Quellen Unbestimmtheit, die in den Übergangsmöglichkeiten von einem beliebigen Ü zu allen Ü ( ¾ Æ) liegt: ÆÈ À Ô Ü Ü µ ld Ô Ü Ü µ Gewichteter Mittelwert über alle Ü ( ¾ Æ): ÆÈ À É Ô Ü µ À Die Entropie wird für den stationären Fall Ô Ü µ Ô Ü µ als MARKOW-Entropie À Å bezeichnet: À É À Å ÆÈ ÆÈ L: Begleitbuch, S. 20-26 Ô Ü µ Ô Ü Ü µ ld Ô Ü Ü µ in Ø Ù ØÒ 2 Informationsquellen 2.2 Diskrete Quellen 2.2.2 MARKOW-Quellen

Vorlesung Informations- und Kodierungstheorie 11 Verbundquellen Wir betrachten gleichzeitig zwei diskrete Quellen und mit den zugehörigen Verteilungen der Auftrittswahrscheinlichkeiten: Ô Ü µµ Ô Ü µ Ô Ü ¾ µ Ô Ü Æ µµ der Ereignisse Ü ¾ und Ô Ý µµ Ô Ý µ Ô Ý ¾ µ Ô Ý Å µµ der Ereignisse Ý ¾. Annahmen Die Ereignisse innerhalb jeder Einzelquelle sind voneinander unabhängig. Ein Ereignis in der Quelle hat ein bedingtes Ereignis in der Quelle mit der bedingten Wahrscheinlichkeit Ô Ý Ü µ zur Folge. Das Auftreten von zwei Ereignissen Ü und Ý bezeichnet man als Verbundereignis Ü Ý µ Es tritt mit der Verbundwahrscheinlichkeit Ô Ü Ý µ Ô Ü µ Ô Ý Ü µ auf. 2 Informationsquellen 2.2 Diskrete Quellen 2.2.3 Verbundquellen

Vorlesung Informations- und Kodierungstheorie 12 Definition Die diskreten Quellen und mit den Verbundwahrscheinlichkeiten ÆÈ ÅÈ Ô Ü Ý µ ¾ Æ µ ¾ Å µ Ô Ü Ý µ, bilden eine Verbundquelle µ. Verbundentropie À µ: À µ ÆÈ ÅÈ Ô Ü Ý µ ld Ô Ü Ý µ Nach einigen Umformungen: À È µ Ô Ü µ ld È È Ô Ü µ Ô Ü µ Ô Ý Ü µ ld Ô Ý Ü µ ßÞ Ð ßÞ Ð À µ À µ Bedingte Entropie 2 Informationsquellen 2.2 Diskrete Quellen 2.2.3 Verbundquellen

Vorlesung Informations- und Kodierungstheorie 13 Beispiel Ô Ü µ Ô Ý µ Ô Ü Ý µµ ÅÈ ÆÈ À µ À µ ¼ ¼ ¼ ¼ ¼ ¼ ¼ ¼ ¼ Ô Ü Ý µ ¾ Æ µ Ô Ü Ý µ ¾ Å µ Ø ÖÒ ÆÈ ÅÈ Ô Ü µµ Ô Ý µµ ¾ Ô Ü Ý µ Ô Ü µ Ô Ý Ü µ Ô Ý µ Ô Ü Ý µ ¼ Ô Ý Ü µµ À µ À µ ¾ ¾ ¼ ¼ ¼ ¼ ¼ ¼ ¼ ¼ Ø ÖÒ Ø Î ÖÙÒÖÒ À µ Ô Ü Ý µµ Ô Ü Ý µ 2 Informationsquellen 2.2 Diskrete Quellen 2.2.3 Verbundquellen ¾ µ µ

Vorlesung Informations- und Kodierungstheorie 14 Darstellung der Verbundentropie VENN-Diagramm À µ À µ À µ À µ À µ À µ H(X,Y) H(X Y) H(Y X) H(Y) H(X) Folgende Schranken gelten für die bedingten Entropien: À µ À µ und À µ À µ 2 Informationsquellen 2.2 Diskrete Quellen 2.2.3 Verbundquellen

Vorlesung Informations- und Kodierungstheorie 15 Grenzfälle der Abhängigkeiten beider Quellen a) Vollständige Unabhängigkeit: Bei unabhängigen Ereignissen gilt Ô Ý Ü µ Ô Ý µ, d. h. À µ À µ und damit À µ À µ À µ H(X) H(Y) 2 Informationsquellen 2.2 Diskrete Quellen 2.2.3 Verbundquellen

Vorlesung Informations- und Kodierungstheorie 16 b) Vollständige Abhängigkeit: Bei vollständig abhängigen Ereignissen hat jede Zeile in Ô Ý Ü µµ ein sicheres Folgeereignis, d. h. À µ ¼ und damit À µ À µ H(Y) H(X) 2 Informationsquellen 2.2 Diskrete Quellen 2.2.3 Verbundquellen

Vorlesung Informations- und Kodierungstheorie 17 Spezielle Verbundquelle µ Quelle mit zwei identischen Ereignismengen H(X) H(X) H(X X) = H M In diesem Fall gilt für die Verbundentropie À µ À µ ¾ À µ À Å À µ À µ À µ bei vollständiger Unabhängigkeit ¼ bei vollständiger Abhängigkeit L: Begleitbuch, S. 27-33 2 Informationsquellen 2.2 Diskrete Quellen 2.2.3 Verbundquellen

Vorlesung Informations- und Kodierungstheorie 18 Kontinuierliche Quellen f(x) f(x i) 0 x i x x Die Wahrscheinlichkeit, dass die zufällige Größe Ü im Bereich Ü liegt, berechnet sich durch Ô Ü µ Ê Ü Üµ dü Ü µ Ü 2 Informationsquellen 2.3 Kontinuierliche Quellen

Vorlesung Informations- und Kodierungstheorie 19 Entropie der kontinuierlichen Quelle: À µ À µ È Ü µ Ü ld Ü µ ܵ È Ü µ Ü ld Ü µ Ê Üµ ld ܵ dü ld Ü È Ü µ Ü ld Ü Ü ist unter gleichen Bedingungen konstant. Daher lässt man ld Ü meistens weg und spricht dann von der relativen Entropie einer kontinuierlichen Quelle: Ê À ÖРܵ ld ܵ dü 2 Informationsquellen 2.3 Kontinuierliche Quellen

Vorlesung Informations- und Kodierungstheorie 20 Kodierer Unter Kodierung wird i. Allg. ein Vorgang verstanden, bei dem die Elemente eines Alphabets auf die Elemente eines anderen Alphabets (bzw. auf Wörter über diesem Alphabet) eineindeutig abgebildet werden. Für die Kodierung diskreter Quellen bedeutet dies: Jedes Element des Quellenalphabets wird einem Element des Kanalalphabets Í bzw. einem Wort über Í eineindeutig zugeordnet. Aus praktischen (technischen) Erwägungen beschränken wir uns auf die Binärkodierung, d. h. Í ¼ 3 Kodierung diskreter Quellen 3.1 Einführung

Vorlesung Informations- und Kodierungstheorie 21 Quellenkodierung (Optimalkodierung, Kompression) ist die erste Stufe der Kodierung, bei der die eineindeutige Darstellung der Quelleninformation in einer realisierbaren, möglichst redundanzfreien oder redundanzarmen Form erfolgen soll. verlustfreie Quellenkodierung (Redundanzreduktion) verlustbehaftete Quellenkodierung (Irrelevanzreduktion) Kanalkodierung die sich meistens an die Quellenkodierung anschließt, dient dem Zweck des Störungsschutzes (Schutz gegen zufällige Veränderungen, z. B. durch Übertragungs/Speicherungsfehler). Sie macht erst quasi fehlerfreie Übertragung/Speicherung möglich. Notwendig: Hinzufügung von Redundanz in Form von zusätzlicher Kontrollinformation (Kontrollstellen). 3 Kodierung diskreter Quellen 3.1 Einführung

Vorlesung Informations- und Kodierungstheorie 22 Quelle X Senke Y Quellen kodierer Quellen dekodierer redundanzfrei oder redundanzarm Kryptographie Kanal kodierer Kanal dekodierer mit zusätzlicher Redundanz zum Störungsschutz Übertra gungskanal mit zusätzlicher Redundanz zum Störungsschutz 3 Kodierung diskreter Quellen 3.1 Einführung

Vorlesung Informations- und Kodierungstheorie 23 Definition Dekodierbarkeitsbedingung (Präfix-, Fanobedingung) Ein ungleichmäßiger Kode, bei dem kein Kodewort den Anfang (Präfix) eines anderen Kodewortes darstellt, wird als präfixfreier Kode bezeichnet (hinreichende Bedingung für Eineindeutigkeit). Kodebaum Darstellungsmöglichkeit eines (Quellen-)Kodes Quellenkode: 0 1 0 1 1 0 1 1 1 0 0 1 0 1 0 1 0 1 0 1 Endknoten l= = 3 Von L.G. KRAFT gefundene Ungleichung 1 0 ÆÈ 1 ¾ Ð ist eine notwendige Bedingung für die Dekodierbarkeit. 3 Kodierung diskreter Quellen 3.2 Dekodierbarkeitsbedingung l=1 l=2 l max

Vorlesung Informations- und Kodierungstheorie 24 Kodewortlänge Ð ld Æ Ð Ñ ÆÈ Ô Ü µ Ð gleichmäßiger Kode (allg.: Ð ld Æ À à )a ungleichmäßiger Kode Schranken Ð Ñ À Ñ À Ñ Ð Ñ À Ñ dekodierbarer Kode redundanzarme Kodierung Ð Ñ À Ñ redundanzfreie Kodierung (Möglich?) Ô Ü µ ¾ Ð Ê Ã Ð Ñµ À à À É ¼ Koderedundanz a À à À µ Entropie am Kanaleingang des Übertragungskanals 3 Kodierung diskreter Quellen 3.3 Koderedundanz, 1. SHANNONsches Kodierungstheorem

Vorlesung Informations- und Kodierungstheorie 25 Das erste SHANNONsche Kodierungstheorem besagt: Redundanzfreie Kodierung ist auch für Ô Ü µ ¾ Ð möglich. Man nimmt eine Ñ-fache Erweiterung der Quelle vor, d. h., die Quellenzeichen werden nicht einzeln, sondern in Blöcken von Ñ Quellenzeichen kodiert. Ñ À Ñ Ñ Ð Ñ Ñ À Ñ À Ñ Ð Ñ À Ñ Ñ Im Folgenden: Verfahren der Optimalkodierung Verfahren der (annähernd) redundanzfreien Kodierung Grundlage bilden Æ Ô Ü µµ Ô Ü Ü µµ, deshalb auch Entropiekodierung L: Begleitbuch, S. 40-59 3 Kodierung diskreter Quellen 3.3 Koderedundanz, 1. SHANNONsches Kodierungstheorem

Vorlesung Informations- und Kodierungstheorie 26 SHANNON-FANO-Verfahren (1949) 1. Ordnen der zu kodierenden Quellenzeichen nach fallenden Werten der Auftrittswahrscheinlichkeiten 2. Teilen des geordneten Wahrscheinlichkeitsfeldes in zwei Gruppen; die Teilsummen der Wahrscheinlichkeiten in jeder Gruppe sollten möglichst gleich groß sein. Aufgrund dieses Teilungsprinzips enthält jeder Teilungsschritt und damit jedes Kodewortelement die größte Entropie bzw. Informationsmenge. 3. Kodieren nach dem Prinzip, dass der ersten Gruppe immer einheitlich das Zeichen 0 (bzw. 1) und der zweiten Gruppe immer einheitlich das Zeichen 1 (bzw. 0) zugeordnet wird. 4. Wiederholen der Schritte 2. und 3.; solange, bis jede Teilgruppe nur noch ein Element enthält. Beispiel Ô Ü µµ ¼ ¼ ¼ ¼ ¼ ¾ ¼ ¼ ¼ ¼ ¼ ¼µ Ð Ñ 3 Kodierung diskreter Quellen 3.4 Optimalkodierung 3.4.1 SHANNON-FANO

Vorlesung Informations- und Kodierungstheorie 27 HUFFMAN-Verfahren (1952) 1. Ordnen des gegebenen Wahrscheinlichkeitsfeldes nach fallenden Werten. 2. Zusammenfassen der letzten zwei Wahrscheinlichkeiten (die mit den kleinsten Werten) zu einem neuen Wert. 3. Erneutes Ordnen des reduzierten Wahrscheinlichkeitsfeldes entsprechend Schritt 1. 4. Wiederholen der Schritte 2. und 3. solange, bis die Zusammenfassung der beiden letzten Elemente den Wert 1 ergibt. 5. Aufstellen eines Kodebaumes entsprechend dem Reduktionsschema und Zuordnung der Kodesymbole 0 und 1. Beispiel Ô Ü µµ ¼ ¼ ¼ ¼ ¼ ¾ ¼ ¼ ¼ ¼ ¼ ¼µ Ð Ñ 3 Kodierung diskreter Quellen 3.4 Optimalkodierung 3.4.2 HUFFMAN

Vorlesung Informations- und Kodierungstheorie 28 Ü ¾ Ü Ü Ü Ü Ü Ü 0,30 0,25 0,16 0,11 0,06 ¼ ¼ ¼ ¼ ßÞ Ð 0,30 0,25 0,16 0,12 ¼ ¼ ¼ ßÞ Ð 0,30 0,25 0,17 ¼ ¼ ¾ ßÞ Ð 0,30 0,28 ¼ ¾ ¼ ßÞ Ð 0,42 ¼ ¼ ¼ ¾ ßÞ Ð 0,58 0,42 ßÞ Ð 1 Ð Ñ ¾ Ã É x =000 5 0 1 x 0 1 =001 0 x 4 =01 x6 =1000 x 7 x 3 0 1 1 0 =1001 1 0 1 =101 1 x 2 =11 3 Kodierung diskreter Quellen 3.4 Optimalkodierung 3.4.2 HUFFMAN

Vorlesung Informations- und Kodierungstheorie 29 Beispiel Ñ-fache Erweiterung der Quelle Eine Binärquelle sei mit Ô ¼µ ¼ gegeben. Aufzeigen der Reduzierung von Ê Ã mit Erhöhung der Blocklänge von Ñ auf Ñ ¾ (Grundlage: SHANNON-FANO)! Berücksichtigung von Ô Ü Ü µµ? Beispiel Beispiel aus 2.2.2 MARKOW-Quellen Ô Ü µµ ¼ ¾ ¼ ¾ ¼ µ Ô Ü Ü µµ À Å ¾ Ø Ô Ü Ü µµ ¼ À É À Å È ¼ ¼ ¾ ¼ ¼ ¼ ¼ ¼ ¾ ¼ ¼ Ô Ü µ À É Ð Å È É ¼ ¼ Ð Ñ Ã É ¾ ¼ ¼ РѾ Ã É ¼ ¼ Ð Ñ Ã É Ô Ü µ Ð Ñ Ã É Andere Möglichkeiten (Berücksichtigen aktuelle Häufigkeiten! SHANNON überholt?) LEMPEL-ZIV(-WELCH) (1977) Arithmetische Kodierung (1979) À É Ø É À ɾ ¼ Ø É À É Ø É Ê Ã ¼ ¼ Ø É 3 Kodierung diskreter Quellen 3.4 Optimalkodierung, Ausblick 3.4.3 Erweiterte Quelle

Vorlesung Informations- und Kodierungstheorie 30 Übertragungskanal Störung 4 Kanäle Störungen Störungen durch Betriebsmittel (z. B. Unterbrechungen durch Vermittlungseinrichtungen) Störungen aus dem Umfeld (z. B. Beeinflussungen durch Starkstromleitungen, magnetische Streufelder) thermisches Rauschen der Bauelemente des Übertragungskanals Funkkanäle: Mehrwegeausbreitung (reflektierende Objekte), kurzzeitige Abschattungen, Nachbarkanalbeeinflussungen Trotzdem: Quasi fehlerfreie Übertragung Im Folgenden nur Betrachtungen aus Sicht der Informationsübertragung!

Vorlesung Informations- und Kodierungstheorie 31 BERGERsches Entropiemodell des Übertragungskanals: H(X Y) Quelle X H(X) H T H(Y) Senke Y H(Y X) À µ À µ À Ì À µ À µ Entropie am Kanaleingang Entropie am Kanalausgang Transinformation Äquivokation (Rückschlussentropie) Irrelevanz (Störentropie) Im Idealfall, d. h., der Kanal ist ungestört, gilt À µ À µ À Ì 4 Kanäle 4.1 Diskrete Kanäle 4.1.1 BERGERsches Modell, Transinformation

Vorlesung Informations- und Kodierungstheorie 32 Die Transinformation À Ì ist die Informationsmenge, die im Mittel durch ein Kanalzeichen vom Sender zum Empfänger übertragen werden kann: À Ì À µ À µ À µ À µ À µ À µ À µ in ØÃ Notwendig: Kenntnisse über das Stör-(Übergangs-)verhalten Statistische Untersuchungen Übertragungsweg (Kabel, Funk) widerspiegelt typische Fehlerstrukturen Nachbildung des Störverhaltens (z. B. Binär-, AWGN-Kanalmodell) Annahme: Ô Ý Ü µµ bekannt, Æ Å 4 Kanäle 4.1 Diskrete Kanäle 4.1.1 BERGERsches Modell, Transinformation

Vorlesung Informations- und Kodierungstheorie 33 Wahrscheinlichkeitstheoretisches Modell eines diskreten Kanals: p(y x ) p(x p(y ) p(x M-1 N-1 N-1) -1.. M. p(yj ) p(y. j x i) i).... p(yj x 0) p(x1) p(y p(y x ) 1) 1 0 p(x0) p(y0 ) p(y 0 x 0 )... X Y 4 Kanäle 4.1 Diskrete Kanäle 4.1.1 BERGERsches Modell, Transinformation

Vorlesung Informations- und Kodierungstheorie 34 Interpretation Ô Ý Ü µ und un- Wahrscheinlichkeit, mit welcher das gesendete Zeichen Ü verfälscht übertragen wird Ô Ý Ü µ und Wahrscheinlichkeit, mit welcher das gesendete Zeichen Ü in das empfangene Zeichen Ý verfälscht wird À µ È È Ô Ü µ Ô Ý Ü µ ld Ô Ý Ü µ Für eine fehlerfreie Übertragung gilt: Ô Ý Ü µ für und À Ì À µ À µ Ô Ý Ü µ ¼ für À Ì À µ 4 Kanäle 4.1 Diskrete Kanäle 4.1.1 BERGERsches Modell, Transinformation

Vorlesung Informations- und Kodierungstheorie 35 Beschreibung der Komponenten durch Vektoren bzw. Matrizen: Ô Ü µµ Ô Ü ¼ µ Ô Ü µ Ô Ü Æ µµ Ô Ý µµ Ô Ý ¼ µ Ô Ý µ Ô Ý Å µµ ¼ Ô Ý ¼ Ü ¼ µ Ô Ý Ü ¼ µ Ô Ý Å Ü ¼ µ Ô Ý Ü µµ Ô Ý ¼ Ü µ Ô Ý Ü µ Ô Ý Å Ü µ............................................. Ô Ý ¼ Ü Æ µ Ô Ý Ü Æ µ Ô Ý Å Ü Æ µ ¼ Ô Ü ¼ Ý ¼ µ Ô Ü ¼ Ý µ Ô Ü ¼ Ý Å µ Ô Ü Ý µµ Ô Ü Ý ¼ µ Ô Ü Ý µ Ô Ü Ý Å µ............................................. Ô Ü Æ Ý ¼ µ Ô Ü Æ Ý µ Ô Ü Æ Ý Å µ Beispiel Berechnung von À Ì Ô Ü µµ ¼ ¾ ¼ ¼ µ Ô Ý Ü µµ ¼ ¼ ¼ ¼ ¾ ¼ ¼ ¼ ¼ ¼ ¼ 4 Kanäle 4.1 Diskrete Kanäle 4.1.1 BERGERsches Modell, Transinformation

Vorlesung Informations- und Kodierungstheorie 36 Kanalkapazität diskreter Kanäle Quelle X I Q Quellen kodierer I KQ Kanal kodierer I K K I K Übertra gungskanal Senke Y I Q Quellen dekodierer I T Kanal dekodierer I K Á É Á ÃÉ Á ÃÃ Quelleninformationsfluss Quellenkodeinformationsfluss Kanalkodeinformationsfluss Á Ã Kanalinformationsfluss ( Übertragungsgeschwindigkeit Ú ĐÙ ) Á Ì Transinformationsfluss 4 Kanäle 4.1 Diskrete Kanäle 4.1.2 Kanalkapazität

Vorlesung Informations- und Kodierungstheorie 37 Quelleninformationsfluss Á É in Ø Á É É À É ( É Quellensymbolfrequenz in É ) Quellenkodeinformationsfluss Á ÃÉ in Ø Á ÃÉ É Ð À à (allg. gleichmäßiger Quellenkode: Ð ld Æ À à ) Kanalkodeinformationsfluss Á Ãà in Ø Á ÃÃ É Ð Ðµ À Ã É Ò À à (Kanalkode: Ò Ð Ð) Kanalsymbolfrequenz à in à aus der Übertragungstechnik auch Schrittgeschwindigkeit Ú in ËÖØØ oder in Ù Übertragungsgeschwindigkeit Ú ĐÙ in Ø Ú ĐÙ Á Ã Ú À à Transinformationsfluss Á Ì in Ø Á Ì Ú À Ì 4 Kanäle 4.1 Diskrete Kanäle 4.1.2 Kanalkapazität

Vorlesung Informations- und Kodierungstheorie 38 Ungesicherte Übertragung Á Ã Á ÃÉ Á ÃÙÒ É Ð ßÞ Ð Ú À Ã Gesicherte Übertragung Á Ã Á ÃÃ Á Ã É Ò ßÞ Ð Ú À Ã (Kanalkode bekannt!) bzw. Á Ì Á ÃÉ Ú Á ÃÉ À Ì Á Ã É Ð À Ã À Ì É Ò (Abschätzung Ð!) Á ÃÃ É Ð À Ã À Ì À Ã Ú À Ã Ð Ò Ð Beispiel Berechnung von Á ÃÙÒ Ú ĐÙ ÙÒ Á Ã Ú ĐÙ Kanalverhältnisse aus letztem Beispiel Æ ¾¼ É É ¼¼ É Ã 4 Kanäle 4.1 Diskrete Kanäle 4.1.2 Kanalkapazität

Vorlesung Informations- und Kodierungstheorie 39 Der Transinformationsfluss Á Ì auf gestörten Kanälen ist immer kleiner als die Übertragungsgeschwindigkeit Ú ĐÙ Á Ã. Die Frage nach der maximal übertragbaren Information führt zum Begriff der Kanalkapazität. Definition Die Kanalkapazität ist der Maximalwert des Transinformationsflusses: ÑÜ Á Ì ÑÜ Ú À Ì ¾ À ÌÑÜ d. h. Ú É Ò ¾ L: Begleitbuch, S. 77-90 4 Kanäle 4.1 Diskrete Kanäle 4.1.2 Kanalkapazität

Vorlesung Informations- und Kodierungstheorie 40 Gestörter Binärkanal p(x ) p(x ) 0 Ü ¼ Ü Ý ¼ Ý Æ 1 δ δ 1 ε X Y p(y ) 1 1 ε p(y ) 0 ¼ Ô Ý Ü µµ Æ Zeichen 0 am Kanaleingang Zeichen 1 am Kanaleingang Zeichen 0 am Kanalausgang Zeichen 1 am Kanalausgang Schrittfehlerwahrscheinlichkeit: statt des gesendeten Zeichens Ü ¼ wird das Zeichen Ý empfangen Schrittfehlerwahrscheinlichkeit: statt des gesendeten Zeichens Ü wird das Zeichen Ý ¼ empfangen Æ 4 Kanäle 4.1 Diskrete Kanäle 4.1.3 Binärkanal

Vorlesung Informations- und Kodierungstheorie 41 Berechnung der Transinformation Gegeben: Ô Ü µµ Æ 1. Schritt: Ermittlung von Ô Ý µµ 2. Schritt: Ermittlung von À µ 3. Schritt: Berechnung von À µ 4. Schritt: Berechnung der Transinformation À Ì À µ À µ Beispiel Berechnung von À Ì Ô Ü µµ ¼ ¼ µ Ô Ý Ü ¼ µ ¼ Æ Ô Ý ¼ Ü µ ¼ ¼ 4 Kanäle 4.1 Diskrete Kanäle 4.1.3 Binärkanal

Vorlesung Informations- und Kodierungstheorie 42 Spezialfälle des gestörten Binärkanals Symmetrisch gestörter Binärkanal Æ Ô À Ì À µ Ô Ü ¼ µ Ô Ü µ ¾ : À ÌÑÜ (Ô Schrittfehlerwahrscheinlichkeit) Ô µ ld Ô µ Ô ld Ô Ô µ ld Einseitig gestörter Binärkanal Annahme: Ô Æ ¼ À Ì À µ Ô Ü ¼ µ Ô µ Ô ld Ô Ô µ ld Ô µ Ô ld Ô Ô Ü ¼ µ Ô Ü µ : ¾ À Ì Ô µ ld ¾ Ô µ Ô ld Ô 4 Kanäle 4.1 Diskrete Kanäle 4.1.3 Binärkanal

Vorlesung Informations- und Kodierungstheorie 43 Binärkanal mit Störerkennung y(t) y 0 0 = y M 1...... y j y 2 y 1 = 1 t p(x 1) p(x 0 ) p(y x M-1.. p(y x 0 0 ) ) p(yj x 1) 1 p(y x ) j 0 p(y ). p(y j ). M-1 p(y 1 ) p(y ) 0 X Y 4 Kanäle 4.1 Diskrete Kanäle 4.1.3 Binärkanal

Vorlesung Informations- und Kodierungstheorie 44 Spezialfall: Symmetrisch gestörter Binärkanal mit Auslöschung 1 p s λ p(x 1) p(y 1) p(x ) 0 p s p s 1 p s λ λ λ p(y ) 2 p(y ) Ô Ü ¼ µ Ô Ü µ : ¾ À ÌÑÜ µ Ô ld µld Ô 0 Ý ¾ Auslöschungszeichen Ô µld Ô p(x ) 1 p(x ) 0 1 λ 1 λ λ λ p(y ) 1 p(y ) 2 p(y ) 0 Ô Ü ¼ µ Ô Ü µ ¾ : À Ì ÑÜ µ 4 Kanäle 4.1 Diskrete Kanäle 4.1.3 Binärkanal

Vorlesung Informations- und Kodierungstheorie 45 Beispiel Bewertung von Kanalmodellen 1 p s p(x 1) p(y 1) p(x ) 0 p s p s 1 p s Kanal 1 p(y ) 2 p(y ) 0 1 p s λ 1 λ p(x 1) p(y 1) p(x 1) p(y 1) p s λ λ p(y 2) p(y 2) p λ s λ p(x 0) p(y 0) p(x 0) p(y 0) 1 λ 1 λ p s Kanal 2 Kanal 3 Gegeben: Ô Ü ¼ µ Ô Ü µ ¾ ¼ ¼ Ô Ý ¼ µ Ô Ý µ Ô Ý ¾ µ ¼ ¼ µ ¼ µ ¼ µ ¼ Ô Ô Ô Ô Ì Ô ¼ 4 Kanäle 4.1 Diskrete Kanäle 4.1.3 Binärkanal

Vorlesung Informations- und Kodierungstheorie 46 Ergebnis: Kanal 1 Kanal 2 Kanal 3 Ô Ý ¼ µ ¼ ¼ ¼ Ô Ý µ ¼ ¼ ¼ Ô Ý ¾ µ ¼ ¼ ¼ ¼ ¼¾ À µ ¼¼¼ ØÃ ¼ ØÃ ¾ ØÃ À µ ¼ ØÃ ¼ ØÃ ¼ ØÃ À ÌÑÜ ¼ ØÃ ¼ ¼ ØÃ ¼ ¼ ØÃ L: Begleitbuch, S. 90-99 4 Kanäle 4.1 Diskrete Kanäle 4.1.3 Binärkanal

Vorlesung Informations- und Kodierungstheorie 47 Kanalkapazität des Binärkanals Für den ungestörten Fall und unter der Annahme Ô Ü ¼ µ Ô Ü µ gilt: À ÌÑÜ ØÃ und ÑÜ Æ Ø ¾ Æ. Die Kanalkapazität eines symmetrisch gestörten Binärkanals mit gleichverteilten Eingangszeichen lautet beispielsweise: ¾ Ô µ ld Ô µ Ô ld. Ô Beispiel Dimensionierung von É (Aufg.s.: 3.1, 8. Aufgabe) Ô Ü µµ ¼ ¼ ¼ ¼ ¼ ¼ ¼ ¼µ, (rauschfreier) Binärkanal mit ¼¼ ÀÞ, É ¼ É möglich? 4 Kanäle 4.1 Diskrete Kanäle 4.1.3 Binärkanal

Vorlesung Informations- und Kodierungstheorie 48 Analoge Kanäle Entropie analoger Quellen f(x) f(x i) 0 x i x x Die Wahrscheinlichkeit, dass die zufällige Größe Ü im Bereich Ü liegt, berechnet sich durch Ô Ü µ Ê Ü Üµ dü Ü µ Ü 4 Kanäle 4.2 Analoge Kanäle 4.2.1 Entropie analoger Quellen

Vorlesung Informations- und Kodierungstheorie 49 À Ö À Ñ È À Ò È Ê Ü µ Ü ld ܵ ld Ü µ Ü ld ܵ Ü µ Ü µ Ü È Ü µ Ü ld Ü dü ld Ü Ü ist unter gleichen Bedingungen konstant. Daher lässt man ld Ü meistens weg und spricht dann von der relativen Entropie einer analogen Quelle: À ÖÐ Ê Üµ ld ܵ dü Beispiel Berechnung von À ÖРܵ Ô ¾ È Ü¾ ¾ È 4 Kanäle 4.2 Analoge Kanäle 4.2.1 Entropie analoger Quellen

Vorlesung Informations- und Kodierungstheorie 50 Transinformation analoger Kanäle Signale und Störungen überlagern sich additiv und sind damit am Kanalausgang als Summe beider vorhanden. Es entstehen keine Störanteile, die vom Nutzsignal abhängen. Nutz- und Störsignal sind unkorreliert, d. h., die Leistung des Empfangssignals ist gleich der Summe aus Nutz- und Störsignalleistung: P x P y = P x + P z P z Annahme: Amplitudenwerte von Nutz- und Störsignal sind normalverteilt: ܵ Ô ¾ È e 4 Kanäle 4.2 Analoge Kanäle 4.2.2 Transinformation, Kanalkapazität ܾ ¾ È

Vorlesung Informations- und Kodierungstheorie 51 Entropie der Quelle À µ ¾ ld ¾ È Ü Störentropie À µ ¾ ld ¾ È Þ È Ü mittlere Nutzsignalleistungµ È Þ mittlere Störsignalleistungµ Entropie am Kanalausgang À µ ¾ ld È Ü È Þ µ ¾ Transinformation analoger Kanäle À Ì À µ À µ ¾ ld ÈÜ È Þ À Ì ¾ ld È Ü È Þ unter der Bedingung È Ü È Þ 4 Kanäle 4.2 Analoge Kanäle 4.2.2 Transinformation, Kanalkapazität

Vorlesung Informations- und Kodierungstheorie 52 Rauschabstand Ö ¼ Ð È Ü È Þ in (Dezibel) Für È Ü È Þ gilt dann À Ì ¾ ¼ ¾ Ö ¼ Ö Kanalkapazität analoger Kanäle Ò ¾ À Ì ¾ ld ÈÜ ¾ È Þ Æ Ø Ò Æ ld ÈÜ È Þ oder Für È Ü È Þ erhält man Ò ¼ ¾ Ö L: B.buch, S. 33-37, 68-76, 102-106 4 Kanäle 4.2 Analoge Kanäle 4.2.2 Transinformation, Kanalkapazität

Vorlesung Informations- und Kodierungstheorie 53 Quantisierung analoger Signale Quelle Kodierer Übertragungskanal Dekodierer Senke Diskrete Quelle Analoge Quelle Störung Analoge Quelle f(t) Abtastung f(n t A ) Amplituden quantisierung f*(n t A ) Quellenkodierer x(t) f(t) f(n t A) f*(n t A ) x(t) t n t A n t A t a) b) c) d) 4 Kanäle 4.3 Quantisierung analoger Signale

Vorlesung Informations- und Kodierungstheorie 54 Zeitquantisierung Abtastfrequenz ¾ in Ï Abstand der Abtastwerte: Ø ¾ bei Einhaltung obiger Bedingung kein Infomationsverlust Amplitudenquantisierung Informationsverlust abhängig von Stufung und Verteilung Annahme: Quantisierung mit linearer Kennlinie 4 Kanäle 4.3 Quantisierung analoger Signale

Vorlesung Informations- und Kodierungstheorie 55 n m Diskrete Quelle i 2 1 δ 21 δ 22 À Õ x 1 x 2 x i x m x Analoge Quelle ÑÈ Ô Ü µ ld Ô Ü µ in Ø Ï Ô Ü µ Ñ : À Õ ÑÜ ld Ñ 4 Kanäle 4.3 Quantisierung analoger Signale

Vorlesung Informations- und Kodierungstheorie 56 Modell der diskreten Übertragung eines quantisierten, gestörten Signals Analoge Quelle Q an I Q Analoger Kanal C an ADU Iq= I KQ Kodierer Übertragungskanal Dekodierer Senke Störung Dekodierer DAU Senke Ò Á Õ ld ÈÜ ¾ ld Ñ È Þ Ñ Õ ÈÜ È Þ oder Ñ ¼ Ö ¾¼ Á Õ Á ÃÉ, wenn Ð ld Ñ 4 Kanäle 4.3 Quantisierung analoger Signale

Vorlesung Informations- und Kodierungstheorie 57 Kenngrößen der Analog-Digital-Umwandlung Das analoge Signal hat zwei Kenngrößen, die den Informationsfluss bestimmen: Grenzfrequenz und Rauschabstand Ö Wichtige Kenngrößen des Analog-Digital-Umsetzers (ADU) sind: Umsetzzeit Ø Ù und Kodewortlänge Ð ld Ñ Da durch den ADU das quantisierte Signal in einem gleichmäßigen Kode dargestellt wird, werden nur Stufenanzahlen von Ñ ¾ ( ¾ ) realisiert. 4 Kanäle 4.3 Quantisierung analoger Signale

Vorlesung Informations- und Kodierungstheorie 58 Bedingungen zur Vermeidung von Informationsverlust durch ADU: In der Zeit Ø Ù ist das Signal abzutasten und der Abtastwert in einem Binärkode darzustellen: Ø Ù Ø Die erforderliche Kodewortlänge wird durch den Rauschabstand vorgegeben: Ð ¼ Ö Ñ ¾ Ð mit Ð in Ã Ï Ö in Kanalkapazität des nachgeschalteten Binärkanals: Á ÃÉ ¾ Ð À à РÀ à (Gesicherte Übertragung!) Beispiel ADU, diskrete Übertragung: Ú ĐÙÙÒ Ú ĐÙ Ò Ò ÀÞ Ö ¼ BK: ¼ Æ ¼ ¼ Ô Ü ¼ µ Ô Ü µ L: Begleitbuch, S. 108-123 4 Kanäle 4.3 Quantisierung analoger Signale

Vorlesung Informations- und Kodierungstheorie 59 Kanal (de)kodierer Fehlerkorrektur durch Wiederholung ARQ [Automatic Repeat request] "Fehlererkennung" (FE) durch Rekonstruktion FEC [Forward Error Correction] "Fehlerkorrektur" (FK) mit Maximum Likelihood mit begrenzter Mindestdistanz 5 Kanalkodierung 5.1 Einführung

Vorlesung Informations- und Kodierungstheorie 60 ARQ a* FEC Kanalkodefolge a Übertragung Empfangsfolge b Wiederholung n fehlerfreie Übertragung? n Fehlerkorrektur j Entfernen der Redundanz 5 Kanalkodierung 5.1 Einführung b*

Vorlesung Informations- und Kodierungstheorie 61 Fehlerkorrektur durch Wiederholung (FE) hinzugefügte redundante Stellen nur zur Erkennung eines Fehlers Fehlerkorrektur durch Rekonstruktion (FK) hinzugefügte redundante Stellen zur Erkennung eines Fehlers und Lokalisierung der Fehlerpositionen FEC ARQ (Aus Abschätzung bekannt: Ð) Rekonstruktionsergebnisse korrekte Rekonstruktion falsche Rekonstruktion Versagen der Rekonstruktion 5 Kanalkodierung 5.1 Einführung

Vorlesung Informations- und Kodierungstheorie 62 Allgemeine Kenngrößen von Kanalkodes Quelle X Quellen kodierer A* Kanal kodierer A Übertra gungskanal E Senke Y Quellen dekodierer B* Kanal dekodierer B Ü Ü ¾ Ü Ä ¾ Ä ¾ Ä ¾ Æ ¾ Æ Ò Ð ÑÒ µ, auch Ò ÐµKode Beispiel Ò ÒµWiederholungskode 5 Kanalkodierung 5.1 Einführung

Vorlesung Informations- und Kodierungstheorie 63 Definition Die Anzahl der Stellen, in denen sich zwei Kodewörter Ù Ù ¾ Ù Ò µ und Ù Ù ¾ Ù Ò µ unterscheiden, bezeichnet man als HAMMING-Distanz µ : µ ¾ Ò Ù Ù mit ¾ Ò ¾ Ò Binärkode: HAMMING-Distanz: HAMMING-Gewicht: µ Û µ ÒÈ ÒÈ Ù Ù µ Ù 0 µ ÑÒ ÑÒ µ ÑÒ 0 µ ÑÒ Û µ Û ÑÒ ¾ ¾Ò¼ ¾Ò¼ Beispiel min. HAMMING-Distanz ÑÒ (auch Mindestdistanz) ÑÒ )Wiederholungskode; ÑÒ )Paritätskode 5 Kanalkodierung 5.1 Einführung

Vorlesung Informations- und Kodierungstheorie 64 Geometrische Deutung der minimalen HAMMING-Distanz: f k Kodewort a i Kodewort a j Korrekturkugeln 0 1 2 3 4 5 d( a i, a j )=d min ÑÒ FE: ÑÒ ¼ FK: ÑÒ ¾ ÑÒ ¾ ( ÑÒ geradzahlig?) Dekodierungsprinzip Rekonstruktion mit begrenzter Mindestdistanz Beispiel Fortsetzung: bei Anwendung von FE oder FK? 5 Kanalkodierung 5.1 Einführung

Vorlesung Informations- und Kodierungstheorie 65 Berechnung der redundanten Stellen (bekannt: ÑÒ Ð oder Ò) ¾ Ò ¾ Ð ¾ ¾ Ð Ò Ò ¾ Ò ¾ È ¼ Ò Ò Ò Ò µ Ò Ò µ Ò µ ¾ ld È ¼ Ò È ld ¼ Ð untere Schranke für bei vorgegebenem Ð obere Schranke für Ð bei vorgegebenem Ò HAMMING-Schranke Ð Ò : Entsprechende Kodes heißen dichtgepackt oder perfekt. Beispiel Berechnung von Ð ÑÒ 5 Kanalkodierung 5.1 Einführung

Vorlesung Informations- und Kodierungstheorie 66 Weitere Kodekenngrößen relative Redundanz Ö Ò Ð Ò Ò Koderate Ê Ð Ò Zweites SHANNONsches Kodierungstheorem Die Restfehlerwahrscheinlichkeit Ô Ê kann beliebig klein gehalten werden, solange die Koderate Ê den Wert der maximalen Transinformation À Ì nicht überschreitet. Darüber hinaus hat SHANNON theoretisch nachgewiesen, dass auch bei beliebig kleiner Restfehlerwahrscheinlichkeit immer noch eine Koderate größer als Null möglich ist [SHA 48]. L: Begleitbuch, S. 125-137 5 Kanalkodierung 5.1 Einführung

Vorlesung Informations- und Kodierungstheorie 67 Klassifizierung von Kanalkodes ÐÖ ÃÒÐÓ ÐÓÓ ÒĐÖ ÒØÒĐÖµ ÐÓÖ ÕÙÒØÐе ÃÓ ÒĐÖµ ÈÖØĐØ Ó ÎÖØØØ ÃÓ µ ÀÅÅÁÆßÃÓ ÝÐ ÃÓ ÐØÙÒ Ó ÏÖÓÐÙÒ Ó ÊßÅÍÄÄÊßÃÓ ÀßÃÓ ÊßÃÓ µ ÊËßÃÓ Neu : Turbokodes, LDPC-Kodes (einfache, auch verkettete Blockkodes mit iterativer Dekodierung) L: Begleitbuch, S. 138-141 5 Kanalkodierung 5.2 Klassifizierung von Kanalkodes

Vorlesung Informations- und Kodierungstheorie 68 Definition Ein Kode heißt linearer Blockkode, oder kurz Linearkode, wenn der Kanalkodierer für die Transformation von Quellenkodewörtern der Länge Ð aus dem Alphabet (Quellenkode) in Kanalkodewörter der Länge Ò des Alphabets (Kanalkode) eine Verknüpfungsoperation verwendet, die in der algebraischen Struktur einer Gruppe definiert ist. Darstellung von Linearkodes als Gruppe Axiom G1: Abgeschlossenheit Axiom G2: Assoziatives Gesetz Axiom G3: Neutrales Element Axiom G4: Inverses Element Kommutativgesetz abelsche Gruppe Beispiel µwiederholungskode: ¼¼¼¼¼ ¾ ¾µParitätskode: ¼¼¼ ¼ ¼ ¼ 5 Kanalkodierung 5.3 Lineare Blockkodes 5.3.1 Darstellungen

Vorlesung Informations- und Kodierungstheorie 69 Wichtig für algebraische Kodes: lineare Verknüpfung von Kanalkodewörtern führt wieder zu einem Kanalkodewort Nullwort ist immer auch Kanalkodewort Axiome stellen Kodebildungs- und Fehlererkennungsvorschrift dar Ò Ð ÑÒ µkanalkode: ¼ Ò mit Ä ¾ Ð Kanalkodewörtern, Ò Ð ÑÒ des Kanalkodes bestimmt Leistungsfähigkeit Bei einem Linearkode ist die minimale HAMMING-Distanz gleich dem minimalen Gewicht der Kodewörter (außer dem Nullwort). FE: ÑÒ Û ÑÒ FK: ÑÒ ¾ ÛÑÒ ¾ ÑÒ ¾ ÛÑÒ ¾ Beispiel Kanalkodealphabet 5 Kanalkodierung 5.3 Lineare Blockkodes 5.3.1 Darstellungen

Vorlesung Informations- und Kodierungstheorie 70 Kanalkodealphabet : ¼ ¼ ¼ ¼ ¼ ¼ ¼ ¼µ ¼ ¼ ¼ ¼ µ ¼ ¼ ¼ ¼ µ ¼ ¼ ¼µ ¾ ¼ ¼ ¼ ¼µ ¼ ¼ ¼ ¼ µ ¼ ¼ ¼ µ ¼ ¼ ¼ ¼µ ¼ ¼ ¼ µ ¾ ¼ ¼ ¼ ¼µ ¼ ¼ ¼ ¼µ ¼ ¼ ¼ µ ¼ ¼ ¼ ¼ µ ¼ ¼ ¼µ ¼ ¼ ¼µ µ Überprüfen der Eigenschaften! Ò Ð ÑÒ µlinearkode 5 Kanalkodierung 5.3 Lineare Blockkodes 5.3.1 Darstellungen

Vorlesung Informations- und Kodierungstheorie 71 Darstellung von Linearkodes durch Matrizen Definition Ein Linearkode mit Ä ¾ Ð Kanalkodewörtern ist durch seine Generatormatrix mit Ð linear unabhängigen Kanalkodewörtern (Basiswörtern) eindeutig beschrieben: ¼ Ù Ù ¾ Ù Ò Ù ¾ Ù ¾¾ Ù ¾Ò Ð Ò....... ٠Р٠о Ù ÐÒ Ù ¾ ¼ Mit einer Einheitsmatrix über den ersten Ð Spalten der Generatormatrix sind die zugehörigen Kanalkodewörter mit Sicherheit linear unabhängig. 5 Kanalkodierung 5.3 Lineare Blockkodes 5.3.1 Darstellungen

Vorlesung Informations- und Kodierungstheorie 72 Kanonische oder reduzierte Staffelform ¼ ¼ ¼ ¼ Ù Ð Ù Ð ¾ Ù Ò ¼ ¼ ¼ Ù ¾Ð Ù ¾Ð ¾ Ù ¾Ò Ð Ò.......................................... ¼ ¼ ¼ Ù ÐÐ Ù ÐÐ ¾ Ù ÐÒ ¼ ¼ ¼ ¼ ¾ ¼ ¼ ¼ ¾ ¾¾ ¾.................................... Á Ð ¼ ¼ ¼ Ро Ð Beispiel Fortsetzung: Ð Ò 5 Kanalkodierung 5.3 Lineare Blockkodes 5.3.1 Darstellungen

Vorlesung Informations- und Kodierungstheorie 73 Definition Ein Linearkode heißt systematischer Kode, wenn aus einem Kanalkodewort ¾ durch Streichen redundanter Stellen das Quellenkodewort ¾ unmittelbar entnommen werden kann. Bildung eines Kanalkodewortes Kanalkodierung Ð Ò ¼ Ù Ù ¾ Ù Ò µ Ù Ù ¾ Ù Ð µ ¼ ¼ ¼ ¾ ¼ ¼ ¼ ¾ ¾¾ ¾............................... ¼ ¼ ¼ Ро Ð Beispiel Fortsetzung: ¼¼µ 5 Kanalkodierung 5.3 Lineare Blockkodes 5.3.1 Darstellungen

Vorlesung Informations- und Kodierungstheorie 74 Aufbau einer Kontrollmatrix (aus der Generatormatrix): Ein zu orthogonaler Unterraum ¼ ist dadurch gekennzeichnet, dass das Skalarprodukt eines beliebigen Vektors aus mit jedem beliebigen Vektor aus ¼ Null ist. Es sei Ù Ù ¾ Ù Ò µ mit ¾ und ¼ Ù Ù ¾ Ù Ò µ mit ¼ ¾ ¼ Dann gilt ¼ Ù Ù Ù ¾ Ù ¾ Ù Ò Ù Ò ¼ für alle Ist Á Ð dann ist der zu orthogonale Unterraum ¼ durch À Ì Á beschrieben. Orthogonalitätsbedingung: À Ì À Ì µ Ì ¼ Beispiel Fortsetzung: Ð Ò À Ò 5 Kanalkodierung 5.3 Lineare Blockkodes 5.3.1 Darstellungen

Vorlesung Informations- und Kodierungstheorie 75 Kontroll(auch Prüf-)matrix liefert auch Vorschrift zur Bildung der Kontrollstellen (Bestimmungsgleichungen): ¼Ì Ù Ù ¾ ¾ Ù Ð Ð Ù Ð Ù Ð ¾ ¼ Ù Ò ¼ ¼ Erstes Kontrollelement Ù Ð des Kanalkodewortes : Ù Ð Ù Ù ¾ ¾ Ù Ð Ð Allgemein: Ù Ð Ù Ù ¾ ¾ Ù Ð Ð ¾ µ für Ù Ù ¾ Ù Ð Ù Ð Ù Ð ¾ Ù Ð µ Ð Ð ¾ Ð Ð ¾ µ Beispiel Forts.: Bestimmungsgleichungen für ¾ µ ¼¼µ L: Begleitbuch, S. 142-151 5 Kanalkodierung 5.3 Lineare Blockkodes 5.3.1 Darstellungen

Vorlesung Informations- und Kodierungstheorie 76 Fehlererkennung und Fehlerkorrektur Kanaldekodierung Die Empfangsfolge kann als Überlagerung eines Kanalkodewortes mit einem Fehlerwort aufgefasst werden:. Damit gilt für das Fehlersyndrom (auch Prüfvektor) À Ì À µ Ì À Ì À ßÞ Ð Ì À Ì ¼ Alle Fehlermuster, deren Gewicht Û µ ÑÒ ist, sind mit Sicherheit erkennbar. Alle Fehlermuster, deren Gewicht Û µ ÑÒ ist, sind mit ¾ Sicherheit korrigierbar. Darüber hinaus sind nur Fehlermuster erkennbar, die nicht in definiert sind, d. h. ¾. Ist ¾ und Û µ ÑÒ erfolgt eine Falschkorrektur oder ¾ Rekonstruktionsversagen. 5 Kanalkodierung 5.3 Lineare Blockkodes 5.3.2 FE und FK

Vorlesung Informations- und Kodierungstheorie 77 Empfangsfolge ¾? À Ò Ì (auch: Kontrollgleichungen für ¾ µ) ¼: ¾ fehlerfreie Übertragung kein erkennbarer Fehler oder ¼: ¾ Fehlererkennung, Korrektur? Jedem Fehlersyndrom ist maximal ein Fehlermuster zugeordnet, solange Û µ ÑÒ ¾ Die Syndrome sind -stellige Vektoren. Also können ¾ µ verschiedene Fehlermuster korrigiert werden. Beispiel Fortsetzung: ¼¼¼µ ¾ Kontrollgleichungen für ¾ µ L: Begleitbuch, S. 152-154 5 Kanalkodierung 5.3 Lineare Blockkodes 5.3.2 FE und FK

Vorlesung Informations- und Kodierungstheorie 78 Einfachster Linearkode: Paritätskode Ù Ù ¾ Ù Ð µ Ù Ù ¾ Ù Ð Ù Ð µ Ù Ð Paritätselement: ÐÈ Ù mod ¾ Ù Ð (Ergänzung auf geradzahlige Anzahl Eins) ÑÒ? Generatormatrix Ò µ Ò? Kontrollmatrix À Ò? Fehlererkennung: À Ì ÒÈ Ù mod ¾ ¼ ¾ Anwendung: DÜ in Rechnern, Erweiterung von Kodes, RAID5 5 Kanalkodierung 5.3 Lineare Blockkodes 5.3.2 FE und FK

Vorlesung Informations- und Kodierungstheorie 79 Verkettung von zwei Paritätskodes Ò Ò ¾ Ð Ð ¾ ÑÒ ÑÒ¾ µproduktkode Quellen kodewörter aus A* Paritätselemente bzgl. der l Zeilen Paritätselement bzgl. der Paritätselemente Beispiel: 1 0 0 1 0 0 1 0 1 0 1 1 0 1 1 0 0 0 1 0 0 1 1 1 0 0 0 0 0 0 0 1 1 0 1 1 1 0 1 0 1 1 Paritätselemente ( l +1) stelliges bzgl. der m Spalten l stelliges Kanalkodewort Quellenkodewort s 0 s 1 0 0 1 0 0 0 1 0 1 0 1 1 0 0 1 1 0 0 0 0 1 0 0 1 1 1 0 0 0 0 1 0 0 1 0 1 1 0 1 1 0 1 0 1 0 1 1 0 0 0 0 1 0 0 1 0 ¾ ¾µ ¾ ¼ µproduktkode, Ê ¼ ¾ Zum Vergleich: µwiederholungskode, Ê ¼ ¼ ¾ 5 Kanalkodierung 5.3 Lineare Blockkodes 5.3.2 FE und FK

Vorlesung Informations- und Kodierungstheorie 80 Fehlerkorrigierender HAMMING-Kode Definition Der fehlerkorrigierende HAMMING-Kode ist zunächst bzgl. der HAMMING-Schranke ein dichtgepackter Kode. Er hat einen minimalen HAMMING-Abstand von ÑÒ und eine Kodewortlänge von Ò ¾. Man bezeichnet diesen Kode auch als einfehlerkorrigierenden HAMMING-Kode. Geschickte Vertauschung der Spalten von À, so dass die -te Spalte von À der Dualdarstellung von entspricht. Das Fehlersyndrom liefert dann unmittelbar die dual dargestellte Position des fehlerhaften Elementes in. 5 Kanalkodierung 5.4 Einfehlerkorrigierende HAMMING-Kodes

Vorlesung Informations- und Kodierungstheorie 81 Kontrollmatrix eines µhamming-kodes: À Ò À ¼ Ò Ò Ò ¼ Ò ¼ Ò ¼ Ò ¾ ¼ Ò ¼ ¼ ¼ ¼ ¼ Ð Ð Ð ¾ Ð ¾ Kontrollstellen an Positionen Ò ¾ ¼ µ systematisch! Berechnen der Kontrollstellen mittels den Bestimmungsgleichungen ¾ µ aus À Ð Ð Ð ¾ Ð ¾ µ À Ì bzw. Kontrollgleichungen ¾ µ aus À Ein Fehler wird durch µ Ì korrigiert. lokalisiert und damit Beispiel ¼¼µ ¼¼¼¼¼¼µ 5 Kanalkodierung 5.4 Einfehlerkorrigierende HAMMING-Kodes

Vorlesung Informations- und Kodierungstheorie 82 Verkürzter HAMMING-Kode Für Kontrollstellen sind maximal Ò ¾ verschiedene Syndrome möglich und damit maximal Ò ¾ Stellen bzgl. Einfachfehler korrigierbar. Ð ¾ liefert einen dichtgepackten Kode (HAMMING-Schranke mit erfüllt), Ð ¾ einen verkürzten Kode mit Ò ¾ Das Korrekturschema des einfehlerkorrigierenden HAMMING-Kodes lässt sich auch dann anwenden. Beispiel µhamming-kode verkürzter µhamming-kode Überprüfe mit HAMMING-Schranke! 5 Kanalkodierung 5.4 Einfehlerkorrigierende HAMMING-Kodes

Vorlesung Informations- und Kodierungstheorie 83 Erweiterter HAMMING-Kode Jedem Kanalkodewort wird ein weiteres Kontrollelement ¼ hinzugefügt. Dieses Kontrollelement wird durch eine zusätzliche Bestimmungsgleichung berechnet, die sämtliche Kodewortelemente einbezieht: Ð Ð Ð ¾ Ð ¾ ¼ µ Ò Ò Ò Ò Ò Ò ¾ Ò Ò ¼ µ mit ÒÈ ÒÈ Ò ¼ Ò mod ¾ zusätzl. Kontrollgleichung: ¼ Ò mod ¾ Paritätsbit Erzeugt Kanalkode mit geradzahliger Parität Die Anzahl der Kontrollelemente beträgt damit, die Kodewortlänge erhöht sich auf Ò ¾. Der Minimalabstand ist ÑÒ. Die Anzahl der Informationselemente ist unverändert. Beispiel ¼¼µ ¼¼¼µ ¾ L: Begleitbuch, S. 156-161 5 Kanalkodierung 5.4 Einfehlerkorrigierende HAMMING-Kodes ¼ Auswertung von und ¼

Vorlesung Informations- und Kodierungstheorie 84 Zyklische Kodes Binäre primitive BCH-Kodes Definition Ein Kode heißt zyklisch, wenn für jedes Kanalkodewort Ù Ò Ù Ò ¾ Ù Ù ¼ µ durch zyklische Verschiebung der Elemente mit Ù Ò ¾ Ù Ò Ù ¼ Ù Ò µ wieder ein Kanalkodewort entsteht. a Ein zyklischer Kode ist ein spezieller Linearkode, der sowohl algebraische Gruppenaxiome als auch Ring- und Körperaxiome erfüllt. Das Generatorpolynom ܵ ist i. Allg. ein Produkt von Minimalpolynomen Ñ Üµ, das den zyklischen Kode vollständig beschreibt. ¾! Hinweis: Schreibweise von Polynomen È Üµ Ù Ö Ü Ö Ù Ö Ü Ö Ù ¼ mit Ù ¾ ¼ a ܵ ܵ Ü Þ mod Ü Ò µ ersetzt Exponenten Ö Ò durch Ö mod Ò 5 Kanalkodierung 5.5 Zyklische Kodes

Vorlesung Informations- und Kodierungstheorie 85 Ausgewählte algebraische Grundlagen Eigenschaften eines Modularpolynoms über ¾µ 1. Das Modularpolynom muss irreduzibel sein. Ein Polynom ist irreduzibel, wenn es nicht in ein Produkt von Polynomen zerlegbar ist. Das Modularpolynom Šܵ vom Grad grad Šܵ bestimmt den Kodeparameter Ò mit Ò ¾ Der tatsächliche Wert von Ò berechnet sich aus dem Zyklus der Polynomreste über ¾µ mit Ü mod Šܵ ¼ Ôµ und bestimmt Ò Ô ¾ Beispiel Šܵ Ü Ü ¾ 5 Kanalkodierung 5.5 Zyklische Kodes 5.5.1 Ausgewählte algebraische Grundlagen

Vorlesung Informations- und Kodierungstheorie 86 2. Ist Ò Ô ¾ dann besitzt das irreduzible Polynom Šܵ auch die Eigenschaft, primitiv zu sein. Erweiterungskörper und Minimalpolynome Die Leistungsfähigkeit eines BCH-Kodes hängt von der Anzahl aufeinanderfolgender Nullstellen in ܵ ab. Nullstellen? Beispiel È Üµ Ü Ü über ¾µ primitiv: È Ü µ È Ü ¼µ Das Polynom È Üµ hat über ¾µ keine Nullstelle. 5 Kanalkodierung 5.5 Zyklische Kodes 5.5.1 Ausgewählte algebraische Grundlagen

Vorlesung Informations- und Kodierungstheorie 87 Fundamentalsatz der Algebra Jedes Polynom hat mindestens eine Nullstelle, gegebenenfalls in einem anderen Körper, und jedes Polynom Ö-ten Grades lässt sich in genau Ö Teilpolynome ersten Grades, d. h. in Ö Linearfaktoren, zerlegen, i. Allg. unter Zuhilfenahme von Erweiterungselementen «: È Üµ Ù Ö Ü Ö Ù Ö Ü Ö Ù Ü Ù ¼ Ü «µ Ü «¾ µ Ü «Ö µ Ein neues Element «wird als Nullstelle eines irreduziblen Polynoms über ¾µ hinzugefügt, welches einem Erweiterungskörper angehört. Auf der Grundlage eines irreduziblen Modularpolynoms Šܵ vom Grad grad Šܵ über ¾µ entsteht durch Hinzunahme einer Nullstelle «ein endlicher Erweiterungskörper ¾ µ, d. h., «ist Nullstelle von Šܵ und ein (Erweiterungs-)Element in ¾ µ 5 Kanalkodierung 5.5 Zyklische Kodes 5.5.1 Ausgewählte algebraische Grundlagen

Vorlesung Informations- und Kodierungstheorie 88 Zum Erweiterungskörper ¾ µ gehören neben dem Nullelement die Elemente «¼ ¾ ¾µµ Beispiel Šܵ Ü Ü ¾ über ¾µ Bestimmung des Erweiterungskörpers ¾ µ: Elemente Polynomreste Koeffizienten der des ¾ µ «mod Å Ü «µ Polynomreste Nullelement ¼ ¼ ¼ ¼ «¼ ¼ ¼ ««¼ ¼ «¾ «¾ ¼ ¼ ««¾ ¼ ««¾ «««¼ ««¾ «¼ «¼ ¼ isomorph dem Zyklus der Polynomreste über ¾µ 5 Kanalkodierung 5.5 Zyklische Kodes 5.5.1 Ausgewählte algebraische Grundlagen

Vorlesung Informations- und Kodierungstheorie 89 Berechnungsbeispiele für Addition und Multiplikation im ¾ µü Ü ¾ : «««mod Å «µ «mod Å «µ «««¼ Z. B. ««¾ ««¾ «bzw. ««¾ ¼µ ¼¼µ µ ««¾ «¾ ¼¼µ ¼¼µ ¼ «««««««µ mod Ô Z. B. «««mod «¾ «¾ ««««5 Kanalkodierung 5.5 Zyklische Kodes 5.5.1 Ausgewählte algebraische Grundlagen

Vorlesung Informations- und Kodierungstheorie 90 Beispiel Šܵ Ü Ü ¾ «Nullstelle von Šܵ und Erweiterungselement: Å Ü «µ ««¾ «¾ µ «¾ ¼ Fundamentalsatz der Algebra: Šܵ Ü Ü ¾ Ü «µ Ü «¾ µ Ü «µ im ¾µ d. h., ««, «¾ und «sind Nullstellen im ¾ µ Zuordnung «zu den Elementen von ¾ µ: ««¾ mod Ô ¾ grad Šܵµµ Die Elemente «¾¼ «¾ «¾ mod Ô sind im Zyklus ¼ ¾ ¾µ zueinander konjugiert. Konjugierte Elemente befinden sich in einem Zyklus. 5 Kanalkodierung 5.5 Zyklische Kodes 5.5.1 Ausgewählte algebraische Grundlagen

Vorlesung Informations- und Kodierungstheorie 91 Die Nullstellen von Šܵ sind damit die im Zyklus stehenden zu «konjugierten Elemente «¾ «¾ und ««. ¾ und liefern demzufolge den gleichen Zyklus. Die Anzahl der Elemente in einem Zyklus wird durch grad Šܵ begrenzt und ist für Ô ¾ ¾ È für alle Zyklen gleich (ausgenommen: ¼). Beispiel Zyklen im ¾ µ «¼ ««¾ ««««5 Kanalkodierung 5.5 Zyklische Kodes 5.5.1 Ausgewählte algebraische Grundlagen

Vorlesung Informations- und Kodierungstheorie 92 Jedem «aus ¾ µ ist ein Minimalpolynom Ñ Üµ zugeordnet: Das Minimalpolynom eines beliebigen Elementes «ist irreduzibel und vom Grad Ö. Zu jedem Element «existiert genau ein Minimalpolynom Ñ Üµ. Das Minimalpolynom des Elementes «ist gleichzeitig das Minimalpolynom der Elemente «¾, «¾¾, «¾Ö mod Ô. Ist «eine Nullstelle des Minimalpolynoms Ñ Üµ, dann sind die Ö zueinander konjugierten Nullstellen «, «¾, «¾¾, «¾Ö die sämtlichen Nullstellen von Ñ Üµ: Ñ Üµ Ü «µ Ü «¾ µ Ü «¾ ¾ µ Ü «¾ Ö µ im ¾µ Das Modularpolynom Šܵ ist wegen Å Ü «µ ¼ das Minimalpolynom Ñ Üµ des Elementes «. Beispiel Ñ ¼ ܵ Ñ Üµ Ñ Üµ im ¾ µå ܵ Ü Ü ¾? L: Begleitbuch, S. 162-169 5 Kanalkodierung 5.5 Zyklische Kodes 5.5.1 Ausgewählte algebraische Grundlagen

Vorlesung Informations- und Kodierungstheorie 93 Generatorpolynom primitiver BCH-Kodes zur Kodierung und Fehlererkennung ܵ Šܵµ auch: ܵ е Šܵ Entwurfsabstand und Šܵ bestimmen Wahl der Kodeparameter! Notwendig: Erweiterungskörper ¾ µ: Wenn Šܵ primitiv ist und «als Nullstelle hat, dann gilt ¾ µ ¼ «¼ ««¾ «¾ ¾ Ein Minimalpolynom Ñ Üµ hat ««¾ «als Nullstellen: Ñ Üµ Ü «µ Ü «¾ µ Ü «µ im ¾µ Daraus folgt: Ñ Üµ Ñ ¾ ܵ Ñ Üµ Ñ ¾ Ö mod Ô Ö. Das Generatorpolynom ܵ hat die Aufeinanderfolge von «««¾ «¾ als Nullstellen, so auch ¾ Ò ¼ 5 Kanalkodierung 5.5 Zyklische Kodes 5.5.2 Generatorpolynom von BCH-Kodes

Vorlesung Informations- und Kodierungstheorie 94 Damit ein BCH-Kode die aufeinanderfolgenden Elemente «¾µ als Nullstellen enthält, wird ܵ i. Allg. ein Produkt von Minimalpolynomen sein: ܵ kgv Ñ Üµ Ñ Üµ Ñ ¾ ܵ (in praktischen Anwendungsfällen ist meist 0 oder 1). Kodeparameter Ò ¾ weil Šܵ primitiv grad ܵ Ð Ò ÑÒØØ ĐÐ Über die Zyklendarstellung kann die tatsächliche Aufeinanderfolge der Nullstellen bestimmt und damit der tatsächliche Abstand ÑÒ ermittelt werden: ÑÒ tatsächliche Anzahl aufeinanderfolgender Nullstellenµ 5 Kanalkodierung 5.5 Zyklische Kodes 5.5.2 Generatorpolynom von BCH-Kodes

Vorlesung Informations- und Kodierungstheorie 95 Beispiel Šܵ Ü Ü primitiv Bildung von ܵ Bestimmen möglicher Generatorpolynome ܵ aus den Zyklen der Exponenten von «für bzw. 0! ܵ für Analysiere ܵ bzgl. ÑÒ und den Kodeparametern ܵ Ü Ü Ü Ü ¾µBCH-Kode (grad Šܵ ) L: Begleitbuch, S. 175-179 5 Kanalkodierung 5.5 Zyklische Kodes 5.5.2 Generatorpolynom von BCH-Kodes

Vorlesung Informations- und Kodierungstheorie 96 Spezielle BCH-Kodes: CRC[cyclic redundancy check]-kodes! Zyklischer HAMMING-Kode ܵ Šܵ Ñ Üµ ÑÒ mit Sicherheit Erkennen von Ein- und Zweifachfehlern ( ¾) UND Erkennen von Bündelfehlern der Länge gradå ܵ Kodeparameter? Ò Ð ÑÒ µ ¾ ¾ ÑÒ µbch-kode ABRAMSON-Kode ܵ Ñ ¼ ܵ Ñ Üµ mit Ñ ¼ ܵ Ü µ ÑÒ mit ¾ ¾ µ ÑÒ µbch-kode Beispiel Kodeparameter im ¾ µ für obige Kodes 5 Kanalkodierung 5.5 Zyklische Kodes 5.5.2 Generatorpolynom von BCH-Kodes

Vorlesung Informations- und Kodierungstheorie 97 (Kanal-)Kodierung: Bildungsverfahren für ¾ Multiplikationsverfahren Ein zyklischer Kode der Länge Ò ist durch ܵ beschrieben. Das Kodepolynom ܵ des Kanalkodewortes entsteht aus der Multiplikation des zu kodierenden Polynoms ܵ mit dem Generatorpolynom ܵ: ܵ ܵ ܵ. Beispiel ܵ Ü Ü ¾ ¼µ ܵ Divisionsverfahren Ein zyklischer Kode der Länge Ò ist durch ܵ (vom Grad ) beschrieben. Das Kodepolynom ܵ des Kodewortes entsteht aus der Multiplikation des zu kodierenden Polynoms ܵ mit Ü und der Subtraktion eines Restpolynoms Ö Üµ (bedeutet im ¾µ Addition): ܵ ܵ Ü Ö Üµ Ö Üµ ܵ Ü µ mod ܵ 5 Kanalkodierung 5.5 Zyklische Kodes 5.5.3 Kodierung und Fehlererkennung

Vorlesung Informations- und Kodierungstheorie 98 Generatormatrix Auf der Grundlage des Generatorpolynoms ܵ Ü Ù Ü Ù ¼ Ü ¼ ist eine Generatormatrix definiert: Ð Ò ¼ ¼ ¼ ¼ Ù Ù Ù ¼ ¼ ¼ Ù Ù ¾ Ù ¼ ¼............................................... Ù.......................... ¼ ¼ Das Kanalkodewort ¾ bildet sich dann wie folgt: Die Bildungsverfahren führen auf das gleiche Kanalkodealphabet. Die Zuordnung der Quellenkodewörter zu den Kanalkodewörtern ist jedoch eine andere. Die Anwendung des Divisionsverfahrens liefert immer einen systematischen Kode. Das Bildungsverfahren muss dem Dekodierer bekannt sein. 5 Kanalkodierung 5.5 Zyklische Kodes 5.5.3 Kodierung und Fehlererkennung

Vorlesung Informations- und Kodierungstheorie 99 (Kanal-)Dekodierung: Fehlererkennung Jedes Kanalkodewort muss in seiner Polynomdarstellung durch ܵ teilbar sein. Ist eine Empfangsfolge ܵ durch ܵ teilbar, dann ist ¾ definiert, sonst gilt ¾ und damit Fehlererkennung. Fehlerpolynom (auch Prüfpolynom): ܵ ܵ mod ܵ ¼ Beispiel ¼¼¼µ ¼¼¼¼µ ¾ Mit Sicherheit erkennbar: ÑÒ Erkennen aller Bündelfehler, bei denen der Abstand zwischen dem ersten und dem letzten fehlerhaften Element (einschließlich dieser) im Fehlermuster kleiner oder gleich dem Grad des Generatorpolynoms ist. 5 Kanalkodierung 5.5 Zyklische Kodes 5.5.3 Kodierung und Fehlererkennung

Vorlesung Informations- und Kodierungstheorie 100 Struktur des Bündelfehlers: ܵ ¼ Ü Ò ¼ Ü Ò ¾ 1 Ü 1 Ü ¼ Ü ¼ Ü ¼ Ü 1 Ü Ù ¾Ü ¾ Ù Ü 1µ Sind darüber hinaus weitere Fehler erkennbar? ¾ Ò ¾ Ð ¾ Ò ¾ Ô ¾ µ ¼¼± Beispiel: Ô ± Ô ± Typische Fehlererkennungs- CRC-Kodes: Zyklischer HAMMING-Kode: ܵ Ñ Üµ ABRAMSON-Kode: ܵ Ñ Üµ Ü µ L: Begleitbuch, S. 169-175 5 Kanalkodierung 5.5 Zyklische Kodes 5.5.3 Kodierung und Fehlererkennung

Vorlesung Informations- und Kodierungstheorie 101 Ein Kanalkode heißt verkürzter Kode, wenn gilt: Ò Ð ÑÒ µ Ò Ð ÑÒ µ const Diese Kodes verlieren ihre zyklische Eigenschaft. Fehlererkennung und Fehlerkorrektur bleiben erhalten. Beispiel BCH-Kode für Ð ¾? Ein Kanalkode heißt erweiterter Kode, wenn das Generatorpolynom ܵ um Ñ ¼ ܵ Ü µ erweitert wird: Ò ¾ Ð ÑÒ µ Ò Ð ÑÒ µ Ò ¾ Ð ÑÒ µ Ò Ð ÑÒ µ über Ò ¾ ein Paritätsbit gesetzt wird. Vergleiche mit dem erweiterten HAMMING-Kode! Die zyklische Eigenschaft geht mit Ò ¾ verloren. Auch alle ungeradzahligen Fehler sind erkennbar! Beispiel Forts.: Erweiterung mit Ü µ 5 Kanalkodierung 5.5 Zyklische Kodes 5.5.4 Verkürzte, erweiterte BCH-Kodes

Vorlesung Informations- und Kodierungstheorie 102 Anwendung zyklischer Kodes Fehlererkennung CRC-Kodes z. B. in Protokollen auf der Sicherungsschicht: CRC-5 in USB ( ܵ Ñ Üµ), in Bluetooth ( ܵ Ñ ¼ ܵ Ñ Üµ) ; CRC-CCITT (CRC-16, ܵ Ñ ¼ ܵ Ñ Üµ) in HDLC, X.25,... ; Ethernet benutzt CRC-32 für Standard-Frames ÝØ, Jumbo-Frames ¼¼¼ ÝØ (extended Ethernet Frames) sind nicht standardisiert aber bieten vergleichbaren Schutz, warum: ܵ Ñ Üµ Ñ Üµ, primitiv, ܵ Ü Ü, im Bereich Ò Ø ÝØ nur Û µ z. B. beim Mobilfunk: CRC-3 in Kodeverkettung zur Fehlerverdeckung Fehlerkorrektur ( LV Kanalkodierung) Sinnvoll bei der Satellitenkommunikation wegen der Laufzeiten oder in Speicher-Anwendungen, wenn einzelne Bereiche systematisch und unwiderruflich unbrauchbar sind. L: Begleitbuch, S. 182-184 5 Kanalkodierung 5.5 Zyklische Kodes 5.5.5 Anwendungen