Informations- und Kodierungstheorie
|
|
- Lucas Förstner
- vor 5 Jahren
- Abrufe
Transkript
1 Vorlesung Informations- und Kodierungstheorie 0 Informations- und Kodierungstheorie Was Sie wissen sollten: Einschreibung in jexam (VL und Übung) VL-Skript komplett im Netz Skript enthält keine Beispiellösungen! Beispiele werden an der Tafel vorgerechnet (Tafelbild!!!) Ergänzende/Vertiefende Folienvorlagen zur VL werden im Netz bereitgestellt Zur Klärung von Fragen: Übung!!!, , APB 3069 Begleitbuch: Informations- und Kodierungstheorie. 4. Auflage, 2012 (im Anhang weiterführende Literatur zu finden) Fachprüfung: handgeschriebenes Formelblatt einseitig A4, Taschenrechner 1 Einführung
2 Vorlesung Informations- und Kodierungstheorie 1 Informations- und Kodierungstheorie C.E. Shannon (1948) a R.W. Hamming (1950) b Informationstheorie setzt sich mit zwei Problemstellungen auseinander: Inwieweit lässt sich Information kompakt darstellen? Inwieweit überträgt man Information fehlerfrei (quasi fehlerfrei)? Informationstheorie begründet die Grenzen, was ist erreichbar, was nicht (Zwei Kodierungstheoreme, SHANNON-Grenze fehlerfreier Übertragung) Kodierungstheorie konstruiert praktikable Umsetzungen (weniger komplexe Algorithmen, die sich den Grenzen annähern) 1 Einführung Begleitbuch: Informations- und Kodierungstheorie. 4. Auflage, 2012 a C.E. Shannon. A Mathematical Theory of Communication. BSTJ 27(1948) , b R.W. Hamming. Error Detecting and Correcting Codes. BSTJ 29(1950)
3 Vorlesung Informations- und Kodierungstheorie 2 Information Statistischer Aspekt Semantischer Aspekt (Bedeutung der Information) Pragmatischer Aspekt (Nutzen für den Informationsempfänger) Statistische Informationstheorie Quelle Kodierer Übertragungskanal Dekodierer Senke Störung Information ist beseitigte Unbestimmtheit Das Maß dieser Unbestimmtheit ist äquivalent der Ermittlung der Informationsmenge. 1 Einführung
4 Vorlesung Informations- und Kodierungstheorie 3 Quelle Kodierer Übertragungskanal Dekodierer Quelle Senke Störung Informationsquellen diskrete Quellen kontinuierliche Quellen Einzelquellen Verbundquellen Quellen mit unabhängigen Ereignissen Quellen mit abhängigen Ereignissen (MARKOW Quellen) 2 Informationsquellen 2.1 Systematisierung
5 Vorlesung Informations- und Kodierungstheorie 4 Definition Eine Quelle mit dem Alphabet Ü Ü ¾ Ü Æ und der Verteilung der zugehörigen Auftrittswahrscheinlichkeiten Ô Ü µµ Ô Ü µ Ô Ü ¾ µ Ô Ü Æ µµ ¼ Ô Ü µ wobei ÆÈ Ô Ü µ wird als diskrete Quelle mit unabhängigen Ereignissen bezeichnet. Die Unbestimmtheit (Informationsgehalt) eines Ereignisses Ü ist À log Ô Ü µ log Ô Ü µ im Weiteren À ld Ô Ü µ ld Ô Ü µ 2 Informationsquellen 2.2 Diskrete Quellen Einzelquellen
6 Vorlesung Informations- und Kodierungstheorie 5 Für À ¾ Æ µ gilt dann: À ld Ô Ü µ À ¾ ld Ô Ü ¾ µ..., À Æ ld Ô Ü Æ µ Gewichteter Mittelwert À É À Ñ : À Ñ ÆÈ Ô Ü µ À ÆÈ Ô Ü µ ld Ô Ü µ ÆÈ Ô Ü µ ld Ô Ü µ À Ñ (Quellen)Entropie, gleichzeitig mittlerer Informationsgehalt in bit/ereignis, bit/messwert, bit/(quellen-)zeichen bit/qz u. ä. Beispiel Æ ¾ Ô Ü µµ Ô Ü µ Ô Ü ¾ µµ ¼µ sicheres, unmögliches Ereignis Warum log bzw. ld, d. h. Anwendung des logarithm. Informationsmaßes? 2 Informationsquellen 2.2 Diskrete Quellen Einzelquellen
7 Vorlesung Informations- und Kodierungstheorie 6 Sonderfall der Gleichverteilung: Ô Ü µ Æ für alle À É À ¼ ld Æ Maximalwert der Entropie oder Entscheidungsgehalt der Quelle Beweis Definition Der Entscheidungsgehalt von zwei unabhängigen und gleichwahrscheinlichen Ereignissen einer Quelle À ¼ ld ¾ Ø ÖÒ wird als Einheit der Informationsmenge bezeichnet. L: Begleitbuch, S Informationsquellen 2.2 Diskrete Quellen Einzelquellen
8 Vorlesung Informations- und Kodierungstheorie 7 MARKOW-Quellen (diskrete Quellen mit abhängigen Ereignissen): Das Ereignis Ü Ñ µ tritt unter der Bedingung ein, dass ganz bestimmte Ereignisse Ü µ Ü ¾µ Ü Ñµ bereits eingetreten sind. Die Auswahl des Ereignisses Ü Ñ µ erfolgt demnach mit der bedingten Wahrscheinlichkeit Ô Ü Ñ µ Ü Ñµ Ü ¾µ Ü µ MARKOW-Quellen erster Ordnung: Ô Ü Ñ µ Ü Ñµ µ wofür wir im Folgenden schreiben Ô Ü Ü µ ¾ Æ µ 2 Informationsquellen 2.2 Diskrete Quellen MARKOW-Quellen
9 Vorlesung Informations- und Kodierungstheorie 8 Definition Eine MARKOW-Quelle ist das mathematische Modell einer Informationsquelle, bei dem die aufeinanderfolgende Auswahl von Ereignissen, d. h. die Folge der Zustände, sowohl von der momentanen Verteilung der Auftritts- bzw. Zustandswahrscheinlichkeiten als auch von der Verteilung der Übergangswahrscheinlichkeiten abhängt. Zustandsgraph einer binären MARKOW-Quelle erster Ordnung p( x x ) 2 1 x 1 x 2 p( x x ) 1 1 p( x x ) 1 2 p( x x ) Informationsquellen 2.2 Diskrete Quellen MARKOW-Quellen
10 Vorlesung Informations- und Kodierungstheorie 9 MARKOW-Kette p(x... p(x... N i ) p(xn) )... p(x j x i ).... p(x... j ) p(x p(x 2 1 ) ) t t+1 p(x p(x 2 1 ) ) Zeit Nach dem Satz von der vollständigen Wahrscheinlichkeit gilt: ÆÈ Ô Ü µ Ø Ô Ü µ Ø Ô Ü Ü µ ¾ Æ µ 2 Informationsquellen 2.2 Diskrete Quellen MARKOW-Quellen
11 Vorlesung Informations- und Kodierungstheorie 10 Entropie von MARKOW-Quellen Unbestimmtheit, die in den Übergangsmöglichkeiten von einem beliebigen Ü zu allen Ü ( ¾ Æ) liegt: ÆÈ À Ô Ü Ü µ ld Ô Ü Ü µ Gewichteter Mittelwert über alle Ü ( ¾ Æ): ÆÈ À É Ô Ü µ À Die Entropie wird für den stationären Fall Ô Ü µ Ô Ü µ als MARKOW-Entropie À Å bezeichnet: À É À Å ÆÈ ÆÈ L: Begleitbuch, S Ô Ü µ Ô Ü Ü µ ld Ô Ü Ü µ in Ø Ù ØÒ 2 Informationsquellen 2.2 Diskrete Quellen MARKOW-Quellen
12 Vorlesung Informations- und Kodierungstheorie 11 Verbundquellen Wir betrachten gleichzeitig zwei diskrete Quellen und mit den zugehörigen Verteilungen der Auftrittswahrscheinlichkeiten: Ô Ü µµ Ô Ü µ Ô Ü ¾ µ Ô Ü Æ µµ der Ereignisse Ü ¾ und Ô Ý µµ Ô Ý µ Ô Ý ¾ µ Ô Ý Å µµ der Ereignisse Ý ¾. Annahmen Die Ereignisse innerhalb jeder Einzelquelle sind voneinander unabhängig. Ein Ereignis in der Quelle hat ein bedingtes Ereignis in der Quelle mit der bedingten Wahrscheinlichkeit Ô Ý Ü µ zur Folge. Das Auftreten von zwei Ereignissen Ü und Ý bezeichnet man als Verbundereignis Ü Ý µ Es tritt mit der Verbundwahrscheinlichkeit Ô Ü Ý µ Ô Ü µ Ô Ý Ü µ auf. 2 Informationsquellen 2.2 Diskrete Quellen Verbundquellen
13 Vorlesung Informations- und Kodierungstheorie 12 Definition Die diskreten Quellen und mit den Verbundwahrscheinlichkeiten ÆÈ ÅÈ Ô Ü Ý µ ¾ Æ µ ¾ Å µ Ô Ü Ý µ, bilden eine Verbundquelle µ. Verbundentropie À µ: À µ ÆÈ ÅÈ Ô Ü Ý µ ld Ô Ü Ý µ Nach einigen Umformungen: À È µ Ô Ü µ ld È È Ô Ü µ Ô Ü µ Ô Ý Ü µ ld Ô Ý Ü µ ßÞ Ð ßÞ Ð À µ À µ Bedingte Entropie 2 Informationsquellen 2.2 Diskrete Quellen Verbundquellen
14 Vorlesung Informations- und Kodierungstheorie 13 Beispiel Ô Ü µ Ô Ý µ Ô Ü Ý µµ ÅÈ ÆÈ À µ À µ ¼ ¼ ¼ ¼ ¼ ¼ ¼ ¼ ¼ Ô Ü Ý µ ¾ Æ µ Ô Ü Ý µ ¾ Å µ Ø ÖÒ ÆÈ ÅÈ Ô Ü µµ Ô Ý µµ ¾ Ô Ü Ý µ Ô Ü µ Ô Ý Ü µ Ô Ý µ Ô Ü Ý µ ¼ Ô Ý Ü µµ À µ À µ ¾ ¾ ¼ ¼ ¼ ¼ ¼ ¼ ¼ ¼ Ø ÖÒ Ø Î ÖÙÒÖÒ À µ Ô Ü Ý µµ Ô Ü Ý µ 2 Informationsquellen 2.2 Diskrete Quellen Verbundquellen ¾ µ µ
15 Vorlesung Informations- und Kodierungstheorie 14 Darstellung der Verbundentropie VENN-Diagramm À µ À µ À µ À µ À µ À µ H(X,Y) H(X Y) H(Y X) H(Y) H(X) Folgende Schranken gelten für die bedingten Entropien: À µ À µ und À µ À µ 2 Informationsquellen 2.2 Diskrete Quellen Verbundquellen
16 Vorlesung Informations- und Kodierungstheorie 15 Grenzfälle der Abhängigkeiten beider Quellen a) Vollständige Unabhängigkeit: Bei unabhängigen Ereignissen gilt Ô Ý Ü µ Ô Ý µ, d. h. À µ À µ und damit À µ À µ À µ H(X) H(Y) 2 Informationsquellen 2.2 Diskrete Quellen Verbundquellen
17 Vorlesung Informations- und Kodierungstheorie 16 b) Vollständige Abhängigkeit: Bei vollständig abhängigen Ereignissen hat jede Zeile in Ô Ý Ü µµ ein sicheres Folgeereignis, d. h. À µ ¼ und damit À µ À µ H(Y) H(X) 2 Informationsquellen 2.2 Diskrete Quellen Verbundquellen
18 Vorlesung Informations- und Kodierungstheorie 17 Spezielle Verbundquelle µ Quelle mit zwei identischen Ereignismengen H(X) H(X) H(X X) = H M In diesem Fall gilt für die Verbundentropie À µ À µ ¾ À µ À Å À µ À µ À µ bei vollständiger Unabhängigkeit ¼ bei vollständiger Abhängigkeit L: Begleitbuch, S Informationsquellen 2.2 Diskrete Quellen Verbundquellen
19 Vorlesung Informations- und Kodierungstheorie 18 Kontinuierliche Quellen f(x) f(x i) 0 x i x x Die Wahrscheinlichkeit, dass die zufällige Größe Ü im Bereich Ü liegt, berechnet sich durch Ô Ü µ Ê Ü Üµ dü Ü µ Ü 2 Informationsquellen 2.3 Kontinuierliche Quellen
20 Vorlesung Informations- und Kodierungstheorie 19 Entropie der kontinuierlichen Quelle: À µ À µ È Ü µ Ü ld Ü µ ܵ È Ü µ Ü ld Ü µ Ê Üµ ld ܵ dü ld Ü È Ü µ Ü ld Ü Ü ist unter gleichen Bedingungen konstant. Daher lässt man ld Ü meistens weg und spricht dann von der relativen Entropie einer kontinuierlichen Quelle: Ê À ÖРܵ ld ܵ dü 2 Informationsquellen 2.3 Kontinuierliche Quellen
21 Vorlesung Informations- und Kodierungstheorie 20 Kodierer Unter Kodierung wird i. Allg. ein Vorgang verstanden, bei dem die Elemente eines Alphabets auf die Elemente eines anderen Alphabets (bzw. auf Wörter über diesem Alphabet) eineindeutig abgebildet werden. Für die Kodierung diskreter Quellen bedeutet dies: Jedes Element des Quellenalphabets wird einem Element des Kanalalphabets Í bzw. einem Wort über Í eineindeutig zugeordnet. Aus praktischen (technischen) Erwägungen beschränken wir uns auf die Binärkodierung, d. h. Í ¼ 3 Kodierung diskreter Quellen 3.1 Einführung
22 Vorlesung Informations- und Kodierungstheorie 21 Quellenkodierung (Optimalkodierung, Kompression) ist die erste Stufe der Kodierung, bei der die eineindeutige Darstellung der Quelleninformation in einer realisierbaren, möglichst redundanzfreien oder redundanzarmen Form erfolgen soll. verlustfreie Quellenkodierung (Redundanzreduktion) verlustbehaftete Quellenkodierung (Irrelevanzreduktion) Kanalkodierung die sich meistens an die Quellenkodierung anschließt, dient dem Zweck des Störungsschutzes (Schutz gegen zufällige Veränderungen, z. B. durch Übertragungs/Speicherungsfehler). Sie macht erst quasi fehlerfreie Übertragung/Speicherung möglich. Notwendig: Hinzufügung von Redundanz in Form von zusätzlicher Kontrollinformation (Kontrollstellen). 3 Kodierung diskreter Quellen 3.1 Einführung
23 Vorlesung Informations- und Kodierungstheorie 22 Quelle X Senke Y Quellen kodierer Quellen dekodierer redundanzfrei oder redundanzarm Kryptographie Kanal kodierer Kanal dekodierer mit zusätzlicher Redundanz zum Störungsschutz Übertra gungskanal mit zusätzlicher Redundanz zum Störungsschutz 3 Kodierung diskreter Quellen 3.1 Einführung
24 Vorlesung Informations- und Kodierungstheorie 23 Definition Dekodierbarkeitsbedingung (Präfix-, Fanobedingung) Ein ungleichmäßiger Kode, bei dem kein Kodewort den Anfang (Präfix) eines anderen Kodewortes darstellt, wird als präfixfreier Kode bezeichnet (hinreichende Bedingung für Eineindeutigkeit). Kodebaum Darstellungsmöglichkeit eines (Quellen-)Kodes Quellenkode: Endknoten l= = 3 Von L.G. KRAFT gefundene Ungleichung 1 0 ÆÈ 1 ¾ Ð ist eine notwendige Bedingung für die Dekodierbarkeit. 3 Kodierung diskreter Quellen 3.2 Dekodierbarkeitsbedingung l=1 l=2 l max
25 Vorlesung Informations- und Kodierungstheorie 24 Kodewortlänge Ð ld Æ Ð Ñ ÆÈ Ô Ü µ Ð gleichmäßiger Kode (allg.: Ð ld Æ À à )a ungleichmäßiger Kode Schranken Ð Ñ À Ñ À Ñ Ð Ñ À Ñ dekodierbarer Kode redundanzarme Kodierung Ð Ñ À Ñ redundanzfreie Kodierung (Möglich?) Ô Ü µ ¾ Ð Ê Ã Ð Ñµ À à À É ¼ Koderedundanz a À à À µ Entropie am Kanaleingang des Übertragungskanals 3 Kodierung diskreter Quellen 3.3 Koderedundanz, 1. SHANNONsches Kodierungstheorem
26 Vorlesung Informations- und Kodierungstheorie 25 Das erste SHANNONsche Kodierungstheorem besagt: Redundanzfreie Kodierung ist auch für Ô Ü µ ¾ Ð möglich. Man nimmt eine Ñ-fache Erweiterung der Quelle vor, d. h., die Quellenzeichen werden nicht einzeln, sondern in Blöcken von Ñ Quellenzeichen kodiert. Ñ À Ñ Ñ Ð Ñ Ñ À Ñ À Ñ Ð Ñ À Ñ Ñ Im Folgenden: Verfahren der Optimalkodierung Verfahren der (annähernd) redundanzfreien Kodierung Grundlage bilden Æ Ô Ü µµ Ô Ü Ü µµ, deshalb auch Entropiekodierung L: Begleitbuch, S Kodierung diskreter Quellen 3.3 Koderedundanz, 1. SHANNONsches Kodierungstheorem
27 Vorlesung Informations- und Kodierungstheorie 26 SHANNON-FANO-Verfahren (1949) 1. Ordnen der zu kodierenden Quellenzeichen nach fallenden Werten der Auftrittswahrscheinlichkeiten 2. Teilen des geordneten Wahrscheinlichkeitsfeldes in zwei Gruppen; die Teilsummen der Wahrscheinlichkeiten in jeder Gruppe sollten möglichst gleich groß sein. Aufgrund dieses Teilungsprinzips enthält jeder Teilungsschritt und damit jedes Kodewortelement die größte Entropie bzw. Informationsmenge. 3. Kodieren nach dem Prinzip, dass der ersten Gruppe immer einheitlich das Zeichen 0 (bzw. 1) und der zweiten Gruppe immer einheitlich das Zeichen 1 (bzw. 0) zugeordnet wird. 4. Wiederholen der Schritte 2. und 3.; solange, bis jede Teilgruppe nur noch ein Element enthält. Beispiel Ô Ü µµ ¼ ¼ ¼ ¼ ¼ ¾ ¼ ¼ ¼ ¼ ¼ ¼µ Ð Ñ 3 Kodierung diskreter Quellen 3.4 Optimalkodierung SHANNON-FANO
28 Vorlesung Informations- und Kodierungstheorie 27 HUFFMAN-Verfahren (1952) 1. Ordnen des gegebenen Wahrscheinlichkeitsfeldes nach fallenden Werten. 2. Zusammenfassen der letzten zwei Wahrscheinlichkeiten (die mit den kleinsten Werten) zu einem neuen Wert. 3. Erneutes Ordnen des reduzierten Wahrscheinlichkeitsfeldes entsprechend Schritt Wiederholen der Schritte 2. und 3. solange, bis die Zusammenfassung der beiden letzten Elemente den Wert 1 ergibt. 5. Aufstellen eines Kodebaumes entsprechend dem Reduktionsschema und Zuordnung der Kodesymbole 0 und 1. Beispiel Ô Ü µµ ¼ ¼ ¼ ¼ ¼ ¾ ¼ ¼ ¼ ¼ ¼ ¼µ Ð Ñ 3 Kodierung diskreter Quellen 3.4 Optimalkodierung HUFFMAN
29 Vorlesung Informations- und Kodierungstheorie 28 Ü ¾ Ü Ü Ü Ü Ü Ü 0,30 0,25 0,16 0,11 0,06 ¼ ¼ ¼ ¼ ßÞ Ð 0,30 0,25 0,16 0,12 ¼ ¼ ¼ ßÞ Ð 0,30 0,25 0,17 ¼ ¼ ¾ ßÞ Ð 0,30 0,28 ¼ ¾ ¼ ßÞ Ð 0,42 ¼ ¼ ¼ ¾ ßÞ Ð 0,58 0,42 ßÞ Ð 1 Ð Ñ ¾ Ã É x = x 0 1 =001 0 x 4 =01 x6 =1000 x 7 x = =101 1 x 2 =11 3 Kodierung diskreter Quellen 3.4 Optimalkodierung HUFFMAN
30 Vorlesung Informations- und Kodierungstheorie 29 Beispiel Ñ-fache Erweiterung der Quelle Eine Binärquelle sei mit Ô ¼µ ¼ gegeben. Aufzeigen der Reduzierung von Ê Ã mit Erhöhung der Blocklänge von Ñ auf Ñ ¾ (Grundlage: SHANNON-FANO)! Berücksichtigung von Ô Ü Ü µµ? Beispiel Beispiel aus MARKOW-Quellen Ô Ü µµ ¼ ¾ ¼ ¾ ¼ µ Ô Ü Ü µµ À Å ¾ Ø Ô Ü Ü µµ ¼ À É À Å È ¼ ¼ ¾ ¼ ¼ ¼ ¼ ¼ ¾ ¼ ¼ Ô Ü µ À É Ð Å È É ¼ ¼ Ð Ñ Ã É ¾ ¼ ¼ РѾ Ã É ¼ ¼ Ð Ñ Ã É Ô Ü µ Ð Ñ Ã É Andere Möglichkeiten (Berücksichtigen aktuelle Häufigkeiten! SHANNON überholt?) LEMPEL-ZIV(-WELCH) (1977) Arithmetische Kodierung (1979) À É Ø É À ɾ ¼ Ø É À É Ø É Ê Ã ¼ ¼ Ø É 3 Kodierung diskreter Quellen 3.4 Optimalkodierung, Ausblick Erweiterte Quelle
31 Vorlesung Informations- und Kodierungstheorie 30 Übertragungskanal Störung 4 Kanäle Störungen Störungen durch Betriebsmittel (z. B. Unterbrechungen durch Vermittlungseinrichtungen) Störungen aus dem Umfeld (z. B. Beeinflussungen durch Starkstromleitungen, magnetische Streufelder) thermisches Rauschen der Bauelemente des Übertragungskanals Funkkanäle: Mehrwegeausbreitung (reflektierende Objekte), kurzzeitige Abschattungen, Nachbarkanalbeeinflussungen Trotzdem: Quasi fehlerfreie Übertragung Im Folgenden nur Betrachtungen aus Sicht der Informationsübertragung!
32 Vorlesung Informations- und Kodierungstheorie 31 BERGERsches Entropiemodell des Übertragungskanals: H(X Y) Quelle X H(X) H T H(Y) Senke Y H(Y X) À µ À µ À Ì À µ À µ Entropie am Kanaleingang Entropie am Kanalausgang Transinformation Äquivokation (Rückschlussentropie) Irrelevanz (Störentropie) Im Idealfall, d. h., der Kanal ist ungestört, gilt À µ À µ À Ì 4 Kanäle 4.1 Diskrete Kanäle BERGERsches Modell, Transinformation
33 Vorlesung Informations- und Kodierungstheorie 32 Die Transinformation À Ì ist die Informationsmenge, die im Mittel durch ein Kanalzeichen vom Sender zum Empfänger übertragen werden kann: À Ì À µ À µ À µ À µ À µ À µ À µ in ØÃ Notwendig: Kenntnisse über das Stör-(Übergangs-)verhalten Statistische Untersuchungen Übertragungsweg (Kabel, Funk) widerspiegelt typische Fehlerstrukturen Nachbildung des Störverhaltens (z. B. Binär-, AWGN-Kanalmodell) Annahme: Ô Ý Ü µµ bekannt, Æ Å 4 Kanäle 4.1 Diskrete Kanäle BERGERsches Modell, Transinformation
34 Vorlesung Informations- und Kodierungstheorie 33 Wahrscheinlichkeitstheoretisches Modell eines diskreten Kanals: p(y x ) p(x p(y ) p(x M-1 N-1 N-1) -1.. M. p(yj ) p(y. j x i) i).... p(yj x 0) p(x1) p(y p(y x ) 1) 1 0 p(x0) p(y0 ) p(y 0 x 0 )... X Y 4 Kanäle 4.1 Diskrete Kanäle BERGERsches Modell, Transinformation
35 Vorlesung Informations- und Kodierungstheorie 34 Interpretation Ô Ý Ü µ und un- Wahrscheinlichkeit, mit welcher das gesendete Zeichen Ü verfälscht übertragen wird Ô Ý Ü µ und Wahrscheinlichkeit, mit welcher das gesendete Zeichen Ü in das empfangene Zeichen Ý verfälscht wird À µ È È Ô Ü µ Ô Ý Ü µ ld Ô Ý Ü µ Für eine fehlerfreie Übertragung gilt: Ô Ý Ü µ für und À Ì À µ À µ Ô Ý Ü µ ¼ für À Ì À µ 4 Kanäle 4.1 Diskrete Kanäle BERGERsches Modell, Transinformation
36 Vorlesung Informations- und Kodierungstheorie 35 Beschreibung der Komponenten durch Vektoren bzw. Matrizen: Ô Ü µµ Ô Ü ¼ µ Ô Ü µ Ô Ü Æ µµ Ô Ý µµ Ô Ý ¼ µ Ô Ý µ Ô Ý Å µµ ¼ Ô Ý ¼ Ü ¼ µ Ô Ý Ü ¼ µ Ô Ý Å Ü ¼ µ Ô Ý Ü µµ Ô Ý ¼ Ü µ Ô Ý Ü µ Ô Ý Å Ü µ Ô Ý ¼ Ü Æ µ Ô Ý Ü Æ µ Ô Ý Å Ü Æ µ ¼ Ô Ü ¼ Ý ¼ µ Ô Ü ¼ Ý µ Ô Ü ¼ Ý Å µ Ô Ü Ý µµ Ô Ü Ý ¼ µ Ô Ü Ý µ Ô Ü Ý Å µ Ô Ü Æ Ý ¼ µ Ô Ü Æ Ý µ Ô Ü Æ Ý Å µ Beispiel Berechnung von À Ì Ô Ü µµ ¼ ¾ ¼ ¼ µ Ô Ý Ü µµ ¼ ¼ ¼ ¼ ¾ ¼ ¼ ¼ ¼ ¼ ¼ 4 Kanäle 4.1 Diskrete Kanäle BERGERsches Modell, Transinformation
37 Vorlesung Informations- und Kodierungstheorie 36 Kanalkapazität diskreter Kanäle Quelle X I Q Quellen kodierer I KQ Kanal kodierer I K K I K Übertra gungskanal Senke Y I Q Quellen dekodierer I T Kanal dekodierer I K Á É Á ÃÉ Á ÃÃ Quelleninformationsfluss Quellenkodeinformationsfluss Kanalkodeinformationsfluss Á Ã Kanalinformationsfluss ( Übertragungsgeschwindigkeit Ú ĐÙ ) Á Ì Transinformationsfluss 4 Kanäle 4.1 Diskrete Kanäle Kanalkapazität
38 Vorlesung Informations- und Kodierungstheorie 37 Quelleninformationsfluss Á É in Ø Á É É À É ( É Quellensymbolfrequenz in É ) Quellenkodeinformationsfluss Á ÃÉ in Ø Á ÃÉ É Ð À à (allg. gleichmäßiger Quellenkode: Ð ld Æ À à ) Kanalkodeinformationsfluss Á Ãà in Ø Á ÃÃ É Ð Ðµ À Ã É Ò À à (Kanalkode: Ò Ð Ð) Kanalsymbolfrequenz à in à aus der Übertragungstechnik auch Schrittgeschwindigkeit Ú in ËÖØØ oder in Ù Übertragungsgeschwindigkeit Ú ĐÙ in Ø Ú ĐÙ Á Ã Ú À à Transinformationsfluss Á Ì in Ø Á Ì Ú À Ì 4 Kanäle 4.1 Diskrete Kanäle Kanalkapazität
39 Vorlesung Informations- und Kodierungstheorie 38 Ungesicherte Übertragung Á Ã Á ÃÉ Á ÃÙÒ É Ð ßÞ Ð Ú À Ã Gesicherte Übertragung Á Ã Á ÃÃ Á Ã É Ò ßÞ Ð Ú À Ã (Kanalkode bekannt!) bzw. Á Ì Á ÃÉ Ú Á ÃÉ À Ì Á Ã É Ð À Ã À Ì É Ò (Abschätzung Ð!) Á ÃÃ É Ð À Ã À Ì À Ã Ú À Ã Ð Ò Ð Beispiel Berechnung von Á ÃÙÒ Ú ĐÙ ÙÒ Á Ã Ú ĐÙ Kanalverhältnisse aus letztem Beispiel Æ ¾¼ É É ¼¼ É Ã 4 Kanäle 4.1 Diskrete Kanäle Kanalkapazität
40 Vorlesung Informations- und Kodierungstheorie 39 Der Transinformationsfluss Á Ì auf gestörten Kanälen ist immer kleiner als die Übertragungsgeschwindigkeit Ú ĐÙ Á Ã. Die Frage nach der maximal übertragbaren Information führt zum Begriff der Kanalkapazität. Definition Die Kanalkapazität ist der Maximalwert des Transinformationsflusses: ÑÜ Á Ì ÑÜ Ú À Ì ¾ À ÌÑÜ d. h. Ú É Ò ¾ L: Begleitbuch, S Kanäle 4.1 Diskrete Kanäle Kanalkapazität
41 Vorlesung Informations- und Kodierungstheorie 40 Gestörter Binärkanal p(x ) p(x ) 0 Ü ¼ Ü Ý ¼ Ý Æ 1 δ δ 1 ε X Y p(y ) 1 1 ε p(y ) 0 ¼ Ô Ý Ü µµ Æ Zeichen 0 am Kanaleingang Zeichen 1 am Kanaleingang Zeichen 0 am Kanalausgang Zeichen 1 am Kanalausgang Schrittfehlerwahrscheinlichkeit: statt des gesendeten Zeichens Ü ¼ wird das Zeichen Ý empfangen Schrittfehlerwahrscheinlichkeit: statt des gesendeten Zeichens Ü wird das Zeichen Ý ¼ empfangen Æ 4 Kanäle 4.1 Diskrete Kanäle Binärkanal
42 Vorlesung Informations- und Kodierungstheorie 41 Berechnung der Transinformation Gegeben: Ô Ü µµ Æ 1. Schritt: Ermittlung von Ô Ý µµ 2. Schritt: Ermittlung von À µ 3. Schritt: Berechnung von À µ 4. Schritt: Berechnung der Transinformation À Ì À µ À µ Beispiel Berechnung von À Ì Ô Ü µµ ¼ ¼ µ Ô Ý Ü ¼ µ ¼ Æ Ô Ý ¼ Ü µ ¼ ¼ 4 Kanäle 4.1 Diskrete Kanäle Binärkanal
43 Vorlesung Informations- und Kodierungstheorie 42 Spezialfälle des gestörten Binärkanals Symmetrisch gestörter Binärkanal Æ Ô À Ì À µ Ô Ü ¼ µ Ô Ü µ ¾ : À ÌÑÜ (Ô Schrittfehlerwahrscheinlichkeit) Ô µ ld Ô µ Ô ld Ô Ô µ ld Einseitig gestörter Binärkanal Annahme: Ô Æ ¼ À Ì À µ Ô Ü ¼ µ Ô µ Ô ld Ô Ô µ ld Ô µ Ô ld Ô Ô Ü ¼ µ Ô Ü µ : ¾ À Ì Ô µ ld ¾ Ô µ Ô ld Ô 4 Kanäle 4.1 Diskrete Kanäle Binärkanal
44 Vorlesung Informations- und Kodierungstheorie 43 Binärkanal mit Störerkennung y(t) y 0 0 = y M y j y 2 y 1 = 1 t p(x 1) p(x 0 ) p(y x M-1.. p(y x 0 0 ) ) p(yj x 1) 1 p(y x ) j 0 p(y ). p(y j ). M-1 p(y 1 ) p(y ) 0 X Y 4 Kanäle 4.1 Diskrete Kanäle Binärkanal
45 Vorlesung Informations- und Kodierungstheorie 44 Spezialfall: Symmetrisch gestörter Binärkanal mit Auslöschung 1 p s λ p(x 1) p(y 1) p(x ) 0 p s p s 1 p s λ λ λ p(y ) 2 p(y ) Ô Ü ¼ µ Ô Ü µ : ¾ À ÌÑÜ µ Ô ld µld Ô 0 Ý ¾ Auslöschungszeichen Ô µld Ô p(x ) 1 p(x ) 0 1 λ 1 λ λ λ p(y ) 1 p(y ) 2 p(y ) 0 Ô Ü ¼ µ Ô Ü µ ¾ : À Ì ÑÜ µ 4 Kanäle 4.1 Diskrete Kanäle Binärkanal
46 Vorlesung Informations- und Kodierungstheorie 45 Beispiel Bewertung von Kanalmodellen 1 p s p(x 1) p(y 1) p(x ) 0 p s p s 1 p s Kanal 1 p(y ) 2 p(y ) 0 1 p s λ 1 λ p(x 1) p(y 1) p(x 1) p(y 1) p s λ λ p(y 2) p(y 2) p λ s λ p(x 0) p(y 0) p(x 0) p(y 0) 1 λ 1 λ p s Kanal 2 Kanal 3 Gegeben: Ô Ü ¼ µ Ô Ü µ ¾ ¼ ¼ Ô Ý ¼ µ Ô Ý µ Ô Ý ¾ µ ¼ ¼ µ ¼ µ ¼ µ ¼ Ô Ô Ô Ô Ì Ô ¼ 4 Kanäle 4.1 Diskrete Kanäle Binärkanal
47 Vorlesung Informations- und Kodierungstheorie 46 Ergebnis: Kanal 1 Kanal 2 Kanal 3 Ô Ý ¼ µ ¼ ¼ ¼ Ô Ý µ ¼ ¼ ¼ Ô Ý ¾ µ ¼ ¼ ¼ ¼ ¼¾ À µ ¼¼¼ ØÃ ¼ ØÃ ¾ ØÃ À µ ¼ ØÃ ¼ ØÃ ¼ ØÃ À ÌÑÜ ¼ ØÃ ¼ ¼ ØÃ ¼ ¼ ØÃ L: Begleitbuch, S Kanäle 4.1 Diskrete Kanäle Binärkanal
48 Vorlesung Informations- und Kodierungstheorie 47 Kanalkapazität des Binärkanals Für den ungestörten Fall und unter der Annahme Ô Ü ¼ µ Ô Ü µ gilt: À ÌÑÜ ØÃ und ÑÜ Æ Ø ¾ Æ. Die Kanalkapazität eines symmetrisch gestörten Binärkanals mit gleichverteilten Eingangszeichen lautet beispielsweise: ¾ Ô µ ld Ô µ Ô ld. Ô Beispiel Dimensionierung von É (Aufg.s.: 3.1, 8. Aufgabe) Ô Ü µµ ¼ ¼ ¼ ¼ ¼ ¼ ¼ ¼µ, (rauschfreier) Binärkanal mit ¼¼ ÀÞ, É ¼ É möglich? 4 Kanäle 4.1 Diskrete Kanäle Binärkanal
49 Vorlesung Informations- und Kodierungstheorie 48 Analoge Kanäle Entropie analoger Quellen f(x) f(x i) 0 x i x x Die Wahrscheinlichkeit, dass die zufällige Größe Ü im Bereich Ü liegt, berechnet sich durch Ô Ü µ Ê Ü Üµ dü Ü µ Ü 4 Kanäle 4.2 Analoge Kanäle Entropie analoger Quellen
50 Vorlesung Informations- und Kodierungstheorie 49 À Ö À Ñ È À Ò È Ê Ü µ Ü ld ܵ ld Ü µ Ü ld ܵ Ü µ Ü µ Ü È Ü µ Ü ld Ü dü ld Ü Ü ist unter gleichen Bedingungen konstant. Daher lässt man ld Ü meistens weg und spricht dann von der relativen Entropie einer analogen Quelle: À ÖÐ Ê Üµ ld ܵ dü Beispiel Berechnung von À ÖРܵ Ô ¾ È Ü¾ ¾ È 4 Kanäle 4.2 Analoge Kanäle Entropie analoger Quellen
51 Vorlesung Informations- und Kodierungstheorie 50 Transinformation analoger Kanäle Signale und Störungen überlagern sich additiv und sind damit am Kanalausgang als Summe beider vorhanden. Es entstehen keine Störanteile, die vom Nutzsignal abhängen. Nutz- und Störsignal sind unkorreliert, d. h., die Leistung des Empfangssignals ist gleich der Summe aus Nutz- und Störsignalleistung: P x P y = P x + P z P z Annahme: Amplitudenwerte von Nutz- und Störsignal sind normalverteilt: ܵ Ô ¾ È e 4 Kanäle 4.2 Analoge Kanäle Transinformation, Kanalkapazität ܾ ¾ È
52 Vorlesung Informations- und Kodierungstheorie 51 Entropie der Quelle À µ ¾ ld ¾ È Ü Störentropie À µ ¾ ld ¾ È Þ È Ü mittlere Nutzsignalleistungµ È Þ mittlere Störsignalleistungµ Entropie am Kanalausgang À µ ¾ ld È Ü È Þ µ ¾ Transinformation analoger Kanäle À Ì À µ À µ ¾ ld ÈÜ È Þ À Ì ¾ ld È Ü È Þ unter der Bedingung È Ü È Þ 4 Kanäle 4.2 Analoge Kanäle Transinformation, Kanalkapazität
53 Vorlesung Informations- und Kodierungstheorie 52 Rauschabstand Ö ¼ Ð È Ü È Þ in (Dezibel) Für È Ü È Þ gilt dann À Ì ¾ ¼ ¾ Ö ¼ Ö Kanalkapazität analoger Kanäle Ò ¾ À Ì ¾ ld ÈÜ ¾ È Þ Æ Ø Ò Æ ld ÈÜ È Þ oder Für È Ü È Þ erhält man Ò ¼ ¾ Ö L: B.buch, S , 68-76, Kanäle 4.2 Analoge Kanäle Transinformation, Kanalkapazität
54 Vorlesung Informations- und Kodierungstheorie 53 Quantisierung analoger Signale Quelle Kodierer Übertragungskanal Dekodierer Senke Diskrete Quelle Analoge Quelle Störung Analoge Quelle f(t) Abtastung f(n t A ) Amplituden quantisierung f*(n t A ) Quellenkodierer x(t) f(t) f(n t A) f*(n t A ) x(t) t n t A n t A t a) b) c) d) 4 Kanäle 4.3 Quantisierung analoger Signale
55 Vorlesung Informations- und Kodierungstheorie 54 Zeitquantisierung Abtastfrequenz ¾ in Ï Abstand der Abtastwerte: Ø ¾ bei Einhaltung obiger Bedingung kein Infomationsverlust Amplitudenquantisierung Informationsverlust abhängig von Stufung und Verteilung Annahme: Quantisierung mit linearer Kennlinie 4 Kanäle 4.3 Quantisierung analoger Signale
56 Vorlesung Informations- und Kodierungstheorie 55 n m Diskrete Quelle i 2 1 δ 21 δ 22 À Õ x 1 x 2 x i x m x Analoge Quelle ÑÈ Ô Ü µ ld Ô Ü µ in Ø Ï Ô Ü µ Ñ : À Õ ÑÜ ld Ñ 4 Kanäle 4.3 Quantisierung analoger Signale
57 Vorlesung Informations- und Kodierungstheorie 56 Modell der diskreten Übertragung eines quantisierten, gestörten Signals Analoge Quelle Q an I Q Analoger Kanal C an ADU Iq= I KQ Kodierer Übertragungskanal Dekodierer Senke Störung Dekodierer DAU Senke Ò Á Õ ld ÈÜ ¾ ld Ñ È Þ Ñ Õ ÈÜ È Þ oder Ñ ¼ Ö ¾¼ Á Õ Á ÃÉ, wenn Ð ld Ñ 4 Kanäle 4.3 Quantisierung analoger Signale
58 Vorlesung Informations- und Kodierungstheorie 57 Kenngrößen der Analog-Digital-Umwandlung Das analoge Signal hat zwei Kenngrößen, die den Informationsfluss bestimmen: Grenzfrequenz und Rauschabstand Ö Wichtige Kenngrößen des Analog-Digital-Umsetzers (ADU) sind: Umsetzzeit Ø Ù und Kodewortlänge Ð ld Ñ Da durch den ADU das quantisierte Signal in einem gleichmäßigen Kode dargestellt wird, werden nur Stufenanzahlen von Ñ ¾ ( ¾ ) realisiert. 4 Kanäle 4.3 Quantisierung analoger Signale
59 Vorlesung Informations- und Kodierungstheorie 58 Bedingungen zur Vermeidung von Informationsverlust durch ADU: In der Zeit Ø Ù ist das Signal abzutasten und der Abtastwert in einem Binärkode darzustellen: Ø Ù Ø Die erforderliche Kodewortlänge wird durch den Rauschabstand vorgegeben: Ð ¼ Ö Ñ ¾ Ð mit Ð in Ã Ï Ö in Kanalkapazität des nachgeschalteten Binärkanals: Á ÃÉ ¾ Ð À à РÀ à (Gesicherte Übertragung!) Beispiel ADU, diskrete Übertragung: Ú ĐÙÙÒ Ú ĐÙ Ò Ò ÀÞ Ö ¼ BK: ¼ Æ ¼ ¼ Ô Ü ¼ µ Ô Ü µ L: Begleitbuch, S Kanäle 4.3 Quantisierung analoger Signale
60 Vorlesung Informations- und Kodierungstheorie 59 Kanal (de)kodierer Fehlerkorrektur durch Wiederholung ARQ [Automatic Repeat request] "Fehlererkennung" (FE) durch Rekonstruktion FEC [Forward Error Correction] "Fehlerkorrektur" (FK) mit Maximum Likelihood mit begrenzter Mindestdistanz 5 Kanalkodierung 5.1 Einführung
61 Vorlesung Informations- und Kodierungstheorie 60 ARQ a* FEC Kanalkodefolge a Übertragung Empfangsfolge b Wiederholung n fehlerfreie Übertragung? n Fehlerkorrektur j Entfernen der Redundanz 5 Kanalkodierung 5.1 Einführung b*
62 Vorlesung Informations- und Kodierungstheorie 61 Fehlerkorrektur durch Wiederholung (FE) hinzugefügte redundante Stellen nur zur Erkennung eines Fehlers Fehlerkorrektur durch Rekonstruktion (FK) hinzugefügte redundante Stellen zur Erkennung eines Fehlers und Lokalisierung der Fehlerpositionen FEC ARQ (Aus Abschätzung bekannt: Ð) Rekonstruktionsergebnisse korrekte Rekonstruktion falsche Rekonstruktion Versagen der Rekonstruktion 5 Kanalkodierung 5.1 Einführung
63 Vorlesung Informations- und Kodierungstheorie 62 Allgemeine Kenngrößen von Kanalkodes Quelle X Quellen kodierer A* Kanal kodierer A Übertra gungskanal E Senke Y Quellen dekodierer B* Kanal dekodierer B Ü Ü ¾ Ü Ä ¾ Ä ¾ Ä ¾ Æ ¾ Æ Ò Ð ÑÒ µ, auch Ò ÐµKode Beispiel Ò ÒµWiederholungskode 5 Kanalkodierung 5.1 Einführung
64 Vorlesung Informations- und Kodierungstheorie 63 Definition Die Anzahl der Stellen, in denen sich zwei Kodewörter Ù Ù ¾ Ù Ò µ und Ù Ù ¾ Ù Ò µ unterscheiden, bezeichnet man als HAMMING-Distanz µ : µ ¾ Ò Ù Ù mit ¾ Ò ¾ Ò Binärkode: HAMMING-Distanz: HAMMING-Gewicht: µ Û µ ÒÈ ÒÈ Ù Ù µ Ù 0 µ ÑÒ ÑÒ µ ÑÒ 0 µ ÑÒ Û µ Û ÑÒ ¾ ¾Ò¼ ¾Ò¼ Beispiel min. HAMMING-Distanz ÑÒ (auch Mindestdistanz) ÑÒ )Wiederholungskode; ÑÒ )Paritätskode 5 Kanalkodierung 5.1 Einführung
65 Vorlesung Informations- und Kodierungstheorie 64 Geometrische Deutung der minimalen HAMMING-Distanz: f k Kodewort a i Kodewort a j Korrekturkugeln d( a i, a j )=d min ÑÒ FE: ÑÒ ¼ FK: ÑÒ ¾ ÑÒ ¾ ( ÑÒ geradzahlig?) Dekodierungsprinzip Rekonstruktion mit begrenzter Mindestdistanz Beispiel Fortsetzung: bei Anwendung von FE oder FK? 5 Kanalkodierung 5.1 Einführung
66 Vorlesung Informations- und Kodierungstheorie 65 Berechnung der redundanten Stellen (bekannt: ÑÒ Ð oder Ò) ¾ Ò ¾ Ð ¾ ¾ Ð Ò Ò ¾ Ò ¾ È ¼ Ò Ò Ò Ò µ Ò Ò µ Ò µ ¾ ld È ¼ Ò È ld ¼ Ð untere Schranke für bei vorgegebenem Ð obere Schranke für Ð bei vorgegebenem Ò HAMMING-Schranke Ð Ò : Entsprechende Kodes heißen dichtgepackt oder perfekt. Beispiel Berechnung von Ð ÑÒ 5 Kanalkodierung 5.1 Einführung
67 Vorlesung Informations- und Kodierungstheorie 66 Weitere Kodekenngrößen relative Redundanz Ö Ò Ð Ò Ò Koderate Ê Ð Ò Zweites SHANNONsches Kodierungstheorem Die Restfehlerwahrscheinlichkeit Ô Ê kann beliebig klein gehalten werden, solange die Koderate Ê den Wert der maximalen Transinformation À Ì nicht überschreitet. Darüber hinaus hat SHANNON theoretisch nachgewiesen, dass auch bei beliebig kleiner Restfehlerwahrscheinlichkeit immer noch eine Koderate größer als Null möglich ist [SHA 48]. L: Begleitbuch, S Kanalkodierung 5.1 Einführung
68 Vorlesung Informations- und Kodierungstheorie 67 Klassifizierung von Kanalkodes ÐÖ ÃÒÐÓ ÐÓÓ ÒĐÖ ÒØÒĐÖµ ÐÓÖ ÕÙÒØÐе ÃÓ ÒĐÖµ ÈÖØĐØ Ó ÎÖØØØ ÃÓ µ ÀÅÅÁÆßÃÓ ÝÐ ÃÓ ÐØÙÒ Ó ÏÖÓÐÙÒ Ó ÊßÅÍÄÄÊßÃÓ ÀßÃÓ ÊßÃÓ µ ÊËßÃÓ Neu : Turbokodes, LDPC-Kodes (einfache, auch verkettete Blockkodes mit iterativer Dekodierung) L: Begleitbuch, S Kanalkodierung 5.2 Klassifizierung von Kanalkodes
69 Vorlesung Informations- und Kodierungstheorie 68 Definition Ein Kode heißt linearer Blockkode, oder kurz Linearkode, wenn der Kanalkodierer für die Transformation von Quellenkodewörtern der Länge Ð aus dem Alphabet (Quellenkode) in Kanalkodewörter der Länge Ò des Alphabets (Kanalkode) eine Verknüpfungsoperation verwendet, die in der algebraischen Struktur einer Gruppe definiert ist. Darstellung von Linearkodes als Gruppe Axiom G1: Abgeschlossenheit Axiom G2: Assoziatives Gesetz Axiom G3: Neutrales Element Axiom G4: Inverses Element Kommutativgesetz abelsche Gruppe Beispiel µwiederholungskode: ¼¼¼¼¼ ¾ ¾µParitätskode: ¼¼¼ ¼ ¼ ¼ 5 Kanalkodierung 5.3 Lineare Blockkodes Darstellungen
70 Vorlesung Informations- und Kodierungstheorie 69 Wichtig für algebraische Kodes: lineare Verknüpfung von Kanalkodewörtern führt wieder zu einem Kanalkodewort Nullwort ist immer auch Kanalkodewort Axiome stellen Kodebildungs- und Fehlererkennungsvorschrift dar Ò Ð ÑÒ µkanalkode: ¼ Ò mit Ä ¾ Ð Kanalkodewörtern, Ò Ð ÑÒ des Kanalkodes bestimmt Leistungsfähigkeit Bei einem Linearkode ist die minimale HAMMING-Distanz gleich dem minimalen Gewicht der Kodewörter (außer dem Nullwort). FE: ÑÒ Û ÑÒ FK: ÑÒ ¾ ÛÑÒ ¾ ÑÒ ¾ ÛÑÒ ¾ Beispiel Kanalkodealphabet 5 Kanalkodierung 5.3 Lineare Blockkodes Darstellungen
71 Vorlesung Informations- und Kodierungstheorie 70 Kanalkodealphabet : ¼ ¼ ¼ ¼ ¼ ¼ ¼ ¼µ ¼ ¼ ¼ ¼ µ ¼ ¼ ¼ ¼ µ ¼ ¼ ¼µ ¾ ¼ ¼ ¼ ¼µ ¼ ¼ ¼ ¼ µ ¼ ¼ ¼ µ ¼ ¼ ¼ ¼µ ¼ ¼ ¼ µ ¾ ¼ ¼ ¼ ¼µ ¼ ¼ ¼ ¼µ ¼ ¼ ¼ µ ¼ ¼ ¼ ¼ µ ¼ ¼ ¼µ ¼ ¼ ¼µ µ Überprüfen der Eigenschaften! Ò Ð ÑÒ µlinearkode 5 Kanalkodierung 5.3 Lineare Blockkodes Darstellungen
72 Vorlesung Informations- und Kodierungstheorie 71 Darstellung von Linearkodes durch Matrizen Definition Ein Linearkode mit Ä ¾ Ð Kanalkodewörtern ist durch seine Generatormatrix mit Ð linear unabhängigen Kanalkodewörtern (Basiswörtern) eindeutig beschrieben: ¼ Ù Ù ¾ Ù Ò Ù ¾ Ù ¾¾ Ù ¾Ò Ð Ò Ù Ð Ù Ð¾ Ù ÐÒ Ù ¾ ¼ Mit einer Einheitsmatrix über den ersten Ð Spalten der Generatormatrix sind die zugehörigen Kanalkodewörter mit Sicherheit linear unabhängig. 5 Kanalkodierung 5.3 Lineare Blockkodes Darstellungen
73 Vorlesung Informations- und Kodierungstheorie 72 Kanonische oder reduzierte Staffelform ¼ ¼ ¼ ¼ Ù Ð Ù Ð ¾ Ù Ò ¼ ¼ ¼ Ù ¾Ð Ù ¾Ð ¾ Ù ¾Ò Ð Ò ¼ ¼ ¼ Ù ÐÐ Ù ÐÐ ¾ Ù ÐÒ ¼ ¼ ¼ ¼ ¾ ¼ ¼ ¼ ¾ ¾¾ ¾ Á Ð ¼ ¼ ¼ Ро Ð Beispiel Fortsetzung: Ð Ò 5 Kanalkodierung 5.3 Lineare Blockkodes Darstellungen
74 Vorlesung Informations- und Kodierungstheorie 73 Definition Ein Linearkode heißt systematischer Kode, wenn aus einem Kanalkodewort ¾ durch Streichen redundanter Stellen das Quellenkodewort ¾ unmittelbar entnommen werden kann. Bildung eines Kanalkodewortes Kanalkodierung Ð Ò ¼ Ù Ù ¾ Ù Ò µ Ù Ù ¾ Ù Ð µ ¼ ¼ ¼ ¾ ¼ ¼ ¼ ¾ ¾¾ ¾ ¼ ¼ ¼ Ро Ð Beispiel Fortsetzung: ¼¼µ 5 Kanalkodierung 5.3 Lineare Blockkodes Darstellungen
75 Vorlesung Informations- und Kodierungstheorie 74 Aufbau einer Kontrollmatrix (aus der Generatormatrix): Ein zu orthogonaler Unterraum ¼ ist dadurch gekennzeichnet, dass das Skalarprodukt eines beliebigen Vektors aus mit jedem beliebigen Vektor aus ¼ Null ist. Es sei Ù Ù ¾ Ù Ò µ mit ¾ und ¼ Ù Ù ¾ Ù Ò µ mit ¼ ¾ ¼ Dann gilt ¼ Ù Ù Ù ¾ Ù ¾ Ù Ò Ù Ò ¼ für alle Ist Á Ð dann ist der zu orthogonale Unterraum ¼ durch À Ì Á beschrieben. Orthogonalitätsbedingung: À Ì À Ì µ Ì ¼ Beispiel Fortsetzung: Ð Ò À Ò 5 Kanalkodierung 5.3 Lineare Blockkodes Darstellungen
76 Vorlesung Informations- und Kodierungstheorie 75 Kontroll(auch Prüf-)matrix liefert auch Vorschrift zur Bildung der Kontrollstellen (Bestimmungsgleichungen): ¼Ì Ù Ù ¾ ¾ Ù Ð Ð Ù Ð Ù Ð ¾ ¼ Ù Ò ¼ ¼ Erstes Kontrollelement Ù Ð des Kanalkodewortes : Ù Ð Ù Ù ¾ ¾ Ù Ð Ð Allgemein: Ù Ð Ù Ù ¾ ¾ Ù Ð Ð ¾ µ für Ù Ù ¾ Ù Ð Ù Ð Ù Ð ¾ Ù Ð µ Ð Ð ¾ Ð Ð ¾ µ Beispiel Forts.: Bestimmungsgleichungen für ¾ µ ¼¼µ L: Begleitbuch, S Kanalkodierung 5.3 Lineare Blockkodes Darstellungen
77 Vorlesung Informations- und Kodierungstheorie 76 Fehlererkennung und Fehlerkorrektur Kanaldekodierung Die Empfangsfolge kann als Überlagerung eines Kanalkodewortes mit einem Fehlerwort aufgefasst werden:. Damit gilt für das Fehlersyndrom (auch Prüfvektor) À Ì À µ Ì À Ì À ßÞ Ð Ì À Ì ¼ Alle Fehlermuster, deren Gewicht Û µ ÑÒ ist, sind mit Sicherheit erkennbar. Alle Fehlermuster, deren Gewicht Û µ ÑÒ ist, sind mit ¾ Sicherheit korrigierbar. Darüber hinaus sind nur Fehlermuster erkennbar, die nicht in definiert sind, d. h. ¾. Ist ¾ und Û µ ÑÒ erfolgt eine Falschkorrektur oder ¾ Rekonstruktionsversagen. 5 Kanalkodierung 5.3 Lineare Blockkodes FE und FK
78 Vorlesung Informations- und Kodierungstheorie 77 Empfangsfolge ¾? À Ò Ì (auch: Kontrollgleichungen für ¾ µ) ¼: ¾ fehlerfreie Übertragung kein erkennbarer Fehler oder ¼: ¾ Fehlererkennung, Korrektur? Jedem Fehlersyndrom ist maximal ein Fehlermuster zugeordnet, solange Û µ ÑÒ ¾ Die Syndrome sind -stellige Vektoren. Also können ¾ µ verschiedene Fehlermuster korrigiert werden. Beispiel Fortsetzung: ¼¼¼µ ¾ Kontrollgleichungen für ¾ µ L: Begleitbuch, S Kanalkodierung 5.3 Lineare Blockkodes FE und FK
79 Vorlesung Informations- und Kodierungstheorie 78 Einfachster Linearkode: Paritätskode Ù Ù ¾ Ù Ð µ Ù Ù ¾ Ù Ð Ù Ð µ Ù Ð Paritätselement: ÐÈ Ù mod ¾ Ù Ð (Ergänzung auf geradzahlige Anzahl Eins) ÑÒ? Generatormatrix Ò µ Ò? Kontrollmatrix À Ò? Fehlererkennung: À Ì ÒÈ Ù mod ¾ ¼ ¾ Anwendung: DÜ in Rechnern, Erweiterung von Kodes, RAID5 5 Kanalkodierung 5.3 Lineare Blockkodes FE und FK
80 Vorlesung Informations- und Kodierungstheorie 79 Verkettung von zwei Paritätskodes Ò Ò ¾ Ð Ð ¾ ÑÒ ÑÒ¾ µproduktkode Quellen kodewörter aus A* Paritätselemente bzgl. der l Zeilen Paritätselement bzgl. der Paritätselemente Beispiel: Paritätselemente ( l +1) stelliges bzgl. der m Spalten l stelliges Kanalkodewort Quellenkodewort s 0 s ¾ ¾µ ¾ ¼ µproduktkode, Ê ¼ ¾ Zum Vergleich: µwiederholungskode, Ê ¼ ¼ ¾ 5 Kanalkodierung 5.3 Lineare Blockkodes FE und FK
81 Vorlesung Informations- und Kodierungstheorie 80 Fehlerkorrigierender HAMMING-Kode Definition Der fehlerkorrigierende HAMMING-Kode ist zunächst bzgl. der HAMMING-Schranke ein dichtgepackter Kode. Er hat einen minimalen HAMMING-Abstand von ÑÒ und eine Kodewortlänge von Ò ¾. Man bezeichnet diesen Kode auch als einfehlerkorrigierenden HAMMING-Kode. Geschickte Vertauschung der Spalten von À, so dass die -te Spalte von À der Dualdarstellung von entspricht. Das Fehlersyndrom liefert dann unmittelbar die dual dargestellte Position des fehlerhaften Elementes in. 5 Kanalkodierung 5.4 Einfehlerkorrigierende HAMMING-Kodes
82 Vorlesung Informations- und Kodierungstheorie 81 Kontrollmatrix eines µhamming-kodes: À Ò À ¼ Ò Ò Ò ¼ Ò ¼ Ò ¼ Ò ¾ ¼ Ò ¼ ¼ ¼ ¼ ¼ Ð Ð Ð ¾ Ð ¾ Kontrollstellen an Positionen Ò ¾ ¼ µ systematisch! Berechnen der Kontrollstellen mittels den Bestimmungsgleichungen ¾ µ aus À Ð Ð Ð ¾ Ð ¾ µ À Ì bzw. Kontrollgleichungen ¾ µ aus À Ein Fehler wird durch µ Ì korrigiert. lokalisiert und damit Beispiel ¼¼µ ¼¼¼¼¼¼µ 5 Kanalkodierung 5.4 Einfehlerkorrigierende HAMMING-Kodes
83 Vorlesung Informations- und Kodierungstheorie 82 Verkürzter HAMMING-Kode Für Kontrollstellen sind maximal Ò ¾ verschiedene Syndrome möglich und damit maximal Ò ¾ Stellen bzgl. Einfachfehler korrigierbar. Ð ¾ liefert einen dichtgepackten Kode (HAMMING-Schranke mit erfüllt), Ð ¾ einen verkürzten Kode mit Ò ¾ Das Korrekturschema des einfehlerkorrigierenden HAMMING-Kodes lässt sich auch dann anwenden. Beispiel µhamming-kode verkürzter µhamming-kode Überprüfe mit HAMMING-Schranke! 5 Kanalkodierung 5.4 Einfehlerkorrigierende HAMMING-Kodes
84 Vorlesung Informations- und Kodierungstheorie 83 Erweiterter HAMMING-Kode Jedem Kanalkodewort wird ein weiteres Kontrollelement ¼ hinzugefügt. Dieses Kontrollelement wird durch eine zusätzliche Bestimmungsgleichung berechnet, die sämtliche Kodewortelemente einbezieht: Ð Ð Ð ¾ Ð ¾ ¼ µ Ò Ò Ò Ò Ò Ò ¾ Ò Ò ¼ µ mit ÒÈ ÒÈ Ò ¼ Ò mod ¾ zusätzl. Kontrollgleichung: ¼ Ò mod ¾ Paritätsbit Erzeugt Kanalkode mit geradzahliger Parität Die Anzahl der Kontrollelemente beträgt damit, die Kodewortlänge erhöht sich auf Ò ¾. Der Minimalabstand ist ÑÒ. Die Anzahl der Informationselemente ist unverändert. Beispiel ¼¼µ ¼¼¼µ ¾ L: Begleitbuch, S Kanalkodierung 5.4 Einfehlerkorrigierende HAMMING-Kodes ¼ Auswertung von und ¼
85 Vorlesung Informations- und Kodierungstheorie 84 Zyklische Kodes Binäre primitive BCH-Kodes Definition Ein Kode heißt zyklisch, wenn für jedes Kanalkodewort Ù Ò Ù Ò ¾ Ù Ù ¼ µ durch zyklische Verschiebung der Elemente mit Ù Ò ¾ Ù Ò Ù ¼ Ù Ò µ wieder ein Kanalkodewort entsteht. a Ein zyklischer Kode ist ein spezieller Linearkode, der sowohl algebraische Gruppenaxiome als auch Ring- und Körperaxiome erfüllt. Das Generatorpolynom ܵ ist i. Allg. ein Produkt von Minimalpolynomen Ñ Üµ, das den zyklischen Kode vollständig beschreibt. ¾! Hinweis: Schreibweise von Polynomen È Üµ Ù Ö Ü Ö Ù Ö Ü Ö Ù ¼ mit Ù ¾ ¼ a ܵ ܵ Ü Þ mod Ü Ò µ ersetzt Exponenten Ö Ò durch Ö mod Ò 5 Kanalkodierung 5.5 Zyklische Kodes
86 Vorlesung Informations- und Kodierungstheorie 85 Ausgewählte algebraische Grundlagen Eigenschaften eines Modularpolynoms über ¾µ 1. Das Modularpolynom muss irreduzibel sein. Ein Polynom ist irreduzibel, wenn es nicht in ein Produkt von Polynomen zerlegbar ist. Das Modularpolynom Šܵ vom Grad grad Šܵ bestimmt den Kodeparameter Ò mit Ò ¾ Der tatsächliche Wert von Ò berechnet sich aus dem Zyklus der Polynomreste über ¾µ mit Ü mod Šܵ ¼ Ôµ und bestimmt Ò Ô ¾ Beispiel Šܵ Ü Ü ¾ 5 Kanalkodierung 5.5 Zyklische Kodes Ausgewählte algebraische Grundlagen
87 Vorlesung Informations- und Kodierungstheorie Ist Ò Ô ¾ dann besitzt das irreduzible Polynom Šܵ auch die Eigenschaft, primitiv zu sein. Erweiterungskörper und Minimalpolynome Die Leistungsfähigkeit eines BCH-Kodes hängt von der Anzahl aufeinanderfolgender Nullstellen in ܵ ab. Nullstellen? Beispiel È Üµ Ü Ü über ¾µ primitiv: È Ü µ È Ü ¼µ Das Polynom È Üµ hat über ¾µ keine Nullstelle. 5 Kanalkodierung 5.5 Zyklische Kodes Ausgewählte algebraische Grundlagen
88 Vorlesung Informations- und Kodierungstheorie 87 Fundamentalsatz der Algebra Jedes Polynom hat mindestens eine Nullstelle, gegebenenfalls in einem anderen Körper, und jedes Polynom Ö-ten Grades lässt sich in genau Ö Teilpolynome ersten Grades, d. h. in Ö Linearfaktoren, zerlegen, i. Allg. unter Zuhilfenahme von Erweiterungselementen «: È Üµ Ù Ö Ü Ö Ù Ö Ü Ö Ù Ü Ù ¼ Ü «µ Ü «¾ µ Ü «Ö µ Ein neues Element «wird als Nullstelle eines irreduziblen Polynoms über ¾µ hinzugefügt, welches einem Erweiterungskörper angehört. Auf der Grundlage eines irreduziblen Modularpolynoms Šܵ vom Grad grad Šܵ über ¾µ entsteht durch Hinzunahme einer Nullstelle «ein endlicher Erweiterungskörper ¾ µ, d. h., «ist Nullstelle von Šܵ und ein (Erweiterungs-)Element in ¾ µ 5 Kanalkodierung 5.5 Zyklische Kodes Ausgewählte algebraische Grundlagen
89 Vorlesung Informations- und Kodierungstheorie 88 Zum Erweiterungskörper ¾ µ gehören neben dem Nullelement die Elemente «¼ ¾ ¾µµ Beispiel Šܵ Ü Ü ¾ über ¾µ Bestimmung des Erweiterungskörpers ¾ µ: Elemente Polynomreste Koeffizienten der des ¾ µ «mod Å Ü «µ Polynomreste Nullelement ¼ ¼ ¼ ¼ «¼ ¼ ¼ ««¼ ¼ «¾ «¾ ¼ ¼ ««¾ ¼ ««¾ «««¼ ««¾ «¼ «¼ ¼ isomorph dem Zyklus der Polynomreste über ¾µ 5 Kanalkodierung 5.5 Zyklische Kodes Ausgewählte algebraische Grundlagen
90 Vorlesung Informations- und Kodierungstheorie 89 Berechnungsbeispiele für Addition und Multiplikation im ¾ µü Ü ¾ : «««mod Å «µ «mod Å «µ «««¼ Z. B. ««¾ ««¾ «bzw. ««¾ ¼µ ¼¼µ µ ««¾ «¾ ¼¼µ ¼¼µ ¼ «««««««µ mod Ô Z. B. «««mod «¾ «¾ ««««5 Kanalkodierung 5.5 Zyklische Kodes Ausgewählte algebraische Grundlagen
91 Vorlesung Informations- und Kodierungstheorie 90 Beispiel Šܵ Ü Ü ¾ «Nullstelle von Šܵ und Erweiterungselement: Å Ü «µ ««¾ «¾ µ «¾ ¼ Fundamentalsatz der Algebra: Šܵ Ü Ü ¾ Ü «µ Ü «¾ µ Ü «µ im ¾µ d. h., ««, «¾ und «sind Nullstellen im ¾ µ Zuordnung «zu den Elementen von ¾ µ: ««¾ mod Ô ¾ grad Šܵµµ Die Elemente «¾¼ «¾ «¾ mod Ô sind im Zyklus ¼ ¾ ¾µ zueinander konjugiert. Konjugierte Elemente befinden sich in einem Zyklus. 5 Kanalkodierung 5.5 Zyklische Kodes Ausgewählte algebraische Grundlagen
92 Vorlesung Informations- und Kodierungstheorie 91 Die Nullstellen von Šܵ sind damit die im Zyklus stehenden zu «konjugierten Elemente «¾ «¾ und ««. ¾ und liefern demzufolge den gleichen Zyklus. Die Anzahl der Elemente in einem Zyklus wird durch grad Šܵ begrenzt und ist für Ô ¾ ¾ È für alle Zyklen gleich (ausgenommen: ¼). Beispiel Zyklen im ¾ µ «¼ ««¾ ««««5 Kanalkodierung 5.5 Zyklische Kodes Ausgewählte algebraische Grundlagen
93 Vorlesung Informations- und Kodierungstheorie 92 Jedem «aus ¾ µ ist ein Minimalpolynom Ñ Üµ zugeordnet: Das Minimalpolynom eines beliebigen Elementes «ist irreduzibel und vom Grad Ö. Zu jedem Element «existiert genau ein Minimalpolynom Ñ Üµ. Das Minimalpolynom des Elementes «ist gleichzeitig das Minimalpolynom der Elemente «¾, «¾¾, «¾Ö mod Ô. Ist «eine Nullstelle des Minimalpolynoms Ñ Üµ, dann sind die Ö zueinander konjugierten Nullstellen «, «¾, «¾¾, «¾Ö die sämtlichen Nullstellen von Ñ Üµ: Ñ Üµ Ü «µ Ü «¾ µ Ü «¾ ¾ µ Ü «¾ Ö µ im ¾µ Das Modularpolynom Šܵ ist wegen Å Ü «µ ¼ das Minimalpolynom Ñ Üµ des Elementes «. Beispiel Ñ ¼ ܵ Ñ Üµ Ñ Üµ im ¾ µå ܵ Ü Ü ¾? L: Begleitbuch, S Kanalkodierung 5.5 Zyklische Kodes Ausgewählte algebraische Grundlagen
94 Vorlesung Informations- und Kodierungstheorie 93 Generatorpolynom primitiver BCH-Kodes zur Kodierung und Fehlererkennung ܵ Šܵµ auch: ܵ е Šܵ Entwurfsabstand und Šܵ bestimmen Wahl der Kodeparameter! Notwendig: Erweiterungskörper ¾ µ: Wenn Šܵ primitiv ist und «als Nullstelle hat, dann gilt ¾ µ ¼ «¼ ««¾ «¾ ¾ Ein Minimalpolynom Ñ Üµ hat ««¾ «als Nullstellen: Ñ Üµ Ü «µ Ü «¾ µ Ü «µ im ¾µ Daraus folgt: Ñ Üµ Ñ ¾ ܵ Ñ Üµ Ñ ¾ Ö mod Ô Ö. Das Generatorpolynom ܵ hat die Aufeinanderfolge von «««¾ «¾ als Nullstellen, so auch ¾ Ò ¼ 5 Kanalkodierung 5.5 Zyklische Kodes Generatorpolynom von BCH-Kodes
95 Vorlesung Informations- und Kodierungstheorie 94 Damit ein BCH-Kode die aufeinanderfolgenden Elemente «¾µ als Nullstellen enthält, wird ܵ i. Allg. ein Produkt von Minimalpolynomen sein: ܵ kgv Ñ Üµ Ñ Üµ Ñ ¾ ܵ (in praktischen Anwendungsfällen ist meist 0 oder 1). Kodeparameter Ò ¾ weil Šܵ primitiv grad ܵ Ð Ò ÑÒØØ ĐÐ Über die Zyklendarstellung kann die tatsächliche Aufeinanderfolge der Nullstellen bestimmt und damit der tatsächliche Abstand ÑÒ ermittelt werden: ÑÒ tatsächliche Anzahl aufeinanderfolgender Nullstellenµ 5 Kanalkodierung 5.5 Zyklische Kodes Generatorpolynom von BCH-Kodes
96 Vorlesung Informations- und Kodierungstheorie 95 Beispiel Šܵ Ü Ü primitiv Bildung von ܵ Bestimmen möglicher Generatorpolynome ܵ aus den Zyklen der Exponenten von «für bzw. 0! ܵ für Analysiere ܵ bzgl. ÑÒ und den Kodeparametern ܵ Ü Ü Ü Ü ¾µBCH-Kode (grad Šܵ ) L: Begleitbuch, S Kanalkodierung 5.5 Zyklische Kodes Generatorpolynom von BCH-Kodes
97 Vorlesung Informations- und Kodierungstheorie 96 Spezielle BCH-Kodes: CRC[cyclic redundancy check]-kodes! Zyklischer HAMMING-Kode ܵ Šܵ Ñ Üµ ÑÒ mit Sicherheit Erkennen von Ein- und Zweifachfehlern ( ¾) UND Erkennen von Bündelfehlern der Länge gradå ܵ Kodeparameter? Ò Ð ÑÒ µ ¾ ¾ ÑÒ µbch-kode ABRAMSON-Kode ܵ Ñ ¼ ܵ Ñ Üµ mit Ñ ¼ ܵ Ü µ ÑÒ mit ¾ ¾ µ ÑÒ µbch-kode Beispiel Kodeparameter im ¾ µ für obige Kodes 5 Kanalkodierung 5.5 Zyklische Kodes Generatorpolynom von BCH-Kodes
98 Vorlesung Informations- und Kodierungstheorie 97 (Kanal-)Kodierung: Bildungsverfahren für ¾ Multiplikationsverfahren Ein zyklischer Kode der Länge Ò ist durch ܵ beschrieben. Das Kodepolynom ܵ des Kanalkodewortes entsteht aus der Multiplikation des zu kodierenden Polynoms ܵ mit dem Generatorpolynom ܵ: ܵ ܵ ܵ. Beispiel ܵ Ü Ü ¾ ¼µ ܵ Divisionsverfahren Ein zyklischer Kode der Länge Ò ist durch ܵ (vom Grad ) beschrieben. Das Kodepolynom ܵ des Kodewortes entsteht aus der Multiplikation des zu kodierenden Polynoms ܵ mit Ü und der Subtraktion eines Restpolynoms Ö Üµ (bedeutet im ¾µ Addition): ܵ ܵ Ü Ö Üµ Ö Üµ ܵ Ü µ mod ܵ 5 Kanalkodierung 5.5 Zyklische Kodes Kodierung und Fehlererkennung
99 Vorlesung Informations- und Kodierungstheorie 98 Generatormatrix Auf der Grundlage des Generatorpolynoms ܵ Ü Ù Ü Ù ¼ Ü ¼ ist eine Generatormatrix definiert: Ð Ò ¼ ¼ ¼ ¼ Ù Ù Ù ¼ ¼ ¼ Ù Ù ¾ Ù ¼ ¼ Ù ¼ ¼ Das Kanalkodewort ¾ bildet sich dann wie folgt: Die Bildungsverfahren führen auf das gleiche Kanalkodealphabet. Die Zuordnung der Quellenkodewörter zu den Kanalkodewörtern ist jedoch eine andere. Die Anwendung des Divisionsverfahrens liefert immer einen systematischen Kode. Das Bildungsverfahren muss dem Dekodierer bekannt sein. 5 Kanalkodierung 5.5 Zyklische Kodes Kodierung und Fehlererkennung
100 Vorlesung Informations- und Kodierungstheorie 99 (Kanal-)Dekodierung: Fehlererkennung Jedes Kanalkodewort muss in seiner Polynomdarstellung durch ܵ teilbar sein. Ist eine Empfangsfolge ܵ durch ܵ teilbar, dann ist ¾ definiert, sonst gilt ¾ und damit Fehlererkennung. Fehlerpolynom (auch Prüfpolynom): ܵ ܵ mod ܵ ¼ Beispiel ¼¼¼µ ¼¼¼¼µ ¾ Mit Sicherheit erkennbar: ÑÒ Erkennen aller Bündelfehler, bei denen der Abstand zwischen dem ersten und dem letzten fehlerhaften Element (einschließlich dieser) im Fehlermuster kleiner oder gleich dem Grad des Generatorpolynoms ist. 5 Kanalkodierung 5.5 Zyklische Kodes Kodierung und Fehlererkennung
101 Vorlesung Informations- und Kodierungstheorie 100 Struktur des Bündelfehlers: ܵ ¼ Ü Ò ¼ Ü Ò ¾ 1 Ü 1 Ü ¼ Ü ¼ Ü ¼ Ü 1 Ü Ù ¾Ü ¾ Ù Ü 1µ Sind darüber hinaus weitere Fehler erkennbar? ¾ Ò ¾ Ð ¾ Ò ¾ Ô ¾ µ ¼¼± Beispiel: Ô ± Ô ± Typische Fehlererkennungs- CRC-Kodes: Zyklischer HAMMING-Kode: ܵ Ñ Üµ ABRAMSON-Kode: ܵ Ñ Üµ Ü µ L: Begleitbuch, S Kanalkodierung 5.5 Zyklische Kodes Kodierung und Fehlererkennung
102 Vorlesung Informations- und Kodierungstheorie 101 Ein Kanalkode heißt verkürzter Kode, wenn gilt: Ò Ð ÑÒ µ Ò Ð ÑÒ µ const Diese Kodes verlieren ihre zyklische Eigenschaft. Fehlererkennung und Fehlerkorrektur bleiben erhalten. Beispiel BCH-Kode für Ð ¾? Ein Kanalkode heißt erweiterter Kode, wenn das Generatorpolynom ܵ um Ñ ¼ ܵ Ü µ erweitert wird: Ò ¾ Ð ÑÒ µ Ò Ð ÑÒ µ Ò ¾ Ð ÑÒ µ Ò Ð ÑÒ µ über Ò ¾ ein Paritätsbit gesetzt wird. Vergleiche mit dem erweiterten HAMMING-Kode! Die zyklische Eigenschaft geht mit Ò ¾ verloren. Auch alle ungeradzahligen Fehler sind erkennbar! Beispiel Forts.: Erweiterung mit Ü µ 5 Kanalkodierung 5.5 Zyklische Kodes Verkürzte, erweiterte BCH-Kodes
103 Vorlesung Informations- und Kodierungstheorie 102 Anwendung zyklischer Kodes Fehlererkennung CRC-Kodes z. B. in Protokollen auf der Sicherungsschicht: CRC-5 in USB ( ܵ Ñ Üµ), in Bluetooth ( ܵ Ñ ¼ ܵ Ñ Üµ) ; CRC-CCITT (CRC-16, ܵ Ñ ¼ ܵ Ñ Üµ) in HDLC, X.25,... ; Ethernet benutzt CRC-32 für Standard-Frames ÝØ, Jumbo-Frames ¼¼¼ ÝØ (extended Ethernet Frames) sind nicht standardisiert aber bieten vergleichbaren Schutz, warum: ܵ Ñ Üµ Ñ Üµ, primitiv, ܵ Ü Ü, im Bereich Ò Ø ÝØ nur Û µ z. B. beim Mobilfunk: CRC-3 in Kodeverkettung zur Fehlerverdeckung Fehlerkorrektur ( LV Kanalkodierung) Sinnvoll bei der Satellitenkommunikation wegen der Laufzeiten oder in Speicher-Anwendungen, wenn einzelne Bereiche systematisch und unwiderruflich unbrauchbar sind. L: Begleitbuch, S Kanalkodierung 5.5 Zyklische Kodes Anwendungen
Kanalkodierung. 6 Kanalkodierung Zielstellung. Störungen der übertragenen Daten. 6 Kanalkodierung Zielstellung WS 2018/2019
Fakultät Informatik Institut Systemarchitektur Professur Datenschutz und Datensicherheit WS 2018/2019 6. Kanalkodierung Dr.-Ing. Elke Franz Elke.Franz@tu-dresden.de 6 Kanalkodierung Zielstellung en der
MehrInformations und Kodierungstheorie
Informations und Kodierungstheorie 1 Entropie als Informationsmaß Information ist beseitigte Unbestimmtheit. Die Entropie H i eines Ereignisses x i mit der Auftrittswahrscheinlichkeit p(x i ) =: p i ist
MehrInformations- und Kodierungstheorie
Informations- und Kodierungstheorie Dagmar Schönfeld Herbert Klimant Rudi Piotraschke Informations- und Kodierungstheorie 4. Auflage Dr. Dagmar Schönfeld TU Dresden Deutschland Dr. Herbert Klimant TU Dresden
MehrÜberblick über die Vorlesung
Überblick über die Vorlesung 1. Einführung 2. Bedrohungspotenziale von IT-Systemen 3. IT-Sicherheitsmanagement 4. Ausgewählte Schutzmaßnahmen Personelle Maßnahmen Zugriffsschutz Maßnahmen zur Steigerung
MehrGrundlagen der Informationstheorie. Hanna Rademaker und Fynn Feldpausch
Grundlagen der Informationstheorie Hanna Rademaker und Fynn Feldpausch . Thema Informationstheorie geht zurück auf Claude Shannon The Mathematical Theory of Communication beschäftigt sich mit Information
MehrInformationstheorie und Codierung
Informationstheorie und Codierung 3. Codierung diskreter Quellen Gleichmäßiger Code Ungleichmäßiger Code Fano-, Huffman-Codierung Optimalcodierung von Markoff-Quellen Lauflängencodes nach Golomb und Rice
MehrCODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005
CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005 1. Das Problem 1.1. Kanalcodierung und Fehlerkorrektur. Wir wollen eine Nachricht über einen digitalen Kanal, der nur 0 oder 1 übertragen kann, schicken.
MehrProf. Dr. Stefan Weinzierl Audiosymbole mit einer Länge von 8 bit werden mit einem Paritätsbit zur Fehlererkennung kodiert.
Audiotechnik II Digitale Audiotechnik: 8. Tutorium Prof. Dr. Stefan Weinzierl 9.2.23 Musterlösung: 9. Dezember 23, 8:34 Fehlerkorrektur II Audiosymbole mit einer Länge von 8 bit werden mit einem Paritätsbit
MehrDefinition Information I(p)
Definition Information I(p) Definition I(p) Die Information I(p) eines Symbols mit Quellws p > 0 ist definiert als I(p) = log 1 p. Die Einheit der Information bezeichnet man als Bit. DiMa II - Vorlesung
MehrKlausur Informationstheorie und Codierung
Klausur Informationstheorie und Codierung WS 2013/2014 23.01.2014 Name: Vorname: Matr.Nr: Ich fühle mich gesundheitlich in der Lage, die Klausur zu schreiben Unterschrift: Aufgabe A1 A2 A3 Summe Max. Punkte
MehrKommunikationstechnik II Wintersemester 07/08
Kommunikationstechnik II Wintersemester 07/08 Prof. Dr. Stefan Weinzierl Musterlösung: 5. Aufgabenblatt 1. Aufgabe: Kanalkodierung Zweck der Kanalcodierung: - Abbildung der information bits des Quellkodes
MehrChaosSeminar - Informationstheorie
Alexander.Bernauer@ulm.ccc.de Stephanie.Wist@ulm.ccc.de 18. November 2005 Motivation schnelle Übertragung von Daten über gestörten Kanal Shannon48 Was ist Information? Information ist Abnahme von Unsicherheit
MehrTechnische Informatik - Eine Einführung
Martin-Luther-Universität Halle-Wittenberg Fachbereich Mathematik und Informatik Lehrstuhl für Technische Informatik Prof. P. Molitor Technische Informatik - Eine Einführung Darstellung von Zeichen und
MehrEndliche Körper und Codierung SS Übungsblatt. 9. Bestimmen Sie alle primitiven Elemente (Erzeuger der multiplikativen Gruppe) von
Endliche Körper und Codierung SS 2007 1. Übungsblatt 1. Sei p eine Primzahl und 0 j p 1. Zeigen Sie, dass ( ) p 1 j ( 1) j (mod p). 2. Sei R ein kommutativer Ring der Charakteristik p > 0 (prim). Zeigen
MehrKapitel 7: Optimalcodierung und Huffman Coding
Kapitel 7: codierung und Huffman Coding Ziele des Kapitels Auftreten von Fehlern bei zu starker Kompression Konstruktion optimaler Codes Huffman Coding 2 Bisher Theorem (Shannon I): Die mittlere Codewortlänge
MehrFormelsammlung Kanalcodierung
Formelsammlung Kanalcodierung Allgemeines Codewortlänge: N Anzahl der Informationsstellen: K Coderate: R = K/N Hamming-Distanz: D( x i, x j ) = w( x i xj ) Codedistanz: d = min D( x i, x j ); i j Fehlerkorrektur:
Mehr6. Übung - Kanalkodierung/Datensicherheit
6. Übung - Kanalkodierung/Datensicherheit Informatik I für Verkehrsingenieure Aufgaben inkl. Beispiellösungen 1. Aufgabe: Kanalkodierung a) Bestimmen Sie die Kodeparameter (n, l, d min ) des zyklischen
MehrThemen. Sicherungsschicht. Rahmenbildung. Häufig bereitgestellte Dienste. Fehlererkennung. Stefan Szalowski Rechnernetze Sicherungsschicht
Themen Sicherungsschicht Rahmenbildung Häufig bereitgestellte Dienste Fehlererkennung OSI-Modell: Data Link Layer TCP/IP-Modell: Netzwerk, Host-zu-Netz Aufgaben: Dienste für Verbindungsschicht bereitstellen
MehrKapitel 13: Syndromcodierung / Hamming Codes
Kapitel 3: Syndromcodierung / Hamming Codes Ziele des Kapitels Lineare Codes Zyklische Codes Copyright M. Gross, ETH Zürich 26, 27 2 Parity-Check-Matrix Theorem: Die Minimaldistanz eines linearen Codes
MehrFachprüfung. Nachrichtencodierung
Fachprüfung Nachrichtencodierung 23. Februar 2010 Prüfer: Prof. Dr. P. Pogatzki Bearbeitungszeit: 2 Stunden Hilfsmittel: Taschenrechner, Vorlesungsscript, Übungsaufgaben Name: Vorname: Matr.-Nr.: Unterschrift:
MehrGegeben ist ein systematischer (7,3)-Cod. Die drei seiner Codewörter lauten:
Prof. Dr.-Ing. H.G. Musmann INSTITUT FÜR THEORETISCHE NACHRICHTENTECHNIK UND INFORMATIONSVERARBEITUNG UNIVERSITÄT HANNOVER Appelstraße 9A 67 Hannover Gegeben ist ein systematischer (7,)-Cod. Die drei seiner
MehrInformationsdarstellung. 2 Informationsdarstellung. Ziele. 2 Informationsdarstellung Texte. Texte WS 2017/2018
Fakultät Informatik Institut Systemarchitektur Professur Datenschutz und Datensicherheit WS 2017/2018 2. Informationsdarstellung Dr.-Ing. Elke Franz Elke.Franz@tu-dresden.de 2 Informationsdarstellung Ziele
MehrFachprüfung. Nachrichtencodierung
Fachprüfung Nachrichtencodierung 14. März 2006 Prüfer: Prof. Dr. P. Pogatzki Bearbeitungszeit: 2 Stunden Hilfsmittel: Taschenrechner, Vorlesungsscript, Übungsaufgaben Name:... Matr.-Nr.:... Unterschrift:...
MehrDiagonalisierbarkeit symmetrischer Matrizen
¾ Diagonalisierbarkeit symmetrischer Matrizen a) Eigenwerte und Eigenvektoren Die Matrix einer linearen Abbildung ³: Î Î bezüglich einer Basis ( Ò ) ist genau dann eine Diagonalmatrix wenn jeder der Basisvektoren
MehrKapitel III Ringe und Körper
Kapitel III Ringe und Körper 1. Definitionen und Beispiele Definition 117 Eine Algebra A = S,,, 0, 1 mit zwei zweistelligen Operatoren und heißt ein Ring, falls R1. S,, 0 eine abelsche Gruppe mit neutralem
MehrTGI-Übung Dirk Achenbach
TGI-Übung 7 06.02.2014 Dirk Achenbach INSTITUT FÜR THEORETISCHE INFORMATIK KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Agenda
MehrMusterlösung: 11. Dezember 2014, 10:43. Informationstheorie und Entropiekodierung
Audiotechnik II Digitale Audiotechnik: 8. Übung Prof. Dr. Stefan Weinzierl 11.12.2014 Musterlösung: 11. Dezember 2014, 10:43 Informationstheorie und Entropiekodierung Bei der Entropiekodierung werden die
Mehri Der Informatinonsgehalt ist also intuitiv umgekehrt proportional der Auftritswahrscheimlichkeit.
1 2 Im ersten Schritt werden wir uns mit dem Begriff und der Definition der Information beschäftigen. Ferner werden die notwendigen math. Grundlagen zur Quellencodierung gelegt. Behandelt werden Huffman,
MehrKodierungstheorie: Lineare Kodes
Kodierungstheorie: Lineare Kodes Seminararbeit Sommersemester 2015 Bearbeitet von: Sebastian Gombocz (Matrikelnummer: 48947) Christian Löhle (Matrikelnummer: 48913) Betreuer: Prof. Dr. Thomas Thierauf
MehrModul Diskrete Mathematik WiSe 2011/12
Modul Diskrete Mathematik WiSe / Ergänzungsskript zum Kapitel 3.4. Hinweis: Dieses Manuskript ist nur verständlich und von Nutzen für Personen, die regelmäßig und aktiv die zugehörige Vorlesung besuchen
MehrTheoretische Biophysik - Statistische Physik
Theoretische Biophysik - Statistische Physik 14. Vorlesung Pawel Romanczuk Wintersemester 2018 http://lab.romanczuk.de/teaching/ 1 Zusammenfassung letzte VL Aktive Brownsche Bewegung Effektive Diffusion
MehrA2.3: Reduzible und irreduzible Polynome
A2.3: Reduzible und irreduzible Polynome Wichtige Voraussetzungen für das Verständnis der Kanalcodierung sind Kenntnisse der Polynomeigenschaften. Wir betrachten in dieser Aufgabe Polynome der Form wobei
Mehr3 Codierung diskreter Quellen. Quelle Quellcodierer Kanalcodierer reduziert die benötigte Datenmenge. fügt Daten zur Fehlerkorrektur ein.
3 Codierung diskreter Quellen 3 Einführung 32 Ungleichmäßige Codierung 33 Präfix-Codes 34 Grenzen der Code-Effizienz 35 Optimal-Codierung 3 Zusammenfassung < 24 / 228 > 3 Codierung diskreter Quellen Quelle
MehrAusgewählte Lösungen zu den Übungsblättern 9-10
Fakultät für Luft- und Raumfahrttechnik Institut für Mathematik und Rechneranwendung Vorlesung: Lineare Algebra (ME), Prof. Dr. J. Gwinner Dezember Ausgewählte Lösungen zu den Übungsblättern 9- Übungsblatt
MehrInformation und Codierung
Richard W. Hamming Information und Codierung Technische Universität Darmstadt FACHBEREICH INFORMATIK BIBLIOTHEK Invantar-Nr.: Sachgebiete:. Standort: VCH Inhalt Vorwort zur 1. Auflage der Originalausgabe
MehrDefinition Information I(p)
Definition Information I(p) Definition I(p) Die Information I(p) eines Symbols mit Quellws p > 0 beträgt I(p) = log 1 p. Die Einheit der Information bezeichnet man als Bit. DiMa II - Vorlesung 03-05.05.2009
MehrInformationsgehalt einer Nachricht
Informationsgehalt einer Nachricht Betrachten folgendes Spiel Gegeben: Quelle Q mit unbekannten Symbolen {a 1, a 2 } und p 1 = 0.9, p 2 = 0.1. Zwei Spieler erhalten rundenweise je ein Symbol. Gewinner
MehrDie Größe A(n, d) und optimale Codes
Die Größe A(n, d) und optimale Codes Definition Optimaler Code Wir definieren A(n, d) = max{m binärer (n, M, d) Code} Ein (n, M, d)-code heißt optimal, falls M = A(n, d). Bestimmung von A(n, d) ist offenes
MehrLINEARE ALGEBRA Ferienkurs. Hanna Schäfer Philipp Gadow
LINEARE ALGEBRA Ferienkurs Hanna Schäfer Philipp Gadow INHALT 1 Grundbegriffe 1 1.1 Aussagen und Quantoren 1 1.2 Mengen 2 1.3 Gruppen 3 1.4 Körper 4 1.5 Vektorräume 5 1.6 Basis und Dimension 7 Aufgaben
MehrBegriffe aus der Informatik Nachrichten
Begriffe aus der Informatik Nachrichten Gerhard Goos definiert in Vorlesungen über Informatik, Band 1, 1995 Springer-Verlag Berlin Heidelberg: Die Darstellung einer Mitteilung durch die zeitliche Veränderung
MehrFehlerdetektion. Cyclic Redanduncy Check. Grundlagen der Rechnernetze Übertragungssicherung 7
Fehlerdetektion Cyclic Redanduncy Check Grundlagen der Rechnernetze Übertragungssicherung 7 Modulo 2 Arithmetik Addition Modulo 2 Subtraktion Modulo 2 Multiplikation Modulo 2 A B A B 0 0 0 1 1 0 1 1 A
MehrFachprüfung. Nachrichtencodierung
Fachprüfung Nachrichtencodierung 6. August 2009 Prüfer: Prof. Dr. P. Pogatzki Bearbeitungszeit: 2 Stunden Hilfsmittel: Taschenrechner, Vorlesungsscript, Übungsaufgaben Name: Vorname: Matr.-Nr.: Unterschrift:
MehrAlgebra und Zahlentheorie WS 13/14
Algebra und Zahlentheorie WS 13/14 FU Berlin David Müßig http://page.mi.fu-berlin.de/def/auz14/ muessig@mi.fu-berlin.de 21.01.2014 1 Hintergrund: Basen & Vektorräume 1.1 Grundlegende Begriffe Da einige
MehrRechnernetze Übung 5. Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai Wo sind wir?
Rechnernetze Übung 5 Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai 2012 Wo sind wir? Quelle Nachricht Senke Sender Signal Übertragungsmedium Empfänger Quelle Nachricht Senke Primäres
MehrTheoretische Grundlagen der Informatik. Vorlesung am 7. Februar INSTITUT FÜR THEORETISCHE INFORMATIK
Theoretische Grundlagen der Informatik 0 07.02.2019 Torsten Ueckerdt - Theoretische Grundlagen der Informatik KIT Die Forschungsuniversität in der Helmholtz-Gemeinschaft www.kit.edu Werbung Vorlesung Algorithmen
MehrVorlesung Theoretische Grundlagen
Vorlesung Theoretische Grundlagen Fehlerkorrigierende Jörn Müller-Quade 4. Februar 2010 INSTITUT FÜR KRYPTOGRAPHIE UND SICHERHEIT KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum
Mehr(Allgemeine) Vektorräume (Teschl/Teschl 9)
(Allgemeine) Vektorräume (Teschl/Teschl 9) Sei K ein beliebiger Körper. Ein Vektorraum über K ist eine (nichtleere) Menge V, auf der zwei Operationen deniert sind, die bestimmten Rechenregeln genügen:
MehrTheoretische Grundlagen der Informatik. Vorlesung am 31. Januar INSTITUT FÜR THEORETISCHE INFORMATIK
Theoretische Grundlagen der Informatik 3..29 Torsten Ueckerdt - Theoretische Grundlagen der Informatik KIT Die Forschungsuniversität in der Helmholtz-Gemeinschaft www.kit.edu Thema dieses Kapitels Informationstheorie
MehrAlgebra für Informatiker, SS 10 Vorlesungsklausur, , 12:00-13:30
Algebra für Informatiker, SS 10 Vorlesungsklausur, 2.7.2010, 12:00-13:30 Name: Matrikelnr.:. (1) Es sind keine Unterlagen und keine elektronischen Hilfsmittel (Taschenrechner, Notebook, u.ä. ) erlaubt!
Mehr15. Vorlesung. Primitive Polynome (Beispiel) Beispiel zur Konstruktion von GF(p)[x]/f (x) mit einem primitiven Polynom f (x) (Logarithmentafel)
15. Vorlesung Primitive Polynome (Beispiel) Beispiel zur Konstruktion von GF(p)[x]/f (x) mit einem primitiven Polynom f (x) (Logarithmentafel) Struktur endlicher Körper Rechnen in endlichen Körpern Isomorphie
Mehr(Prüfungs-)Aufgaben zur Codierungstheorie
(Prüfungs-)Aufgaben zur Codierungstheorie 1) Gegeben sei die folgende CCITT2-Codierung der Dezimalziffern: Dezimal CCITT2 0 0 1 1 0 1 1 1 1 1 0 1 2 1 1 0 0 1 3 1 0 0 0 0 4 0 1 0 1 0 5 0 0 0 0 1 6 1 0 1
Mehr(Allgemeine) Vektorräume (Teschl/Teschl 9)
(Allgemeine Vektorräume (Teschl/Teschl 9 Sei K ein beliebiger Körper. Ein Vektorraum über K ist eine (nichtleere Menge V, auf der zwei Operationen deniert sind, die bestimmten Rechenregeln genügen: Eine
MehrDiskrete Mathematik. Sebastian Iwanowski FH Wedel. Kap. 4: Zahlentheorie
Prof. Dr. Sebastian Iwanowski DM4 Folie 1 Referenzen zum Nacharbeiten: Diskrete Mathematik Sebastian Iwanowski FH Wedel Kap. 4: Zahlentheorie Beutelspacher 5 Lang 7, Biggs 20, 22, 23 (jeweils teilweise,
Mehr6. Woche: Lineare Codes, Syndrom, Gilbert-Varshamov Schranke. 6. Woche: Lineare Codes, Syndrom, Gilbert-Varshamov Schranke 107/ 238
6 Woche: Lineare Codes, Syndrom, Gilbert-Varshamov Schranke 6 Woche: Lineare Codes, Syndrom, Gilbert-Varshamov Schranke 107/ 238 Erinnerung: Der Vektorraum F n 2 Schreiben {0, 1} n als F n 2 Definition
Mehr13 Mehrdimensionale Zufallsvariablen Zufallsvektoren
3 Mehrdimensionale Zufallsvariablen Zufallsvektoren Bisher haben wir uns ausschließlich mit Zufallsexperimenten beschäftigt, bei denen die Beobachtung eines einzigen Merkmals im Vordergrund stand. In diesem
MehrIndex. Chien-Suche, 220 CIRC, 234 Code, 2, 9 äquidistanter, 81
Index Abelsche Gruppe, 140 Abgeschlossenheit, 47, 140, 143 Abhängigkeit lineare, 53 Abtastfolge, 226 ACS-Operation, 279 Addition, 46, 163 Alphabet, 1 ARQ, 6, 174 Assoziativität, 47, 52, 140, 143 Audio-CD,
MehrEinführung in die Kodierungstheorie
Einführung in die Kodierungstheorie Einführung Vorgehen Beispiele Definitionen (Code, Codewort, Alphabet, Länge) Hamming-Distanz Definitionen (Äquivalenz, Coderate, ) Singleton-Schranke Lineare Codes Hamming-Gewicht
MehrGrundlagen der Technischen Informatik. 3. Übung
Grundlagen der Technischen Informatik 3. Übung Christian Knell Keine Garantie für Korrekt-/Vollständigkeit 3. Übungsblatt Themen Aufgabe : Aufgabe 2: Aufgabe 3: Informationstheorie Huffman-Code Entropie
MehrBeispiel: Zeigen Sie, dass H(x) = H 0 = I gilt, wenn alle Zeichen gleichwahrscheinlich sind.
1 2 Im ersten Schritt werden wir uns mit dem Begriff und der Definition der Information beschäftigen. Ferner werden die notwendigen math. Grundlagen zur Quellencodierung gelegt. Behandelt werden Huffman,
Mehri) ii) iii) iv) i) ii) iii) iv) v) gilt (Cauchy-Schwarz-Ungleichung): Winkel zwischen zwei Vektoren : - Für schreibt man auch.
Abbildungen Rechnen Matrizen Rechnen Vektoren Äquivalenzrelation Addition: Skalarmultiplikation: Skalarprodukt: Länge eines Vektors: Vektorprodukt (im ): i ii i ii v) gilt (Cauchy-Schwarz-Ungleichung):
Mehr5. Übung - Kanalkodierung/Programmierung
5. Übung - Kanalkodierung/Programmierung Informatik I für Verkehrsingenieure Aufgaben inkl. Beispiellösungen 1. Aufgabe: Kanalkodierung a Folgende Kodes stehen Ihnen zur Verfügung: Kode 1: 0000000 Kode
MehrInformationsdarstellung. 2 Informationsdarstellung. Ziele. 2 Informationsdarstellung Texte. Texte WS 2018/2019
Fakultät Informatik Institut Systemarchitektur Professur Datenschutz und Datensicherheit WS 2018/2019 2. Informationsdarstellung Dr.-Ing. Elke Franz Elke.Franz@tu-dresden.de 2 Informationsdarstellung Ziele
MehrÜbungsaufgaben zur Vorlesung Quellencodierung
Übungsaufgaben zur Vorlesung Quellencodierung Aufgabe 1: Gegeben seien die Verbundwahrscheinlichkeiten zweier diskreter Zufallsvariablen x und y: P(x, y) x 1 = 1 x 2 = 2 x 3 = 3 y 1 = 1 0.1 0.1 0.1 y 2
MehrZyklische Codes Rechnernetze Übung SS2010
Zyklische Codes Binärcodes Blockcodes Lineare Codes Nichtlineare Codes Zyklische Codes Systematische Codes Binärcodes Blockcodes Lineare Codes Nichtlineare Codes Zyklische Codes Systematische Codes Durch
MehrModul 1: Einführung und Wahrscheinlichkeitsrechnung
Modul : Einführung und Wahrscheinlichkeitsrechnung Informationstheorie Dozent: Prof. Dr. M. Gross E-mail: grossm@inf.ethz.ch Assistenten: Bernd Bickel, Daniel Cotting, Michael Waschbüsch, Boris Köpf, Andrea
MehrBeziehungen zwischen Verteilungen
Kapitel 5 Beziehungen zwischen Verteilungen In diesem Kapitel wollen wir Beziehungen zwischen Verteilungen betrachten, die wir z.t. schon bei den einzelnen Verteilungen betrachtet haben. So wissen Sie
MehrGrundlagen der Technischen Informatik. 2. Übung
Grundlagen der Technischen Informatik 2. Übung Christian Knell Keine Garantie für Korrekt-/Vollständigkeit 2. Übungsblatt Themen Aufgabe 1: Aufgabe 2: Aufgabe 3: Aufgabe 4: Hamming-Distanz Fehlererkennung
MehrKapitel 3 Lineare Algebra
Kapitel 3 Lineare Algebra Inhaltsverzeichnis VEKTOREN... 3 VEKTORRÄUME... 3 LINEARE UNABHÄNGIGKEIT UND BASEN... 4 MATRIZEN... 6 RECHNEN MIT MATRIZEN... 6 INVERTIERBARE MATRIZEN... 6 RANG EINER MATRIX UND
MehrVerschlüsselungs- und Codierungstheorie PD Dr. Thomas Timmermann Westfälische Wilhelms-Universität Münster Sommersemester 2017
Verschlüsselungs- und Codierungstheorie PD Dr. Thomas Timmermann Westfälische Wilhelms-Universität Münster Sommersemester 2017 Lineare Codes (Ausarbeitung von Benjamin Demes) 1) Was sind lineare Codes
MehrKommunikationstechnik II Wintersemester 08/09
Kommunikationstechnik II Wintersemester 8/9 Prof. Dr. Stefan Weinzierl Musterlösung: 8. Aufgabenblatt Lösung in der Rechenübung am 9.1.9 1. Aufgabe: Fehlererkennung/-korrektur Audio Symbole mit einer Länge
MehrSignale und Codes Vorlesung 4
Signale und Codes Vorlesung 4 Nico Döttling December 6, 2013 1 / 18 2 / 18 Letztes Mal Allgemeine Hamming Codes als Beispiel linearer Codes Hamming Schranke: Obere Schranke für k bei gegebenem d bzw. für
MehrÜbung zu Drahtlose Kommunikation. 1. Übung
Übung zu Drahtlose Kommunikation 1. Übung 22.10.2012 Termine Übungen wöchentlich, Montags 15 Uhr (s.t.), Raum B 016 Jede Woche 1 Übungsblatt http://userpages.uni-koblenz.de/~vnuml/drako/uebung/ Bearbeitung
MehrPerfekte Codes. Definition Perfekter Code. Sei C {0, 1} n ein (n, M, d)-code. C heißt perfekt, falls
Perfekte Codes Definition Perfekter Code Sei C {0, 1} n ein (n, M, d)-code. C heißt perfekt, falls ( ) d 1 M V n = 2 n. 2 D.h. die maximalen disjunkten Hammingkugeln um die Codeworte partitionieren {0,
MehrEndliche Körper Seminar: Diskrete Mathematik Leitung: Prof. Dr. Rainer Lang Von: Steffen Lohrke (ii5105) SS2005
Endliche Körper Seminar: Diskrete Mathematik Leitung: Prof. Dr. Rainer Lang Von: Steffen Lohrke (ii5105) SS2005 Inhaltsverzeichnis Abelsche Gruppe 3 Kommutativer Ring 5 Körper 6 Endliche Körper 7 Endliche
MehrWir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir
Kapitel 3: Entropie Motivation Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir log N Bits log p N Bits Die Information steht
MehrDWT 1.4 Rechnen mit kontinuierlichen Zufallsvariablen 234/467 Ernst W. Mayr
1.4.2 Kontinuierliche Zufallsvariablen als Grenzwerte diskreter Zufallsvariablen Sei X eine kontinuierliche Zufallsvariable. Wir können aus X leicht eine diskrete Zufallsvariable konstruieren, indem wir
MehrEndliche Körper. Seminar Graphentheorie und Diskrete Mathematik Referent: Steffen Lohrke ii5105 SS 2005
Endliche Körper Seminar Graphentheorie und Diskrete Mathematik Referent: Steffen Lohrke ii5105 SS 2005 Abelsche Gruppe Eine Abelsche Gruppe ist eine algebraische Struktur, die aus einer Menge K und einem
MehrHM I Tutorium 2. Lucas Kunz. 31. Oktober 2018
HM I Tutorium 2 Lucas Kunz 31. Oktober 2018 Inhaltsverzeichnis 1 Theorie 2 1.1 Körper und Gruppen.............................. 2 1.2 Konstruktion der reellen Zahlen........................ 3 1.3 Natürliche
MehrGrundlagen der Technischen Informatik. Hamming-Codes. Kapitel 4.3
Hamming-Codes Kapitel 4.3 Prof. Dr.-Ing. Jürgen Teich Lehrstuhl für Hardware-Software-Co-Design Inhalt Welche Eigenschaften müssen Codes haben, um Mehrfachfehler erkennen und sogar korrigieren zu können?
MehrÜbungsblatt 5 - Musterlösung
Universität Mannheim Lehrstuhl für Praktische Informatik IV Prof. Dr. W. Effelsberg Christoph Kuhmünch, Gerald Kühne Praktische Informatik II SS 2000 Übungsblatt 5 - Musterlösung Aufgabe 1: Huffman-Codierung
MehrError detection and correction
Referat Error detection and correction im Proseminar Computer Science Unplugged Dozent Prof. M. Hofmann Referent Pinto Raul, 48005464 Datum 19.11.2004 Error detection and correction 1. Fehlererkennung
MehrLösungshinweise zur Klausur. Mathematik für Informatiker III. (Dr. Frank Hoffmann) 18. Februar 2008
Lösungshinweise zur Klausur Mathematik für Informatiker III (Dr. Frank Hoffmann) 8. Februar 8 Aufgabe Algebraisches I /6++ (a) Rechnen Sie zunächst nach, dass die Menge B = {,, von Vektoren eine Basis
MehrBC 1.2 Mathematik WS 2016/17. BC 1.2 Mathematik Zusammenfassung Kapitel II: Vektoralgebra und lineare Algebra. b 2
Zusammenfassung Kapitel II: Vektoralgebra und lineare Algebra 1 Vektoralgebra 1 Der dreidimensionale Vektorraum R 3 ist die Gesamtheit aller geordneten Tripel (x 1, x 2, x 3 ) reeller Zahlen Jedes geordnete
Mehr3. Woche Information, Entropie. 3. Woche: Information, Entropie 45/ 238
3 Woche Information, Entropie 3 Woche: Information, Entropie 45/ 238 Informationsgehalt einer Nachricht Intuitiv: Je kleiner die Quellws, desto wichtiger oder strukturierter die Information, bzw höher
MehrEffiziente Algorithmen und Komplexitätstheorie
Fakultät für Informatik Lehrstuhl 2 Vorlesung Effiziente Algorithmen und Komplexitätstheorie Sommersemester 2008 Ingo Wegener; Vertretung: Carsten Witt 7. Juli 2008 Vorlesung am 14.07. (nächste Woche):
MehrDie Hamming-Distanz definiert eine Metrik.
Die Hamming-Distanz definiert eine Metrik. Satz Metrik Hamming-Distanz Die Hamming-Distanz ist eine Metrik auf {0, 1} n, d.h. für alle x, y, z {0, 1} n gilt: 1 Positivität: d(x, y) 0, Gleichheit gdw x
MehrErzeugendensystem und Basis
Erzeugendensystem und Basis Definition Erzeugendensystem und Basis eines Unterraums Sei S F n 2 ein Unterraum. Eine Menge G = {g 1,..., g k } S heißt Erzeugendensystem von S, falls jedes x S als Linearkombination
MehrDer (7, 4)-Hamming-Code
Polynomcodes p. 1 Der (7, 4)-Hamming-Code Der 1-Fehler-korrigierende Hamming-Code der Länge 7 besteht aus 16 binären 7-Tupeln: 0000000 1111111 1101000 0010111 0110100 1001011 0011010 1100101 0001101 1110010
MehrDefinition 131 Sei R ein (kommutativer) Ring. Ein Polynom über R in der Variablen x ist eine Funktion p der Form
3. Polynome 3.1 Definition und Grundlagen Definition 131 Sei R ein (kommutativer) Ring. Ein Polynom über R in der Variablen x ist eine Funktion p der Form p(x) = a n x n + a n 1 x n 1 + + a 1 x + a 0,
MehrErinnerung: Der Vektorraum F n 2
Erinnerung: Der Vektorraum F n 2 Definition Vektorraum F n 2 F n 2 = ({0, 1}n,+, ) mit Addition modulo 2, + : F n 2 Fn 2 Fn 2 und skalarer Multiplikation : F 2 F n 2 Fn 2 definiert einen Vektorraum, d.h.
MehrVorlesung Theoretische Grundlagen Fehlerkorrigierende Codes Jörn Müller-Quade 29. Januar 2013
Vorlesung Theoretische Grundlagen Fehlerkorrigierende Jörn Müller-Quade 29. Januar 2013 I NSTITUT FÜR K RYPTOGRAPHIE UND S ICHERHEIT KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum
MehrStatistik III. Walter Zucchini Fred Böker Andreas Stadie
Statistik III Walter Zucchini Fred Böker Andreas Stadie Inhaltsverzeichnis 1 Zufallsvariablen und ihre Verteilung 1 1.1 Diskrete Zufallsvariablen........................... 1 1.2 Stetige Zufallsvariablen............................
MehrInformationstheorie und Codierung
Informationstheorie und Codierung Organisation / Einleitung Vorlesung: Do 17:00 Uhr, Sr K 2002B Seminar: Mi (G) 15:00 Uhr, Sr H 1510 Abschluss: mdl. Prüfung Kontakt - Vorlesung Dr.-Ing. Maik Debes Fakultät
MehrCodierung zur Fehlerkorrektur und Fehlererkennung
Codierung zur Fehlerkorrektur und Fehlererkennung von Dr.-techn. Joachim Swoboda Mit 39 Bildern und 24 Tafeln R. OLDENBOURG VERLAG MÜNCHEN WIEN 1973 Inhalt Vorwort 9 1. Einführung 11 1.1 Redundante Codierung
MehrDiskrete Mathematik II
Diskrete Mathematik II Alexander May Fakultät für Mathematik Ruhr-Universität Bochum Sommersemester 2008 DiMA II - Vorlesung 01-07.04.2008 Einführung in die Codierungstheorie, Definition Codes 1 / 36 Organisatorisches
MehrInformations- und Kodierungstheorie
Information Informations- und Kodierungstheorie Ziel: Sichere und effiziente Speicherung und Übertragung von Informationen: Gesendete Information soll unverfälscht beim Empfänger ankommen (räumlich, von
Mehr