Grundlagen der Nachrichtentechnik 4
|
|
- Nele Kalb
- vor 7 Jahren
- Abrufe
Transkript
1 Grundlagen der Prof. Dr.-Ing. Andreas Czylwik S. Organisatorisches Vorlesung 2 SWS Übung SWS, Betreuer: Dipl.-Ing. Lars Häring Folienkopien sind verfügbar Prüfung: schriftlich Neue Forschungsthemen im Nachrichtentechnische Systeme Studien- und Diplomarbeiten S. 2
2 Literatur Literatur zur Vorlesung: B. Friedrichs: Kanalcodierung, Springer-Verlag H. Schneider-Obermann: Kanalcodierung, Vieweg-Verlag H. Rohling: Einführung in die Informations- und Codierungstheorie, Teubner-Verlag Blahut: Theory and practice of error control codes, Addison- Wesley M. Bossert: Channel coding for telecommunications, John Wiley M. Bossert: Kanalcodierung, Teubner-Verlag J. H. van Lint: Introduction to coding theory S. 3 Literatur Literatur zur digitalen Übertragung: S. Benedetto, E. Biglieri, V. Castellani: Digital transmission theory, Prentice-Hall J.G. Proakis: Digital communications, McGraw-Hill S. Haykin: Communication systems, John Wiley S. 4 2
3 Inhalt. Einführung 2. Grundlagen der Informationstheorie 3. Kanalcodierung in der Nachrichtenübertragung 4. Algebraische Grundbegriffe für Codes 5. Blockcodes 6. Faltungscodes 7. Codierungstechniken 8. Ausblick S. 5 Einführung Blockschaltbild eines Systems zur digitalen Nachrichtenübertragung Signalquelle Quellencodierer Kanalcodierer Modulator Digitale Quelle Digitale Senke Signalsenke Kanaldecodierer Quellendecodierer Übertragungskanal Demodulator Störung Diskreter Kanal S. 6 3
4 Einführung Quellencodierung (source coding): Kompression der Nachricht auf eine minimale Anzahl von Symbolen ohne Informationsverlust (Reduktion von Redundanz) weitergehende Kompression, wobei toleriert wird, dass Information verloren geht (z. B. bei Bild- und Tonübertragung) Codierung zur Verschlüsselung (Kryptologie) Schutz vor unberechtigtem Abhören Entschlüsselung nur mit Kenntnis eines Code-Schlüssels S. 7 Einführung Kanalcodierung (error control coding): kontrolliertes Hinzufügen von Redundanz zum Schutz gegen Übertragungsfehler Kanalcodierung zur Fehlerkorrektur (FEC forward error correction) vereinfachtes Modell: Kanal Datenquelle Kanalcodierer Kanaldecodierer Datensenke Kanalqualität bestimmt Restfehlerwahrscheinlichkeit nach Decodierung Datenrate unabhängig von Kanalqualität S. 8 4
5 Einführung Kanalcodierung zur Fehlerdetektion (CRC cyclic redundancy check, Einsatz für ARQ-Verfahren (automatic repeat request)) ARQ- Steuerung Kanal codierer Kanal Kanaldecodierer (Fehlererkennung) ARQ- Steuerung Rückkanal Fehlerinformation Rückkanal notwendig adaptives Einfügen von Redundanz (zusätzliche Redundanz nur im Fehlerfall Restfehlerwahrscheinlichkeit unabhängig von der Kanalqualität Datenrate abhängig von Kanalqualität S. 9 Einführung Anwendungen: sichere Datenübertragung über Wellenleiter und Funkkanäle (insbesondere Mobilfunkkanäle), sichere Datenspeicherung Begründer der Informationstheorie Claude E. Shannon: Durch Kanalcodierung kann die Fehlerwahrscheinlichkeit beliebig reduziert werden, wenn die Datenrate kleiner als die Kanalkapazität ist. (Shannon gibt keine Konstruktionsvorschrift an.) S. 5
6 Einführung Grundgedanke der Kanalcodierung: Einfügen von Redundanz Ziel: Fehlererkennung oder Fehlerkorrektur Zuordnung im Codierer am Beispiel einer Block-Codierung: Länge k Länge n Informationsvektor u Eingangsvektor: u = (u,..., u k ) Ausgangsvektor: x = (x,..., x n ) k Coderate: R C = n Codewort-Vektor x S. (.) Einführung Codewürfel mit n = 3, k = 3 uncodierte Übertragung: R C = kleinstmögliche Distanz zu anderem Codewort: d min = keine Fehlererkennung und keine Fehlerkorrektur möglich S. 2 6
7 Einführung Codewürfel mit n = 3, k = 2 codierte Übertragung: R C = 2/3 kleinstmögliche Distanz zu anderem Codewort: d min = 2 Erkennung eines Fehlers möglich, keine Fehlerkorrektur möglich S. 3 Einführung Codewürfel mit n = 3, k = codierte Übertragung: R C = /3 kleinstmögliche Distanz zu anderem Codewort: d min = 3 Erkennung von zwei Fehlern und Korrektur eines Fehlers möglich S. 4 7
8 Informationtheorie: mathematische Beschreibung der Übertragung von Nachrichten zentrale Fragestellungen: quantitative Berechnung des Informationsgehalts von Nachrichten Bestimmung der Übertragungskapazität von Übertragungskanälen Analyse und Optimierung von Quellen- und Kanalcodierung S. 5 Nachricht aus der Sicht der Informationstheorie irrelevant relevant Fehlinformation redundant nicht redundant S. 6 8
9 Informationsgehalt einer Nachricht, Entropie qualitative Einordung von Nachrichten: Bedeutung umso größer, je weniger die Nachricht vorhersagbar ist Beispiel: Bedeutung Morgen geht die Sonne auf. Morgen gibt es schlechtes Wetter. Morgen gibt es ein starkes Unwetter, bei dem der Strom ausfallen wird. Nachrichten einer digitalen Quelle: Folge von Zeichen Wahrscheinlichkeit S. 7 Entscheidungsgehalt H einer Quelle: Anzahl der für die Auswahl der Nachricht benötigten Binärentscheidungen Zeichenvorrat: N Zeichen H = ld(n) bit/zeichen (2.) mit ld(x) = logarithmus dualis Einheit: bit = binary digit Entscheidungsgehalt H berücksichtigt nicht die Auftrittswahrscheinlichkeit S. 8 9
10 Beispiel: deutschsprachiger Text als Quelle 26 2 Buchstaben, 3 2 Umlaute, ß, 2 Sonderzeichen einschließlich Leerzeichen ()-.,;:!? insgesamt 7 alphanumerischen Zeichen H = ld(7) = ln(7) / ln(2) = 6,5 bit/zeichen Beispiel: eine Seite deutschsprachiger Text mit 4 Zeilen und 7 Zeichen pro Zeile Anzahl unterschiedlicher Seiten: N = Entscheidungsgehalt: H = ld(7 4 7 ) = 4 7 ld (7) = 7,22 kbit/seite S. 9 Zeichenvorrat (Alphabet): X = {x,..., x N } Auftrittswahrscheinlichkeiten der Zeichen: p(x ),..., p(x N ) gewünschte Eigenschaften des Informationsgehalts I = f(p): I(x i ) für p(x i ) I(x i ) für p(x i ) I(x i ) > I(x j ) für p(x i ) < p(x j ) zwei aufeinanderfolgende statistisch unabhängige Zeichen x i und x j mit p(x i,x j ) = p(x i ) p(x j ): I(x i,x j ) = I(x i ) + I(x j ) allgemeine Lösung: I(x i ) = k log b (p(x i )) (2.2) S. 2
11 Definition des Informationsgehalts: I( ) = ld bit/zeichen p( ) (2.3) Entropie H(X) = mittlerer Informationsgehalt einer Quelle: H ( X ) = N I( ) = p( ) I( ) i= N = p( ) ld bit/zeichen i= p( ) (2.4) S. 2 Beispiel: binäre Quelle mit X = {x, x 2 } Auftrittswahrscheinlichkeiten: p(x ) = p, p(x 2 ) = p Entropie: H(X) = p ld(p) ( p)ld( p) Shannon-Funktion: H(X) = S(p) (2.5) S(p) / bit S. 22 p
12 Die Entropie wird mamal für gleichwahrscheinliche Zeichen H(X) H = ld N. (2.6) Beweis: N N H ( X ) ld N = p( ) ld p( ) ld N i= p( ) i= N = p( ) ld i= p( ) N.. Ausnutzen der Ungleichung: ln x x (2.7) -. x ln(x). 2. x S. 23 mit ln x x ld x ( x ) ln 2 N H ( X ) ld N p( ) i= ln 2 p( ) N ln 2 N p( ) = i= N N = ln 2 N Redundanz einer Quelle: R Q = H H(X) (2.8) S. 24 2
13 Übertragung über Binärkanal: Entwurf von Binärcodierungen für eine diskrete Quelle Aufgaben der Quellencodierung: Zuweisung eines Binärcodes mit der Codewortlänge L(x i ) zu einem Zeichen x i Minimierung L x der mittleren x Codewortlänge 2 L L = L( ) N = p( ) L( ) i= (2.9) x N L(x N ) S. 25 Beispiele für binäre Codierungen von Zeichen: ASCII-Code: feste Codewortlänge L(x i ) = 8 (Blockcode) Morse-Code (Punkt-Strich-Alphabet mit Pause zur Trennung der Codewörter): häufig auftretende Buchstaben werden kurzen Codeworten zugeordnet Präfix-Eigenschaft eines Codes: kein Codewort bildet gleichzeitig den Beginn eines anderen Codewortes kommafreier Code S. 26 3
14 Beispiel für einen Code ohne Präfix-Eigenschaft: x x 2 x 3 x 4 eindeutige Decodierung einer Bitfolge nicht möglich mögliche Decodier-Ergebnisse für die Sequenz : x x 3 x 2 x, x 2 x x x 3, x x 3 x x 3, x 2 x x 2 x, x x 4 x 3 S. 27 Beispiel für einen Code mit Präfix-Eigenschaft: x x 2 x 3 x 4 eindeutige Decodierung einer Bitfolge Decodierung der Sequenz : x x 2 x x 2 x 3 x 4 x 2 x Synchronisation: Anfang der Sequenz S. 28 4
15 Decodierung mit Hilfe eines Entscheidungsbaums x x 2 x 3 x 4 Ebene : L(x ) = Ebene 2: L(x 2 ) = 2 Ebene 3: L(x 3 ) = L(x 4 ) = 3 S. 29 Kraftsche Ungleichung: Ein Binärcode mit der Präfix-Eigenschaft und den Codewortlängen L(x ), L(x 2 ),..., L(x N ) estiert nur dann, wenn N L( x ) 2 i (2.) i= Das Gleichheitszeichen gilt, wenn alle Endpunkte des Codebaums mit Codewörten besetzt sind. S. 3 5
16 Beweis: Länge der Baumstruktur = mamale Codewortlänge L max = max(l(x ), L(x 2 ),..., L(x N )) Codewort in Ebene L(x i ) eliminiert Lmax L( x ) 2 i der möglichen Codeworte in der Ebene L max Summe aller eliminierten Codeworte mamale Anzahl in der Ebene L max N 2 i= Lmax L( ) L 2 max S. 3 Grenze für die mittlere Codewortlänge: L H (X ) Beispiel für den Sonderfall, dass die Auftrittswahrscheinlichkeiten Zweierpotenzen sind: K p( x () i i ) = 2 Zuordnung der Codeworte entsprechend der Vorschrift (2.) (2.2) L(x i ) = K i Sonderfall: 5 L = H ( X ) = 8 x i p(x i ) Codeworte x /2 x 2 /4 x 3 /8 x 4 /6 x 5 /6 S. 32 6
17 Shannon sches Codierungstheorem: Für jede Quelle lässt sich eine Binärcodierung finden mit: H ( X ) L H ( X ) + (2.3) Beweis: linke Seite: mittlere Codewortlänge mittlerer Informationsgehalt rechte Seite: Auswahl eines Codewortes mit I(x i ) L(x i ) I(x i ) + (2.4) Multiplikation mit p(x i ) und Summation über alle i s.o. S. 33 Nachweis, dass es einen Code mit Präfix-Eigenschaft () gibt: linke Seite von (2.4): ( ) ( ) ld ( ) ( ) ( ) 2 L x I x i i = L x p x i p i Summe über alle Symbole entspricht (2.): N N L( x ) 2 i p( ) = i= i= S. 34 7
18 Shannon sche Codierung Codewortlänge entsprechend (2.4): I(x i ) L(x i ) I(x i ) + akkumulierte Auftrittswahrscheinlichkeiten i Pi = p( x j ) j= Sortieren der Symbole nach Auftrittswahrscheinlichkeit Codeworte sind Nachkommastellen eine Binärdarstellung von P i S. 35 Beispiel H = 3,7 bit H(X) = 2,97 bit Mittlere Codewortlänge: L = 3.54 bit Berechnung eines Codewortes: i p(x i ) I(x i ) L(x i ) P i Code,22 2,8 3, 2,9 2,4 3,22 3,5 2,74 3,4 4,2 3,6 4,56 5,8 3,64 4,68 6,7 3,84 4,76 7,7 3,84 4,83 8,6 4,6 5,9 9,4 4, ,9 = S. 36 8
19 Baumdarstellung eines Shannon-Codes: Nachteil: nicht alle Endpunkte des Baums sind besetzt S. 37 Codewortlänge kann reduziert werden Code ist nicht optimal Redundanz eines Codes: Redundanz einer Quelle: RC = L H ( X ) RQ = H H ( X ) (2.5) (2.6) Huffman-Codierung rekursives Vorgehen Startpunkt: Symbole mit den kleinsten Wahrscheinlichkeiten gleiche Codewortlänge für die beiden Symbole mit der kleinsten Wahrscheinlichkeit andernfalls: Reduzierung der Codewortlänge möglich S. 38 9
20 Algorithmus: Schritt : Ordnen der Symbole entsprechend ihrer Wahrscheinlichkeit Schritt 2: Zuordnung von und zu den beiden Symbolen mit der kleinsten Wahrscheinlichkeit Schritt 3: Zusammenfassen der beiden Symbole mit der kleinsten Wahrscheinlichkeit x N und x N zu einem neuen Symbol mit der Wahrscheinlichkeit p(x N ) + p( x N ) Schritt 4: Wiederholung der Schritte - 3, bis nur noch ein Symbol übrig bleibt Beispiel S. 39 x x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9,22,9,5,2,8,7,7,6,4 x x 2 x 3 x 4 x 8 x 9 x 5 x 6 x 7,22,9,5,2,,8,7,7 x x 2 x 3 x 6 x 7 x 4 x 8 x 9 x 5,22,9,5,4,2,,8 x x 2 x 8 x 9 x 5 x 3 x 6 x 7 x 4,22,9,8,5,4,2 S. 4 2
21 x 6 x 7 x 4 x x 2 x 8 x 9 x 5 x 3,26,22,9,8,5 x 8 x 9 x 5 x 3 x 6 x 7 x 4 x x 2,33,26,22,9 x x 2 x 8 x 9 x 5 x 3 x 6 x 7 x 4,4,33,26 x 8 x 9 x 5 x 3 x 6 x 7 x 4 x x 2,59,4 S. 4 Baumstruktur des Huffman-Code-Beispiels L = 3. bit S. 42 2
22 Diskrete Quelle ohne Gedächtnis Verbundentropie von Zeichenketten zwei unabhängige Zeichen: p(x i,y k ) = p(x i ) p(y k ) N N H ( X, Y ) = p(, yk ) ld( p(, yk )) i= k= N N = p( ) p( yk ) i= k= H ( X, Y ) = H ( X ) + H ( Y ) [ ld( p( x )) + ld( p( y ))] i N N N N = p( yk ) p( ) ld( p( )) p( ) p( yk ) ld( p( yk )) k= i= i= k= k (2.7) (2.8) S. 43 M unabhängige Zeichen der gleichen Quelle: H(X, X 2,..., X M ) = M H(X) Effizienteres Codieren durch Codieren von Zeichenketten Shannon sches Codierungstheorem: H(X,...,X M ) LM ( X, K, X M ) H(X,...,X M ) + M H(X) M L M H(X) + H(X) L H(X) + /M Nachteil beim Codieren von Zeichenketten: stark ansteigender Codierungsaufwand (exponentielle Zunahme der Zahl der möglichen Zeichen) (2.9) (2.2) S
23 Beispiel: Codierung von Zeichenfolgen binäre Quelle mit X = {x, x 2 } Auftrittswahrscheinlichkeiten: p(x ) =,2, p(x 2 ) =,8 Entropie: H(X) =,729 bit/zeichen Codierung von Einzelzeichen: Zeichen p(x i ) Code L(x i ) p(x i ) L(x i ) x,2,2 x 2,8,8 Σ = mittlere Codewortlänge: L =bit/zeichen S. 45 Codierung von Zeichenpaaren: Zeichenpaar p(x i ) Code L(x i ) p(x i ) L(x i ) x x,4 3,2 x x 2,6 2,32 x 2 x,6 3,48 x 2 x 2,64,64 Σ =,56 mittlere Codewortlänge: L =,78 bit/zeichen S
24 Codierung von Zeichentripeln: Zeichentripel p(x i ) Code L(x i ) p(x i ) L(x i ) x x x,8 5,4 x x x 2,32 5,6 x x 2 x,32 5,6 x x 2 x 2,28 3,384 x 2 x x,32 5,6 x 2 x x 2,28 3,384 x 2 x 2 x,28 3,384 x 2 x 2 x 2,52,52 Σ = 2,84 mittlere Codewortlänge: L =,728 bit/zeichen S. 47 Diskrete Quelle mit Gedächtnis reale Quellen: Korrelation zwischen den Einzelzeichen zwei abhängige Zeichen: p(x i,y k ) = p(x i ) p(y k x i ) = p(y k ) p(x i y k ) N N H ( X, Y ) = p(, yk ) ld( p(, yk )) i= k= N N = p( ) p( yk ) i= k= H ( X, Y ) = H ( X ) + H ( Y X ) [ ld( p( x )) + ld( p( y x ))] i N N N N = p( yk ) p( ) ld( p( )) p(, yk ) ld( p( yk )) i= k= i= k= k i (2.2) S
25 H(Y X) = bedingte Entropie N N H ( Y X ) = p(, yk ) ld( p( yk )) i= k= Entropie einer Quelle bedingte Entropie (2.22) H(Y) H(Y X ) Beweis: N N N H ( Y ) = p( yk ) ld( p( yk )) = p(, yk ) ld( p( yk )) k= i= k= N N p( y = k ) H ( Y X ) H ( Y ) p(, yk ) ld i= k= p( yk ) S. 49 (2.23) Abschätzung mit: ln x x N N H ( Y X ) H ( Y ) p(, yk ) i= k= ld x ( x ) ln 2 ln 2 p( y k ) p( yk ) mit p(x i,y k ) = p(x i ) p(y k x i ) H ( Y X ) H ( Y ) ln 2 N N p( ) p( yk ) i= k= N N p(, yk ) = i= k= = = S. 5 25
26 gleichwahrscheinliche Einzelzeichen: Entropie einer Quelle mit Gedächtnis < Entropie einer Quelle ohne Gedächtnis besonders effiziente Quellencodierung durch Codierung von Zeichenfolgen bei Quellen mit Gedächtnis allgemeine Beschreibung einer diskreten Quelle mit Gedächtnis als Markoff-Quelle Markoff-Prozesse: Folge von Zufallsvariablen z, z, z 2,...,z n, (n = Zeitachse) z i und z j sind statistisch unabhängig: f z,,..., (, 2,..., ) ( ) z 2 z zn zn zn z = fz z n n n n (2.24) zn S. 5 z i und z j sind stat. abhängig (Markoff-Prozess m-ter Ordnung): fz z (,,..., ) (,..., ), z 2,..., z z n zn zn 2 z fz z,..., z zn zn z n n n = n n n m n m Häufig: Markoff-Prozess erster Ordnung (m = ): (2.25) fz z,,..., (, 2,..., ) ( ) z 2 z z n zn zn z = fz z z n z n n n n n n z i nehmen endlich viele diskrete Werte an: z i {x,..., x N } Markoff-Kette vollständige Beschreibung einer Markoff-Kette durch Übergangswahrscheinlichkeiten p( zn = x j zn =,..., z ) (,..., n = = p z n = x j zn = z n n m = x in (2.27) m S. 52 (2.26) ) 26
27 homogene Markoff-Kette: Übergangswahrscheinlichkeiten hängen nicht von der absoluten Zeit ab: p ( zn = x j zn =,..., z ) (,..., n m = = p z m k = x j zk = z k m = (2.28) stationäre Markoff-Kette: eingeschwungener Zustand hängt m nicht von den Anfangswahrscheinlichkeiten ab lim p ( zk+ n = x j zk = ) = lim p( zk+ n = x j ) = p( x j ) = w j n n (2.29) homogene und stationäre Markoff-Kette erster Ordnung: m = p ( zn = x j zn = ) = pij (2.3) ) S. 53 Übergangsmatrix: Eigenschaften der Übergangsmatrix: N p ij = j= Wahrscheinlichkeitsvektor: w = ( w w2 L wn ) = ( p( x ) p( x2) L p( xn )) (2.33) Bestimmung von w mit Hilfe des eingeschwungenen Zustands: w = w P p p2 L pn p2 p22 L p2n P = (2.3) L L O L pn pn 2 L pnn (2.32) (2.34) S
28 stationäre Markoff-Quelle: Markoff-Kette erster Ordnung Entropie einer stationären Markoff-Quelle = Entropie im eingeschwungenen Zustand: H ( Z) = lim H ( zn zn, zn 2, K, z) = H ( zn zn ) (2.35) n N N = p( zn = x j, zn = ) ld( p( zn = x j zn = )) i= j= (2.36) N N = wi p( zn = x j zn = ) ld( p( zn = x j zn = )) i= j= (2.37) N H ( Z) = wi H ( zn zn = ) = H ( zn zn = ) (2.38) i i= S. 55 Entropie H (Z) = bedingte Entropie, da Zeichen aus der Vergangenheit bereits bekannt sind H ( Z) = H ( zn zn ) H ( zn) H( zn) (2.39) Codierung einer Markoff-Quelle: Berücksichtigung des Gedächtnisses z. B. Huffman-Codierung unter Berücksichtigung des momentanen Zustands der Quelle grundsätzliches Problem bei Quellencodes mit variabler Länge: katastrophale Fehlerfortpflanzung S
29 Beispiel einer Markoff-Quelle: Zustände = gesendete Zeichen z n {x, x 2, x 3 } Übergangswahrscheinlichkeiten: z n z n x x 2 x 3 x,2,4,4 x 2,3,5,2 x 3,6,,3,2,4.4,4 ( p( zn = x j zn = )) = ( pij ) = P =,3,5,2,6,, x.4 x 2.6 S. 57 x Berechnung der stationären Wahrscheinlichkeiten mit: w = w P und N w i = i= w =,2w +,3 w 2 +,6w 3 (2.4) w 2 =,4 w +,5 w 2 +,w 3 w 3 =,4w +,2 w 2 +,3w 3 = w + w 2 + w 3 lineare Abhängigkeit! Lösung: w 33, , = w2 = w3 =, S
30 Berechnung der Entropie mit (35): N H ( Z) = wi H ( zn zn = ) i= N N = wi pij ld( pij ) i= j= (2.4) Zahlenwerte einsetzen: H ( z ),2 ld,4 ld,4 ld n zn = x = + +,529 bit / Zeichen,2,4,4 H ( z ),3 ld,5 ld,2 ld n zn = x2 = + +,4855 bit / Zeichen,3,5,2 H ( z ),6 ld, ld,3 ld n zn = x3 = + +,2955 bit / Zeichen,6,,3 S. 59 Entropie: H ( Z) = w H ( zn zn = x ) + w2h ( zn zn = x2) + w3h ( zn zn = x3),44 bit / Zeichen (2.42) zum Vergleich: statistisch unabhängige Zeichen N H ( Z) = lim H ( zn) = wi ld,584 bit / Zeichen n i= wi H = ld3,585 bit / Zeichen S. 6 3
31 zustandsabhängige Huffman-Codierung für das Beispiel: unterschiedliche Codierungen für jeden Zustand z n p ij Codewörter z n z n x x 2 x 3 x,2,4,4 x 2,3,5,2 x 3,6,,3 z n z n x x 2 x 3 L z n x,6 x 2,5 x 3,4 mittlere Codewortlänge: N N L = L( zn = x j zn = ) = wi pij L( zn = x j zn = ) i= j=,554 bit / Zeichen (2.43) S. 6 Quellencodierung ohne Kenntnis der statistischen Parameter der Quelle Lauflängencodierung (run-length coding) Substitution eines wiederholten Symbols durch ein einzelnes Symbole und die Anzahl der Wiederholungen Beispiel: Ausgangssequenz der Quelle: aaaabbbccccccccdddddeeeeeaaaaaaabddddd... codierte Sequenz: 4a3b8c5d5e7ab5d... S. 62 3
32 Codierung mit Wörterbüchern Idee: Wiederholungen in der Datensequenz werden durch (kürzere) Referezierungen in das Wörterbuch ersetzt Statisches Wörterbuch: schlechte Anpassung des Wörterbuchs an bestimmte zu codierende Daten geringe Kompression für die meisten Datenquellen S. 63 halbadaptives Wörterbuch Das Wörterbuch ist für die zu codierenden Daten zugeschnitten. Das Wörterbuch muss über den Kanal übertragen werden. Zwei Durchläufe über die Daten notwendig:» für den Aufbau des Wörterbuchs» für die Codierung der Daten Adaptives Wörterbuch Einfacher Durchlauf für den gleichzeitigen Aufbau des Wörterbuchs und der Codierung Lempel-Ziv-Algorithmus: *.zip *.gzip Dateien S
33 Lempel-Ziv-Algorithmus (LZ77) Suchfenster Analysefenster... a b c b a a b c b d f e e a a b a a c c d d d c d... Bearbeitungsfenster Suche nach der längsten Übereinstimmung zwischen den ersten Symbolen des Analysefensters und dem Suchfenster Ausgabe: Codewörter mit fester Länge Position der Übereinstimmung (Zählanfang = ) Länge der Übereinstimmung nächstes Symbol im Analysefenster S. 65 Parameter: Symbolalphabet: {x,x,x 2,..., x α } Eingangssequenz: S = {S,S 2,S 3,S 4,...} Länge des Analysefensters: L S Länge des Bearbeitungsfensters: n Codewörter: C i = {p i,l i,s i } Position der Übereinstimmung: p i Länge der Übereinstimmung: l i nächstes Symbol: S i Länge der Codewörter: LC = logα ( n LS ) + logα ( LS ) + S
34 Beispiel: Symbolalphabet: {,,2} Eingangssequenz: S = { } Länge des Analysefensters: L S = 9 Länge des Bearbeitungsfensters: n = 8 Schritt : Schritt 2: C = {22 2 } C 2 = {2 2} S. 67 Schritt 3: Schritt 4: C 3 = {2 2 2} C 4 = {2 22 } Anzahl codierter Quellensymbole nach 4 Schritten: = 24 Anzahl von Codewortsymbolen nach 4 Schritten: 4 5 = 2 S
35 Decodierung: Schritt : C = {22 2 } Schritt 2: C 2 = {2 2} 2 Schritt 3: C 3 = {2 2 2} Schritt 4: C 4 = {2 22 } S. 69 Nachrichtenübertragung über einen diskreten gedächtnislosen Kanal störungsfreier Kanal: Information am Ausgang = Information am Eingang übertragene Information = Entropie der Quelle gestörter Kanal: Information am Ausgang < Information am Eingang übertragene Information < Entropie der Quelle Definition: Transinformation = tatsächlich übertragene Information S. 7 35
36 Diskreter gedächtnisloser Kanal (discrete memoryless channel DMC) x p p 2 y p 2 X Diskreter gedächtnisloser Kanal Y x 2 p 22 y 2 x NX p NX N Y y NY Eingangssignal: Ausgangssignal: X { x, x2,..., x N X Y { y, y2,..., y N Y } } S. 7 Übergangsmatrix: P = mit p p2 Binärkanal: P = p2 p22 Fehlerwahrscheinlichkeit eines Binärkanals: p(fehler) = p( x ) p( y2 x ) + p( x2) p( y x2) = p( x ) p2 + p( x2) p2 ( p( Y = y X = x )) = ( p ) j N p ij = j= i p p2 ij = L pn X N X 2 NY 2NY N X NY S. 72 p p2 p22 L L L O L p p p L (2.44) (2.45) (2.46) (2.47) 36
37 Symmetrischer Binärkanal (binary symmetric channel - BSC) perr perr P = (2.48) perr perr x p err p err Fehlerwahrscheinlichkeit: x 2 p(fehler) = p( x ) p2 + p( x2) p2 = [ p( x ) + p( x2)] perr = perr (2.49) p err p err S. 73 Beispiel zur Transinformation qualitative Betrachtung: Übertragung von binären, statistisch unabhängigen und gleichwahrscheinlichen Symbolen (p() = p() =,5) symmetrischer Binärkanal mit p err =, mittlere Anzahl der richtig übertragenen Symbole: 99 aber: T(X,Y) <,99 bit/zeichen Ursache: genaue Lage der Fehler ist nicht bekannt S
38 Definitionen der Entropien an einem diskreten gedächtnislosen Kanal: Eingangsentropie = mittlerer Informationsgehalt der Eingangssymbole: N X H ( X ) = p( ) ld (2.5) i= p( ) Ausgangsentropie = mittlerer Informationsgehalt der Ausgangssymbole: NY H ( Y ) = p( y j ) ld (2.5) j= p( y j ) Verbundentropie = mittlere Unsicherheit des gesamten Übertragungssystems: N = X N Y H ( X, Y ) p(, y j ) ld (2.52) i= j= p(, y j ) S. 75 bedingte Entropie H(Y X) = mittlerer Informationsgehalt am Ausgang bei bekanntem Eingangssymbol = Entropie der Irrelevanz N = X N Y H ( Y X ) p(, y j ) ld (2.53) i= j= p( y j ) bedingte Entropie H(X Y) = mittlerer Informationsgehalt am Eingang bei bekanntem Ausgangssymbol = Entropie der Information, die auf dem Kanal verloren geht = Entropie der Äquivokation N = X N Y H ( X Y) p(, y j ) ld (2.54) i= j= p( y j ) S
39 Beziehungen zwischen den Entropien: H ( X, Y ) = H ( Y, X ) = H ( X ) + H ( Y X ) = H ( Y ) + H ( X Y ) H ( X Y ) H ( X ) H ( Y X ) H ( Y ) (2.55) (2.56) (2.57) mittlere Transinformation: T ( X, Y ) = H ( X ) H ( X Y) = H ( Y) H ( Y X ) = H ( X ) + H ( Y ) H ( X, Y) (2.58) (2.59) (2.6) S. 77 Informationsströme H(X Y) Äquivokation Quelle H(U) H(X) Transinformation T(X,Y) H(Y) Quellencodierer Quellendecoder H (Uˆ ) Senke H(Y X) Irrelevanz Übertragungskanal S
40 spezielle Beispiele zur Transinformation: idealer ungestörter Kanal: für i = j p ij = für i j Entropien: H(X Y) =, H(Y X) =, H(X,Y) = H(X) = H(Y) T(X,Y) = H(X) = H(Y) (2.6) (2.62) (2.63) (2.64) S. 79 (6) nutzloser, vollständig gestörter Kanal: p(x i,y j ) = p(x i ) p(y j ) = p(y j x i ) p(x i ) p(y j x i ) = p(y j ) p ij = p kj Entropien: H(X Y) = H(X), H(Y X) = H(Y), H(X,Y) = H(X) + H(Y) T(X,Y) = (2.65) (2.66) (2.67) (2.68) (2.69) S. 8 (6) 4
41 Beispiel zur Transinformation quantitative Betrachtung: Übertragung von binären, statistisch unabhängigen und gleichwahrscheinlichen Symbolen (p() = p() =,5) symmetrischer Binärkanal mit p err =, T ( X, Y ) = H ( Y ) H ( Y X ) NY N X N Y = p( y j ) ld p( ) p( y j ) ld j= p( y j ) i= j= p( y j ) = ( p() + p()) ( perr)ld + perrld = ( err) S p perr perr,992 bit/zeichen S. 8 Kanalkapazität Transinformation hängt von der Wahrscheinlichkeitsdichte der Quellensymbole ab Definition der Kanalkapazität: C = max T ( X, Y ) (2.7) T p( ) Kanalkapazität = Mamum des Transinformationsflusses T = Periode der Zeichen x i Dimension der Kanalkapazität: bit/s C hängt von den Kanaleigenschaften ab, nicht von der Quelle! S. 82 4
42 Definition von Informationsfluss... Informationsfluss = Entropie / Zeit: H (X) = H(X) / T Transinformationsfluss = Transinformation / Zeit: T (X,Y) = T(X,Y) / T Entscheidungsfluss = Entscheidungsgehalt / Zeit: H (X) = H (X) / T (2.7) (2.72) (2.73) S. 83 Beispiel: symmetrischer Binärkanal (binary symmetric channel BSC): T ( X, Y ) = H ( Y) H ( Y X ) = ( p + perr 2 p perr) ld p + perr 2 p perr + ( p perr + 2 p perr) ld p perr + 2 p perr perr ld + ( perr) ld perr perr (2.74) S
43 Transinformation bit/zeichen T(X,Y) p err = p err =, p err =,2 p err =,3 p err =, p(x ) Mamum für p = p(x ) =,5 S. 85 Kanalkapazität..8 C T / bit p err C T = max T( X, Y ) = perr ld + ( perr) ld = S( perr) p( x i ) perr p err (2.75) S
44 Beispiel: binärer Auslöschungskanal (binary erasure channel BEC) perr P = perr perr perr (2.76) C T = perr (2.77)..8 C T / bit p err S. 87 Satz von der Kanalkapazität (Shannon 948): Für jedes ε > und jeden Informationsfluss einer Quelle R kleiner als die Kanalkapazität C ( R < C ) estiert ein binärer Blockcode der Länge n (n hinreichend groß), so dass die Restfehlerwahrscheinlichkeit nach der Decodierung im Empfänger kleiner ε ist. Umkehrung: Für R > C kann die Restfehlerwahrscheinlichkeit eine gewisse Grenze auch bei größtem Aufwand nicht unterschreiten. S
45 Beweisführung mit zufälligen Blockcodes (random coding argument): Beweis für das Mittel über alle Codes Alle bekannten Codes sind schlechte Codes keine Konstruktionsvorschrift für Codes Kanalkapazität: Optimum für unendliche Codewortlänge unendliche Verzögerungszeit, unendliche Kompletät S. 89 Verfeinerung des Satzes von der Kanalkapazität mit dem Fehlerexponent nach Gallager für einen DMC mit N X Eingangssymbolen: + s N Y N X E R = s R p x + s i p y j x G ( C) max max C ld ( ) ( i) s p( ) j= i= (2.78) Es estiert immer ein (n,k)-blockcode mit R C = k / n ld N X < C T, so dass für die Wort-Fehlerwahrscheinlichkeit gilt: n EG ( RC ) Pw < 2 (2.79) S. 9 45
46 Fehlerexponent nach Gallager Eigenschaften: E G (R C ) > für R C < C E G (R C ) = für R C C Definition R -Wert:.8 R.6.4 E G (R C ) R = E G (R C = ) (2.8) R C R C S. 9 R -Wert (auch: computational cut-off rate) Mamum von E G (R C = ) liegt bei s = N Y N 2 X R = EG ( RC = ) = max ld p( ) p( y j ) p( x i ) j= i= (2.8) Vergleich für s = : N 2 Y N X EG ( RC ) max RC ld p( x ) p( y x ) i j i = R RC p( ) j= i = (2.82) S
47 R -Theorem: Es estiert immer ein (n,k)-blockcode mit R C = k / n ld N X < C T, so dass für die Wort-Fehlerwahrscheinlichkeit (bei Mamum- Likelihood-Decodierung) gilt: keine Konstruktionsvorschrift für gute Codes Wertebereiche für die Coderate R C R Abschätzung von P W mit (2.83) R R C C T Abschätzung von P W schwierig zu berechnen R C > C T P W kann nicht beliebig klein werden n ( R RC ) Pw < 2 (2.83) S. 93 Vergleich von Kanalkapazität und R -Wert für einen BSC:. bit/zeichen.8 C T R p err S
48 Ziele: Grundbegriffe und Codebeispiele für Blockcodes Konstruktion von Codewörtern binäre Codewörter redundante Codes Code C = Menge aller Codewörter Codewort c = (c, c,..., c n- ) mit c C Codierung ist gedächtnislose Zuweisung: Informationswort Codewort u = (u, u,..., u k- ) c = (c, c,..., c n- ) k Informationsstellen n Codewortstellen n k S. 95 identische Codes: Codes mit den gleichen Codewörtern äquivalente Codes: Codes, die nach Vertauschung von Stellen identisch werden allgemeine Bezeichnung: (n,k,d min ) q -Blockcode q = Anzahl bzw. Stufenzahl der Symbole Coderate: k R C = (3.) n Anzahl von Codewörtern: N = 2 k (3.2) S
49 systematische Codes: Codewort c = (u, p) (3.3) u u u 2 u u k- c c c 2 c c k- c k c k c n- m = n-k Prüf- / Kontrollstellen nicht-systematische Codes: Informations- und Prüfstellen nicht trennbar Blockcodes sind immer in äquivalente systematische Codes umformbar S. 97 Addition und Multiplikation im binären Zahlensystem (modulo 2): zwei Binärvektoren gleicher Länge x und y Hamming-Distanz: d H (x,y) = Anzahl der Abweichungen zwischen den Stellen von x und y Beispiel: d H (, ) = 3 S
50 (Hamming-)Gewicht eines Vektors x: n H ( ) = w x x i = Anzahl der von verschiedenen Stellen (3.4) i= Beispiel: w H ( ) = 5 Hamming-Distanz: d H (x,y) = w H (x + y) (3.5) Beispiel: x = ( ) y = ( ) x + y = ( ) w H (x + y) = 3 S. 99 Übertragung über Binärkanal: f y = x + f x y (3.6) f = Fehlervektor Der Wiederholungscode (repetition code) k = Informationsbit n Wiederholungen 2 k = 2 Codewörter: c = (... ) und c 2 = (... ) Wiederholungscode ist systematisch einfache Decodierung durch Mehrheitsentscheid, wenn n ungerade ist (n )/2 Fehler sind korrigierbar, n Fehler sind erkennbar S. 5
51 Beispiel für einen Wiederholungscode: n = 5 R C = /5 u = () c = ( ) und u 2 = () c 2 = ( ) gestörte Empfangsfolgen: f = ( ) und x = ( ) y = x + f = ( ) f 2 = ( ) und x 2 = ( ) y 2 = x 2 + f 2 = ( ) zwei Fehler korrigierbar, vier Fehler erkennbar S. Paritätskontrolle (parity check code) k Informationsbits, eine Prüfstelle (m = ) n = k + 2 k Codewörter c = (u p) mit p = u + u + u u k (gerade Anzahl von Einsen in den Codewörten c) Paritätskontrolle ist systematisch kein Fehler korrigierbar, ungerade Anzahl von Fehlern erkennbar Paritätskontrolle: s = y + y + y y n = kein Fehler s = y + y + y y n = Fehler (3.7) S. 2 5
52 Beispiel: k = 3 Codewort Information Prüfstelle c c c 2 c 3 c 4 c 5 c 6 c 7 y = ( ) kein Fehler y 2 = ( ) Fehler S. 3 Hamming-Code Korrektur eines einzelnen Fehlers in einem Codewort Beispiel: (7,4)-Hamming-Code u u u 2 u 3 c c c 2 c 3 c 4 c 5 c 6 Kontrollstellen: c 4 = c + c + c 2 c 5 = c + c + c 3 c 6 = c + c 2 + c 3 (3.8) (3.9) (3.) S. 4 52
53 Matrix-Darstellung von Blockcodes x = ug G = Generator-Matrix (k n -Matrix) Systematische Blockcodes: G = [I k P] I k = Einheitsmatrix k k, P = Prüfstellenmatrix k (n k) (3.) (3.2) Beispiel: (7,4)-Hamming-Code G = (3.3) S. 5 Fortsetzung: (7,4)-Hamming-Code Berechnung von Codewörtern durch Matrixmultiplikation ( )( ) u x G Anzahl von Codewörtern: 2 k = 6 Anzahl möglicher Empfangswörter: 2 n = 28 S. 6 53
54 Codewort-Tabelle Codewort Information Prüfstellen c c c 2 c 3 c 4 c 5 c 6 c 7 Codewort Information Prüfstellen c 8 c 9 c c c 2 c 3 c 4 c 5 S. 7 Eigenschaften von linearen Blockcodes: Jedes Codewort ist eine Linearkombination von Zeilen von G. Der Code setzt sich aus allen Linearkombinationen von G zusammen. Die Summe von Codewörtern ist wieder ein Codewort. Im Code ist der Nullvektor (... ) enthalten. Ein Code ist linear, wenn er als Matrixmultiplikation x = ug beschrieben werden kann (u beliebig). Generatormatrix: Zeilen müssen linear unabhängig sein S. 8 54
55 elementare Zeilenoperationen ändern einen Code nicht Vertauschung zweier Zeilen Multiplikation einer Zeile mit einem Skalar ungleich Addition einer Zeile zu einer anderen Die minimale Distanz zweier Codewörter entspricht dem minimalen Gewicht: dmin = min( dh( c, c2) c, c2 C; c c2 ) = min( wh ( c) c C; c ) = wmin (3.4) Beweis: dmin = min( dh( c, c2) c, c2 C; c c2 ) = min( dh(, c + c2) c, c2 C; c c2 ) = min( dh(, c) c C; c ) = min( wh ( c) c C; c ) S. 9 Fehlerkorrektur mit dem (7,4)-Hamming-Code: Auswertung der Prüfgleichungen: Syndrom s = y + y + y 2 + y 4 (3.5) Fehlerposition s s = y + y + y 3 + y s s 2 5 (3.6) kein Fehler s 2 = y + y 2 + y 3 + y 6 (3.7) Fehler in. Stelle Syndrom : s = (s s s 2 ) Fehler in. Stelle Fehler in 2. Stelle Symdrom hängt nicht vom Fehler in 3. Stelle Fehler in 4. Stelle Codewort ab, nur vom Fehler Fehler in 5. Stelle Zuordnung der Fehlerposition Fehler in 6. Stelle S. 55
56 Decodierung von Hamming-Codes: Auswertung der Prüfgleichungen Syndrom Fehlerposition aus Syndromtabelle Fehlerkorrektur: an der Fehlerposition addieren m = n k Kontrollstellen adressieren 2 m Positionen (Nullvektor) Blocklänge: n = 2 m mögliche Parameter für Hamming-Codes: m n k (2 m,2 m m)-blockcode S. (3.8) Prüfmatrix Definition: und ch T = für alle c C xh T für alle x C (3.9) Eigenschaften der Prüfmatrix: = ch T = (ug) H T = u (GH T ) GH T = Generatormatrix und Prüfmatrix sind orthogonal elementare Zeilenoperationen für H sind erlaubt Prüfmatrix: H = (P T I n k ) mit G = [I k P] H ist (n k) n -Matrix (3.2) (3.2) S. 2 56
57 Nachweis der Orthogonalität: T P G H = k k n k = In k ( I P) = I P + P I = P + P Dualer Code Code C : Generatormatrix G, Prüfmatrix H (3.22) dualer Code C d : Generatormatrix G d = H, Prüfmatrix H d = G Codewörter der beiden Codes sind orthogonal: mit c = ug C und c d = vh C d gilt: T T T T ( u G)( v H) = u G H v = u T c cd = v = (3.23) S. 3 Beispiel für duale Codes: Wiederholungscode G = ( L ) Paritätskontrolle: G = M L M O L M H = M H = L M O L M ( L ) (3.24) (3.25) S. 4 57
58 Syndromberechnung in Matrix-Schreibweise: s = yh T Eigenschaften des Syndroms: Syndrom ist Nullvektor nur dann, wenn y ein Codewort ist Syndrom ist unabhängig vom Codewort: s = yh T = (x + f) H T = fh T alle Fehlervektoren f werden erkannt, die nicht Codewörter sind (3.26) (3.27) S. 5 Beispiel: (7,4)-Hamming-Code G = P = T H = ( P I = n k ) S. 6 58
59 Beispiel: (7,4)-Hamming-Code s = yh T s = ( y y K ) y6 s = y + y + y 2 + y 4 s = y + y + y 3 + y 5 s 2 = y + y 2 + y 3 + y 6 S. 7 Konstruktionsvorschrift für Hamming-Codes Syndrom hängt nur von Fehlervektor ab: s = fh T ein Einzelfehler an der Stelle i (f i = ) führt zu einem Syndrom, das der entsprechenden Zeile von H T entspricht alle Zeilen von H T müssen sich unterscheiden, damit die Fehlerposition eindeutig bestimmt werden kann keine Zeile von H T darf ein Nullvektor sein Die Zeilen von H T / Spalten von H werden durch alle möglichen Sequenzen bis auf den Nullvektor gebildet (3.28) S. 8 59
60 Prüfmatrix eines systematischen Hamming-Codes: L L L T L L M H = ( P I = n k ) M M L L M O L L L (3.29) alle möglichen Spaltenvektoren mit mehr als einer Beispiel: (5,)-Hamming-Code H = (3.3) S. 9 Modifikationen linearer Codes Expandieren (extending): Anhängen zusätzlicher Prüfstellen n' > n, k' = k, m' > m, R C ' < R C, d min ' d min Punktieren (puncturing): Reduktion von Prüfstellen n' < n, k' = k, m' < m, R C ' > R C, d min ' d min Verlängern (lengthening): Anhängen zusätzlicher Informationsstellen n' > n, k' > k, m' = m, R C ' > R C, d min ' d min Verkürzen (shortening): Reduktion von Informationsstellen n' < n, k' < k, m' = m, R C ' < R C, d min ' d min S. 2 6
61 Beispiel: Hamming-Code: ein Fehler korrigierbar durch Syndrom-Auswertung zwei Fehler führen ebenfalls auf s erweiterter (expandierter) Hamming-Code: Unterscheidung zwischen - und 2-Fehlersituation durch zusätzliche Prüfstelle (2 m,2 m m)-blockcode Generatormatrix des erweiterten Hamming-Codes: G H,ext = GH (3.3) M S. 2 Fehlerereignisse: kein Fehler: s = ein Fehler: s, s m+ = zwei Fehler: s, s m+ = Decodierung: s = : Empfangsvektor = Codewort s, s m+ = : ungerade Anzahl von Fehlern ein Fehler angenommen und durch Syndrom-Auswertung korrigiert s, s m+ = : gerade Anzahl von Fehlern Fehler können nicht korrigiert werden S. 22 6
62 Fehlerkorrektur und Fehlererkennung minimale Distanz zwischen Codewörtern: ( d ( c, c ) c c ) d min = min H 2, 2 C (3.32) d min = : einzelner Fehler kann dazu führen, dass Fehler weder erkennbar noch korrigierbar ist d min = 2 : mindestens ein einzelner Fehler kann erkannt werden d min = 3 : mindestens ein einzelner Fehler kann korrigiert werden mindestens zwei Fehler können erkannt werden S. 23 Fehlerkorrektur und Fehlererkennung d min = 3 d min = 4 Anzahl erkennbarer Fehler: t e = d min Anzahl korrigierbarer Fehler d min ist gerade: t = (d min 2) / 2 d min ist ungerade: t = (d min ) / 2 S. 24 (3.33) (3.34) (3.35) 62
63 Singleton-Schranke: Mindestdistanz und Mindestgewicht eines linearen Codes sind beschränkt durch: d min = wmin + n k = + m (3.36) Beweis: systematisches Codewort mit einer Informationsstelle ungleich Gewicht / Distanz in Informationsstellen: d H,Information = Gewicht / Distanz in Prüfstellen: d H,Prüf m = n k Ein Code, für den das Gleichheitszeichen in (3.36) gilt, heißt mamum distance separable (MDS) S. 25 Fehlererkennung: (3.33): t e + = d min + m m t e mindestens Prüfstelle pro erkennbarem Fehler notwendig Fehlerkorrektur: (3.34, 3.35): (d min ) / 2 t (d min 2) / 2 2 t + d min + m m 2 t mindestens 2 Prüfstellen pro korrigierbarem Fehler notwendig (3.37) (3.38) S
64 Decodierkugel: n-dimensionale Kugel um Codewort mit Radius t alle Vektoren im Innern der Decodierkugeln werden als zugehöriges Codewort decodiert Gesamtzahl aller Vektoren innerhalb von Decodierkugeln Gesamtzahl aller möglichen Vektoren Hamming-Schranke: Für einen binären (n,k)-blockcode mit der Korrekturfähigkeit t gilt: t k n n 2 2 i i= (3.39) S. 27 Beweis: Anzahl von Vektoren um ein Codewort mit d H = : Anzahl von Vektoren um ein Codewort mit d H = 2: Anzahl von Vektoren um ein Codewort mit d H = t: n n ( n ) K ( n ( t )) mit = t t ( t ) K n n 2 n t (3.4) Gesamtzahl aller Vektoren innerhalb von Decodierkugeln: 2 k n n n n n K t S
65 Perfekte Codes (dichtgepackte Codes) in (3.39) gilt Gleichheitszeichen keine Codewörter liegen zwischen den Codierkugeln nur sehr wenige bekannte Codes sind perfekt Beispiel: (7,4)-Hamming-Code d min = w min = 3 t = ( + 7) = 28 = Hamming-Codes sind perfekt S. 29 Plotkin-Schranke: Für einen binären (n,k)-blockcode mit der minimalen Distanz d min gilt: k 2 dmin n k (3.4) 2 Näherung: n k dmin für 2 >> 2 Beweis: minimales Gewicht mittlerem Gewicht mittleres Gewicht einer Stelle eines Codeworts: /2 mittleres Gewicht eines Codeworts der Länge n: n/2 mittleres Gewicht ohne Nullvektor: k n 2 2 k 2 S. 3 65
Nachrichtentechnik 4 3 Kanalcodierung in der Nachrichtenübertragung
Beispiel für einen Wiederholungscode: n = 5 R C = /5 u = () c = ( ) und u 2 = () c 2 = ( ) gestörte Empfangsfolgen: f = ( ) und x = ( ) y = x + f = ( ) f 2 = ( ) und x 2 = ( ) y 2 = x 2 + f 2 = ( ) uˆ
Mehr3 Codierung diskreter Quellen. Quelle Quellcodierer Kanalcodierer reduziert die benötigte Datenmenge. fügt Daten zur Fehlerkorrektur ein.
3 Codierung diskreter Quellen 3 Einführung 32 Ungleichmäßige Codierung 33 Präfix-Codes 34 Grenzen der Code-Effizienz 35 Optimal-Codierung 3 Zusammenfassung < 24 / 228 > 3 Codierung diskreter Quellen Quelle
MehrKlausur Informationstheorie und Codierung
Klausur Informationstheorie und Codierung WS 2013/2014 23.01.2014 Name: Vorname: Matr.Nr: Ich fühle mich gesundheitlich in der Lage, die Klausur zu schreiben Unterschrift: Aufgabe A1 A2 A3 Summe Max. Punkte
MehrEinführung in die Codierungstheorie
Einführung in die Codierungstheorie Monika König 11.12.2007 Inhaltsverzeichnis 1 Einführung und Definitionen 2 2 Fehlererkennende Codes 3 2.1 Paritycheck - Code............................... 3 2.2 Prüfziffersysteme................................
MehrEinführung in die Codierungstheorie
11. Dezember 2007 Ausblick Einführung und Definitionen 1 Einführung und Definitionen 2 3 Einführung und Definitionen Code: eindeutige Zuordnung von x i X = {x 1,.., x k } und y j Y = {y 1,..., y n } Sender
MehrTechnische Informatik - Eine Einführung
Martin-Luther-Universität Halle-Wittenberg Fachbereich Mathematik und Informatik Lehrstuhl für Technische Informatik Prof. P. Molitor Technische Informatik - Eine Einführung Darstellung von Zeichen und
MehrKapitel 13: Syndromcodierung / Hamming Codes
Kapitel 3: Syndromcodierung / Hamming Codes Ziele des Kapitels Lineare Codes Zyklische Codes Copyright M. Gross, ETH Zürich 26, 27 2 Parity-Check-Matrix Theorem: Die Minimaldistanz eines linearen Codes
MehrBeispiel: Zeigen Sie, dass H(x) = H 0 = I gilt, wenn alle Zeichen gleichwahrscheinlich sind.
1 2 Im ersten Schritt werden wir uns mit dem Begriff und der Definition der Information beschäftigen. Ferner werden die notwendigen math. Grundlagen zur Quellencodierung gelegt. Behandelt werden Huffman,
Mehri Der Informatinonsgehalt ist also intuitiv umgekehrt proportional der Auftritswahrscheimlichkeit.
1 2 Im ersten Schritt werden wir uns mit dem Begriff und der Definition der Information beschäftigen. Ferner werden die notwendigen math. Grundlagen zur Quellencodierung gelegt. Behandelt werden Huffman,
MehrÜbungsaufgaben zur Vorlesung Quellencodierung
Übungsaufgaben zur Vorlesung Quellencodierung Aufgabe 1: Gegeben seien die Verbundwahrscheinlichkeiten zweier diskreter Zufallsvariablen x und y: P(x, y) x 1 = 1 x 2 = 2 x 3 = 3 y 1 = 1 0.1 0.1 0.1 y 2
MehrKapitel 7: Optimalcodierung und Huffman Coding
Kapitel 7: codierung und Huffman Coding Ziele des Kapitels Auftreten von Fehlern bei zu starker Kompression Konstruktion optimaler Codes Huffman Coding 2 Bisher Theorem (Shannon I): Die mittlere Codewortlänge
MehrEinführung in die Kodierungstheorie
Einführung in die Kodierungstheorie Einführung Vorgehen Beispiele Definitionen (Code, Codewort, Alphabet, Länge) Hamming-Distanz Definitionen (Äquivalenz, Coderate, ) Singleton-Schranke Lineare Codes Hamming-Gewicht
MehrInformationstheorie und Codierung
Informationstheorie und Codierung 3. Codierung diskreter Quellen Gleichmäßiger Code Ungleichmäßiger Code Fano-, Huffman-Codierung Optimalcodierung von Markoff-Quellen Lauflängencodes nach Golomb und Rice
MehrGrundlagen der Informationstheorie. Hanna Rademaker und Fynn Feldpausch
Grundlagen der Informationstheorie Hanna Rademaker und Fynn Feldpausch . Thema Informationstheorie geht zurück auf Claude Shannon The Mathematical Theory of Communication beschäftigt sich mit Information
MehrRechnernetze Übung 5. Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai Wo sind wir?
Rechnernetze Übung 5 Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai 2012 Wo sind wir? Quelle Nachricht Senke Sender Signal Übertragungsmedium Empfänger Quelle Nachricht Senke Primäres
MehrVorlesung Theoretische Grundlagen
Vorlesung Theoretische Grundlagen Fehlerkorrigierende Jörn Müller-Quade 4. Februar 2010 INSTITUT FÜR KRYPTOGRAPHIE UND SICHERHEIT KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum
MehrAufgabe 7.1 Bei einer digitalen Übertragung liege folgendes Modell vor:
1 Aufgabe 7.1 Bei einer digitalen Übertragung liege folgendes Modell vor: Q x q x akf digitale Übertrag. q y akf S y Quellensymboldauer T q = 1ms diskreter Kanal Q x sei eine stationäre Markov-Quelle nullter
MehrVorlesung Theoretische Grundlagen Fehlerkorrigierende Codes Jörn Müller-Quade 29. Januar 2013
Vorlesung Theoretische Grundlagen Fehlerkorrigierende Jörn Müller-Quade 29. Januar 2013 I NSTITUT FÜR K RYPTOGRAPHIE UND S ICHERHEIT KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum
MehrGegeben ist ein systematischer (7,3)-Cod. Die drei seiner Codewörter lauten:
Prof. Dr.-Ing. H.G. Musmann INSTITUT FÜR THEORETISCHE NACHRICHTENTECHNIK UND INFORMATIONSVERARBEITUNG UNIVERSITÄT HANNOVER Appelstraße 9A 67 Hannover Gegeben ist ein systematischer (7,)-Cod. Die drei seiner
MehrP (x i ) log 2 = P (x. i ) i=1. I(x i ) 2 = log 1. bit H max (X) = log 2 MX = log 2 2 = 1. Symbol folgt für die Redundanz. 0.9 = 0.
7. Diskretes Kanalmodell I 7. a Aussagen über das digitale Übertragungsverfahren Bis auf die bereitzustellende Übertragungsrate [vgl. c)] sind keine Aussagen über das digitale Übertragungsverfahren möglich.
MehrEinführung in die Informatik II Aus der Informationstheorie: Datenkompression
Einführung in die Informatik II Aus der Informationstheorie: Datenkompression Prof. Bernd Brügge, Ph.D Institut für Informatik Technische Universität München Sommersemester 2 2. Juli 2 Copyright 2 Bernd
Mehr7. Woche Extra-Material: - Beispiele von Codes. 7. Woche: Beispiele von Codes 144/ 238
7 Woche Extra-Material: - Beispiele von Codes 7 Woche: Beispiele von Codes 144/ 238 Hamming-Matrix H(h) und Hammingcode H(h) Wir definieren nun eine Parity-Check Matrix H(h) von einem neuen Code: Parametrisiert
MehrFehlerschutz durch Hamming-Codierung
Versuch.. Grundlagen und Begriffe Wesentliche Eigenschaften der Hamming-Codes für die Anwendung sind: der gleichmäßige Fehlerschutz für alle Stellen des Codewortes und die einfache Bildung des Codewortes
Mehr(Prüfungs-)Aufgaben zur Codierungstheorie
(Prüfungs-)Aufgaben zur Codierungstheorie 1) Gegeben sei die folgende CCITT2-Codierung der Dezimalziffern: Dezimal CCITT2 0 0 1 1 0 1 1 1 1 1 0 1 2 1 1 0 0 1 3 1 0 0 0 0 4 0 1 0 1 0 5 0 0 0 0 1 6 1 0 1
Mehr1 Grundlagen. 1.1 Erste Grundbegriffe 1.2 Kryptographische Systeme 1.3 Informationstheoretische Grundlagen
1 Grundlagen 1.1 Erste Grundbegriffe 1.2 Kryptographische Systeme 1.3 Informationstheoretische Grundlagen Die Überlegungen dieses Kapitels basieren auf der Informationstheorie von Shannon. Er beschäftigte
Mehr6. Woche: Lineare Codes, Syndrom, Gilbert-Varshamov Schranke. 6. Woche: Lineare Codes, Syndrom, Gilbert-Varshamov Schranke 107/ 238
6 Woche: Lineare Codes, Syndrom, Gilbert-Varshamov Schranke 6 Woche: Lineare Codes, Syndrom, Gilbert-Varshamov Schranke 107/ 238 Erinnerung: Der Vektorraum F n 2 Schreiben {0, 1} n als F n 2 Definition
MehrChaosSeminar - Informationstheorie
Alexander.Bernauer@ulm.ccc.de Stephanie.Wist@ulm.ccc.de 18. November 2005 Motivation schnelle Übertragung von Daten über gestörten Kanal Shannon48 Was ist Information? Information ist Abnahme von Unsicherheit
MehrÜbung zur Vorlesung. Informationstheorie und Codierung
Übung zur Vorlesung Informationstheorie und Codierung Prof. Dr. Lilia Lajmi Juni 25 Ostfalia Hochschule für angewandte Wissenschaften Hochschule Braunschweig/Wolfenbüttel Postanschrift: Salzdahlumer Str.
MehrTGI-Übung Dirk Achenbach
TGI-Übung 7 06.02.2014 Dirk Achenbach INSTITUT FÜR THEORETISCHE INFORMATIK KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Agenda
MehrFormelsammlung Kanalcodierung
Formelsammlung Kanalcodierung Allgemeines Codewortlänge: N Anzahl der Informationsstellen: K Coderate: R = K/N Hamming-Distanz: D( x i, x j ) = w( x i xj ) Codedistanz: d = min D( x i, x j ); i j Fehlerkorrektur:
MehrDirk W. Hoffmann. Einführung. in die Informations. und Codierungstheorie. ^ Springer Vieweg
Dirk W. Hoffmann Einführung und Codierungstheorie in die Informations ^ Springer Vieweg Inhaltsverzeichnis 1 Geschichte der Nachrichtentechnik 13 1.1 Von Fackeln und Feuern der Antike 15 1.1.1 Fackelpost
MehrKapitel 9: Informationstheorie. 2. Entropie
ZHAW, NT, FS2008, Rumc, Kapitel 9: 2-1 Kapitel 9: Informationstheorie 2. Entropie Inhaltsverzeichnis 2.1. INFORATIONSQUELLEN...2 2.2. INFORATIONSGEHALT...3 2.3. INIALE ANZAHL BINÄRE FRAGEN...5 2.4. ENTROPIE
MehrFachprüfung. Nachrichtencodierung
Fachprüfung Nachrichtencodierung 14. März 2006 Prüfer: Prof. Dr. P. Pogatzki Bearbeitungszeit: 2 Stunden Hilfsmittel: Taschenrechner, Vorlesungsscript, Übungsaufgaben Name:... Matr.-Nr.:... Unterschrift:...
MehrCodierungstheorie Teil 1: Fehlererkennung und -behebung
Codierungstheorie Teil 1: Fehlererkennung und -behebung von Manuel Sprock 1 Einleitung Eine Codierung ist eine injektive Abbildung von Wortmengen aus einem Alphabet A in über einem Alphabet B. Jedem Wort
MehrCODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005
CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005 1. Das Problem 1.1. Kanalcodierung und Fehlerkorrektur. Wir wollen eine Nachricht über einen digitalen Kanal, der nur 0 oder 1 übertragen kann, schicken.
MehrGruppe. Kanalcodierung
Kanalcodierung Ziele Mit diesen rechnerischen und experimentellen Übungen wird die prinzipielle Vorgehensweise zur Kanalcodierung mit linearen Block-Codes und mit Faltungscodes erarbeitet. Die konkrete
Mehr3. Woche Information, Entropie. 3. Woche: Information, Entropie 45/ 238
3 Woche Information, Entropie 3 Woche: Information, Entropie 45/ 238 Informationsgehalt einer Nachricht Intuitiv: Je kleiner die Quellws, desto wichtiger oder strukturierter die Information, bzw höher
MehrDie Mathematik in der CD
Lehrstuhl D für Mathematik RWTH Aachen Lehrstuhl D für Mathematik RWTH Aachen St.-Michael-Gymnasium Monschau 14. 09. 2006 Codes: Definition und Aufgaben Ein Code ist eine künstliche Sprache zum Speichern
MehrInformation und Codierung
Richard W. Hamming Information und Codierung Technische Universität Darmstadt FACHBEREICH INFORMATIK BIBLIOTHEK Invantar-Nr.: Sachgebiete:. Standort: VCH Inhalt Vorwort zur 1. Auflage der Originalausgabe
MehrKapitel 11: Binäre Kanäle
Kaitel : Binäre Kanäle Ziele des Kaitels Binäre Kanäle und ihre Eigenschaften Gedächtnisfreie Kanäle Codierung als Schätzung und Schätzverfahren Kanalkaazität Shannon'sches Kanalcodierungstheorem Grundlegendes
MehrGrundlagen der Technischen Informatik. 3. Übung
Grundlagen der Technischen Informatik 3. Übung Christian Knell Keine Garantie für Korrekt-/Vollständigkeit 3. Übungsblatt Themen Aufgabe : Aufgabe 2: Aufgabe 3: Informationstheorie Huffman-Code Entropie
MehrKlausur zur Vorlesung Informationstheorie
INSTITUT FÜR INFORMATIONSVERARBEITUNG UNIVERSITÄT HANNOVER Appelstraße 9A 0167 Hannover Klausur zur Vorlesung Informationstheorie Datum:.02.2006 Uhrzeit: 9:00 Uhr Zeitdauer: 2 Stunden Hilfsmittel: ausgeteilte
MehrAlgebraische Codierungstheorie
Algebraische Codierungstheorie Grundeigenschaften der Codes und ihre wichtigsten Parameterschranken Iryna Feurstein Inhaltsverzeichnis 1 Gegenstand und Aufgabe der Codierungstheorie 1 2 Blockcode 1 2.1
MehrRedundanz. Technische Informationsquelle Entropie und Redundanz Huffman Codierung. Martin Werner WS 09/10. Martin Werner, Dezember 09 1
Information, Entropie und Redundanz Technische Informationsquelle Entropie und Redundanz Huffman Codierung Martin Werner WS 9/ Martin Werner, Dezember 9 Information und Daten Informare/ Informatio (lat.)
MehrModul Diskrete Mathematik WiSe 2011/12
Modul Diskrete Mathematik WiSe / Ergänzungsskript zum Kapitel 3.4. Hinweis: Dieses Manuskript ist nur verständlich und von Nutzen für Personen, die regelmäßig und aktiv die zugehörige Vorlesung besuchen
MehrKlausur zur Vorlesung Informationstheorie
INSTITUT FÜR THEORETISCHE NACHRICHTENTECHNIK UND INFORMATIONSVERARBEITUNG UNIVERSITÄT HANNOVER Appelstraße 9A 07 Hannover Klausur zur Vorlesung Informationstheorie Datum: 0.0.00 Uhrzeit: 09:00 Uhr Zeitdauer:
MehrDie Größe A(n, d) und optimale Codes
Die Größe A(n, d) und optimale Codes Definition Optimaler Code Wir definieren A(n, d) = max{m binärer (n, M, d) Code} Ein (n, M, d)-code heißt optimal, falls M = A(n, d). Bestimmung von A(n, d) ist offenes
MehrA1.1: Zur Kennzeichnung aller Bücher
Abschnitt: 1.1 Zielsetzung der Kanalcodierung A1.1: Zur Kennzeichnung aller Bücher Seit den 1960er Jahren werden alle Bücher mit einer 10 stelligen International Standard Book Number versehen. Die letzte
MehrMusterlösung zur Aufgabe A1.1
Abschnitt: 1.1 Zielsetzung der Kanalcodierung Musterlösung zur Aufgabe A1.1 a) Allein durch Abzählen der ISBN Ziffern erkennt man, dass Antwort 2 richtig ist. Die gewichtete Summe über alle Ziffern ergibt
MehrEntropie. Um der Begriff der Entropie zu erläutern brauchen wir erst mal einige Definitionen, z.b.
Entropie Grundlegend für das Verständnis des Begriffes der Komprimierung ist der Begriff der Entropie. In der Physik ist die Entropie ein Maß für die Unordnung eines Systems. In der Informationstheorie
Mehrzu Aufgabe 26: a) A 3 A 2 A 4 A 1 A 5 A 0 A 6
zu ufgabe 6: a) 3 5 6 7 p( ) p( ) p( 3 ) p( ) p( 5 ) p( 6 ) p( 7 ) = p( 3 ) = p( 3 ) = p( 3 ) = p( ) = p( ) = p( ) = p( ) = p( ) = p( ) = p( ) = p( ) = 8 p( ) = p( ) = p( ) = p( ) Lösung: b) binär 8 p(
MehrGrundbegrie der Codierungstheorie
Grundbegrie der Codierungstheorie Pia Lackamp 12. Juni 2017 Inhaltsverzeichnis 1 Einleitung 2 2 Hauptteil 3 2.1 Blockcodes............................ 3 2.1.1 Beispiele.......................... 3 2.2
MehrCodes on Graphs: Normal Realizations
Codes on Graphs: Normal Realizations Autor: G. David Forney, Jr. Seminarvortrag von Madeleine Leidheiser und Melanie Reuter Inhaltsverzeichnis Einführung Motivation Einleitung Graphendarstellungen Trellis
MehrTheoretische Grundlagen der Informatik
Theoretische Grundlagen der Informatik Informationstheorie INSTITUT FÜR THEORETISCHE KIT 8.2.22 Universität des Dorothea Landes Baden-Württemberg Wagner - Theoretische und Grundlagen der Informatik INSTITUT
MehrModul 1: Einführung und Wahrscheinlichkeitsrechnung
Modul : Einführung und Wahrscheinlichkeitsrechnung Informationstheorie Dozent: Prof. Dr. M. Gross E-mail: grossm@inf.ethz.ch Assistenten: Bernd Bickel, Daniel Cotting, Michael Waschbüsch, Boris Köpf, Andrea
MehrOptimalcodierung. Thema: Optimalcodierung. Ziele
Optimalcodierung Ziele Diese rechnerischen und experimentellen Übungen dienen der Vertiefung der Kenntnisse im Bereich der Optimalcodierung, mit der die Zeichen diskreter Quellen codiert werden können.
Mehr4.0.2 Beispiel (Einfacher Wiederholungscode). Im einfachsten Fall wird die Nachricht einfach wiederholt. D.h. man verwendet die Generatorabbildung
Wir beschäftigen uns mit dem Problem, Nachrichten über einen störungsanfälligen Kanal (z.b. Internet, Satelliten, Schall, Speichermedium) zu übertragen. Wichtigste Aufgabe in diesem Zusammenhang ist es,
MehrFehlerdetektion. Cyclic Redanduncy Check. Grundlagen der Rechnernetze Übertragungssicherung 7
Fehlerdetektion Cyclic Redanduncy Check Grundlagen der Rechnernetze Übertragungssicherung 7 Modulo 2 Arithmetik Addition Modulo 2 Subtraktion Modulo 2 Multiplikation Modulo 2 A B A B 0 0 0 1 1 0 1 1 A
MehrErinnerung: Der Vektorraum F n 2
Erinnerung: Der Vektorraum F n 2 Definition Vektorraum F n 2 F n 2 = ({0, 1}n,+, ) mit Addition modulo 2, + : F n 2 Fn 2 Fn 2 und skalarer Multiplikation : F 2 F n 2 Fn 2 definiert einen Vektorraum, d.h.
MehrDiskrete Mathematik II
Diskrete Mathematik II Alexander May Fakultät für Mathematik Ruhr-Universität Bochum Sommersemester 2008 DiMA II - Vorlesung 01-07.04.2008 Einführung in die Codierungstheorie, Definition Codes 1 / 36 Organisatorisches
MehrFachprüfung. Nachrichtencodierung
Fachprüfung Nachrichtencodierung 23. Februar 2010 Prüfer: Prof. Dr. P. Pogatzki Bearbeitungszeit: 2 Stunden Hilfsmittel: Taschenrechner, Vorlesungsscript, Übungsaufgaben Name: Vorname: Matr.-Nr.: Unterschrift:
MehrErzeugendensystem und Basis
Erzeugendensystem und Basis Definition Erzeugendensystem und Basis eines Unterraums Sei S F n 2 ein Unterraum. Eine Menge G = {g 1,..., g k } S heißt Erzeugendensystem von S, falls jedes x S als Linearkombination
MehrWir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir
Kapitel 3: Entropie Motivation Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir log N Bits log p N Bits Die Information steht
MehrKanalkodierung. 6 Kanalkodierung Zielstellung. Störungen der übertragenen Daten. 6 Kanalkodierung Zielstellung WS 2018/2019
Fakultät Informatik Institut Systemarchitektur Professur Datenschutz und Datensicherheit WS 2018/2019 6. Kanalkodierung Dr.-Ing. Elke Franz Elke.Franz@tu-dresden.de 6 Kanalkodierung Zielstellung en der
MehrGrundlagen der Technischen Informatik. 2. Übung
Grundlagen der Technischen Informatik 2. Übung Christian Knell Keine Garantie für Korrekt-/Vollständigkeit 2. Übungsblatt Themen Aufgabe 1: Aufgabe 2: Aufgabe 3: Aufgabe 4: Hamming-Distanz Fehlererkennung
Mehr16 - Kompressionsverfahren für Texte
16 - Kompressionsverfahren für Texte Prof. Dr. S. Albers Kompressionsverfahren für Texte Verlustfreie Kompression Original kann perfekt rekonstruiert werden Beispiele: Huffman Code, Lauflängencodierung,
MehrFehlerkorrektur. Gliederung Kanalstörungen Einfache Verfahren Hamming-Abstand Technische Schaltungen Binäre Arithmetik Matrizenrechnung Typische Codes
Gliederung Kanalstörungen Einfache Verfahren Hamming-Abstand Technische Schaltungen Binäre Arithmetik Matrizenrechnung Typische Codes Fehlerkorrektur Fehlertypen Merksätze: Alle Fehler sind statistisch
MehrIndex. Chien-Suche, 220 CIRC, 234 Code, 2, 9 äquidistanter, 81
Index Abelsche Gruppe, 140 Abgeschlossenheit, 47, 140, 143 Abhängigkeit lineare, 53 Abtastfolge, 226 ACS-Operation, 279 Addition, 46, 163 Alphabet, 1 ARQ, 6, 174 Assoziativität, 47, 52, 140, 143 Audio-CD,
MehrΙ. Einführung in die Codierungstheorie
1. Allgemeines Ι. Einführung in die Codierungstheorie Codierung: Sicherung von Daten und Nachrichten gegen zufällige Fehler bei der Übertragung oder Speicherung. Ziel der Codierung: Möglichst viele bei
MehrLabor für Kommunikationssysteme
Labor für Kommunikationssysteme Leitung: Prof. Dr.-Ing. Diederich Wermser Versuch: Kanalcodierung Sommersemester 2017 Gruppe: Datum: Teilnehmer: Name: Matr.-Nr.: Name: Matr.-Nr.: Name: Matr.-Nr.: Laborumdruck
MehrTheoretische Grundlagen der Informatik. Vorlesung am 31. Januar INSTITUT FÜR THEORETISCHE INFORMATIK
Theoretische Grundlagen der Informatik 3..29 Torsten Ueckerdt - Theoretische Grundlagen der Informatik KIT Die Forschungsuniversität in der Helmholtz-Gemeinschaft www.kit.edu Thema dieses Kapitels Informationstheorie
MehrFachprüfung. Nachrichtencodierung
Fachprüfung Nachrichtencodierung 6. August 2009 Prüfer: Prof. Dr. P. Pogatzki Bearbeitungszeit: 2 Stunden Hilfsmittel: Taschenrechner, Vorlesungsscript, Übungsaufgaben Name: Vorname: Matr.-Nr.: Unterschrift:
MehrKolmogoroffkomplexität Teil 3 Informationstheorie und Kodierung. Torsten Steinbrecher
Kolmogoroffkompleität Teil 3 Informationstheorie und Kodierung Torsten Steinbrecher Informationstheorie Information ist Δ Wahlfreiheit beim Sender Δ Unbestimmtheit beim Empfänger Information ist nicht
MehrProseminar Datenkompression Suchstrategien und Präfixcodes
Proseminar Datenkompression Suchstrategien und Präfixcodes Patrick Sonntag Mittwoch, den 05.02.2003 I. Einführung - Suche elementares Problem in Informatik - hierbei Beschränkung auf binäre Tests nur 2
MehrÜbungen zur Vorlesung Grundlagen der Rechnernetze. Zusätzliche Übungen
Übungen zur Vorlesung Grundlagen der Rechnernetze Zusätzliche Übungen Hamming-Abstand d Der Hamming-Abstand d zwischen zwei Codewörtern c1 und c2 ist die Anzahl der Bits, in denen sich die beiden Codewörter
MehrEinleitung. Kapitel 1
Kapitel 1 Einleitung In diesem Abschnitt geben wir einen kurzen Überblick über den Inhalt der Vorlesung. Wir werden kurz die wesentlichen Probleme erläutern, die wir ansprechen wollen. Wir werden auch
MehrÜbungsblatt 5 - Musterlösung
Universität Mannheim Lehrstuhl für Praktische Informatik IV Prof. Dr. W. Effelsberg Christoph Kuhmünch, Gerald Kühne Praktische Informatik II SS 2000 Übungsblatt 5 - Musterlösung Aufgabe 1: Huffman-Codierung
MehrGrundlagen der Technischen Informatik. Hamming-Codes. Kapitel 4.3
Hamming-Codes Kapitel 4.3 Prof. Dr.-Ing. Jürgen Teich Lehrstuhl für Hardware-Software-Co-Design Inhalt Welche Eigenschaften müssen Codes haben, um Mehrfachfehler erkennen und sogar korrigieren zu können?
MehrEndliche Körper und Codierung SS Übungsblatt. 9. Bestimmen Sie alle primitiven Elemente (Erzeuger der multiplikativen Gruppe) von
Endliche Körper und Codierung SS 2007 1. Übungsblatt 1. Sei p eine Primzahl und 0 j p 1. Zeigen Sie, dass ( ) p 1 j ( 1) j (mod p). 2. Sei R ein kommutativer Ring der Charakteristik p > 0 (prim). Zeigen
MehrError detection and correction
Referat Error detection and correction im Proseminar Computer Science Unplugged Dozent Prof. M. Hofmann Referent Pinto Raul, 48005464 Datum 19.11.2004 Error detection and correction 1. Fehlererkennung
MehrInformationstheorie und Codierung Schriftliche Prüfung am 8. Mai 2006
Informationstheorie und Codierung Schriftliche Prüfung am 8. Mai 2006 Institut für Nachrichtentechnik und Hochfrequenztechnik Bitte beachten Sie: Sie dürfen das Vorlesungsskriptum, einen Taschenrechner
MehrInformations- und Kodierungstheorie
Information Informations- und Kodierungstheorie Ziel: Sichere und effiziente Speicherung und Übertragung von Informationen: Gesendete Information soll unverfälscht beim Empfänger ankommen (räumlich, von
Mehr1. Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes
1 Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 1 Woche: Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 5/ 44 Unser Modell Shannon
MehrNachklausur zur Vorlesung Theoretische Grundlagen der Informatik Wintersemester 2013/14
Institut für Theoretische Informatik Prof. Dr. Jörn Müller-Quade Nachklausur zur Vorlesung Theoretische Grundlagen der Informatik Wintersemester 2013/14 Vorname Nachname Matrikelnummer Hinweise Für die
MehrBegriffe aus der Informatik Nachrichten
Begriffe aus der Informatik Nachrichten Gerhard Goos definiert in Vorlesungen über Informatik, Band 1, 1995 Springer-Verlag Berlin Heidelberg: Die Darstellung einer Mitteilung durch die zeitliche Veränderung
MehrÜbungsblatt Nr. 7. Lösungsvorschlag
Institut für Kryptographie und Sicherheit Prof. Dr. Jörn Müller-Quade Nico Döttling Dirk Achenbach Tobias Nilges Vorlesung Theoretische Grundlagen der Informatik Übungsblatt Nr. 7 svorschlag Aufgabe (K)
MehrSignale und Codes Vorlesung 6
Signale und Codes Vorlesung 6 Nico Döttling December 13, 2013 1 / 24 Vergleich Shannon vs. Schranken für Minimaldistanz (1) BSC ρ hat Kapazität 1 H 2 (ρ) Shannon: Es existiert ein (n, k) Code C für BSC
MehrInformationsgehalt einer Nachricht
Informationsgehalt einer Nachricht Betrachten folgendes Spiel Gegeben: Quelle Q mit unbekannten Symbolen {a 1, a 2 } und p 1 = 0.9, p 2 = 0.1. Zwei Spieler erhalten rundenweise je ein Symbol. Gewinner
MehrÜbung zur Vorlesung. Vorlesung: Heinrich Hußmann Übung: Renate Häuslschmid, Hanna Schneider
Übung zur Vorlesung Digitale Medien Vorlesung: Heinrich Hußmann Übung: Renate Häuslschmid, Hanna Schneider Wintersemester 2016/17 Bilder 20 x 14 Pixel (= Bildpunkte) 16 Bit Farben (= 65.536 Farben) 560
MehrInformationstheorie und Codierung
Informationstheorie und Codierung Organisation / Einleitung Vorlesung: Do 17:00 Uhr, Sr K 2002B Seminar: Mi (G) 15:00 Uhr, Sr H 1510 Abschluss: mdl. Prüfung Kontakt - Vorlesung Dr.-Ing. Maik Debes Fakultät
MehrCodes on Graphs: Normal Realizations
Codes on Graphs: Normal Realizations Autor: G. David Forney Seminarvortrag von Madeleine Leidheiser und Melanie Reuter 1 Inhaltsverzeichnis: 1. Einführung 3 1.1 Motivation 3 1.2 Einleitung 3 2. Graphendarstellungen
MehrInformations- und Codierungstheorie (Informationstheorie) Vorlesungsunterlagen
J O H A N N E S K E P L E R U N I V E R S I T Ä T L I N Z N e t z w e r k f ü r F o r s c h u n g, L e h r e u n d P r a x i s Informations- und Codierungstheorie (Informationstheorie) Vorlesungsunterlagen
MehrHamming-Geometrie der Bitvektoren
Hamming-Geometrie Hamming-Geometrie der Bitvektoren B = {0, } mit den Operationen = Konjunktion ( und ) = Disjunktion ( oder ) oder = Negation ( nicht ) ist die zweielementige boolesche Algebra. (B,, 0)
MehrDefinition Information I(p)
Definition Information I(p) Definition I(p) Die Information I(p) eines Symbols mit Quellws p > 0 ist definiert als I(p) = log 1 p. Die Einheit der Information bezeichnet man als Bit. DiMa II - Vorlesung
Mehr