P (x i ) log 2 = P (x. i ) i=1. I(x i ) 2 = log 1. bit H max (X) = log 2 MX = log 2 2 = 1. Symbol folgt für die Redundanz. 0.9 = 0.

Transkript

1 7. Diskretes Kanalmodell I 7. a Aussagen über das digitale Übertragungsverfahren Bis auf die bereitzustellende Übertragungsrate [vgl. c)] sind keine Aussagen über das digitale Übertragungsverfahren möglich. Die Quelldaten könnten mit jedem beliebigen digitalen Übertragungsverfahren übertragen werden. 7. b Quellen Gedächtnis Nein, die Quelle Q x besitzt definitionsgemäß kein Gedächtnis (Markoff Quelle 0. Ordnung, Ordnung der Markoff Quelle = Länge des Gedächtnisses). Ein Quellengedächtnis bedeutet, daß das aktuelle Quellensymbol q x (k) von bereits gesendeten en q x (k i), i > 0 abhängt. Zur statistischen Beschreibung sind Verbundwahrscheinlichkeiten notwendig. 7. c Entropie und Redundanz der Quelle I Entropie: H(X) = P (x i ) log = P (x i= i ) }{{} I(x i ) = log log = P (x i ) log P (x i ) i= [ ] [ ] H max (X) = log MX = log = Redundanz R(X) der Quelle Q x : R(X) = H max (X) H(X) = 0 Übertragungsrate des digitalen Übertragungsverfahrens: rü = H(X) T q = ms = k s 7. d Entropie und Redundanz der Quelle II [ ] Entropie: H(X) = 0. log log 0.9 = Mit H max (X) = folgt für die Redundanz R(X) = H max (X) H(X) = 0.53 Übertragungsrate: rü = H(X) = T q ms = 469 s Folgerungen aus den Ergebnissen: Durch Quellcodierung ist es möglich, daß die Quellensymbole im Mittel mit codiert werden. 7-

2 be- Das digitale Übertragungsverfahren muß dann nur eine Übertragungsrate von 469 s reitstellen. 7. e Diskretes Kanalmodell Passendes Kanalmodell: Symmetrischer Binärkanal (BSC) Q x stationär, Kanal stationär Q y stationär Q x ohne Gedächtnis, Kanal ohne Gedächtnis Q y ohne Gedächtnis Symmetrischer Binärkanal (BSC): P (x ) x P b y P (y ) P b P b P (x ) x y P b P (y ) 7. f Entropie, Redundanz und Irrelevanz Entropie von Q y : H(Y ) = i= P (y i ) log P (y i ) P (y ) = P (x ) P (y x ) + P (x ) P (y x ) = P (x ) ( P b ) + P (x ) P b = = 0.8 P (y ) = P (y ) = 0.8 ( ) H(Y ) = 0.8 log log 0.8 = 0.68 Redundanz von Q y : R(Y ) = H max (Y ) H(Y ) = 0.3 }{{} Irrelevanz: H(Y X) = i= j= P (x i, y j ) log P (y j x i ) mit P (x i, y j ) = P (y j x i ) P (x i ) P (x, y ) = P (y x ) P (x ) = = 0.09 P (x, y ) = P (y x ) P (x ) = = 0.09 P (x, y ) = P (y x ) P (x ) = = 0.0 P (x, y ) = P (y x ) P (x ) = =

3 H(Y X) = 0.09 log log = log log 0.9 Die Irrelevanz oder Streuentropie wird durch die Störungen des Kanals verursacht. zusätzliche Information über den Kanal und seine Statistik Transinformation: T (X; Y ) = H(Y ) H(Y X) = = 0. Äquivokation: H(X Y ) = H(X) T (X; Y ) = = 0.6 Graphische Veranschaulichung der statistischen Größen Entropie, Transinformation, Irrelevanz und Äquivokation: Äquivokation 0.58 symbol Eingangsentropie symbol Transinformation 0. symbol Ausgangsentropie 0.68 symbol Irrelevanz symbol 7. Unsymmetrisch gestörter Binärkanal 7. a Kanalmatrix, Kanalmodell Kanalmatrix: P (Y X) = [ P (y x ) P (y x ) P (y x ) P (y x ) ] [ Pb P = b P b P b ] = [ ] 7-3

4 Diskretes Kanalmodell: unsymmetrisch gestörter Binärkanal: x = 0 P b y = 0 P b P b x = y = P b 7. b Entropie, Transinformation und Irrelevanz P (x ) = 0. P (x ) = P (x ) = 0.8 Entropie am Kanaleingang: H(X) = 0. log log 0.8 = 0.7 Entropie am Kanalausgang: H(Y ) = P (y ) log P (y ) + P (y ) log P (y ) P (y ) = P (y x ) P (x ) + P (y x ) P (x ) = = 0.8 P (y ) = P (y ) = 0.7 H(Y ) = 0.8 log log 0.7 = 0.85 Transinformation: Mit P (x i y j ) P (y j ) = P (x i, y j ) = P (y j x i ) P (x i ) bzw. P (x i y j ) P (x i ) = P (y j x i ) P (y j ) T (X; Y ) = T (Y ; X) = + i= j= T (X; Y ) = P (x ) P (y x ) log P (y x ) P (y ) +P (x ) P (y x ) log P (y x ) P (y ) = log log log log P (x i )P (y j x i ) log P (y j x i ) P (y j ) folgt: P (y x ) + P (x ) P (y x ) log P (y ) P (y x ) + P (x ) P (y x ) log = 0.46 P (y ) Irrelevanz: H(Y X) = H(Y ) T (X; Y ) = ( ) = 0.39 Äquivokation: H(X Y ) = H(X) T (X; Y ) =

5 7. c Kanalkapazität Es folgt für P b = 0, P b = 0 : C = max (Q x ) {T (X; Y )} 0.7 bei P (x ) = 0.46 und P (x ) = d Maßnahmen, um die Kapazität des Kanals zu nutzen: Quellencodierung zur Redundanzeliminierung: x i X = x QCi X QC H(X) = 0.7 = H(X QC ) = H Max = Kanalcodierung zur Anpassung der Quelle an den Kanal (Addition von Redundanz): x QCi X QC = x KCi X KC H(X QC ) = = H(X KC ) = C = max{t (X; Y )} Hinzufügen von [H(X QC ) H(X KC )] = C = 0.8 an Redundanz Bei geeigneten Codes ist damit im Prinzip eine fehlerfreie Übertragung möglich. 7.3 Symmetrischer Binärkanal 7.3 a Kanalkapazität: C = max {T (X; Y )} (Q x ) Beim BSC ist die Transinformation T (X; Y ) maximal für P (x ) = P (x ) = P (y ) = P (x ) P (y x ) +P (x }{{} ) P (y x ) }{{} P b Mit T (X; Y ) = i= j= P (x i )P (y j x i ) log P (x i ) P (x i y j ) }{{} P (y j ) P (y j x i ) P b =, P (y ) = P (y ) = P (y ) = P (x )P (y x ) log P (y x ) P (x P (y ) )P (y x ) log P (y x ) P (y ) P (x )P (y x ) log P (y x ) P (x P (y ) )P (y x ) log P (y x ) folgt: C = [ ] P b log + ( P b ) log P b ( P b ) = ( P b ) log [( P b )] + P b log (P b ) = ( P b )[ + log ( P b )] + P b ( + log P b ) = 0.9 ( + log 0.9) + 0. ( + log 0.)

6 Maximale Übertragungsrate, für die eine fehlerfreie Übertragung möglich ist: rü max = C = C 53 k T Kan s 7.3 b Allgemeines Blockbild der Übertragung über einen symmetrischen Binärkanal: Q x COD QC COD KC BSC DEC KC DEC QC S y q X0 (k) H(X0) q XQC (k) H(XQC) q XKC (k) H(XKC) q Y KC (k) q Y QC (k) q Y 0 (k) 7.3 c Entropie der Quelle: P (x ) = 0.4 P (x ) = P (x ) = 0.6 H(X) = i P (x i ) log P (x i ) = 0.4 log log 0.6 Redundanz der Quelle (vom Quellencodierer zu entfernen): 0.97 R(X) = H max H(X) = ( 0.97) = 0.09 Wenn der Quellencodierer die Redundanz vollständig entfernt hat, gilt H(XQC) =. Weiterhin gilt H(XKC) = C = H(XQC) H(XKC) = ( 0.53) = 0.47 müssen vom Kanalcodierer an Redundanz hinzugefügt werden, um eine fehlerfreie Übertragung zu ermöglichen. 7.4 Diskretes Kanalmodell II 7.4 a Graphische Darstellung der Übergangswahrscheinlichkeiten der gegebenen Kanalmatrix: X 0 0 Y Y X 0.5 Y 3 7-6

7 Aus den Ausgangssymbolen kann eindeutig auf die Eingangssymbole zurückgeschlossen werden, d.h. der Kanal ist ungestört: y x y, y 3 x 7.4 b Kanalkapazität des ungestörten Kanals: C = für P (x ) = P (x ) = Bandbegrenzter AWGR Kanal 7.5 a Bandbreiteausnutzung: η min = r ü 0 M/s = = f 5 MHz s Hz 7.5 b Mögliche QAM Verfahren Raised Cosine Elementarsignal (α = ): f = +α T s = T s Mit rü = log M T s folgt m = log M = rü T s = rü f = 4 bzw. M = m = 6 e. Geeignete Verfahren sind z. B. 6 QAM, 3 QAM,... (Im Mittel müssen pro mindestens 4 übertragen werden.) 7.5 c Kanalkapazität des bandbegrenzten AWGR Kanals: η = C f = log ( + SNR) = s Hz SNR min = 3 ˆ= 4.8dB Bitfehlerwahrscheinlichkeit für 6 QAM: SNR = Ee/Ts f = (log M)E b/t s /T s Es folgt: P b 6 QAM ( Eb = E b E b ) = 4.8 db 0. = SNR = 4.8 db Die Bitfehlerwahrscheinlichkeit strebt erst dann gegen Null, wenn eine geeignete Codierung eingesetzt wird. 7-7

8 7.6 Huffman Codierung 7.6 a Entropie der Quelle: H(X) = i P (x i ) log P (x i ) H(X) = (0.5 log log log 0.5) = = 7 4 Redundanz der Quelle: R(X) = H max (X) H(X) = log M H(X) = }{{} b Quellencodierung (Huffman Algorithmus) P (X i ) X X X 3 X Bitzuordnung: x 0 x 0 x 3 0 x 4 }{{} Codeworte 7.6 c Redundanz nach Quellencodierung mittlere Codewortlänge: l = i P (x i )l i = = 7 4 R(X H ) = l H(X) = = 0 perfekter Source-Code 7-8

9 7.7 Orthogonalcode 7.7 a Euklidische Distanz zwischen c und c Orthogonalcode, Darstellung im Coderaum: c d c Wegen c c gilt: d = c + c }{{} = n d }{{} = n n n 7.7 b Maximaler Betrag des Fehlervektors e, der nicht zu einer Fehlentscheidung führt: c Entscheidungsgrenze (ML) e c worst case : e zeigt in Richtung des Differenzvektors c c dann keine Fehlentscheidung, wenn e < d gilt e max = d = n Ein Fehlervektor mit größerem Betrag als e max führt nicht notwendigerweise zu einer Fehlentscheidung. Dies hängt entscheidend von der Richtung des Fehlervektors ab. Das Verfahren entspricht der Übertragung mit zwei orthogonalen Elementarsignalen. 7-9

10 7.7 c Hamming Distanz: d H = n c i c i = n i= Orthogonalität im Sinne der Hamming Distanz bedeutet, daß sich c und c in genau n en unterscheiden, d.h. n muß geradzahlig sein. 7.7 d (d HMin ) = n Fehler können erkannt werden t < d HMin = n 4 Fehler können korrigiert werden Maximaler Betrag des Fehlervektors: e max = t = { n 4 für n ungerade n 4 4 für n gerade Ein Fehlervektor mit e > t führt nicht notwendigerweise zu einer falschen Entscheidung Entscheidungsgrenze: Ebene in der Mitte zwischen den beiden Codeworten c und c im n dimensionalen Vektorraum über GF () 7.7 e Orthogonale Übertragung mit n Elementarsignalen 7.7 f Ja, es ist auch ein Code vorstellbar, der nur einen n dimensionalen Unterraum aufspannt (n < n). Es gilt dann k = log n. Vorteil: Bei gegebenem n liegt k nicht fest. Die Coderate r c = k n ist dann frei wählbar. 7.8 Biorthogonalcode 7.8 a Passendes Kanalmodell: BSC mit P b = 0 Kanalkapazität [vgl. Aufgabe 7.3a)]: 7.8 b Biorthogonalcode C = max (Q x ) {T (X; Y )} = ( P b)[ + log ( P b )] + P b ( + log P b ) 0.9 Coderate: r c = k n mit k = + log n r c = 4 8 = H(X KC ) = r c H(X QC ) = r c C }{{} / Satz von Shannon: Da r c < C gilt, kann P brest prinzipiell beliebig klein gemacht werden, insbesondere auch P brest < P b. 7-0

11 7.8 c Wahrscheinlichst gesendeter Codevektor Es ergeben sich folgende Hammingdistanzen: d He = 3 d He = 5 d He3 = 5 d He4 = 3 d He5 = 3 d He6 = 5 d He7 = d He8 = 3 d Hej+8 = 8 d Hej c i = c 7 ist das am wahrscheinlichsten gesendete Codewort. Die Entscheidung muß nicht in jedem Fall richtig sein. Wenn der Fehlervektor sehr groß ist kann das empfangene Codewort auch aus einem anderen gesendeten Codewort entstanden sein. 7.8 d Korrekturfähigkeit Der Code kann t = n 4 = Fehler sicher korrigieren. Relative Korrekturfähigkeit: t n = 8 Trotz P b < t n gibt es Fehlentscheidungen, da es eine endliche Wahrscheinlichkeit gibt, daß mehr als t Fehler in einem Codewort auftreten. 7.8 e Bi Code, n = 6: Coderate: r c = 5 6 Relative Korrekturfähigkeit: t n = 3 6 wegen t = n 4 Restfehlerwahrscheinlichkeit: P brest P CW P CW = t i=0 ( n i ) P i b ( P b) n i = 3 i=0 ( 6 i ) P i b ( P b) 6 i P brest f P brest 0 4 bei P b = 0 Bi Codes mit n = 6, 64, 56 und BCH Code mit n = 55, k = 3, t = 8 erfüllen die Forderung größte noch verbleibende Nutzdatenrate: BCH Code (55, 3, 8): r c = 0.54 Nutzdatenrate: r c rü = M/s 5.M/s 7-

12 7.9 BCH Code 7.9 a Kanalmodell: Symmetrischer Binärkanal (BSC) x P b y P b P b x y P b 7.9 b Sendeleistung bei uncodierter Übertragung S uncod = Ee T s = E b T s log M = E b log M T s E b = 3.5 db fr P b = 0 6 S uncod =.4 N0 T s 7.9 c BCH Code (55, 3, 8) P brest = 0 6 bei E b E b cod = 9 db = r c Eb = = 4.05 ˆ= 6. db uncod cod P b = erfc ( E b uncod ) 0.0 Sendeleistung: S E b uncod Ersparnis an Sendeleistung: (3.5-6.) db = 7.4 db = Faktor 5.5 r c = k n 0.5 Reduktion der Datenrate um den Faktor r c = Digitale Übertragung über Kanäle mit Bündelfehlern I 7.0 a Mittlere Bitfehlerhäufigkeit ungünstigster Fall: Länge der Fehlerbündel maximal fehlerfreies Intervall minimal 7-

13 mittlere Bitfehlerhäufigkeit: 7.0 b Block Interleaving P b = L B Pb Burst L B +6L B = 7 P b Burst = }{{} Minimale Anzahl der Zeilen eines Blockinterleavers: Aufbau der Interleavermatrix: l max = L B = 04 Zeilen Fehlerburst der Länge L B CW CW CW 3 n n n 04 Zeilen CW 03 CW 04 n n n Spalten (Codewortlänge n) 6 Spalten Interleaving: Einlesen Zeilenweise Auslesen Spaltenweise Deinterleaving: Einlesen Spaltenweise Auslesen Zeilenweise Wegen L Abst = 6L B befinden sich im ungünstigsten Fall zwischen zwei fehlerbehafteten Spalten höchstens 6 fehlerfreie Spalten. Anmerkung: Verschiebungen der Fehlerbursts in Spaltenrichtung haben keinen Einfluß auf die durchgeführten Betrachtungen (gilt auch für die folgenden Aufgabenteile). 7.0 c Dimensionierung der Interleavermatrix Code, der einen Fehler korrigieren kann maximale Codewortlänge: n = 7 ( Fehlerspalte + 6 fehlerfreie Spalten) Code, der t Fehler korrigieren kann maximale Codewortlänge: n t = 7 t (t Fehlerspalten + 6 t fehlerfreie Spalten) relative Korrekturfähigkeit: t n t 7 7-3

14 7.0 d Auswahl eines geeigneten BCH Codes n k t t/n t/n /7 r c = k/n 7 4 /7 4/7 5 /5 5 7 / /5 /3 3 6 / /3 6/ / / / /85 3/85 Gesuchter BCH Code (vgl. Tab. Lehrbuch): (n, k, t) = (7, 4, ) t Relative Korrekturfähigkeit: n = 7 Coderate: r c = Verbleibende Nutzdatenrate: r = r ü r c = 5.7M/sec Anmerkung: Für BCH Codes sinkt die relative Korrekturfähigkeit t/n mit steigender Codewortlänge n. 7. Digitale Übertragung über Kanäle mit Bündelfehlern II 7. a Codewortlänge: Korrekturfähigkeit: n = m = 55 Codesymbole mit 8 t = (n k) Codesymbole 7. b Mittlere fehlerhäufigkeit Ungünstigster Fall: Länge der Fehlerbündel maximal fehlerfreies Intervall minimal Fehlerburst beginnt am Anfang eines s fehlerhäufigkeit innerhalb eines Fehlerbursts: P Burst S = = mittlere fehlerhäufigkeit: P S = (L B/8) PS Burst (L B /8) + (L Abst /8) = c Interleaving auf ebene ist sinnvoller, da es die Bündelfehler auf ganze e konzentriert. Interleaving auf Bitebene führt zu Bitfehlern. Jeder einzelne Bitfehler bewirkt aber bereits einen fehler. 7. d Minimale Anzahl von Zeilen eines Blockinterleavers auf ebene: l max = L B 8 = 8 Zeilen. 7-4

15 Blockinterleaving auf ebene: Aufbau der Interleavermatrix: Fehlerburst. CS. CS 3. CS. CS. CS 3. CS. Codewort. Codewort 55. CS 55. CS 8 Zeilen. CS. CS 3. CS 9. Codewort 55. CS 6 Spalten 55 Spalten fehler korrigieren n = 7 Codesymbole t fehler korrigieren n t = 7 t Codesymbole t = n 7 = 37 relative Korrekturfähigkeit: t n t = Wegen t = (n k) bzw. k = n t folgt für den RS Code: (n, k, t) = (55, 8, 37) Coderate: r c = k n = verbleibende Nutzdatenrate: r ü r c 7. M/s [deutlich größer als beim BCH Code, vergleiche Aufgabe 7.0d)] 7. e Verkürzter RS Code Es muß gelten: t n 7 Minimales t und minimales n : t =, n = 7 k = n t = 5 RS Code: (n, k, t) = (7, 5, ) zugehöriger unverkürzter RS Code (n, k, t) = (55, 53, ), l = 48 Coderate: r c = k n = 5 7 Nutzdatenrate: rü r c = 7. M/s [vergleiche d)!] Zeitverzögerung: t = (Zeilenzahl in en) (Spaltenzahl in en) 8 rü t = s =.4 ms Zum Vergleich: Gerade noch tolerierbare Verzögerungszeit bei Sprachübertragung: t s 50 ms 7-5

16 7. Codeverkettung 7. a Innerer Code: Bi Codewortlänge: k Bi = + log n Bi n Bi = k Bi = 7 = 8 Coderate: r cbi = k Bi n Bi = 8 8 = 6 = Korrigierbare Fehler: t Bi = n Bi 4 = 8 4 = 3 bzw. d HBi,min = n Bi = b Äußerer Code: RS Codeverkettung: m RS = k Bi = 8 (Ein RS Codesymbol wird durch ein Bi Codewort übertragen!) m RS = 8 /Codesymbol müssen für den äußeren Code vorgesehen werden. maximal mögliche Codewortlänge für den RS Code: n RS, max = m = 55 Codesymbole Bei n RS, max = 64 handelt es sich um einen verkürzten RS Code l = n RS, max n RS = = 9 Informationssymbole sind zu Null gesetzt t RS = (n RS k RS ) = 8 fehler können mindestens korrigiert werden bzw. d HRS,min = n RS k RS + = 7 7. c Verketteter Code Codewortlänge: n ges = n RS n Bi = 64 8 = 89 Coderate: r cges = k RS m RS n ges = = = Mindestens korrigierbare Bitfehler: Worst Case : 8 Fehlerbursts der Länge 3 im Abstand von Bitfehler Die 3 beliebig verteilten Bitfehler können vom Bi Code korrigiert werden, die verbleibenden 8 fehler vom RS Code t min = 87 Bitfehler können mindestens korrigiert werden Anmerkung: Für die minimale Hammingdistanz verketteter Codes gilt: dhges,min d Hges,min = d HRS,min d HBi,min = 088 t ges,min = = 543 s können mindestens korrigiert werden. Dies gilt aber nur, wenn die Decodierung in einer Stufe und nicht wie oben angenommen in zwei Stufen erfolgt! Begründung: Ein CW des äußeren Codes unterscheidet sich von jedem anderen CW in mindestens d H RS, min en. Jedes des äußeren Codes wählt ein CW des inneren Codes aus. CW des inneren Codes unterscheiden sich aber in mindestens d H Bi, min s. Zwei beliebige, verschiedene CW des verketteteten Codes unterscheiden sich daher in mindestens d H ges, min = d H RS, min d H Bi, min s. 7-6

17 maximale Länge bei Bündelfehlern: L B = 7 n Bi = 959 (Ein Burst der Länge 960 kann so plaziert werden, daß er zu insgesamt 9 fehlern führt, die vom äußeren Code nicht mehr korrigiert werden können) minimaler Abstand bei Bündelfehlern: L Abst = n ges L B = 733 (Ein kleinerer Abstand führt bei ungünstiger Lage der Fehlerbursts zu mehr als 8 fehlern pro RS Codewort) Interleaving kann die Korrekturfähigkeit bei Bündelfehlern verbessern. Interleaving auf ebene ist unter Umständen günstiger, um möglichst viele Bitfehler auf ein zu konzentrieren. Generell ist die beste Anordnung aber nicht angebbar, sondern muß durch Simulation ermittelt werden. Gesamt CW Fehlerwahrscheinlichkeit bei BD Decodierung des inneren sowie des äußeren Codes: Allgemein gilt: P CW = t i=0 ( n ) i P i b ( P b ) n i Decodierung des inneren Codes: 3 ( ) 8 P CW,Bi = Pb i i ( P b) 8 i i=0 Für den äußeren Code gilt: fehlerwahrscheinlichkeit P S = P CW,Bi Decodierung des äußeren Codes: P CW,RS = 8 i=0 ( ) 64 PS i i ( P S) n i 7-7