Kapitel 11: Binäre Kanäle

Transkript

1 Kaitel : Binäre Kanäle

2 Ziele des Kaitels Binäre Kanäle und ihre Eigenschaften Gedächtnisfreie Kanäle Codierung als Schätzung und Schätzverfahren Kanalkaazität Shannon'sches Kanalcodierungstheorem

3 Grundlegendes Reale Übertragungskanäle sind meist fehlerbehaftet Rohe Bits oft als analoge Signale Sannungsegel emfangen Störungen führen zu Fehlklassifikationen Redundante Codierung ermöglicht eine gewisse Fehlertoleranz Quellencodierer versuchen, einen fehlerfreien Inut otimal zu codieren Kanalcodierer bringen gezielt Redundanz Prüfbits in den Code ein 3

4 Übertragungsmodell Wir betrachten wieder das folgende Übertragungsmodell Störung Quelle X Kanal Senke Y Quellencodierer Kanalcodierer Quellendecodierer Kanaldecodierer 4

5 Grundlegendes Eine Variante ist, Fehler zu detektieren und das Zeichen nochmals zu übertragen Sinnvoll bei kleinen Fehlerwahrscheinlichkeiten Ansruchsvollere Variante: Fehler detektieren und beim Emfänger korrigieren Dazu müssen Fehlerkorrekturverfahren entwickelt werden Sehr grosse raktische Bedeutung Seichermedien, Netzwerkübertragung etc. Grundlegendes Modell: Allgemeiner Binärer Kanal BK 5

6 BK Modell Der binäre Kanal - δ δ - 6

7 7 Eigenschaften Seien und die Wahrscheinlichkeiten für die Smbole {,} am Kanaleingang Ebenso seien und die Wahrscheinlichkeiten am Kanalausgang Dann gilt wobei die Matri der Übergangswahrscheinlichkeiten ist = δ δ δ δ i j

8 Eigenschaften Definition: Die Transinformation H T ist die ro Kanalzeichen übertragene Information Für den binären Kanal ergibt sie sich wie folgt: mit und H T = H Y I X ; Y = H Y H Y X = j {,} j log j H Y X = i {,} i j {,} j i log j i 8

9 Binärer Kanal Gegeben: =., =.8, δ=. und =. Gesucht H T j i H Y = H Y H T.999 =..855 Bit/QZ X =. =.8..9 = = = =.999 log log..9 log.9 +. log..377 Bit/QZ = H Y H Y X =.478 Bit/QZ.8.7 9

10 Sezialfall Der binäre, smmetrische Kanal BSK - -

11 BSK Modell Jedes Bit wird mit einer Wahrscheinlichkeit bei der Übertragung invertiert verfälscht Bei = kann bit Information ro Kanalnutzung zuverlässig übertragen werden Bei =.5 wird die Ausgabe-Bitfolge gleichverteilt und statistisch unabhängig von der Eingabe Es wird keine Information übertragen Die Kaazität des Kanals ist bit/nutzung = und bit/nutzung =.5 H = H Y + log + log T

12 BSK Modell = ist gleichwertig zu = Für < <.5 kann eine beliebig zuverlässige Übertragung erreicht werden, wenn jedes Bit genügend oft gesendet wird Mehrheitsentscheidung am Kanalausgang notwendig Mit zunehmender Redundanz nimmt hierbei jedoch die Übertragungsrate ab Durch geschickte Codierung kann die Fehlerwahrscheinlichkeit bei gleichbleibender Rate beliebig verkleinert werden

13 Shannon's Resultate Shannon zeigte, dass die Übertragungsrate in Grenzen unabhängig von der Übertragungskaazität ist Jeder Kanal besitzt eine Kaazität Diese ist die maimale Rate, mit der Information zuverlässig übertragbar ist Die dazu nötigen Codes können entsrechend komle werden Dies ist ein zweites, fundamentales Gesetz von Claude Shannon und in seinem zweiten Kanalcodierungstheorem zusammengefasst 3

14 Gedächtnisfreie Kanäle Generell wird ein Kanal durch die Übergangsmatri zwischen Eingang und Ausgang definiert Eine bedeutende Unterklasse sind sogenannte gedächtnisfreie Kanäle Hierbei ist der Outut Y i nur vom aktuellen Inut X i abhängig, nicht von seiner Vorgeschichte X i- X Definition: Ein diskreter, gedächtnisfreier Kanal DGK für ein Inutalhabet χ und ein Oututalhabet γ ist eine bedingte Verteilung P Y X : γ χ R + 4

15 Sezialfall Der binäre, Auslöschungskanal BAK Keine Bitinversion, nur Auslöschung - A - 5

16 Blockcodes Definition: Ein Blockcode C mit Blocklänge N für einen Kanal mit Inutalhabet χ ist eine Teilmenge C={c,,c M } von χ N der N-Tuel über χ. Die Rate R von C ist R = log N M. R ist die Anzahl der Bits, die ro Kanalnutzung gesendet werden können 6

17 Decodierung als Schätzung Die Decodierung einer fehlerbehafteten Zeichenfolge, gegeben die Smbolfolge am Kanalausgang kann als Parameter- Schätzroblem betrachtet werden Wir bedienen uns hierzu allgemeiner, statistischer Schätzmethoden Es sei U dabei eine Zufallsvariable, die aufgrund einer Beobachtung V geschätzt werden soll Die Wahrscheinlichkeitsverteilung P V U sei bekannt Wir erinnern uns an das -Lemma, welches besagt, dass wir durch Berechnung KEINE Information hinzufügen können. 7

18 Bild dazu U Beobachtung Schätzung f U = f V P V U ~ Der Schätzer ist eine Funktion f, welche jedem Wert v der Beobachtung den entsrechenden Schätzwert ũ zuordnet 8

19 Decodierung als Schätzung Die Schätzung ist otimal, wenn die Wahrscheinlichkeit einer korrekten Schätzung PU=Ũ maimiert wird ~ ~ P U = U = P U = U, V = v ma Wir schreiben v ~ P U = U = P f v, v = P v, f v P f v v UV Dieser Ausdruck soll durch Wahl von f maimiert werden v V U U 9

20 Decodierung als Schätzung Fall : P U bekannt rior bekannt: In diesem Fall muss für jedes v dasjenige ũ für fv gewählt werden, damit P ~ ~ V U v, u PU u ma Dies wird auch als minimum-error estimation ME bezeichnet Fall : P U nicht bekannt uniform rior: Man nimmt an, dass alles Werte von U gleichwahrscheinlich sind Da P U u für alle u gleich ist, muss es bei der Maimierung nicht beachtet werden

21 Decodierung als Schätzung In diesem Fall muss für jedes v dasjenige ũ für fv gewählt werden, damit v, u~ P V U ma Dies wird auch als maimum likelihood estimation ML bezeichnet Diese beiden Schätzverfahren sind universell und werden in vielen Anwendungen der Natur- und Ingenieurwissenschaften ausgiebig eingesetzt. In der Prais dominiert oft die ML-Methode, da der Prior oft nicht bekannt ist.

22 Decodierung als Schätzung Wenn das Codewort c j =[c j,,c jn ] über einen DGK mit Übergangsverteilung P Y X gesendet wird, so ist der Kanaloutut eine Zufallsvariable Y N =[Y,,Y N ] mit Wertmenge γ N und Verteilung P Y N N = N,c j P X Y X i, c ji i= Im Decoder muss also für ein emfangenes Kanaloututwort die beste Schätzung für das gesendete Codewort finden N N = [,..., N ]

23 Decodierung als Schätzung Dieser Schätzvorgang heisst Decodierung Mit den Entsrechungen N U = X V = Y N erhalten wir die folgenden Theoreme Es sei Ũ die Schätzung des Coders 3

24 Minimum Error Decoder Ein Decoder, der für ein gegebenes Emfangswort N als Schätzung des gesendeten Codewortes eines derjenigen c j =[c j,,c jn ] wählt, welches P Y N N N, c j P N c j X X ma erreicht die minimale Fehlerwahrscheinlichkeit Nachteil ist hierbei, dass die Verteilung der Codewörter bekannt sein muss In der Prais ist die Quellenstatistik oft nicht bekannt 4

25 Maimum Likelihood Decoder Ein Decoder, der für ein gegebenes Emfangswort N als Schätzung des gesendeten Codewortes eines derjenigen c j =[c j,,c jn ] wählt, welches P Y N N N, c j X ma erreicht die minimale Fehlerwahrscheinlichkeit, wenn alle Codewörter gleichwahrscheinlich sind 5

26 Kanalkaazität Ein DGK ist durch die bedingte Wahrscheinlichkeitsverteilung P Y X eindeutig beschrieben Die Inutverteilung P X ist jedoch frei Wir wählen sie so, dass maimal viel Information übertragen wird Definition: Die Kaazität eines durch P Y X charakterisierten DGK ist das Maimum über Inutverteilungen P X von IX;Y C = ma I X ; Y = P X P X ma[ H Y H Y X ] 6

27 Kanalkaazität Wir werden zeigen, dass die Kaazität eine obere Grenze für die Rate darstellt, mit der Information zuverlässig übertragen werden kann Im Allgemeinen sind Kaazitätsberechnungen eher schwierig Wir suchen eine Inutverteilung P X, die HY maimiert und HY X minimiert Die Kanalkaazität ist also das Maimum der Transinformation des Kanals 7

28 Kanalkaazität Die Berechnung vereinfacht sich für folgende Bedingungen A HY X= ist für alle gleich, also H Y X = = t B Die folgende Summe ist für alle gleich P Y X, = s X Letzteres bewirkt, dass bei Gleichverteilung am Kanaleingang auch Gleichverteilung am Kanalausgang vorliegt 8

29 Kanalkaazität Theorem: Die Kaazität eines Kanals, welcher die Bedingungen A und B erfüllt, ist C = log γ t Wir betrachten den BSK als Beisiel H T = H Y + log + log 9

30 3 Kanalkaazität des BSK Übertragungsmatri: Bedingung A: = log log log log log log log log = = = = = = X Y H X Y H

31 Kanalkaazität des BSK Bedingung B: X P Y X, ist gleich für alle Zeilensumme der Übergangsmatri Berechnung der Kaazität: Es gilt : = Transinformation : H T = H Y + log + log Kaazität :C = ma H T gemäss Formel = log γ t mit t eingesetzt = + log = log + log + log 3

32 3 Kanalkaazität des BSK Inutverteilung: Gleichverteilung erreicht bei log log ma ma = = + = Y H = = + = + =

33 Kaazität und Rate Die Kaazität ist eine Obergrenze für die Rate, mit der Information zuverlässig übertragen werden kann Je höher die Rate über der Kaazität, umso grösser die Fehlerwahrscheinlichkeit Wir betrachten das Modell eines DGK Es sollen K Informationsbits U K =[U,,U K ] durch N Benutzungen übertragen werden Die Kaazität sei C Der Codierer übersetzt die Informationsbits in ein Codewort X N =[X,,X N ], welches vom Kanal in Y N = [Y,,Y N ] verfälscht wird 33

34 DGK Modell Diskrete Quelle U U K X X N Möglicher Feedback DGK Emfänger ~ ~ U U K Kanalcodierer Kanaldecodierer Y Y N 34

35 Kaazität und Rate Die Rate R ist demnach Der Decoder schätzt nun [Ũ,, Ũ K ] R = K N bits ro Nutzung Ein möglicher Feedback kann Information an den Codierer zurückliefern Man kann zeigen Skrit, dass H U K ~ U K K H U NC Die Kanalübertragung kann die Unsicherheit beim Emfänger nicht um mehr als NC reduzieren 35

36 Kaazität und Rate Damit U K durch Ũ K bestimmt ist, muss die Anzahl der Kanalbenutzungen N mindestens sein: N = H U C K 36