4 Grundlagen der fehlerkorrigierenden Codes

Transkript

1 4 Grundlagen der fehlerkorrigierenden Codes 4. Hammingdistanz und Fehlerkorrektur Wir betrachten von nun an folgende Situation. Gegeben ist das Alphabet A, A = q, jede Teilmenge C A n heißt Code der Länge n. Der Hammingabstand ist Δ(u, v) = #{i : u i v i }, d(c) = min u v C Δ(u, v) heißtdiedistanz von C. Wir nehmen an, dass Gleichverteilung auf C vorliegt und wissen, dass die Hammingdecodierung Maximum Likelihood Decodierung ist. Einen Gradmesser für die Güte eines Codes geben die folgenden Definitionen. Definition. a. Der Code C A n heißt t-fehlerkorrigierend, wenn folgendes gilt: Angenommen v C wurde gesendet und wir wissen, dass höchstens t Fehler passiert sind, dann soll die Hammingdecodierung das empfangene Wort w richtig zu v decodieren. b. C A n heißt t-fehlerentdeckend, wenn folgendes gilt: Angenommen v C wurde gesendet und es sind höchstens t Fehler passiert. Dann ist das empfangene Wort w = v oder es gilt w C. Es sei S t (v) ={x A n :Δ(x, v) t} die Kugel um v vom Radius t. Falls v gesendet wird und w empfangen, so bedeutet höchstens t Fehler genau w S t (v). Satz 9. a. C A n ist t-fehlerkorrigierend d(c) t +, b. C A n ist t-fehlerentdeckend d(c) t +. Beweis. a. Falls d(c) t + ist, so sind je zwei Kugeln S t (v),s t (u) mit u, v C disjunkt, also wird w S t (v) richtig decodiert. Ist Δ(u, v) t, u, v C, w S t (u) S t (v), so könnte w im Fall Δ(u, w) Δ(v, w) falsch decodiert werden. b. Ist d(c) t +,w S t (v) mitv C, so gilt w = v oder w C, da jedes andere Codewort Abstand >that. Falls Δ(u, v) t für u v C gilt, so könnte u C empfangen werden, im Widerspruch zur Definition. Beispiel. a. Sei n =t +.DerCodeC 0 = {00...0,...,...,q q 4

2 ...q } heißt Wiederholungscode; C 0 ist t-fehlerkorrigierend, C 0 = q. b. Sei q =.DerCodeC {0, } n bestehe aus allen Wörtern mit einer geraden Anzahl von Einsen. C ist -fehlerentdeckend, d(c )=mit C = n. C heißt Paritätscode. Hauptproblem. Gegeben seien n und q. Man finde einen Code C A n, A = q, sodass ) C möglichst groß ist ( Rate groß), ) d(c) möglichst groß ist ( Fehler klein). Die beiden Zielsetzungen sind gegenläufig, zum Beispiel hat der Wiederholungscode gute Fehlerkorrektur, aber schlechte Rate, während dies beim Paritätscode genau umgekehrt ist. Wir sagen, C ist (n, d; q)-code, falls C A n, A = q und d(c) d gilt, M q (n, d) =max{ C : C ist (n, d; q)-code}. Falls C = M q (n, d) ist, so nennen wir C optimalen (n, d; q)-code. Offensichtlich gilt: q = M q (n, n) M q (n, n )... M q (n, ) M q (n, ) = q n. Bemerkung. Für einen Code C A n können wir durch Permutation der Elemente in jeder Koordinate annehmen, dass C ist. Der Abstand d(c) bleibt erhalten. Satz 0. Es gilt. M q (n, d) M q (n,d ) für d,. M (n, d) =M (n,d ) für d, d gerade, 3. M q (n, d) qm(n,d). Beweis.. Sei C optimaler (n, d; q)-code. Wir stellen uns C immer als Matrix vor, M = C : v v... v n C =.. v M v M... v Mn 4

3 Wir streichen eine Spalte und erhalten einen Code C A n mit C = C wegen d. Diese Operation nennen wir Verkürzung und C einen verkürzten Code. Offenbar ist C ein (n,d ; q)-code, und wir erhalten M q (n, d) = C = C M q (n,d ).. Nach ) gilt M (n, d) M (n,d ). Es sei nun C ein optimaler (n,d ; )-Code. Aus C konstruieren wir durch Anhängen eines Paritätschecks einen Code C A n : n C = {(v, v i (mod )) : v C}. i= Behauptung: C ist (n, d; )-Code. Seien u =(u, u i ), v =(v, v i ), u, v C. Falls Δ(u, v) d ist, so auch Δ(u, v) d. SeinunΔ(u, v) =d, dann gilt u i + v i =(mod)für d Koordinaten, und daher n i= (u i + v i )= (mod ) wegen d ungerade, das heißt n i= u i n i= v i (mod ). 3. Sei C ein optimaler (n, d; q)-code. In der letzten Spalte (oder irgendeiner Spalte) taucht ein Buchstabe, z.b. 0, mindestens C Mal auf: q v v... 0 C C =.. v M. Wir betrachten den Code C A n, der 0 als letzte Koordinate hat. C heißt punktierter Code.Offenbar ist C ein (n,d; q)-code und wir erhalten q M q(n, d) = C q C M q (n,d). 43

4 Wir sehen auch, dass aus M q (n, d) =qm q (n,d) folgt, dass in jeder Spalte alle Buchstaben gleich häufig auftreten. 4. Schranken für M q (n, d) Wir besprechen drei obere Schranken. Satz (Singleton Schranke). Es gilt M q (n, d) q n d+. Beweis. Aus Satz 0 folgt M q (n, d) qm q (n,d)... q n d M q (d, d) =q n d+. Bemerkung. Ein Code C, der die Singleton Schranke mit Gleichheit erfüllt, heißt MDS-Code (maximal distance separating). In jeder Koordinate kommen die Buchstaben gleich oft vor und ebenfalls in allen rekursiv punktierten Codes. Beispiel. M q (n, ) = q n. Zum Beweis betrachten wir die additive Gruppe Z q (mod q) und wählen C A n, A = Z q,mitv C q i= v i =0inZ q. Dann gilt Δ(u, v) für u v C und offenbar C = q n. Satz (Hamming Schranke). Für t gilt M q (n, t +) t i=0 q n ( n i) (q ) i. Beweis. Es sei C ein (n, t +;q)-code. Es gilt S t (u) S t (v) = für u v C und somit S t (v) = S t (v) = C v C v C t i=0 ( ) n (q ) i q n, i 44

5 woraus die Behauptung folgt. Bemerkung. Gilt Gleichheit in der Hamming Schranke C = t i=0 q n ( n i) (q ) i, so heißt Ct-perfekt. Diet-Kugeln um die Codewörter decken den Raum A n lückenlos ab: Jedes Wort w A n ist in genau einer t-kugel S t (v), v C. Insbesondere muß also t i=0 ( n i) (q ) i ein Teiler von q n sein. Beispiel. Der Wiederholungscode C 0 = {00...0,...} {0, } t+ ist t-perfekt für jedes t, dawir = C 0 = n t i=0 ( n i) = haben. Satz 3 (Plotkin Schranke). Sei θ = q.fallsd>θnist, so gilt q M q (n, d) d d θn. Beweis. Es sei C optimaler (n, d; q)-code, C = M, C = v v. v M... j... n a b Es sei A = {,,...,q}. Wir betrachten eine Spalte j.esseim i die Häufigkeit des Buchstabens i, also q i= m i = M. Wirzählen die Anzahl der geordneten 45

6 Paare (a, b) mita b in Spalte j. Beispiel. Es sei q =3,M =6: 3,hieristm =,m =3,m 3 =,die Anzahl der Paare (a, b), a b,ist =. Die Anzahl der Paare (i, b), i b, istm i (M m i ) und somit die Gesamtzahl q q s j = m i (M m i )=M m i. () Behauptung. i= q m i ( q m q i ) = M. q i= i= Zum Beweis seien die Vektoren x =(m,...,m q ), y =(,...,). Die Ungleichung von Cauchy-Schwarz besagt (x y) x y,wobeix y das Skalarprodukt ist, das heißt ( q m i ) m i q. i= Gleichheit gilt genau, wenn x und y linear abhängig sind, also x =(m,...,m q ) Konstantenvektor ist, m =...= m q = M. Insgesamt erhalten wir nach () i= s j M q M = θm, und für die Gesamtzahl über alle Spalten n s = s j θnm. j= Da zwei Codevektoren, d.h. Zeilen, mindestens d zur Anzahl s beitragen, haben wir andererseits s dm(m ), 46 i=

7 und somit dm(m ) θnm, das heißt M(d θn) d. Falls d>θnist, folgt hieraus M d. d θn Bemerkung. Gleichheit gilt in der Plotkin Schranke genau dann, wenn in jeder Koordinate alle Buchstaben gleich oft auftreten, je zwei Codewörter d genau Abstand d haben und schließlich = qd eine ganze Zahl d q q n qd (q )n ist. Codes C, in denen Δ(u, v) =d für alle u v C gilt, heißen äquidistant. Beispiel. Sei q =, dann besagt die Plotkin Schranke d M (n, d) d n für d>n. Betrachten wir M (, 5). Die Singleton Schranke ergibt M (, 5) 8 = 56, und die Hamming Schranke M (, 5) ++( ) < 5, also M (, 5) 5. Die Plotkin Schranke kann nicht direkt angewandt werden, aber mit Satz 0 erhalten wir M (, 5) = M (3, 6) 4 M (, 6) 4 =48. Beispiel. Der erste interessante Fall ist n =d. Dann gilt und insbesondere für d =t M (d,d) d, M (4t, t) 4t, M (4t, t) 8t. Wann Gleichheit gilt, werden wir im nächsten Abschnitt besprechen. Nun zu einer unteren Schranke. Satz 4 (Gilbert-Varshamov Schranke). Es gilt M q (n, d) d i=0 q n ( n ) i (q ) i. 47

8 Beweis. Sei C ein optimaler Code, C = M q (n, d). Für x C folgt aus der Maximalität von C die Existenz eines Codewortes v C mit Δ(x, v) d. Mit anderen Worten, die Kugeln S d (v), v C, überdecken ganz A n, A n S d (v), und es folgt v C q n v C d ( ) n S d (v) = C (q ) i. i Wir wollen uns die Schranken zusammenfassend ansehen, und zwar im binären Fall q =. Betrachten wir eine Folge von Codes C n A n (,mitrater Cn ) = log C n p p. Die erwartete Fehlerzahl im symmetrischen Kanal ist n p p pn, dasheißtfür P E,Cn 0 muß die Distanz d(c n ) mindestens wie pn, also linear, wachsen. Dies legt als asymptotisch beste Rate-Funktion r(δ) = lim sup log M (n, δn), 0 δ, n n nahe, wobei das Aufrunden δn an der Asymptotik nichts ändert.. Singleton Schranke. Wir erhalten als obere Schranke also lim sup i=0 log n δn+ n r(δ) δ. = δ,. Hamming Schranke. Aus Kapitel 3 wissen wir λn k=0 ( ) n nh(λ, λ), k und mit Stirlings Formel folgt leicht die untere Abschätzung mit dem Ergebnis log λn ( n k) k=0 lim = H(λ, λ). n 48

9 In unserem Fall ist λ δ (da d =t + ), und wir erhalten die Schranke r(δ) H( δ, δ ). 3. Plotkin Schranke. Für d> n,alsoδ> erhalten wir log δn log(δ n) lim sup =0. n Sei nun d n, δ, dann wissen wir M (n, d) n d+ M(d,d)= n d+ d. Dies ergibt als obere Schranke also n δn ++log(δn) lim sup = δ, n { δ 0 <δ r(δ) 0 δ>. 4. Gilbert-Varshmov Schranke. Analog wie für die Hamming Schranke erhalten wir die untere Schranke r(δ) H(δ, δ). Die Zeichnung zeigt die Schranken: Gilbert Varshamov / Plotkin Singleton Hamming 49

10 4.3 Orthogonale Lateinische Quadrate, Steiner Systeme und Hadamard Matrizen Wir betrachten Gleichheit in den drei oberen Schranken und werden sehen, dass dies jeweils auf interessante Strukturen führt.. Singleton Schranke Wir wissen M q (n, n ) q. Angenommen C A n ist ein (n, n ; q)-code mit C = q, A = {,,...,q}. Wieüblich schreiben wir C als q n-matrix mit den Codewörtern v i als Zeilen. Aus der Gleichheit folgt, dass in jeder Spalte jedes Element q Mal vorkommt. Durch Vertauschung der Elemente können wir annehmen, dass der Code wie folgt aussieht: 3...n v... v v q q q...q v q+ x 3 x 4...x n.. q q.. v q q q. Die ersten q Codewörter sind festgelegt. Für v q+ sehen wir x i {,...,q} wegen Δ(v,v q+ n, und ferner x i x j, denn falls x i = x j = k, so hätten wir Δ(v k,v q+ ) n. Wir erhalten somit als notwendige Bedingung: Falls M q (n, n ) = q ist, dann muß n q, das heißt n q +gelten. Wir nehmen nun die erste Spalte als Zeilenindex und die zweite Spalte als Spaltenindex und interpretieren jede Spalte s k (k 3) als q q-matrix L k mit L k (i, j) =l, falls das Codewort v =(i,j,...,l...)istmitl an der k-ten Stelle. Wir rollen also umgekehrt die Matrix zeilenweise auf. 50

11 Beispiel. q =3 3 3 L = Definition. Eine q q-matrix L(i, j) über A, A = q, heißtlateinisches Quadrat der Ordnung q, falls in jeder Zeile und Spalte jedes Element genau einmal auftritt. Zwei Lateinische Quadrate L(i, j), L (i, j) heißenorthogonal, falls die Menge {(L(i, j),l (i, j) : i, j q} genau die Menge A ergibt. Mit anderen Worten: L, L sind orthogonal, falls es zu jedem (k, l) A genau eine Lösung (i, j) mit gibt. L(i, j) =k, L (i, j) =l Da im Code je zwei Zeilen Abstand n haben, so ergeben die Spalten s 3,...,s n als Matrizen aufgefaßt n paarweise orthogonale Lateinische Quadrate der Ordnung q. Wären zum Beispiel L k, L l nicht orthogonal mit (L k (i, j),l l (i, j)) = (a, b) =(L k (i,j ),L l (i,j )), so hätten wir im Code zwei Wörter v, v C k l v = i j... a b... v = i j a b... und somit Δ(v, v ) n, Widerspruch. Wirhabensomitbewiesen: Satz 5. Es gilt M q (n, n ) = q genau dann, wenn n paarweise orthogonale Lateinische Quadrate der Ordnung q existieren. 5

12 Bezeichnen wir mit N(q) die Maximalzahl paarweise orthogonaler Lateinischer Quadrate der Ordnung q, so haben wir wie gesehen N(q) q. Beispiel. N(3) = 3 3 L = 3, L = Der zugehörige (4, 3; 3)-Code C ist C = somit M 3 (4, 3) = 9. Die Bestimmung von N(q) ist eines der größten offenen Probleme der endlichen Geometrie. Man weiß: N(q) = q falls q Primzahlpotenz ist. N() = N(6) =, N(q) für q, 6. Es ist kein q Primzahlpotenz bekannt mit N(q) =q.. Hamming Schranke Wir studieren t-perfekte Codes C A n, bei denen also Gleichheit in der Hamming Schranke gilt: C = t i=0 q n ( n i) (q ) i. 5

13 Beispiele. t =:DannmußC (n, 3; q)-code mit C = q n +n(q ) sein. Wir werden solche Codes im nächsten Kapitel für jedes n 3 und Primzahlpotenz q konstruieren. Für q = ist C = n +n, also muß n += m gelten. Für n = 3 erhalten wir den Wiederholungscode. Der nächste interessante Fall ist n =7, C = 7 = 6. 8 t =:Seiq =.Dannmuß+n + ( n ) = m sein, also + n + n n = m+ 4n +4n +8 = m+3 (n +) +7 = m+3. Aus der Zahlentheorie weiß man, dass die Gleichung x +7= s genau 5 ganzzahlige Lösungen hat: x {, 3, 5,, 8}, alson {0,,, 5, 90}. Dan 5ist, kommen nur n = 5 oder n = 90 in Frage. Der Wiederholungscode realisiert n =5,n = 90 bleibt vorläufig offen. t =3:Seiq =.Dannmuß+n+ ( ( n ) + n 3) = m gelten oder nach Umformung (n +)(n n +6)=3 m.wäre 6 n +, dasheißt n (mod 6), dann folgt n n +6 8 (mod 6), also n n = 4. Es gilt aber n n+6 (n+) 3 (wegen n+ 6), Widerspruch. Somit gilt n+ 3 8 mit den Möglichkeiten n + {8,, 4}, dasheißtn {7,, 3}. Der Wiederholungscode realisiert n = 7, durch Einsetzen sieht man, dass n = unmöglich ist. Es bleibt also n =3mit+ ( ) ( ) ( + 3 ) 3 = 048 =. Ein 3-perfekter Code C A 3 müßte also C = erfüllen. Dass solch ein Code tatsächlich existiert (und eindeutig ist), werden wir im nächsten Kapitel sehen. Eine weitere notwendige Bedingung gibt der folgende Satz. Satz 6. Sei C A n, A = q, t-perfekt. Dann gilt: ( ) ( ) t + n (q ) t+. t t + Beweis. Wir nehmen o.b.d.a. an, dass 0 =0...0 C ist. Sei S = {u A n :Δ(u, 0) =t+}, dannist S = ( n t+) (q ) t+.seiu S, dannexistiert 53

14 genau ein v C mit Δ(u, v) t und wegen Δ(0,v) t + folgt aus der Dreiecksungleichung Δ(u, v) = t, Δ(0,v)= t +. Wir zählen nun die Paare {(u, v) :u S, v C mit Δ(0,v)=t +, Δ(u, v) =t}. Sei h t+ =#{v C :Δ(0,v)=t +}. Für jedes u S gibt es genau ein v, und für jedes solche v C gibt es ( ) t+ t Wörter u S, dagenaut Koordinaten von v zu 0 verändert werden müssen. Es folgt ( ) ( ) n t + (q ) t+ = h t+, t + t und daher ( ) ( t+ n t t+) (q ) t+. Wir betrachten nun den Fall q =.SeiX = {,...,n}, dann identifizieren wir u = u u...u n {0, } n mit der Menge B u = {i X : u i =}; u ist also der charakteristische Vektor von B u.istc {0, } n t-perfekter Code und B = {B v : v C, Δ(v, 0) =t +} X, dann gilt ) B v =t + ) jede (t +)-MengevonX ist in genau einem B v enthalten. Definition. Seien s k n natürliche Zahlen. Ein s (n, k) Steiner System ist eine Familie von Untermengen B (genannt Blöcke) vonx = {,...,n}, so dass gilt: ) B = k für alle B B, ) jede s-menge von X ist in genau einem Block enthalten. Wir haben also den Satz: Satz 7. Ist C {0, } n t-perfekter Code, so bildet die Familie B = {B v : v C, Δ(v, 0) =t +} ein (t +) (n, t +)Steiner System. Nun drehen wir die Sache um und konstruieren aus einem Steiner System einen Code. 54

15 Beispiel. Die Fano Ebene ist ein (7, 3) Steiner System, wobei die 7 Blöcke die Geraden inklusive der Geraden {, 4, 6} sind. Wir fügen die leere Menge hinzu (äquivalent das Nullwort) und alle Komplemente C = Man prüft sofort nach, dass C ein (7, 3; )-Code ist und wegen C =6= perfekt. Satz 8. Es sei C {0, } n t-perfekter Code. Dann ist t + ein Teiler von n +. Beweis. Sei B = {B v : v C, Δ(v, 0)} das zugehörige (t+) (n, t+) Steiner System. Wir betrachten eine beliebige t-menge U X und bezeichnen mit r die Anzahl der Blöcke aus B, dieu enthalten. Jede Menge U {x}, x X U, ist in genau einem Block enthalten. Ist umgekehrt B Bmit U B, soenthält B wegen B =t + genau t + solche Mengen U {x}. Es folgt r = n t t+, und daraus t + n t bzw. t + n +. Beispiel. Wir können nun den Fall t =,q = erledigen. Es gab zwei Möglichkeiten n {5, 90}, wovonn = 90 wegen 3 9 ausscheidet. Der einzige -perfekte binäre Code ist der Wiederholungscode. 55

16 3. Plotkin Schranke Wir wissen M (4t, t) 8t, M (4t, t) 4t. Definition. Eine Hadamard Matrix H der Ordnung n ist eine n n-matrix mit Einträgen und, so dass gilt: HH T = ni, wobei I die (n n)-einheitsmatrix... 0 Beispiel. n =:H = ( ), n =4:H = 0 ist. Aus der Definition folgt, dass für das Skalarprodukt zweier Zeilen h i,h j von H gilt: { n i = j h i h j = 0 i j. Ferner ist H = n HT und damit auch H T H = ni. Dies bedeutet, dass auch je zwei Spalten aufeinander senkrecht stehen. Für die Determinante gilt (det H) = n n,also det H = n n/. Bemerkung. Hadamard betrachtete das folgende Problem. Gegeben sei die Menge aller reellen n n-matrizen A =(a ij )mit a ij für alle i, j. Er zeigte, dass det A n n/ für alle A gilt mit Gleichheit genau dann, wenn A Hadamard Matrix ist.. Satz 9. Sei H Hadamard Matrix der Ordnung n. Dannistn =oder n 0(mod4). Beweis. Sei n > und H Hadamard Matrix. Multiplikation einer Zeile oder Spalte mit ergibt wieder eine Hadamard Matrix. Wir können also annehmen, dass die erste Zeile h =... ist. Wegen h h i =0für i> muß jede weitere Zeile genau soviele en wie en enthalten, also muß n 56

17 gerade sein. Nun betrachten wir die ersten drei Zeilen. Durch Permutation der Spalten können wir annehmen: h h... }{{ } n/... }{{ } n/ h }{{} a }{{} b }{{} c }{{} d Es gilt somit a + c = b + d = n und a + b = c + d = n. Daraus folgt a = d und b = c, und wegen h h 3 =0fernera + d = b + c = n,alsoa =b und somit a = b = c = d = n,dasheißtn 0(mod4). 4 Die einfachste Methode, neue Hadamard Matrizen aus alten zu konstruieren, ist das Kroneckerprodukt A B. SeiA =(a ij ) m m-matrix und B =(b ij ) n n-matrix, dann ist das Kroneckerprodukt A B die mn mn-matrix. A B = a B a B... a m B a B a B... a m B... a m B a m B... a mm B Satz 0. Sind A und B Hadamard Matrizen, so auch A B. Beweis. Durch Fallunterscheidung prüft man leicht nach, dass je zwei Zeilen von A B aufeinander senkrecht stehen. Folgerung. Es existieren Hadamard Matrizen für alle Ordnungen n = m, m. Der erste offene Fall ist n =. Mit quadratischen Resten kann man allgemein Hadamard Matrizen für alle n = p +, p 3 (mod 4) Primzahl, konstruieren. Satz. Die folgenden Bedingungen sind äquivalent: ) Es existiert eine Hadamard Matrix der Ordnung 4t, ) M (4t, t) =8t, 57

18 3) M (4t, t) =4t. Beweis. )= ). Sei H Hadamard Matrix der Ordnung 4t. Wir nehmen als Alphabet A = {, } und betrachten den Code C A 4t, C =8t, der aus den Zeilen von H besteht und den Zeilen aus H C = H H. Für Zeilen v i,v j aus H, i j, gilt wegen der Hadamard Eigenschaft Δ(v i,v j )= t, analogfür v j, v j.für v i und v j haben wir { 4t i = j Δ(v i, v j )= t i j, also ist C optimaler (4t, t;)-code. ) = 3). Nach Satz 0 gilt M (4t, t) M(4t, t) =4t und somit M (4t, t) =4t wegen der Plotkin Schranke. 3) = ). Sei C ein optimaler (4t, t;)-codemit C =4t. Wir ersetzen 0 durch und schreiben C als 4t (4t )-Matrix. Da die Plotkin Schranke mit Gleichheit angenommen wird, ist Δ(v i,v j )=t für i j. Das heißt, an t Stellen haben wir oder und an t Stellen oder. Fügen wir also noch eine Spalte mit en hinzu, so erhalten wir eine Hadamard Matrix der Ordnung 4t. Problem. Gibt es eine Hadamard Matrix für jede Ordnung n 0(mod4)? 58