Fehler fertuschen mit Fehler korrigierenden Codes

Transkript

1 Fehler fertuschen mit Fehler korrigierenden Codes Fehler De Institut für Informatik & Automation, IIA Fakultät E&I, Hochschule Bremen, HSB 21. Oktober im Jahr der Mathematik 2008

2 Fehler De Agenda : Ohne FKK würde nichts funktionieren... Am Anfang stand s Ärger linearer Codes dekodieren durch über GF p l -Codes -Codes: -Codes: -Codes: Fehler De : Was fehlt? Was ist gewonnen?

3 Fehler De Ohne FKK geht garnichts... ECC-RAM: CRC mit 32+7bit oder 64+8 bit single level cell (SLC) NAND flash memory: multi level cell (MLC): BCH oder RS HDD: RS RS232/V24: parity CD: Cross Interleaved RS-Code, CIRC 24b+4b+4b DVD: RS, interleaving Blue Ray/HD-DVD: LDC (Long Distance Code) = RS (248,216,33); BIS (Burst Indication Subcode) = RS (62,30,33). TCP: Automatic Repeat request, ARQ WLAN: Low Density Parity Check Code, LDPC cell phones: Faltungscode mit Viterbi GSM (Global System for Mobile Communication): Blockcode + Faltungscode + Interleaving DVB (Digital Video Broadcasting): Block-Codes (RS) +

4 Am Anfang steht s Ärger 1947: R.W. Bell Telephone Labs: Damn, if the computer can detect a (parity) error, why can t it correct it? Sender Kanal Empfänger Fehler De 1 Sender verpackt Botschaft, etwa binären Strom, in Blöcke b {0, 1} k = GF k 2. 2 Sender fügt jedem Block parity bits, Redundanz hinzu: Code-Wörter c C {0, 1} n = GF n 2. 3 Bei der Übermittlung werden Code-Wörter gestört. 4 Empfänger decodiert die empfangenen (gestörte c C) Wörter y GF n 2 zum hoffentlich korrekten Block b. Z.B. GF k 2 b = (b 1,..., b k ) (b 1,..., b k, b k+1 ) = c GF n 2 mit n = k + 1 und parity bit b k+1 = k i=1 b i. Empfänger kann maximal 1bit-Fehler erkennen, keinen Fehler korrigieren!

5 Fehler De Def. Für x, y GF n 2 mißt d(x, y) = n i=1 x i y i den Abstand, definiert also eine Metrik auf GF n 2. vgl. d(c) := min C c c C d(c, c ) ist min. -Abstand. Z.B. Der 1bit parity Code C ist ein (Länge, Dimension, d(c)) (n, k, d min ) = (n, k, 2)-Code mit Code-Rate R = k = k n k+1. Satz Sei C ein (n, k, d)-code. Dann können d 1 Fehler erkannt und (d 1)/2 Fehler korrigiert werden. Z.B. Der Wiederholungscode GF k 2 b = (b 1,..., b k ) (b 1, b 1, b 1,..., b k, b k, b k ) = c GF 3k 2 ist ein (3k, k, 3)-Code mit Code-Rate R = k/(3k) = 1/3. Bem. Decodieren per argmin c C d(y, c) liefert normalerweise dasselbe wie Decodieren per argmax c C P(y c).

6 Fehler De Def. C = {Code-Wörter} ist ein linearer Code C ist ein (linearer) Unterraum von GF n 2 der Dimension k. Die k Basis-Vektoren von C bilden die Zeilen einer k n- Generator-Matrix G, d.h. C = {bg : b GF k 2} = GF k 2 G. (n k) n-prüf/parity-check-matrizen H erfüllen c C Hc = Z.B. G = mit H = , wo {Spalten} = GF 3 2 \ {0}, erzeugt (7,4,3)--Code mit Code-Rate R = 4/7.

7 linearer Codes Fehler De Satz Sei H die Parity-Check-Matrix eines linearen Codes C. Dann ist d(c) das größte d N, so daß beliebige d 1 Spalten von H linear unabhängig sind. Z.B. Der (7,4,3)--Code wird durch eines (zusätzlichen) parity-bits zu einem (8,4,d)-Code und wegen H e = gilt d = Die Code-Rate ist R = 4/8 = 1/2. Bem. Beide Beispiele lassen sich verallgemeinern zum (2 m 1, 2 m 1 m, 3)--Code (die Spalten von H bestehen aus allen v GF m 2 \ {0}) und zum (2 m, 2 m 1 m, 4)-erweiterten -Code.

8 dekodieren Fehler De Def. Sei H Parity-Check-Matrix. s = Hy heißt Syndrom. y 1 y 2 =c C H(y 1 y 2 ) =Hc =0 Hy 1 =Hy 2 Äquivalenzrelation, Nearest code word decoding: finde e GF n 2 mit minimalem d(e, 0), so daß Hy = He Problem ist ganz schwierig, N P-vollständig: per LUT oder Z.B. Zum (n, k, 3) = (2 m 1, 2 m 1 m, 3)--Code C verwende H = (h 1,..., h n ) als m n parity-check-matrix, wobei h i gerade der m bit Binärdarstellung von i entspricht. Bei maximal einem zu korrigierenden Fehler gilt y = c + e mit d(e, 0) 1. Entweder d(e, 0) = 0 also kein Fehler oder d(e, 0) = 1 dann zeigt s = Hy = He = h j den Index des zu korrigierenden bits in y direkt an.

9 Fehler De Fortschritt durch GF p l, Grenzen GF 2 ist der kleinste endliche Körper 1 (wie Q, R oder C, aber mit endlich vielen Elementen), wie GF p und GF p l, vgl. Satz (R.C. Singleton 2 ) Für (n, k, d)-codes über Alphabeten mit q Buchstaben, etwa über GF q, gilt d n k + 1. Bew. Sei r = k 1. Wegen q r < C gibt es 2 Codewörter, die in r Koordinaten übereinstimmen: d n r. Def. (n, k, d)-codes mit d = n k + 1 heißen maximum distance separable, MDS Codes. Z.B. Beispiele für MDS-Codes über GF q : C = GF n q ist (n, n, 1)-Code, parity-code ist (n, n 1, 2)-Code, Wiederholungscode ist (n, 1, n)-code. 1 Evariste Galois ( ) www-history.mcs.st-andrews.ac.uk/biographies/galois.html 2 R.C. Singleton (1964): Maximum distance q-nary codes; IEEE Trans. Inform. Theory

10 Fehler De -Codes Def. Ein linearer Code über GF q mit H = ( ) α i 1 j i = 1,..., n k j = 1,..., n für paarweise verschiedene α i GF q heißt (spezieller) Reed 3 -Solomon 4 -Code. Satz Jeder -Code ist MDS. Bew. Jede (n k) (n k)-untermatrix B von H ist mit β 1 β 2 β n k B =... eine β n k+1 1 β n k+1 2 β n k+1 n k Vandermonde 5 -Matrix. Daher gilt det(b) = 1 i<j n k (β j β i ) 0, da β i β j. 3 Irving S. Reed (1923-) 4 Gustave Solomon ( ) jewish-american-computer-scientists/gustave-solomon.html 5 Vandermonde ( ) www-history.mcs.st-andrews.ac.uk/biographies/vandermonde.html

11 Fehler De -Codes: Spezifiziere den RS(q, m, n) durch folgende Wahlen: 1 Wähle Alphabet GF q mit q = p l und p prim. 2 Wähle paarweise verschiedene u 1,..., u n GF q. 3 Fasse Nachricht a = (a o,..., a m 1 ) GF m q als Polynom a(x) = m 1 i=0 a ix i GF q [x] über GF q auf. Codiere GF m q a c = ( a(u 1 ),..., a(u n ) ) C GF n q. RS(q, m, n) ist ein linearer, q-närer (n, m, n m+1)-code! Z.B. Für RS(7,3,7) wähle u i = i 1 GF 7. Sei a = (1, 2, 3) GF 3 7. a(x) = 3x 2 +2x +1 GF 7[x]. Dann a(0) = 1, a(1) = = 6, a(2) = = 3, a(3) = = 6, a(4) = = 1, a(5) = = 2, a(6) = = 2, c = (1, 6, 3, 6, 1, 2, 2). H or n e r Z.B. Für RS(4,2,4) sei GF 2 2 = GF 2[x]/(x 2 +x +1); wähle u i = i 1 GF 4, d.h. u 1 = 00, u 2 = 01, u 3 = 10, u 4 = 11. Sei a = (01, 10) GF 2 4. a a(x), a(x) = 10x + 01 GF 4[x]. Dann a(00) = 01, a(01) = = 11, a(10) = = 10, a(11) = = 00, also c = (01, 11, 10, 00) GF 4 4.

12 RS-Codes: n m Fehler De Für C = RS(q, m, n) gilt d(c) = n m + 1. C toleriert n m Ausfälle. Angenommen statt c = ( a(u 1 ),..., a(u n ) ) ( wurde nur a(u 1 ),..., a(u m ) ) empfangen: Das Polynom a(x) m 1-ten Grades ( wird per Lagrange 6 -Interpolation aus den m Daten-Punkten u i, a(u i ) ) wie folgt rekonstruiert. i=1,...,m Sei g i (x) := m j=1,j i (x u j). Dann g i (u j ) = 0 für j i und g i (x)/g i (u i ) x=uj = δ i,j. Also a(x) = m i=1 a(u i)g i (x)/g i (u i ). Z.B. Für RS(5,3,5) wähle u i = i 1 GF 5. Sei a = (1, 2, 1) GF 3 5, also c = (1, 4, 4, 1, 0) GF 5 5. Werde y = (1, 4, 4, ɛ, ɛ) empfangen. Aus g 1(x) = x 2 + 2x + 2, g 2(x) = x 2 + 3x, g 3(x) = x 2 + 4x und so wegen 1/g 1(u 1) = 1/2 = 3, 1/g 2(u 2) = 1/4 = 4 und 1/g 3(u 3) = 1/2 = 3 a(x) = 1(x 2 +2x +2)3+4(x 2 +3x)4+4(x 2 +4x)3 = x 2 +2x +1 folgt a = (1, 2, 1). 6 J.-L. Lagrange ( ) www-history.mcs.st-andrews.ac.uk/biographies/lagrange.html

13 Fehler De RS-Codes: n m Fehler De 2 Konstruiere p(x, y) = y f(x) + g(x) GF q [x, y] für geeignete f, g GF q [x] mit p(u i, y i ) = 0 so, daß (y a(x)) p(x, y) falls y i = a(u i ) für mindestens n n m 2 Stellen u i. Dann gilt a(x) = g(x)/f(x). Z.B. Für RS(5,3,5) wähle u i = i 1 GF 5. Sei a = (1, 2, 1) GF 3 5, also c = (1, 4, 4, 1, 0) GF 5 5. Werde y = (1, 4, 4, 1, 1) empfangen. Wegen grad(f) 1 und grad(g) 3 ist p(x, y) = f 1xy + f oy + g 3x 3 + g 2x 2 + g 1x + g o mit NS (u i, y i), d.h. die Lösung des unterbestimmten linearen Gleichungssystems per Gauß 7 ist f o +g o = 0 f o +g o= 0 4f 1+4f o +g 3 +g 2 +g 1+g o = 0 4f 1+3f o +g 3+g 2+g 1 = 0 3f 1+4f o+3g 3+4g 2+2g 1+g o = 0 f 1 +f o+4g 3+g 2 = 0, so 3f 1 +f o+2g 3+4g 2+3g 1+g o = 0 2f 1+4f o +g 3 = 0 4f 1 +f o+4g 3 +g 2+4g 1+g o = 0 2f 1+3f o = 0 daß mit etwa f 1 = 1 eben f(x) = x + 1 und g(x) = 4x 3 + 3x 2 + 2x + 4 und damit a(x) = g(x)/f(x) = x 2 + 2x + 1 folgt, also a = (1, 2, 1). 7 Johann C.F. Gauss ( ) www-history.mcs.st-and.ac.uk/biographies/gauss.html

14 Fehler De Was fehlt alles... Fehler-Modelle Bündel-Fehler/error bursts erasure errors Synchronisationsfehler Codes Bose-Chaudhuri-Hocquenghem, BCH-Codes Cyclic Codes, CRC-Codes Golay-Code, Goppa-Code,... perfekte Codes, Reed-Muller-Codes,... Trellis-Code, Faltungscodes, Turbo-Codes,... Algorithmen Berlekamp: Polynome faktorisieren Viterbi: Faltungscodes Decodieren

15 Fehler De Was ist gewonnen... Erste Begegnung mit Fehler-korrigierenden Codes, ECCs -Code erweiterter -Code (spezieller) -Code Notwendiges Werkzeug lineare Algebra, lineare (Un-) Abhängigkeit, Basen, Gauß Rechnen in endlichen Körpern, d.h. mit Polynomen, Euklid Polynom-Interpolation Allgemeine Einsichten aktuelle ECCs basieren auf Resultaten von Euklid ( ), Vandermonde ( ), Lagrange ( ), Gauß ( ), Galois ( ) u.a. im 20. Jrhdt.

16 Referenzen I Fehler De [1] Johannes Blömer: Algorithmische Codierungstheorie Skript SS2007; Uni Paderborn wwwcs.uni-paderborn.de/cs/ ag-bloemer/lehre/ac2_ss2007/material/skript.pdf [2] Wilfried Dankmeier: Codierung; Vieweg 2001 [3] Gerard van der Geer: Error-Correcting Codes and Curves over Finite Fields; in Björn Enquist, Wilfried Schmid: Mathematics Unlimited 2001 and Beyond; Springer 2001, pp [4] Shu Lin, Daniel J. Costello: Error Control Coding Fundamentals and Applications; Prentice-Hall 2004 [5] Jacobus H. van Lint: Intro to Coding Theory; Springer 1999 [6] Robert Morelos-Zaragoza: The Art of Error Correcting Coding; Wiley 2006; s.a. The ECC Page

17 Referenzen II Fehler De [7] W. Wesley Peterson, E. J. Weldon: Error-Correcting Codes; MIT Press 1972 [8] : Puzzles Kryptographie, Kompression, Kodierung u.a.; risse/mai/docs/puzzles.pdf [9] : Teaching Elliptic Curves Cryptography Reflecting Experiences; 24th Scientific Colloquium, Bremen [10] Ron M. Roth: Introduction to Coding Theory; Cambridge University Press 2006 [11] Martin Werner: Information und Codierung; Vieweg 2002