Kapitel 3 Kanalcodierung

Transkript

1 Kapitel 3 Kanalcodierung Prof. Dr. Dirk W. Hoffmann Hochschule Karlsruhe w University of Applied Sciences w Fakultät für Informatik

2 Übersicht Quelle Senke Kompression Huffman-, Arithmetische-, Lempel-Ziv Codierung Dekompression Codierung Signalbildung Hamming Codes, CRC-Codierung RZ, NRZ, NRZI, Manchester-Codierung Decodierung 00 Signalübersetzung Modulation Amplitude/Frequency/Phase shift keying, QAM Demodulation Übertragung 3. 2

3 Codes Wiederholung Sei A{a,...,a n } ein endliches Alphabet der Größe n Jede injektive Abbildung c: A {0,} k heißt Code fester Länge Die Menge c(a) : { c(a) a A } ist die Menge der Codewörter Für Codes fester Länge k gilt: k log 2 n + r Distanz Die r zusätzlichen Bits werden für die Fehlererkennung verwendet Distanz zweier Bitfolgen Anzahl unterschiedlicher Bitstellen dist(00000,00000) 2, dist(00000,00000) 0 Code-Distanz kürzeste Distanz zwei verschiedener Codewörter dist(c) : min { dist( c(a i ), c(a j ) ) a i, a j A mit a i a j } 3. 3

4 Grundlagen Definition Fehlererkennende Codes Sei c ein Code fester Länge c heißt k-fehlererkennend, wenn der Empfänger stets entscheiden kann, ob ein Codewort durch Kippen von bis zu k Bits verfälscht wurde Lemma Ein Code c von fester Länge ist k-fehlererkennend, genau dann wenn dist(c) k+ ist 3. 4

5 Beweisidee Grundlagen Anordnung der Codewörter in n-dimensionalem Raum k Fehler entfernen ein Codewort um den Hamming-Abstand k Genau dann wenn kein anderes Codewort im n-dimensionalen Kreis eines anderen liegt, ist der Code k-fehlererkennend dist(c) k+ dist(c) k dist(c) < k k c 2 c k k c 2 c k k c 2 c k 3. 5

6 Beispiel: Der Parity-Code Fehlererkennende Codes Sei c: A {0,} n ein Code fester Länge Betrachte den Code parity: A {0,} n+, der aus dem Code c entsteht, in dem jedes Codewort c(a) so um ein Bit erweitert wird, dass die Anzahl der -Bits gerade wird Eigenschaften parity ist -fehlererkennend parity erkennt alle Fehler mit einer ungeraden Anzahl gekippter Bits Begrifflichkeit Ist die Anzahl der -Bits einer Bitfolge w {0,} n gerade, so sagt man w besteht den Gleichheitstest (parity check) 3. 6

7 Grundlagen Definition Lemma Fehlererkennende Codes Sei c ein Code fester Länge c heißt k-fehlererkennend, wenn der Empfänger stets entscheiden kann, ob ein Codewort durch Kippen von bis zu k Bits verfälscht wurde Ein Code c von fester Länge ist k-fehlererkennend, genau dann wenn dist(c) k+ ist Fehlerkorrigierende Codes Definition Sei c ein Code fester Länge c heißt k-fehlerkorrigierend, wenn der Empfänger stets entscheiden kann, ob ein Codewort durch Kippen von bis zu k Bits verfälscht wurde und das gesendete Codewort aus der empfangenen Bitfolge rekonstruieren kann Lemma Ein Code c von fester Länge ist k-fehlerkorrigierend, genau dann wenn dist(c) 2k+ ist 3. 7

8 Beweisidee Grundlagen Anordnung der Codewörter im n-dimensionalem Raum k Fehler entfernen ein Codewort um den Hamming-Abstand k Genau dann wenn sich zwei der n-dimensionalen Kreise schneiden, kann der Empfänger nicht entscheiden, welches Codewort gesendet wurde dist(c) 2k+ dist(c) 2k dist(c) < 2k c k c k c k k c 2 k c 2 k c

9 Es sei c eine lineare Binärcodierung Syndromdecodierung mit der Generatormatrix G und der Kontrollmatrix H v das gesendete Codewort w die empfangene Bitsequenz Wir interessieren uns für den Fall v w Dann gilt w v + e mit e 0 e heißt Fehlervektor Maximum-likelihood-Decoder sind die am häufigsten verwendeten Decoder bestimmen den Fehlervektor e mit dem kleinsten Hamming-Gewicht Hamming-Gewicht einer Bitsequenz Anzahl der darin enthaltenen Einsen korrigieren w durch die Addition von e 3. 9

10 Beispiel: Syndrom-Decoder... Syndromdecodierung für den zyklischen [7,4]-Hamming-Code Korrekturtabelle w 0 w w 2 w 3 w 4 w 5 w 6 e 0 e e 2 e 3 e 4 e 5 e 6 v 0 v v 2 v 3 v 4 v 5 v

11 " 0 ê Ñ Der [7,4]-Hamming-Code 0 0 c(~x) 0 ~x 0 Simplex-Code Der klassische Hamming-Code Ü " fällt in die Klasse der linearen Codes Hamming-Code Generatormatrix Ü ê Ñ 0 ê Ñ 000 Der [7,4]-Hamming-Code Simplex-Code Erweiterte 000 ~x 0 c(~x) é 0 Ü Der Hamming-Code " und besitzt die Generatormatrix Lineare Codes odes " ng-code 0 Ü Der Hamming-Code Hamming-CodeCode 0 " ist der bekannteste fehlerkorrigierende.3 Blockcodes Der Simplex-Code in 0 die Klasse 0 0 ~x " fällt ebenfalls der Simplex-Code 0000 " und besitzt die Generatormatrix Der [7,3]-Simplex-Code c(~ x)0 c(~x)codes ~x linearen 000 Ü000 ~x Ñ é Orthogonalraum U 0 0 " existiert ein " der ebenfalls ein Untervektorraum ist " zuwie 00 jedem linearen Code einenfürdualen000 Code sieht000 der Syndrom-Decoder den klassischen aus? c(~x) " und ~xauch Hamming-Code c(~ x) ~x damit00 für den Hamming-Code " Eigenschaften " Erweiterter Hamming-Code Kontrollmatrix jedem 000 Untervektorraum " Zu ê ~x c(~x)u gibt es " Folgerichtig ê c(~ x) c(~x) ~x Abbildung.25: Der Hamming-Code die Hamming-Distanz zweier ist immer gleich Abbildung.25: Der Hamming-Code, der000 Simplex00 Codewörter ist die Anzahl der Bitpositionen,0000 " Die Hamming-Distanz In Abschnitt?? wissen wir ferner, d

12 Syndrom-Decoder Syndromdecodierung für den klassischen [7,4]-Hamming-Code w 0 w w 2 w 3 w 4 w 5 w 6 :8 DEMUX e 0 e e 2 e 3 e 4 e 5 e 6 v 0 v v 2 v 3 v 4 v 5 v

13 Übersicht Fehlererkennende und -korrigierende Codes Hamming-Codes 5 Faltungscodes 3 Matrix-Codes 2 CRC-Codierung 6 4 Reed-Solomon-Codes 3. 3

14 Offene Frage Grundlagen Was kostet die Eigenschaft der Fehlerkorrektur? In anderen Worten: Um wie viele Bits wird ein Code mindestens Länger um die Eigenschaft der Fehlerkorrektur zu realisieren? Beispiel -fehlerkorrigierender Code Satz Sei c : A {0,} m+r ein -fehlerkorrigierender Code fester Länge mit A 2 m. Dann gilt: r ld (m+) 3. 4

15 Idee Hamming-Codes Sei c : A {0,} n ein Code fester Länge Der Hamming-Code für c entsteht durch Einfügen von Überprüfungsbits an den Zweierpotenz-Bitstellen der Codewörter Original Hamming _ 0 0 Sei m die Länge der neuen Code-Wörter. Dann gilt: m-n ld (n+) Die Codewörter werden demnach nur logarithmisch länger Hamming-Codes sind -fehlerkorrigierend Auf welche Werte müssen die Prüfbits gesetzt werden? 3. 5

16 Hamming-Codes Bitfolge Spalte enthält die uncodierte Bit- Sequenz Hier: Position Hier ist die Position des Bits in der codierten Bit- Sequenz eingetragen Die Zweierpotenz-Bits sind ausgespart, da sie die Prüfbits enthalten werden 2 4, 2 3, 2 2, 2, 2 0 Aufbau der Codiertabelle Spalten zur Berechnung der Prüfbits 00000_00 Bitfolge Position

17 Hamming-Codes Schritt Codierung Wandle Bit-Positionen in das Binärsystem um und markiere alle Eins-Stellen (_) Bitfolge Position _ _ _ 0 4 _ _ _ 3. 7

18 Hamming-Codes Schritt Schritt 2 Codierung Wandle Bit-Positionen in das Binärsystem um und markiere alle Eins-Stellen (_) Ersetze alle Markierungen durch den Wert der Bitfolge in der gleichen Zeile Bitfolge Position

19 Hamming-Codes Schritt Schritt 2 Schritt 3 Codierung Wandle Bit-Positionen in das Binärsystem um und markiere alle Eins-Stellen (_) Ersetze alle Markierungen durch den Wert der Bitfolge in der gleichen Zeile Wähle die Prüfbits so, dass die Summe der Eins-Bits in jeder Spalte gerade wird Bitfolge Position

20 Hamming-Codes Schritt Schritt 2 Schritt 3 Codierung Wandle Bit-Positionen in das Binärsystem um und markiere alle Eins-Stellen (_) Ersetze alle Markierungen durch den Wert der Bitfolge in der gleichen Zeile Wähle die Prüfbits so, dass die Summe der Eins-Bits in jeder Spalte gerade wird Codierte Nachricht Bitfolge Position P r ü f b i t s :

21 Fehlererkennung Hamming-Codes Erzeugung der Prüfbits wie bei der Codierung XOR-Verknüpfung der empfangenen Prüfbits mit den berechneten 0: Nachricht korrekt übertragen > 0: Wert ist die Fehlerposition Funktioniert sowohl bei gekippten Datenbits als auch bei Prüfbits! Zusammenfassung Hamming-Codes sind -fehlerkorrigierend n Bits werden um logarithmisch viele Bitstellen erweitert Einfache und effiziente Dekodierung Anwendung: Echtzeitkorrekturverfahren in RAID-Clustern 3. 2

22 CRC-Codierung Algebraische Grundlagen Addition und Multiplikation modulo B{0,} bildet mit diesen Operationen einen Körper Für die Addition, Subtraktion, Multiplikation und Division gelten die gewöhnlichen Rechenregeln B[x] sei die Menge der Polynome mit Koeffizienten aus B Addition, Subtraktion und Multiplikation ist möglich Die Division ist nicht abgeschlossen 3. 22

23 CRC-Codierung Codewörter und Polynome Codewörter und Polynome aus B[x] können in natürlicher Weise miteinander identifiziert werden, indem die einzelnen Bits des Codeworts als Koeffizienten des entsprechenden Polynoms interpretiert werden x³+x²+x x³ + x² + x + 0 x 0 0 x²+ 0 x³ + x² + 0 x + x x³ + 0 x² + 0 x + 0 x Generatorpolynome und Code-Erzeugung Sei g ein Polynom aus B[x] mit Dimension < n Der von g erzeugte Code ist die Menge aller Wörter, die Vielfachen von g entsprechen, deren Dimension ebenfalls < n ist g heißt Generatorpolynom 3. 23

24 CRC-Codierung Cyclic-Redundancy-Check-Codes (CRC) Die CRC-Codierung fasst Codewörter als Polynome auf Zugrunde gelegt wird ein Generatorpolynom Jedes Codewort ist ein Vielfaches des Generatorpolynoms Je nach Generatorpolynom entstehen verschiedene CRC-Codes Fehlererkennung Alle Wörter, die kein Vielfaches des Generatorpolynoms sind, werden als fehlerhaft zurückgewiesen 3. 24

25 CRC-Algorithmus Eingabe Nachricht p der Länge k ( Polynom p(x) mit grad(p) < k) Generatorpolynom g(x) vom Grad m Ausgabe Codewort h der Länge n k + m ( Polynom h(x) mit grad(h) < n) CRC-Algorithmus. Multipliziere p mit x m (m Nullen anhängen) f p x m 2. Teile das Ergebnis durch das Generatorpolynom g und bilde den Rest r f q g + r (grad r < grad g m) 3. Addiere r zu f h f + r 3. 25

26 CRC-Codierung Implementierung in Hardware Polynomdivision lässt sich elegant in Hardware realisieren Vor Beginn werden alle Flipflops mit Null initialisiert Das zu dividierende Polynom h wird von rechts in das Schieberegister geschoben, XOR-Gatter realisiert die Subtraktion Durch die UND-Gatter wird die Subtraktion nur ausgeführt, wenn das vorderste Bit von h eine enthält f & & & & & &

27 Beispiel CRC-Codierung (x 8 + x 4 + x 3 + x) / (x 5 + x 2 + x + ) f & & & & & &

28 Beispiel CRC-Codierung (x 8 + x 4 + x 3 + x) / (x 5 + x 2 + x + ) f & & & & & &

29 Beispiel CRC-Codierung (x 8 + x 4 + x 3 + x) / (x 5 + x 2 + x + ) f & & & & & &

30 Beispiel CRC-Codierung (x 8 + x 4 + x 3 + x) / (x 5 + x 2 + x + ) f & & & & & &

31 Beispiel CRC-Codierung (x 8 + x 4 + x 3 + x) / (x 5 + x 2 + x + ) f & & & & & &

32 CRC-Codierung f & & & & & & Optimierung bei festem Generatorpolynom 0 0 Alle Und-Gatter mit einer am Eingang können durch eine einfache Drahtverbindung ersetzt werden Alle Und-Gatter mit einer 0 am Eingang liefern am Ausgang konstant 0 und können daher wegfallen Die entsprechenden XOR-Gatter mit einer 0 am Eingang können durch Drahtverbindungen ersetzt werden Das vorderste XOR-Gatter kann ebenfalls entfallen, da sein Ausgang nicht verwendet wird (konstant Null) 3. 32

33 CRC-Codierung f & & & & & & 0 0 g(x) x 5 + x 2 + x + f 3. 33

34 Welche Fehler kann CRC erkennen? p(x) sei die Originalnachricht, g(x) das Generatorpolynom Gesendet wird h(x) mit g(x) h(x) Empfangen wird h(x) + e(x) ( Fehler e(x) 0 ) g(x) x+ g(x) x³ + x + Erkennung Warum? Alle ungeraden Bitfehler Eine ungerade Anzahl Fehler bedeutet, dass e eine ungerade Anzahl von -Koeffizienten hat Polynome mit einer ungeraden Anzahl von Einsen sind nicht durch (x + ) teilbar Erkennung Alle Einzel- und Doppelfehler Viele andere Mehrfachfehler Warum? Ein Einzelfehler an der i-ten Stelle bedingt e(x)x i g(x) teilt x i nicht ohne Rest Ein Fehler an der i-ten und q-ten Stelle bedingt e(x) x i + x q g(x) teilt x i + x q nicht ohne Rest 3. 34

35 CRC-8 Die heute verwendeten CRC-Divisoren x 8 +x 2 +x+ CRC-0 x 0 +x 9 +x 5 +x 4 +x+ CRC-2 x 2 +x +x 3 +x 2 + CRC-6 (Magnetband) x 6 +x 5 +x 2 + CRC-CCITT (Disketten) x 6 +x 2 +x 5 + CRC-32 (Ethernet) x 32 +x 26 +x 23 +x 22 +x 6 +x 2 +x +x 0 +x 8 +x 7 +x 5 +x 4 +x 2 +x

36 Zusammenfassung CRC-Codierung CRC basiert auf Polynomdivision Sehr gute Fehlererkennungseigenschaften Keine Fehlerkorrektur Einfache und effiziente Implementierung mit Schieberegistern Originalnachricht ist unverändert im CRC-Codewort enthalten Typische Anwendungen: Speichermedien, Netzwerke 3. 36

37 Matrixverfahren Vorgehen Übertragung von Wörterblöcken Jedes Wort hat ein Parity-Bit Am Ende folgt ein Parity-Wort Enthält Parity-Bits jeder Spalte Anwendung Digital Versatile Disc (DVD) Fehlererkennungseigenschaften Alle ungeraden Bit-Fehler Alle Doppelfehler Fast alle Vierfachfehler Fehlerkorrektureigenschaften Alle Einzelfehler Parity-Bits der Spalten Parity-Bits der Zeilen 3. 37

38 xn n a yn... xn n Reed-Solomon-Codes Auf der linken Seite steht die Transponierte eine Vandermonde-Matrix, Ursprung wie sie in der Randspalte auf Seite?? abgedruckt ist. Irving S. Reed, Gustave Solomon, 960 Aus der Determinantenformel folgt dann sofort, dass Zeilen genau dann Idee linear unabhängig sind, wenn die Stützstellen x0,...,xn paarweise Das bedeutet, dass in diesembestimmten) Fall das GleichungsIdentifizieresind. Nachricht mit einem (eindeutig Polynom verschieden system eindeutig lösbar ist. Damit haben wir das von uns gesuchte Er Überapproximiere das Polynom gebnis erzielt: Die zusätzliche Information versetzt den Empfänger in die Lage, das Polynom auch dann zu rekonstruieren, wenn Datenpakete verfälscht werden. Satz. ist der folgende Satz aus der Algebra Grundlage Es sei F ein Körper und x0,...,xn,y0,...,yn F. Dann gibt es ein Polynom p(x) F[x] mit deg p(x) < n und p(xi ) yi für 0 i < n Sind die Stützstellen x0,...,xn paarweise verschieden, so ist das Polynom p(x) eindeutig bestimmt. Abbildung.42 demonstriert die Polynomapproximation anhand dreier 3. 38

39 Polynomapproximation (Beispiele) 63.2 Reed-Solomon-Codes Beispiel Beispiel 2 Beispiel 3 p(0), p() 2 p(0), p() p(2) 2 p(0), p() p(2) p(3) 2 0 a0 a 2 p(x) + x p(x) 6 p(x) a0 a 2 4 a2 2 p(x) + 32 x 2 x x 5 x a0 a 2 8 a a p(x) p(x) + 6 x x + 6x Abb..42: Polynomapproximation in Q[x]. Datenrepräsentation und -übertragung Hochschule Karlsruhe Prof. Dr. D. W. Hoffmann 4 5 x 3. 39

40 Beispiel Reed-Solomon-Codes Die zu übertragenen Datenpakete sind:,2,2 Welche Datenpakete werden gesendet, wenn 2 zusätzliche Prüfwerte generiert werden? 3. 40

41 Reed-Solomon-Codes Kanalcodierung Analyse Mit k zusätzlichen Prüfwerten lassen sich n k Übertragungsverluste kompensieren oder n k Übertragungsfehler erkennen oder n 2k Übertragungsfehler korrigieren. Auch wenn die Idee, die Überapproximation von Polynomen für die Problem Erzeugung von Redundanz zu verwenden, unzweifelhaft eine faszinierende Idee ist, hat sie in der bisher präsentierten Form einen Haken. mit rationalen Zahlen ist umständlich Das Rechnen Dieser wird deutlich, wenn wir längere Nachrichten übertragen wollen, z. B. diese hier:ist unbegrenzt Der Wertebereich 4,2,0,0,4,3,7,9,2 Verbesserung Wir erhalten dann Rechnen in endlichen Körpern (Galois-Feldern) p(x) 4+ x+ x x + x x + x x + x GF(p) oder GF(p^m), 05 p ist 35Primzahl Wollen wir die Datenpakete () so übertragen, dass der Empfänger in Datenrepräsentation -übertragung HochschulesoKarlsruhe Prof. das Dr. D. W. Hoffmann der Lage ist,und 3 Fehler zu korrigieren, müssen wir Polynom an 6 zusätzlichen Stützstellen überapproximieren. Wir erhalten dann die 3. 4

42 Beispiel Nochmals... Die zu übertragenen Datenpakete sind:,2,2 Gesucht p(x)a 0 + a x + a 2 x 2 mit p(0), p()2, p(2)2 Mit Maple Dieses Mal: Rechnen Sie in GF(7) with(curvefitting); PolynomialInterpolation([[0,],[,2],[2,2]], x) mod 7; 3. 42

43 Angenommen... Reed-Solomon-Codes die Nachricht,2,2,,6 wurde gesendet und als,2,,,6 empfangen. Wie kann der Übertragungsfehler korrigiert werden? Lösung: Berlekamp-Welch-Algorithmus Elwyn Berlekamp 3. 43

44 Beschreibung Faltungscodes Faltungscodes werden über ein Tripel (n,k,m) beschrieben Aufbau n Anzahl parallel produzierter Ausgabe-Bits k Anzahl parallel entgegengenommener Eingabe-Bits m Anzahl der gespeicherten Zwischenwerte Ein Faltungscodierer hat den Aufbau eines Schieberegisters Generator-Sequenzen beschreiben die Berechnungsvorschrift Alle Berechnungen werden Modulo-2 durchgeführt Wichtige Parameter Code-Rate k/n Fehlererkennungs- und Korrektureigenschaften Alternative Beschreibungsformen Endlicher Automat, Wertetafel (lookup table), Trellis-Diagramm 3. 44

45 Alternative Beschreibungsformen Beschreibung eines Berechnungsschritts... als Schieberegister als endlicher Automat 0 0 /

46 Alternative Beschreibungsformen Beschreibung eines Berechnungsschritts... als Schieberegister als endlicher Automat 0 0 /

47 Alternative Beschreibungsformen Beschreibung eines Berechnungsschritts... als Schieberegister als Wertetafel Eingabe-Bits Zustand Ausgabe-Bits Folgezustand

48 Alternative Beschreibungsformen Beschreibung eines Berechnungsschritts... als Schieberegister als Trellis-Diagramm / 0/ 0/

49 Codierung Faltungscodes Übersetze Codierer in adäquate Beschreibungsform Rechnerfreundlich: Wertetabelle Tabellarische Darstellung des endlichen Automaten Übersetze Nachricht über Tabellenzugriffe (trivial!) Decodierung Grundlage ist das Trellis-Diagramm Wurde die Nachricht fehlerfrei übertragen... dann existiert ein zugehöriger Pfad im Trellis-Diagramm Pfad gibt Auskunft über die Originalnachricht Wurde die Nachricht fehlerhaft übertragen... dann existiert kein zugehöriger Pfad im Trellis-Diagramm Ziel: Finde Pfad mit dem geringsten Hamming-Fehler Effizient lösbar durch dynamischen Programmierung Viterbi-Algorithmus 3. 49

50 Katastrophencodes Katastrophencodes sind spezielle Faltungscodes, in denen... wenige falsch empfangene Kanal-Bits zu vielen Bitfehlern in der decodierten Nachricht führen können oder anders formuliert... Beispiel wenn sehr unterschiedliche Nachrichten durch sehr ähnliche Bit-Sequenzen codiert werden