Einführung in die Codierungstheorie

Transkript

1 Einführung in die Codierungstheorie Monika König Inhaltsverzeichnis 1 Einführung und Definitionen 2 2 Fehlererkennende Codes Paritycheck - Code Prüfziffersysteme Fehlerkorrigierende Codes Wiederholungscode Hammingabstand und Hamminggewicht (7,4)-Hamming-Code Kugelpackungsschranke

2 1 Einführung und Definitionen Ein Code ist generell die eindeutige Zuordnung von Elementen eines endlichen Eingangsalphabets X = {x 1,.., x k } zu denen eines endlichen Ausgangsalphabets Y = {y 1,..., y n }. Grundsätzlich besteht die Nachrichtenübertragung aus einer Datenquelle, einem Kanal und einem Empfänger. Kanäle können dabei einerseits Übertragungsmedien (z.b. Telefonleitungen, Funkverbindungen, etc.) oder aber auch Speichermedien sein. Oft wird die Übertragung im Kanal durch Störungen (Kratzer, Rauschen, etc.) beeinträchtigt. Wir gehen davon aus, dass der Kanal weder Zeichen einfügt, noch unterdrückt. Meist muss die Nachricht aus technischen Gründen vom ursprünglichen Alphabet der Quelle in ein anderes umgeschrieben, also codiert werden (Bsp. ASCII Code). Danach muss die Nachricht decodiert werden. Folgendes Modell veranschaulicht den Vorgang: Sender Codierer Übertragungskanal Decodierer Empfänger Ziele der Codierung: Möglichst viele bei der Übertragung (oder Speicherung) aufgetretene (zufällige) Fehler sollen bei der Decodierung erkannt und eventuell korrigiert werden. Der Aufwand sollte dabei nicht zu groß sein. Im Allgemeinen unterscheidet man zwischen zwei Arten von Codes: Blockcodes und Faltungscodes (convolutional codes). Im Nachfolgenden werden nur Blockcodes betrachtet. Folgende Definitionen sind alle aus Lit[2] übernommen. Definition 1.1 Ein (n, k) Block-Code ist ein Quadrupel (X, Y, E, D), wobei X, Y endliche Mengen sind und die Abbildung injektiv ist, während die Abbildung E : X k Y n D : Y n X k surjektiv ist. Dabei steht E für Codierer und D für Decodierer. Das heißt, die Nachricht wird in Blöcken von je k Symbolen verarbeitet und zu Blöcken von je n Symbolen codiert, so übertragen und dann decodiert. Definition 1.2 Die Rate eines (n, k)-block-codes ist R := k n 1. 2

3 Das Grundprinzip der Kanalcodierung ist es, die Information (also n) zu vergrößern, um Fehler erkennen zu können. Das heißt, je größer n ist, desto kleiner ist die Rate. Eine kleine Rate bedeutet also einerseits große Übertragungssicherheit, andererseits aber auch einen Geschwindigkeitsverlust durch längere Information. Definition 1.3 Ein DMC (discrete memoryless channel) ist ein Tripel (X, Y, P ), wobei X, Y endliche Mengen und P die Matrix der Übertragungswahrscheinlichkeiten ist. Dies heißt P = (p x,y ) x X,y Y mit p x,y = p(y x), wobei p(y x) die (bedingte) Wahrscheinlichkeit dafür ist, dass y empfangen wird, falls x gesendet wurde. Es gilt also p(y x) 0 für alle x, y und y p(y x) = 1 für alle x. Man nimmt an, dass die Störung der einzelnen Fehler unabhängig voneinander ist. Ein Beispiel ( dafür ist der ) BSC ( binary symmetric channel ). Hierbei ist X = Y = {0, 1} 1 p p und P = mit 0 p p 1 p 1. 2 Man unterscheidet zwischen fehlererkennenden Codes und fehlerkorrigierenden Codes. 2 Fehlererkennende Codes Aufgetretene Fehler werden (durch die zugefügte Information) erkannt und eine Wiederholung der Übertragung der Information wird beim Sender angefordert. (Vorteil: wenig zugefügte Information nötig; aber Verzögerungen durch wiederholte Übertragungen) 2.1 Paritycheck - Code Es ist ein Verfahren über dem Alphabet {0, 1}. (vgl. Lit[3], Seite 74) Ein Codewort a 1,.., a n {0, 1} n heißt von gerader Parität, falls die Anzahl der Zeichen 1 unter den a i gerade ist, andernfalls von ungerader Parität. Der Paritycheck-Code ist die Abbildung c : {0, 1} n 1 {0, 1} n, definiert durch a 1,.., a n 1 a 1,.., a n 1, a n mit n 1 a n a i mod 2. Es wird also die Prüfstelle so gewählt, dass die gesamte Nachricht eine gerade Anzahl von Einsern enthält. Erhält man eine Nachricht mit einer ungeraden Anzahl von Einsern bedeutet das also, dass mindestens ein Fehler aufgetreten ist. Leider kann man mit diesem Code keine Doppelfehler und keine gerade Anzahl von Fehlern erkennnen. Es wird nur jede 3

4 ungerade Anzahl von Fehlern erkannt. Bsp.: ist das angehängte Prüfbit, das die Anzahl der Einser entsprechend ergänzt. 2.2 Prüfziffersysteme Dazu vergleiche Lit[1], Seite 33. Prüfziffern dienen zum Erkennen von Eingabefehlern (Störquelle ist also z.b. der Mensch) und werden verwendet, wenn eine Wiederholung der Eingabe möglich ist. Ein Beispiel dafür ist die ISBN-Nummer, auf die näher eingegangen wird. Andere wären EAN-Nummern ( Strichcode ) oder Kontonummern. Die International Standard Book Number (ISBN) gibt nicht nur Auskunft über das Buch, sondern auch über Land und Verlag. Betrachten wir ein Buch mit der ISBN Nummer Dabei gibt 3 das Land (Deutschland), 527 den Verlag (VCH) und das Buch an. Die letzte Ziffer ist eine gewichtete Prüfziffer, die folgendermaßen berechnet wird: a 10 : 9 ia i mod 11. Modulo 10 eignet sich nicht, da 10 keine Primzahl ist. Allerdings muss man für die Prüfziffer das Alphabet erweitern: Ergibt sich a mod 11 setzt man a 10 = X. Die Kontrollgleichung lautet also ia i 0 mod 11. Bei dieser Codierung werden die zwei häufigsten Fehler, die man beim Lesen und Eintippen macht, erkannt (nach Lit[5], Seite 7): Ändern einer Ziffer: 80% aller Fehler Wird a k durch x k ersetzt, erhält man i k ia i + kx k = ia i k (a k x k ) 0 mod 11 }{{} 0 mod 11 Vertauschen zweier Ziffern: 10% der Fehler Wenn a k und a j vertauscht werden, ergibt sich i k,j ia i + ka j + ja k = ia i + (j k)(a k a j ) 0 mod 11 }{{} 0 mod 11 4

5 3 Fehlerkorrigierende Codes Aufgetretene Fehler werden erkannt und korrigiert. (Vorteil: keine Verzögerungen durch mehrmalige Übertragung; aber eventuell viel zusätzliche Information notwendig) 3.1 Wiederholungscode Ein Wiederholungscode ist das n-fache Wiederholen der einzelnen Bits. Der einfachste Fehlerkorrekturcode ist der Verdreifachungscode. Man codiert 0 als 000 und 1 als 111. Ein empfangenes Tripel wird zu dem im Tripel häufiger vorkommenden Symbol decodiert, z.b. 101 als 1 und 001 als 0. Mit diesem System kann ein Fehler pro Codewort korrigiert werden. Es ist aber ersichtlich, dass zwei oder drei Fehler zu einer falschen Korrektur führen. Wählt man n = 5, kann man schon 2 Fehler erkennen. Dieses Prinzip könnte man fortführen bis man beliebig viele Fehler erkennt, doch geht die Rate dann gegen 0. Beim Verdreifachungscode ist die Wahrscheinlichkeit, dass ein Codewort nach der Korrektur fehlerhaft ist (nachzulesen in Lit[2], Seite 17) p E = p (2 Übertragungsfehler)+p (3 Übertragungsfehler) = 3p2 (1 p)+p 3 = 3p 2 2p 3 < p, da p < 1 2 gilt. Für p = 0, 02 ergibt sich beispielsweise p E = 0, , also sind nur mehr etwa 0,12% Fehlinformation zu erwarten. Für n würde p E gegen 0 gehen. 3.2 Hammingabstand und Hamminggewicht Man misst die Ähnlichkeit von Codeworten indem man die Stellen abzählt, in denen sich die beiden unterscheiden (vgl. Lit[5]). Definition 3.1 Wenn x = x 1,.., x n und y = y 1,.., y n Wörter der Länge n über dem Alphabet X sind, dann bezeichnet d(x, y) den Hamming-Abstand, d. h. die Anzahl der unterschiedlichen Komponenten von x und y. Also: d(x, y) = {1 i n x i y i } heißt Hamming-Abstand zwischen den Wörtern x und y. Der Hamming-Abstand ist eine Metrik. Das heißt, wird ein Wort x gesendet und als Wort y empfangen mit d(x, y) = k, so sind während der Übertragung k Fehler aufgetreten. Die beiden Codewörter des Verdreifachungscodes haben d(x, y) = 3. 5

6 Definition 3.2 Der Minimalabstand eines Blockcodes C ist. d(c) = min d(x, y) x,y C x y Über den Minimalabstand lässt sich eine Aussage bezüglich der Fehlerkorrigierbarkeit machen: Ein Code mit d(c) 2t + 1 ist ein t-fehlerkorrigierender Code. Ein Code mit d(c) t + 1 ist ein t-fehlererkennender Code. Das bedeutet also, dass der Verdreifachungscode ein 2-fehlererkennender und ein 1-fehlerkorrigierender Code ist. Verwandt mit der Hamming-Distanz ist das Hamming-Gewicht einer Zeichenfolge. Definition 3.3 Hamming-Gewicht ist die Anzahl der von 0 verschiedenen Komponenten eines Wortes x aus X n. Für bestimmte Codes (lineare Codes) lässt sich der Minimalabstand einfach aus dem Hamming-Gewicht berechnen. 3.3 (7,4)-Hamming-Code Ein weiteres Beispiel für einen fehlerkorrigierenden Code ist der (7,4)-Hamming-Code (vgl. Lit[3], Seite 143ff). Die Codeworte bestehen aus 7 Stellen, von denen 3 Prüfstellen und 4 Informationsstellen sind. Das heißt, es können 16 Nachrichten codiert werden. Die Codierungsvorschrift ist (a 3, a 5, a 6, a 7 ) (a 1,.., a 7 ) mit a 1 a 3 + a 5 + a 7 mod 2 a 2 a 3 + a 6 + a 7 mod 2 a 4 a 5 + a 6 + a 7 mod 2 Daraus ergeben sich 3 Prüfbedingungen. Wenn man das Wort 1001 codieren möchte, fügt man die 3 Prüfstellen an den Stellen der Zweierpotenzen 2 0, 2 1, 2 2 ein und es ergibt sich XX1X001. Nach den Prüfbedingungen lautet das Wort dann Wenn ein Fehler auftritt, werden ein bis drei Prüfbedingungen verletzt. Die Kombination der verletzten Prüfbedingungen identifiziert dann die Stelle des fehlerhaften Bits eindeutig. Der(7,4)-Hamming-Code hat genau wie der Verdreifachungscode d(c) = 3. 6

7 3.4 Kugelpackungsschranke (Nach Lit[4], Seite 85ff und Lit[5], Seite 22f) Ist d(c) 2t + 1 und ist x C X n, so liegt in der Kugel K t := {x X n d(x, y) t} genau ein Codewort, nämlich x. Man sucht nach Kugeln mit Radius t, die möglichst viele Elemte von X n abdecken, ohne sich zu überschneiden (eine sogenannte Kugelpackung). Die Kugelmittelpunkte werden als Elemente eines Codes C gewählt, der t-fehlerkorrigierend ist. Für die Mächtigkeit einer Kugel mit Radius t in X n gilt K t (x) = t ( n i=0 i) (q 1) i, wobei X = q und x C. Dabei ist ( n i) die Anzahl der Auswahl von i Positionen in x und (q 1) i die Anzahl der Werte, die sich an i vorgegebenen Stellen von x unterscheiden. Die Anzahl der durch die Kugeln abgedeckten Wörter führt dann zu folgendem Satz: Satz 3.1 Existiert ein t-fehlerkorrigierender Code C in X n und X = q, so gilt folgende Ungleichung (Kugelpackungsschranke): t i=0 ( ) n (q 1) i C q n. i Beweis 3.1 Wegen d(c) 2t + 1 ist K t (x) K t (x ) = für x, x C, x x. Also: X n x C K t(x). Aus der Mächtigkeit einer Kugel folgt: q n = X n x C K t(x) = x C K t(x) = C t ( n i=0 i) (q 1) i. Dies liefert die Behauptung. In dieser Ungleichung gilt die Gleichheit genau dann, wenn die zum Code zugehörige Kugelpackung die Eigenschaft hat, dass jedes Wort von X n in einer (eindeutig bestimmten) Kugel mit Radius t liegt. Ein Code mit dieser Eigenschaft heißt perfekter Code. Sowohl Wiederholungscodes mit ungerader Wortlänge als auch Hamming-Codes sind perfekte Codes. Literatur [1] Hamming, Richard W.: Information und Codierung. VCH, [2] Jungnickel, Dieter: Codierungstheorie. Spektrum Verlag, [3] Mildenberger, Otto: Informationstheorie und Codierung. Vieweg, [4] Schulz, R. H.: Codierungstheorie, Eine Einführung. Vieweg, [5] Hauck, Peter: Skript zur VO WS 2005/06, Univerität Tübingen ( /CodierungstheorieWS0506.pdf)(aufgerufen am 1. November 2007) 7