Theoretische Grundlagen der Informatik

Transkript

1 Theoretische Grundlagen der Informatik Informationstheorie INSTITUT FÜR THEORETISCHE INFORMATIK KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft

2 Thema dieses Kapitels Informationstheorie hat Anwendungen in Quellkodierung Kanalkodierung Kryptographie

3 Thema dieses Kapitels Informationstheorie hat Anwendungen in Quellkodierung Reduktion von Redundanz/Irrelevanz am Ausgang einer Informationsquelle Hauptaufgabe: Datenkompression Unterscheidung: Verlustfrei vs. verlustbehaftete Kompression Hohe wirtschaftliche Bedeutung Kanalkodierung Kryptographie

4 Thema dieses Kapitels Informationstheorie hat Anwendungen in Quellkodierung Kanalkodierung Übertragung von digitalen Daten über gestörte Kanäle Schutz vor Übertragungsfehlern durch Redundanz Fehlerkorrektur Kryptographie

5 Thema dieses Kapitels Informationstheorie hat Anwendungen in Quellkodierung Kanalkodierung Kryptographie Informationssicherheit: Konzeption, De nition und Konstruktion von Informationssystemen, die widerstandsfähig gegen unbefugtes Lesen und Verändern sind Kryptographie bildet zusammen mit Kryptoanalyse die Kryptologie.

6 Material für Informationstheorie Vorlesungsfolien TGI-Skript von Prof. Müller-Quade aus dem WS 8/9 (auf der TGI-Homepage verlinkt) Martin Werner: Information und Codierung, VIEWEG TEUBNER, 28 2

7 Information Sei S = f,..., ng eine Menge von Zeichen mit Wahrscheinlichkeiten fp,..., p n g. Wir betrachten eine Informationsquelle X, die Zeichen i 2 S mit Wahrscheinlichkeit p i liefert. Bemerkung: X wird auch diskrete, endliche Zufallsvariable genannt. 3

8 Information Sei S = f,..., ng eine Menge von Zeichen mit Wahrscheinlichkeiten fp,..., p n g. Wir betrachten eine Informationsquelle X, die Zeichen i 2 S mit Wahrscheinlichkeit p i liefert. Bemerkung: X wird auch diskrete, endliche Zufallsvariable genannt. Beispiel Ein idealer Würfel wird durch die Wahrscheinlichkeiten ( 6, 6, 6, 6, 6, 6 ) dargestellt. Das Ergebnis des idealen Würfels ist schwer vorherzusagen. Der Erkenntnisgewinn nach Ausgang des Experiments ist deshalb groß. 3

9 Information Sei S = f,..., ng eine Menge von Zeichen mit Wahrscheinlichkeiten fp,..., p n g. Wir betrachten eine Informationsquelle X, die Zeichen i 2 S mit Wahrscheinlichkeit p i liefert. Bemerkung: X wird auch diskrete, endliche Zufallsvariable genannt. Beispiel Betrachte den gezinkten Würfel mit Wahrscheinlichkeiten (,,,,, ). 2 Hier ist schon klarer, welche Zahl als nächstes gewürfelt wird. Der Erkenntnisgewinn ist also kleiner. 3

10 Information Sei S = f,..., ng eine Menge von Zeichen mit Wahrscheinlichkeiten fp,..., p n g. Wir betrachten eine Informationsquelle X, die Zeichen i 2 S mit Wahrscheinlichkeit p i liefert. Bemerkung: X wird auch diskrete, endliche Zufallsvariable genannt. Frage Wir suchen ein Maß für den Erkenntnisgewinn nach Ausgang k mit Wahrscheinlichkeit p k. Wir bezeichnen diesen Erkenntnisgewinn als Information I pk 3

11 Information Sei S = f,..., ng eine Menge von Zeichen mit Wahrscheinlichkeiten fp,..., p n g. Wir betrachten eine Informationsquelle X, die Zeichen i 2 S mit Wahrscheinlichkeit p i liefert. Bemerkung: X wird auch diskrete, endliche Zufallsvariable genannt. Wünsche an die De nition von Information Information soll nicht negativ sein. In Formeln: I pi Ein sicheres Ereignis (also p i = ) soll keine Information liefern. Kleine Änderungen an der Wahrscheinlichkeit sollen nur kleine Änderungen an der Information bewirken. Etwas mathematischer ausgedrückt: Information soll stetig sein. 3

12 Information Sei S = f,..., ng eine Menge von Zeichen mit Wahrscheinlichkeiten fp,..., p n g. Wir betrachten eine Informationsquelle X, die Zeichen i 2 S mit Wahrscheinlichkeit p i liefert. Bemerkung: X wird auch diskrete, endliche Zufallsvariable genannt. Wünsche an die De nition von Information Wunsch: Eine doppelt so lange Zeichenkette soll doppelte Information enthalten können Deshalb fordern wir, dass I pi p j = I pi + I pj Dies soll später sicherstellen, dass die Information einer (unabhängigen) Zeichenkette gleich der Summe der Einzelinformationen ist. 3

13 Information Sei S = f,..., ng eine Menge von Zeichen mit Wahrscheinlichkeiten fp,..., p n g. Wir betrachten eine Informationsquelle X, die Zeichen i 2 S mit Wahrscheinlichkeit p i liefert. Bemerkung: X wird auch diskrete, endliche Zufallsvariable genannt. De nition Information Sei p eine Wahrscheinlichkeit. Die Information von p (zur Basis b) ist I p = log b ( p ) = log b (p) Im folgenden verwenden wir immer die Basis b = 2. 3

14 Wiederholung: Rechenregeln Logarithmus log a (x y) = log a (x) + log a (x) log a (/x) = log a (x) Basiswechsel: log a (x) = log b(x) log b(a) p K2 K4 K6 K8 4

15 Information De nition Information Sei p eine Wahrscheinlichkeit. Die Information von p (zur Basis b) ist I p = log b ( p ) = log b (p) Im folgenden verwenden wir immer die Basis b = 2. Beispiel 2: Betrachte einen Münze mit Seiten, und Wkten p = p = 2. Die Information eines Münzwurfs ist log(/ 2 ) = log(2) = Werfen wir die Münze k mal, so ist die Wahrscheinlichkeit für einen bestimmen Ausgang gleich = 2 k. Die Information ist dann log( 2 k ) = log(2k ) = k 5

16 Entropie Anschaulich formuliert Entropie ist ein Maß für den mittleren Informationsgehalt pro Zeichen einer Quelle Interessante andere Sichtweise Entropie eines Strings bezeichnet die Länge unter der ein String nicht komprimiert werden kann. Die Kolmogorov-Komplexität eines String ist die Länge des kürzesten Programms, das diesen String ausgibt. Damit ist Entropie eine untere Schranke für die Kolmogorov-Komplexität. 6

17 Entropie Entropie Die Entropie (zur Basis 2) einer diskreten Zufallsvariable mit Ereignissen (Zeichen) X und Wahrscheinlichkeiten p(x) für x 2 X, ist de niert durch H(X ) = å p(x) log 2 ( p(x) ) x2x dabei gelten die folgenden Konventionen log :=, log :=, a log a := Bemerkung Es gilt immer H(X ). 7

18 Bemerkungen zur Entropie H(X ) = å x2x p(x) log 2 ( p(x) ) Die Entropie einer diskreten, endlichen Zufallsvariable mit n Zeichen wird maximal, wenn alle Zeichen gleichwahrscheinlich sind. Die maximale Entropie beträgt dann log 2 (n). Die Entropie der deutsche Sprache liegt etwa bei 4,. Bei 26 Buchstaben ergibt sich eine maximale Entropie von log 2 (26) 4, 7. 8

19 Entropie einer Münze mit Wkt p für Zahl H(X ) = å x2x p p(x) log 2 ( p(x) ) = p log (p) ( p) log ( p) 2 2

20 (Platzsparende) Codierungen Wir betrachten eine Informationsquelle X, die Zeichen i 2 S mit Wahrscheinlichkeit p i liefert. Zum Codieren der Zeichen aus S haben wir aber nur Zeichenketten aus f, g zur Verfügung. Wie können wir S ohne Informationsverlust codieren, dass die erwartete Länge der Ausgabe möglichst klein wird? Formal Wir ordnen jedem Zeichen i 2 S ein Codewort z i 2 f, g mit n i Zeichen zu. Die mittlere Codewortlänge ist n = å i2s p i n i.

21 Codierungsbäume Wir codieren im folgenden binär. Sei S = f,... ng ein Alphabet mit Prä x-code C = fc,... c n g. Der Codierungsbaum T von (S, C) ist ein gerichteter, binärer Baum so dass jede Kante mit oder annotiert ist, ausgehend von einem Knoten höchstens eine Kante mit und höchstens eine Kante mit annotiert ist, die Blätter von T genau die Elemente in S sind, der Weg von der Wurzel zu i 2 S mit c i annotiert ist. a b c d e f g h

22 Codierungsbäume a b c d e f g h Beispiele Zeichen c hat Code Zeichen f hat Code Zeichen h hat Code 2

23 Codierungsbäume a b c d e f g h Bemerkungen Es besteht ein direkter Zusammenhang zwischen Codierungen und den zugehörigen Bäumen. Die Tiefe d T (v ) eines Knotens v in einem Baum T ist die Anzahl der Kanten auf einem kürzesten Weg von der Wurzel zu v. 3

24 Codierungsbäume a b c d e f g h Bemerkungen Gegeben sei eine Codierung für Alphabet S mit Wahrscheinlichkeit p i für i 2 S, Codewortlänge n i für i 2 S und zugehörigem Codierungsbaum T. Die mittlere Codewortlänge ist n = å i2s p i n i = å v 2S p v d T (v ). 3

25 Beispiel Betrachte eine Informationsquelle X mit S = fa, b, c, d, e, f, g, hg und Wahrscheinlichkeiten p z = /8 für z 2 S. a b c d e f g h 4

26 Beispiel Betrachte eine Informationsquelle X mit S = fa, b, c, d, e, f, g, hg und Wahrscheinlichkeiten p z = /8 für z 2 S. a b c d e f g h Mittlere Codewortlänge Hier haben alle Codes Länge 3. Die mittlere Codewortlänge ist also 3. 4

27 Beispiel Betrachte eine Informationsquelle X mit S = fa, b, c, d, e, f, g, hg und Wahrscheinlichkeiten p z = /8 für z 2 S. 4 a b c d e f g h Anzahl der codierten Zeichen Mit jedem zusätzlichen Bit, verdoppelt sich die Größe des darstellbaren Alphabets Um ein Alphabet S mit Wörtern gleicher Länge zu kodieren braucht man also log 2 (jsj) bits.

28 Prä x-codes Bei Codes mit variabler Länge muss man wissen, wann ein neues Codewort beginnt. Ein Prä x-code ist ein Code, so dass kein Codewort Anfang eines anderen Codeworts ist. Für Prä x-codes benötigt man deswegen keine Trennzeichen. Jeder Prä x-code kann auf die, in der letzten Folie benutze, Art als Baum dargestellt werden. 5

29 Beispiel: Morse-Alphabet Das Morse-Alphabet hat variable Länge. Das Morse-Alphabet ist kein Prä x-code. Zur Unterscheidung von A und ET benötigt man ein Trennzeichen. Das Morsealphabet besteht deswegen aus 3 Zeichen. 6 Buchstabe Morsezeichen Buchstabe Morsezeichen A N B O C P D Q E R F S G T H U I V J W K X L Y M Z

30 Quellencodierungstheorem Es seien Codes mit variabler Länge erlaubt. Es ist dann nützlich, häu ge Zeichen mit kurzen Wörtern zu codieren. Dies verkleinert die mittlere Codewortlänge. Satz (Shannon's Quellencodierungstheorem): Sei X eine diskrete endliche Zufallsvariable mit Entropie H(X ). Weiter sei ein Prä x-code für X mit einem Codealphabet aus D Zeichen und minimaler mittlerer Codewortlänge n gegeben. Dann gilt H(X ) log 2 D n < H(X ) log 2 D +. 7

31 Beispiel: Shannon-Fano Codierung Elemente Wahrscheinlichkeiten Codewort,59,388 2,25 3,946 4,796 5,669 6,563 7,473 8,398 9,334,28,237 2,

38 Beispiel: Shannon-Fano Codierung Ein paar Zwischenschritte später... Elemente Wahrscheinlichkeiten Codewort,59,388 2,25 3,946 4,796 5,669 6,563 7,473 8,398 9,334,28,237 2,

39 Shannon-Fano Codierung Funktion ShannonFano(Z ) Eingabe: Zeichenliste Z = (z,..., z k ) mit Wkten p,... p k Ausgabe: Shannon-Fano Codierung (c,..., c k ) Wenn k = return (c = e) and exit Sortiere Zeichen Z absteigend nach Wkt p i (d.h p p 2,... p k ). Trenne Z in Z (z,... z l ) Z 2 (z l+,... z k) so dass j å l i= p i å k i=l+ p ij minimal ist. (c,... c l ) L ShannonFano(Z ) (c l+,... c k ) L ShannonFano(Z 2 ) return (c,... c k ) 9

40 Codierungsbaum Shannon-Fano

41 Bemerkung Die mittlere Codewortlänge der Shannon-Fano Codierung muss nicht optimal sein. Sie ist deswegen nicht sehr verbreitet. Wir werden sehen, dass die Huffman-Codierung optimale mittlere Codewortlänge besitzt. 2

42 Beispiel: Huffman-Codierung d, 4 f, 2 b, 5 e, 5 a, 5 c, 5 22

43 Beispiel: Huffman-Codierung d, 4 f, 2 b, 5 e, 5 a, 5 c, 5, 22

44 Beispiel: Huffman-Codierung d, 4 f, 2 b, 5 e, 5 a, 5 c, 5,, 25 22

45 Beispiel: Huffman-Codierung d, 4 f, 2 b, 5 e, 5 a, 5 c, 5, 35,, 25 22

46 Beispiel: Huffman-Codierung d, 4 f, 2 b, 5 e, 5 a, 5 c, 5, 35,, 25, 6 22

47 Beispiel: Huffman-Codierung d, 4 f, 2 b, 5 e, 5 a, 5 c, 5, 35,, 25, 6 22

48 Beispiel: Huffman-Codierung d, 4 f, 2 b, 5 e, 5 a, 5 c, 5, 35,, 25, 6 22 Beispiele Zeichen c hat Code Zeichen e hat Code Zeichen d hat Code

49 Huffman-Codierung Eingabe: Zeichen,..., n mit Wkten p,... p n Ausgabe: Baum T des Huffman-Codes Menge Q = f,... ng Füge alle Zeichen aus Q als Blätter in T ein Für i =,... n r Erzeuge neuen Knoten z für T u extrahiere Element x aus Q mit p x minimal Bestimme u als linker Nachfolger von z v extrahiere Element x aus Q mit p x minimal Bestimme v als rechter Nachfolger von z Wahrscheinlichkeit p z von z ist p u + p v Füge z in Q ein extrahiere letztes Element aus Q return r (r ist Wurzel von T ) 23

50 Optimalität der Huffman-Codierung Satz: Der Huffman-Algorithmus berechnet einen Codierungsbaum mit minimaler mittlerer Codewortlänge. 24

51 Vorbereitendes Lemma Satz: Sei S = f,..., ng ein Alphabet mit Wkten P = fp,..., p n g. Seien x, y 2 S, x 6= y eine beliebige Wahl für die zwei unwahrscheinlichsten Zeichen. Dann gibt es einen Codierungsbaum T für (S, P) mit minimaler mittlerer Codewortlänge, so dass x und y den gleichen Elternknoten besitzen. 25

52 Vorbereitendes Lemma: Beweis Sei S = f,..., ng ein Alphabet mit Wkten P = fp,..., p n g. Seien x, y 2 S, x 6= y eine beliebige Wahl für die zwei unwahrscheinlichsten Zeichen. Beweis Sei T ein belieber Codierungsbaum für (S, P) mit minimaler mittlerer Codewortlänge O.B.d.A gelte für die Tiefe, dass d T (x) d T (y). Sei z der Elternknoten von x in T Fall : z hat nur x als Nachkommen Dann könnte man z löschen und durch x ersetzen Dieser Baum hätte eine kleinere mittlere Codewortlänge x z y Widerspruch zur Optimalität von T 26

53 Vorbereitendes Lemma: Beweis Sei S = f,..., ng ein Alphabet mit Wkten P = fp,..., p n g. Seien x, y 2 S, x 6= y eine beliebige Wahl für die zwei unwahrscheinlichsten Zeichen. Beweis Sei T ein belieber Codierungsbaum für (S, P) mit minimaler mittlerer Codewortlänge O.B.d.A gelte für die Tiefe, dass d T (x) d T (y). Sei z der Elternknoten von x in T Fall 2: z hat mehr als 2 Nachkommen Sei w 6= y ein Nachfahre von z von maximaler Tiefe Optimalität von T : p w p x x z q y 26 Wahl von x, y: p w = p x Tausche x mit w. Weiter mit Fall 3 w

54 Vorbereitendes Lemma: Beweis Sei S = f,..., ng ein Alphabet mit Wkten P = fp,..., p n g. Seien x, y 2 S, x 6= y eine beliebige Wahl für die zwei unwahrscheinlichsten Zeichen. Beweis Sei T ein belieber Codierungsbaum für (S, P) mit minimaler mittlerer Codewortlänge O.B.d.A gelte für die Tiefe, dass d T (x) d T (y). Sei z der Elternknoten von x in T Fall 3: z hat genau 2 Nachkommen Sei q 6= x der andere Nachfahre von z. Tausche q mit y. q und y gleiche Tiefe: Tauschen ok. x z q y q tiefer als y: Wegen Optimalität p q = p y. 26

55 Optimalität der Huffman-Codierung Satz: Der Huffman-Algorithmus berechnet einen Codierungsbaum mit minimaler mittlerer Codewortlänge. Beweis Wir benutzen Induktion nach der Anzahl der Zeichen jsj des Alphabets S. Induktionsanfang: Die Aussage ist für ein Zeichen erfüllt. 27

56 Beweis - Induktionsschluss Induktions-Voraussetzung Der Huffman-Algorithmus berechnet einen optimalen Codierungsbaum für alle Alphabete S mit jsj n und alle Möglichkeiten für P. Induktions-Schluss Gegeben sei Alphabet S = f,..., n + g mit Wkten P = fp,... p n+g. Für einen Codierungsbaum T bezeichne f (T ) = å v 2S p v d T (v ) die zugehörige mittlere Wortlänge. Wir machen einen Widerspruchsbeweis. Bezeichne T huff einen Huffman-Baum für (S, P) Sei T opt einen Codierungsbaum für (S, P) mit f (T opt ) < f (T huff ). 28

57 Beweis - Induktionsschluss Seien x, y 2 S die Zeichen, die im Huffman-Algo zuerst zusammengefasst werden. Vorbereitendes Lemma: Wir können T opt so wählen, dass x und y den gleichen Elternknoten besitzen. T opt T huff x y x y 29

58 Beweis - Induktionsschluss Seien x, y 2 S die Zeichen, die im Huffman-Algo zuerst zusammengefasst werden. Vorbereitendes Lemma: Wir können T opt so wählen, dass x und y den gleichen Elternknoten besitzen. T opt T huff z z Sei S = S n fx, yg [ fzg Instanz für neues Zeichen z mit Wkt p x + p y Seien T opt und T huff die Bäume, die sich aus T opt und T huff ergeben, wenn man x, y mit ihrem Elterknoten zu Knoten z verschmilzt. 29

59 Beweis - Induktionsschluss Sei S = S n fx, yg [ fzg Instanz für neues Zeichen z mit Wkt p x + p y Seien T opt und T huff die Bäume, die sich aus T opt und T huff ergeben, wenn man x, y mit ihrem Elterknoten zu Knoten z verschmilzt. T opt T huff z z Es gilt T huff ist ein Huffman-Baum für Instanz S mit den neuen Wkten T opt ist ein Codierungs-Baum für Instanz S mit den neuen Wkten 3

60 Beweis - Induktionsschluss Sei S = S n fx, yg [ fzg Instanz für neues Zeichen z mit Wkt p x + p y Seien T opt und T huff die Bäume, die sich aus T opt und T huff ergeben, wenn man x, y mit ihrem Elterknoten zu Knoten z verschmilzt. T opt T huff z z Es gilt f (T huff ) = f (T huff ) d Thuff (x)p x d Thuff (y)p y + (d Thuff (z) )p z = f (T huff ) p x p y f (T opt ) = f (T opt ) d Topt (x)p x d Topt (y)p y + (d Topt (z) )p z 3 = f (T opt ) p x p y

61 Beweis - Induktionsschluss Sei S = S n fx, yg [ fzg Instanz für neues Zeichen z mit Wkt p x + p y Seien T opt und T huff die Bäume, die sich aus T opt und T huff ergeben, wenn man x, y mit ihrem Elterknoten zu Knoten z verschmilzt. T opt T huff z z Damit ist T opt ein besserer Coderierungsbaum für S als T huff Da js j = n ist dies ein Widerspruch zur Induktionsvoraussetzung. 3

62 Nachteile der Huffman-Codierung Unterschiedliche Codewortlängen führen zu unterschiedlichen Bitraten und Decodierungsverzögerung. Datenkompression reduziert die Redundanz und erhöht damit die Fehleranfälligkeit. Die Kenntnis der Wahrscheinlichkeiten der Zeichen wird vorausgesetzt. Universelle Codierverfahren wie der Lempel-Ziv Algorithmus setzen kein a-priori Wissen an die Statistik der Daten voraus. 3

63 Lau ängenkodierung Bei der Faxübertragung wird die Vorlage zeilenweise abgetastet und in weiße (w) und schwarze (s) Bildelemente zerlegt. Üblicherweise ist die Zahl der weißen Elemente viel höher, als die der schwarzen. Wir nehmen der Einfachheit halber an, dass die Bildpunkte voneinander unabhängig sind. Bei 5% Schwärzungsgrad ergibt sich eine Entropie von H =.85 log 2 (.85).5 log 2 (.5).6 Bei guter Codierung sollte eine entsprechende mittlere Codewortlänge zu erwarten sein. 32

64 Lau ängenkodierung Bei der Faxübertragung wird die Vorlage zeilenweise abgetastet und in weiße (w) und schwarze (s) Bildelemente zerlegt. Üblicherweise ist die Zahl der weißen Elemente viel höher, als die der schwarzen. Wir nehmen der Einfachheit halber an, dass die Bildpunkte voneinander unabhängig sind. Bei 5% Schwärzungsgrad ergibt sich eine Entropie von H =.85 log 2 (.85).5 log 2 (.5).6 Bei guter Codierung sollte eine entsprechende mittlere Codewortlänge zu erwarten sein. Problem: Wie ist platzsparende Codierung von einem Alphabet mit zwei Zeichen möglich? 32

65 Lau ängencodierung Problem: Wie ist platzsparende Codierung von einem Alphabet mit zwei Zeichen möglich? Möglicher Ansatz: Blockcodes Fasse k Zeichen zu Blöcken zusammen und codiere diesen Beispiel k = 2: Neues Alphabet: ww,ws,sw,ss Dieses kann platzsparend codiert werden. Beispiel: Zeichen ww ws sw ss Wkt 2 2 Huffman 2 33

66 Lau ängencodierung Lau ängencodierung Spezielle Zusammenfassung für Bildcodierung bei Fax/Videoanwendungen Die Länge der Blöcke ist variabel. Idee: Codiere nicht die Bildpunkte, sondern den Abstand zwischen zwei schwarzen Bildpunkten Beispiel: wwwswwsswwwwswswwwwwwswwwwwws wird aufgefasst als Für eine Binärcodierung braucht man noch Codes für die Abstände (also für N). Um dies platzsparend zu machen benötigt man Wkten für einzelne Abstände. 34

67 Lau ängencodierung Lau ängencodierung Wie groß sind die Wkten für die einzelnen Abstände? Annahme: Die Bildpunkte sind voneinander unabhängig Sei p l die Wkt für einen Block aus l aufeinanderfolgenden weißen Bildpunkten mit einem schwarzen Bildpunkten am Schluss p l = P(w l s) = P l (w ) P(s) Es ergibt sich eine geometrische Verteilung 34

68 Geometrische Verteilung Quelle: Wikipedia. 35

69 Lau ängencodierung Man kann ein Schwarzweißbild über Angabe der Lau ängen verlustfrei rekonstruieren Sonderbehandlung für letzten Block erforderlich Weiteres Problem: Lau ängen können beliebig groß werden Shannon-Fano-Codierung kann trotzdem einfach angewandt werden Abstand Wkten Codewort,59,388 2,25 3,946 4,796 5,669 6,563 7,473 8,398 9,334,28,237 2,

70 Codierung zum Schutz gegen Übertragungsfehler Quelle Störung Kanal Senke Kanaldecodierung Quellendecodierung Quellencodierung Kanalcodierung 37

71 Codierung zum Schutz gegen Übertragungsfehler Qualität einer digitalen Übertragung wird häu g als gemessene Bitfehlerquote bzw Bitfehlerwahrscheinlichkeit angegeben Beherrschung von Übertragungsfehlern Fehlerkorrektur (beim Empfänger) Fehlererkennung und Wiederholungsanforderung Tradeoff: Wahrscheinlichkeit unentdeckter Fehler vs. Datendurchsatz 37

72 Paritätscodes - Einfach Binär Quelle: Wikipedia Paritätscode der RS232-Schnittstelle Neunpoliges Kabel ermöglicht die parallele Übertragung von 8 bit Dabei werden nur sieben bits b,... b 7 für die Nachrichtenübertragung genutzt. Das achte bit b 8 wird Paritätsbit genannt. 38

73 Paritätscodes - Einfach Binär Paritätscode der RS232-Schnittstelle Neunpoliges Kabel ermöglicht die parallele Übertragung von 8 bit Dabei werden nur sieben bits b,... b 7 für die Nachrichtenübertragung genutzt. Das achte bit b 8 wird Paritätsbit genannt. Wiederholung XOR-Verknüpfung Es wird b 8 so gesendet, dass b 8 = b b 2 b 3 b 4 b 5 b 6 b 7 38

74 Paritätscodes - Einfach Binär Wiederholung XOR-Verknüpfung Es wird b 8 so gesendet, dass b 8 = b b 2 b 3 b 4 b 5 b 6 b 7 Mit dem Paritätscode werden einfache Fehler im Codewort erkannt Gleichzeitiger Übertragungsfehler von 2 Fehlern werden nicht erkannt Falls ein Fehler erkannt wird, kann die ursprüngliche Nachricht nicht rekonstruiert werden: Die Fehlerstelle ist unbekannt 38

75 Kreuzsicherung Dient zum Schutz gegen Doppelfehler Erklärung am Beispiel Lochkarte Paritätszeichen Längsparität Paritätszeichen Querparität 39 Transportrichtung

76 Kreuzsicherung Alle,2,3 fachen Fehler sind erkennbar Ab 4 Fehlern nicht zwingend erkennbar Paritätszeichen Längsparität Paritätszeichen Querparität 39 Transportrichtung

80 Paritätscodes Paritätscodes Gegeben ein Alphabet S = f, 2,..., q g. Ein Code der Länge n zur Basis q sei eine Menge von Folgen mit Elementen aus S. Einzelne Folgen werden Codewörter genannt. Ein Paritätscode liegt vor, wenn für jedes Codewort a, a 2,..., a n gilt. (a + a a n ) mod q = Satz: Jeder Paritätscode erkennt Einzelfehler. 4

81 Beweis Sei a,..., a n das ursprüngliche Codewort Annahme: Das i-te Element wurde fehlerhaft als ea i übertragen. Ein Übertragungsfehler liegt vor, wenn (a + a ea i a n ) mod q = Für das ursprüngliche Codewort gilt (a + a a n ) mod q =. Also = (a + a ea i a n ) mod q = (a + a a n ) mod q 4

82 Beweis = (a + a ea i a n ) mod q = (a + a a n ) mod q Damit = (a + a ea i a n ) mod q (a + a a n ) mod q = (ea i a i ) mod q Um dies zu erfüllen muss (ea i a i ) durch q teilbar sein. Weil aber a i < q folgt jea i a i j < q. 42

83 Paritätscodes gegen Vertauschungsfehler Häu ge Fehlerart bei manueller Eingabe: Vertauschungsfehler. Diese werden von gewöhnlichen Paritätscodes nicht erkannt. Sie wieder a,..., a n ein Codewort. Paritätscode mit Gewichten: Wir führen zusätzlich ganzzahlige Gewichte w,..., w n ein, so das gilt gilt. (w a + w 2 a w n a n + a n ) mod q = Zusatzbedingung: Alle Gewichte w i müssen teilerfremd zu q sein. 43

84 Paritätscodes gegen Vertauschungsfehler Paritätscode mit Gewichten: Wir führen zusätzlich ganzzahlige Gewichte w,..., w n ein, so das gilt gilt. (w a + w 2 a w n a n + a n ) mod q = Zusatzbedingung: Alle Gewichte w i müssen teilerfremd zu q sein. Satz: Jeder Paritätscode mit Gewichten erkennt Einzelfehler. Beweis: Analog zu normalen Paritätscodes kann gezeigt werden, dass Einzelfehler nicht erkannt werden, wenn w i (ea i a i ) mod q =. 43

85 Paritätscodes gegen Vertauschungsfehler Paritätscode mit Gewichten: Wir führen zusätzlich ganzzahlige Gewichte w,..., w n ein, so das gilt gilt. (w a + w 2 a w n a n + a n ) mod q = Zusatzbedingung: Alle Gewichte w i müssen teilerfremd zu q sein. Satz: Ein Paritätscode mit Gewichten erkennt die Vertauschung an den Stellen i und j, falls die Zahl w i w j teilerfremd zu q ist. Beweis: Analog zu oben: Vertauschungsfehler wird nicht erkannt, falls [(w i a i + w j a j ) (w j a i + w i a j )] mod q = [(w i w j )(a i a j )] mod q =. 43

86 44 Bsp: ISBN-

87 ISBN: International Standard Book Number (ISO Standard 28) ISBN- (Code oben im letzten Beispiel) war bis 26 übliche Codierungen Seit 27 EAN-3 (European Article Number) Beschreibung ISBN- Alphabet S = f,,..., 9g Basis q = (Primzahl!) Länge n = Paritätscode Für Code a,..., a berechnet sich die Prüfziffer a aus (a + 9a 2 + 8a a 9 + a ) mod =. 45

88 Block-Codes Man unterscheidet verschiedene Arten von Kanal-Codes. Block-Codes: Hier betrachtet man Codeworte fester Länge. Aufeinanderfolgende Blöcke werden unabhängig voneinander kodiert. Faltungs-Codes: Codeworte konnen beliebig lang sein. Die Zeichen sind vom Vorgeschehen abhängig. In TGI befassen wir uns ausschließlich mit Block-Codes. 46

89 Hamming-Distanz und Fehlerkorrektur Hamming-Distanz Für x, y 2 f, g n ist d (x, y) := #fiji =,..., n, x i 6= y i g die Hamming-Distanz zwischen x und y. Anschaulich: Die Hamming Distanz zwischen x und y ist die Anzahl der Zeichen in x die sich von denen in y unterscheiden. Es sei B r (x) die Menge aller Worte y mit d (x, y) r. Anschaulich: B r ist eine Kugel (die Hamming-Kugel) um x mit Radius r. 47

90 Maximum-Likelihood-Decoding Maximum-Likelyhood-Decoding Sei eine Kodierung C gegeben und y ein empfangenes Wort. Decodiere y als dasjenige Codewort x 2 C, für das d (x, y) minimal wird. 48

91 Shannon's Theorem Shannon's Theorem Betrachte einen Code C mit M Worten der Länge n. Seien x,..., x 2 die Codeworte. Benutze maximum-likelyhood-decoding. Sei P i die Wahrscheinlichkeit dafür, dass falsch dekodiert wird wenn das Wort x i gesendet wurde. Die durchschnittliche Wahrscheinlichkeit einer falschen Dekodierung ist P M C = å P i. M i= 49

92 Block-Codes Block-Code Gegeben ist ein endliches Alphabet S Ein Block-Code ist eine Teilmenge C S n für ein n 2 N Falls #C =, so heißt C trivial, da es nur ein Codewort gibt. Minimaldistanz Die Minimaldistanz eines nichttrivialen Block-Codes C ist m(c) := min c,c 2 2C,c 6=c 2 d (c, c 2 ). 5

93 Block-Codes Satz: Ein Block-Code C mit Minimaldistanz m(c) = d kann entweder bis zu d Fehler erkennen oder bis zu j k d 2 Fehler korrigieren. 5

94 Beweisskizze d d 2 d 2 d 2 52