Theoretische Grundlagen der Informatik. Vorlesung am 31. Januar INSTITUT FÜR THEORETISCHE INFORMATIK

Transkript

1 Theoretische Grundlagen der Informatik Torsten Ueckerdt - Theoretische Grundlagen der Informatik KIT Die Forschungsuniversität in der Helmholtz-Gemeinschaft

2 Thema dieses Kapitels Informationstheorie hat Anwendungen in Quellkodierung Kanalkodierung Kryptographie Torsten Ueckerdt - Theoretische Grundlagen der Informatik

3 Thema dieses Kapitels Informationstheorie hat Anwendungen in Quellkodierung Reduktion von Redundanz/Irrelevanz am Ausgang einer Informationsquelle Hauptaufgabe: Datenkompression Unterscheidung: Verlustfrei vs. verlustbehaftete Kompression Hohe wirtschaftliche Bedeutung Kanalkodierung Kryptographie Torsten Ueckerdt - Theoretische Grundlagen der Informatik

4 Thema dieses Kapitels Informationstheorie hat Anwendungen in Quellkodierung Kanalkodierung Übertragung von digitalen Daten über gestörte Kanäle Schutz vor Übertragungsfehlern durch Redundanz Fehlerkorrektur Kryptographie Torsten Ueckerdt - Theoretische Grundlagen der Informatik

5 Thema dieses Kapitels Informationstheorie hat Anwendungen in Quellkodierung Kanalkodierung Kryptographie Informationssicherheit: Konzeption, Definition und Konstruktion von Informationssystemen, die widerstandsfähig gegen unbefugtes Lesen und Verändern sind Kryptographie bildet zusammen mit Kryptoanalyse die Kryptologie Torsten Ueckerdt - Theoretische Grundlagen der Informatik

6 Material für Informationstheorie Vorlesungsfolien TGI-Skript von Prof. Müller-Quade aus dem WS 8/9 (auf der TGI-Homepage verlinkt) Martin Werner: Information und Kodierung, VIEWEG TEUBNER, Torsten Ueckerdt - Theoretische Grundlagen der Informatik

7 Information Sei Σ = {,..., n} eine Menge von Zeichen mit Wahrscheinlichkeiten {p,..., p n }. Wir betrachten eine Informationsquelle X, die Zeichen i Σ mit Wahrscheinlichkeit p i liefert. Bemerkung: X wird auch diskrete, endliche Zufallsvariable genannt Torsten Ueckerdt - Theoretische Grundlagen der Informatik

8 Information Sei Σ = {,..., n} eine Menge von Zeichen mit Wahrscheinlichkeiten {p,..., p n }. Wir betrachten eine Informationsquelle X, die Zeichen i Σ mit Wahrscheinlichkeit p i liefert. Bemerkung: X wird auch diskrete, endliche Zufallsvariable genannt. Beispiel Ein idealer Würfel wird durch die Wahrscheinlichkeiten ( 6, 6, 6, 6, 6, 6 ) dargestellt. Das Ergebnis des idealen Würfels ist schwer vorherzusagen. Der Erkenntnisgewinn nach Ausgang des Experiments ist deshalb groß Torsten Ueckerdt - Theoretische Grundlagen der Informatik

9 Information Sei Σ = {,..., n} eine Menge von Zeichen mit Wahrscheinlichkeiten {p,..., p n }. Wir betrachten eine Informationsquelle X, die Zeichen i Σ mit Wahrscheinlichkeit p i liefert. Bemerkung: X wird auch diskrete, endliche Zufallsvariable genannt. Beispiel Betrachte den gezinkten Würfel mit Wahrscheinlichkeiten (,,,,, 2 ). Hier ist schon klarer, welche Zahl als nächstes gewürfelt wird. Der Erkenntnisgewinn ist also kleiner Torsten Ueckerdt - Theoretische Grundlagen der Informatik

10 Information Sei Σ = {,..., n} eine Menge von Zeichen mit Wahrscheinlichkeiten {p,..., p n }. Wir betrachten eine Informationsquelle X, die Zeichen i Σ mit Wahrscheinlichkeit p i liefert. Bemerkung: X wird auch diskrete, endliche Zufallsvariable genannt. Frage Wir suchen ein Maß für den Erkenntnisgewinn nach Ausgang k mit Wahrscheinlichkeit p k. Wir bezeichnen diesen Erkenntnisgewinn als Information I pk Torsten Ueckerdt - Theoretische Grundlagen der Informatik

11 Information Sei Σ = {,..., n} eine Menge von Zeichen mit Wahrscheinlichkeiten {p,..., p n }. Wir betrachten eine Informationsquelle X, die Zeichen i Σ mit Wahrscheinlichkeit p i liefert. Bemerkung: X wird auch diskrete, endliche Zufallsvariable genannt. Wünsche an die Definition von Information Information soll nicht negativ sein. In Formeln: I pi Ein sicheres Ereignis (also p i = ) soll keine Information liefern. Kleine Änderungen an der Wahrscheinlichkeit sollen nur kleine Änderungen an der Information bewirken. Etwas mathematischer ausgedrückt: Information soll stetig sein Torsten Ueckerdt - Theoretische Grundlagen der Informatik

12 Information Sei Σ = {,..., n} eine Menge von Zeichen mit Wahrscheinlichkeiten {p,..., p n }. Wir betrachten eine Informationsquelle X, die Zeichen i Σ mit Wahrscheinlichkeit p i liefert. Bemerkung: X wird auch diskrete, endliche Zufallsvariable genannt. Wünsche an die Definition von Information Wunsch: Eine doppelt so lange Zeichenkette soll doppelte Information enthalten können Deshalb fordern wir, dass I pi p j = I pi + I pj Dies soll später sicherstellen, dass die Information einer (unabhängigen) Zeichenkette gleich der Summe der Einzelinformationen ist Torsten Ueckerdt - Theoretische Grundlagen der Informatik

13 Information Sei Σ = {,..., n} eine Menge von Zeichen mit Wahrscheinlichkeiten {p,..., p n }. Wir betrachten eine Informationsquelle X, die Zeichen i Σ mit Wahrscheinlichkeit p i liefert. Bemerkung: X wird auch diskrete, endliche Zufallsvariable genannt. Definition Information Sei p eine Wahrscheinlichkeit. Die Information von p (zur Basis b) ist I p = log b ( p ) = log b(p) Im Folgenden verwenden wir immer die Basis b = Torsten Ueckerdt - Theoretische Grundlagen der Informatik

14 Wiederholung: Rechenregeln Logarithmus log a (x y) = log a (x) + log a (x) log a (/x) = log a (x) Basiswechsel: log a (x) = log b(x) log b (a) p K2 K4 K6 K Torsten Ueckerdt - Theoretische Grundlagen der Informatik

15 Information Definition Information Sei p eine Wahrscheinlichkeit. Die Information von p (zur Basis b) ist I p = log b ( p ) = log b(p) Im Folgenden verwenden wir immer die Basis b = 2. Beispiel 2: Betrachte einen Münze mit Seiten, und Wkten p = p = 2. Die Information eines Münzwurfs ist log(/ 2 ) = log(2) =. Werfen wir die Münze k mal, so ist die Wahrscheinlichkeit für einen bestimmen Ausgang gleich =. 2 k Die Information ist dann log( 2 k ) = log(2 k ) = k Torsten Ueckerdt - Theoretische Grundlagen der Informatik

16 Entropie Anschaulich formuliert Entropie ist ein Maß für den mittleren Informationsgehalt pro Zeichen einer Quelle. Interessante andere Sichtweise Entropie eines Strings bezeichnet die Länge unter der ein String nicht komprimiert werden kann. Die Kolmogorov-Komplexität eines String ist die Länge eines kürzesten Programms, das diesen String ausgibt. Damit ist Entropie eine untere Schranke für die Kolmogorov-Komplexität Torsten Ueckerdt - Theoretische Grundlagen der Informatik

17 Entropie Entropie Die Entropie (zur Basis 2) einer diskreten Zufallsvariable X mit Ergebnissen (Zeichen) in Σ und Wahrscheinlichkeiten p(a) > für a Σ, ist definiert durch H(X ) = p(a) log 2 ( p(a) ). a Σ Bemerkung Es gilt immer H(X ) > Torsten Ueckerdt - Theoretische Grundlagen der Informatik

18 Bemerkungen zur Entropie H(X ) = p(a) log 2 ( p(a) ) a Σ Die Entropie einer diskreten, endlichen Zufallsvariable mit Σ = n Zeichen wird maximal, wenn alle Zeichen gleichwahrscheinlich sind: p(a) = /n für jedes a Σ. Die maximale Entropie beträgt dann H(X ) = p(a) log 2 ( p(a) ) = n n log 2( /n ) = log 2(n). a Σ Die Entropie der deutschen Sprache liegt etwa bei 4,. Bei 26 Buchstaben ergibt sich eine maximale Entropie von log 2 (26) 4, Torsten Ueckerdt - Theoretische Grundlagen der Informatik

19 Entropie einer Münze mit Wkt p für Zahl p H(X ) = p(a) log 2 ( p(a) ) = p log 2( p ) + ( p) log 2( p ) a Σ Torsten Ueckerdt - Theoretische Grundlagen der Informatik

20 (Platzsparende) Kodierungen Wir betrachten eine Informationsquelle X, die Zeichen i Σ mit Wahrscheinlichkeit p i liefert. Zum Kodieren der Zeichen aus Σ haben wir aber nur Zeichenketten aus {, } zur Verfügung. Wie können wir Σ ohne Informationsverlust kodieren, dass die erwartete Länge der Ausgabe möglichst klein wird? Formal Wir ordnen jedem Zeichen i Σ ein Codewort c i {, } zu. Wir verwenden keine Trennzeichen. Beispiel A: H: L: O: ist eine Folge von fünf Codewörtern und steht für: HALLO Torsten Ueckerdt - Theoretische Grundlagen der Informatik

21 Präfix-Codes Bei Codes mit variabler Länge muss man wissen, wann ein neues Codewort beginnt. Ein Präfix-Code ist ein Code, so dass kein Codewort Anfang eines anderen Codeworts ist. Für Präfix-Codes benötigt man deswegen keine Trennzeichen. Jeder Präfix-Code kann als Baum dargestellt werden Torsten Ueckerdt - Theoretische Grundlagen der Informatik

22 Kodierungsbäume Wir kodieren im Folgenden binär. Sei Σ = {,..., n} ein Alphabet mit Präfix-Code C = {c,..., c n }. Der Kodierungsbaum T von (Σ, C) ist ein gerichteter, binärer Baum so dass jede Kante mit oder annotiert ist, ausgehend von einem Knoten höchstens eine Kante mit und höchstens eine Kante mit annotiert ist, die Blätter von T genau die Elemente in Σ sind, der Weg von der Wurzel zu i Σ mit c i annotiert ist. a b c d e f g h Torsten Ueckerdt - Theoretische Grundlagen der Informatik

23 Kodierungsbäume Beispiele Zeichen b hat Code Zeichen e hat Code Zeichen h hat Code a b c d e f g h Torsten Ueckerdt - Theoretische Grundlagen der Informatik

24 Kodierungsbäume a b c d e f g h Bemerkungen Es besteht ein direkter Zusammenhang zwischen Kodierungen und den zugehörigen Bäumen. Die Tiefe d T (v) eines Knotens v in einem Baum T ist die Anzahl der Kanten auf einem kürzesten Weg von der Wurzel zu v Torsten Ueckerdt - Theoretische Grundlagen der Informatik

25 Kodierungsbäume a b c d e f g h Bemerkungen Gegeben sei eine Kodierung für Alphabet Σ mit Wahrscheinlichkeit p i für i Σ, Codewortlänge n i für i Σ und zugehörigem Kodierungsbaum T. Die mittlere Codewortlänge ist n = i Σ p i n i = v Σ p v d T (v) Torsten Ueckerdt - Theoretische Grundlagen der Informatik

26 Beispiel Betrachte eine Informationsquelle X mit Σ = {a, b, c, d, e, f, g, h} und Wahrscheinlichkeiten p i = /8 für i Σ. a b c d e f g h Torsten Ueckerdt - Theoretische Grundlagen der Informatik

27 Beispiel Betrachte eine Informationsquelle X mit Σ = {a, b, c, d, e, f, g, h} und Wahrscheinlichkeiten p i = /8 für i Σ. a b c d e f g h Mittlere Codewortlänge Hier haben alle Codewörter Länge 3. Die mittlere Codewortlänge ist also Torsten Ueckerdt - Theoretische Grundlagen der Informatik

28 Beispiel Betrachte eine Informationsquelle X mit Σ = {a, b, c, d, e, f, g, h} und Wahrscheinlichkeiten p i = /8 für i Σ. a b c d e f g h Anzahl der kodierten Zeichen Mit jedem zusätzlichen Bit, verdoppelt sich die Größe des darstellbaren Alphabets. Um ein Alphabet Σ mit Wörtern gleicher Länge zu kodieren braucht man also log 2 ( Σ ) Bits pro Codewort Torsten Ueckerdt - Theoretische Grundlagen der Informatik

29 Beispiel: Morse-Alphabet Das Morse-Alphabet hat variable Länge. Das Morse-Alphabet ist kein Präfix-Code. Zur Unterscheidung von A und ET benötigt man ein Trennzeichen. Das Morsealphabet besteht deswegen aus 3 Zeichen. Buchstabe Morsezeichen Buchstabe Morsezeichen A N B O C P D Q E R F S G T H U I V J W K X L Y M Z Torsten Ueckerdt - Theoretische Grundlagen der Informatik

30 Quellenkodierungstheorem Es seien Codes mit variabler Länge erlaubt. Es ist dann nützlich, häufige Zeichen mit kurzen Wörtern zu kodieren. Dies verkleinert die mittlere Codewortlänge. Satz (Shannon s Quellenkodierungstheorem): Sei X eine diskrete endliche Zufallsvariable mit Entropie H(X ). Weiter sei ein Präfix-Code für X mit einem Codealphabet aus D Zeichen und minimaler mittlerer Codewortlänge n gegeben. Dann gilt H(X ) log 2 D n < H(X ) log 2 D Torsten Ueckerdt - Theoretische Grundlagen der Informatik

31 Beispiel: Shannon-Fano Kodierung Zeichen Wahrscheinlichkeiten Codewort,59,388 2,25 3,946 4,796 5,669 6,563 7,473 8,398 9,334,28,237 2, Torsten Ueckerdt - Theoretische Grundlagen der Informatik

38 Beispiel: Shannon-Fano Kodierung Ein paar Zwischenschritte später... Zeichen Wahrscheinlichkeiten Codewort,59,388 2,25 3,946 4,796 5,669 6,563 7,473 8,398 9,334,28,237 2, Torsten Ueckerdt - Theoretische Grundlagen der Informatik

39 Shannon-Fano Kodierung Funktion ShannonFano(Z ) Eingabe: Zeichenliste Z = (z,..., z k ) mit Wkten p,..., p k Ausgabe: Shannon-Fano Kodierung (c,..., c k ) Wenn k = return (c = ɛ) and exit Sortiere Zeichen Z absteigend nach Wkt p i (d.h p p 2... p k ). Trenne Z in Z (z,..., z l ) Z 2 (z l+,..., z k ) so dass l i= p i k i=l+ p i minimal ist. (c,..., c l ) (s,..., s l ) mit (s,..., s l ) ShannonFano(Z ) (c l+,..., c k ) (s l+,..., s k ) mit (s l+,..., s k ) ShannonFano(Z 2 ) return (c,..., c k ) Torsten Ueckerdt - Theoretische Grundlagen der Informatik

40 Kodierungsbaum Shannon-Fano Torsten Ueckerdt - Theoretische Grundlagen der Informatik

41 Bemerkung Die mittlere Codewortlänge der Shannon-Fano Kodierung muss nicht optimal sein. Sie ist deswegen nicht sehr verbreitet. Wir werden sehen, dass die Huffman-Kodierung optimale mittlere Codewortlänge besitzt Torsten Ueckerdt - Theoretische Grundlagen der Informatik

42 Beispiel: Huffman-Kodierung d, 4 f, 2 b, 5 e, 5 a, 5 c, Torsten Ueckerdt - Theoretische Grundlagen der Informatik

43 Beispiel: Huffman-Kodierung d, 4 f, 2 b, 5 e, 5 a, 5 c, 5, Torsten Ueckerdt - Theoretische Grundlagen der Informatik

44 Beispiel: Huffman-Kodierung d, 4 f, 2 b, 5 e, 5 a, 5 c, 5,, Torsten Ueckerdt - Theoretische Grundlagen der Informatik

45 Beispiel: Huffman-Kodierung d, 4 f, 2 b, 5 e, 5 a, 5 c, 5, 35,, Torsten Ueckerdt - Theoretische Grundlagen der Informatik

46 Beispiel: Huffman-Kodierung d, 4 f, 2 b, 5 e, 5 a, 5 c, 5, 35,, 25, Torsten Ueckerdt - Theoretische Grundlagen der Informatik

47 Beispiel: Huffman-Kodierung d, 4 f, 2 b, 5 e, 5 a, 5 c, 5, 35,, 25, Torsten Ueckerdt - Theoretische Grundlagen der Informatik

48 Beispiel: Huffman-Kodierung d, 4 f, 2 b, 5 e, 5 a, 5 c, 5, 35,, 25, 6 Beispiele Zeichen c hat Code Zeichen e hat Code Zeichen d hat Code Torsten Ueckerdt - Theoretische Grundlagen der Informatik

49 Huffman-Kodierung Eingabe: Zeichen,..., n mit Wahrscheinlichkeiten p,..., p n Ausgabe: Baum T des Huffman-Codes Menge Q = {,..., n} Füge alle Zeichen aus Q als Blätter in T ein Für i =,..., n Erzeuge neuen Knoten z für T u extrahiere Element x aus Q mit p x minimal Bestimme u als linker Nachfolger von z v extrahiere Element x aus Q mit p x minimal Bestimme v als rechter Nachfolger von z Wahrscheinlichkeit p z von z ist p u + p v Füge z in Q ein r extrahiere letztes Element aus Q return r (r ist Wurzel von T ) Torsten Ueckerdt - Theoretische Grundlagen der Informatik

50 Optimalität der Huffman-Kodierung Satz: Der Huffman-Algorithmus berechnet einen Kodierungsbaum mit minimaler mittlerer Codewortlänge Torsten Ueckerdt - Theoretische Grundlagen der Informatik

51 Vorbereitendes Lemma Satz: Sei Σ = {,..., n} ein Alphabet mit Wahrscheinlichkeiten P, wobei P = {p,..., p n }. Seien x, y Σ, x = y eine beliebige Wahl für die zwei unwahrscheinlichsten Zeichen. Dann gibt es einen Kodierungsbaum T für (Σ, P) mit minimaler mittlerer Codewortlänge, so dass x und y den gleichen Elternknoten besitzen Torsten Ueckerdt - Theoretische Grundlagen der Informatik

52 Vorbereitendes Lemma: Beweis Sei Σ = {,..., n} ein Alphabet mit Wkten P = {p,..., p n }. Seien x, y Σ, x = y eine beliebige Wahl für die zwei unwahrscheinlichsten Zeichen. Beweis Sei T ein beliebiger Kodierungsbaum für (Σ, P) mit minimaler mittlerer Codewortlänge. O.B.d.A gelte für die Tiefe, dass d T (x) d T (y). Sei z der Elternknoten von x in T. Fall : z hat nur x als Nachkommen Dann könnte man z löschen und durch x ersetzen. Dieser Baum hätte eine kleinere mittlere Codewortlänge. Widerspruch zur Optimalität von T. x z y Torsten Ueckerdt - Theoretische Grundlagen der Informatik

53 Vorbereitendes Lemma: Beweis Sei Σ = {,..., n} ein Alphabet mit Wkten P = {p,..., p n }. Seien x, y Σ, x = y eine beliebige Wahl für die zwei unwahrscheinlichsten Zeichen. Beweis Sei T ein beliebiger Kodierungsbaum für (Σ, P) mit minimaler mittlerer Codewortlänge. O.B.d.A gelte für die Tiefe, dass d T (x) d T (y). Sei z der Elternknoten von x in T. Fall 2: z hat mehr als 2 Nachkommen Sei w = x ein Nachfahre von z von maximaler Tiefe. Optimalität von T : p w p x. Wahl von x, y: p w = p x. Tausche x mit w. Weiter mit Fall 3. x z w q y Torsten Ueckerdt - Theoretische Grundlagen der Informatik

54 Vorbereitendes Lemma: Beweis Sei Σ = {,..., n} ein Alphabet mit Wkten P = {p,..., p n }. Seien x, y Σ, x = y eine beliebige Wahl für die zwei unwahrscheinlichsten Zeichen. Beweis Sei T ein beliebiger Kodierungsbaum für (Σ, P) mit minimaler mittlerer Codewortlänge. O.B.d.A gelte für die Tiefe, dass d T (x) d T (y). Sei z der Elternknoten von x in T. Fall 3: z hat genau 2 Nachkommen Sei q = x der andere Nachfahre von z. Tausche q mit y. q und y gleiche Tiefe: Tauschen ok. q tiefer als y: Wegen Optimalität p q = p y. x z q y Torsten Ueckerdt - Theoretische Grundlagen der Informatik

55 Optimalität der Huffman-Kodierung Satz: Der Huffman-Algorithmus berechnet einen Kodierungsbaum mit minimaler mittlerer Codewortlänge. Beweis Wir benutzen Induktion nach der Anzahl der Zeichen Σ des Alphabets Σ. Induktionsanfang: Die Aussage ist für ein Zeichen erfüllt Torsten Ueckerdt - Theoretische Grundlagen der Informatik

56 Beweis Induktionsschluss Induktions-Voraussetzung Der Huffman-Algorithmus berechnet einen optimalen Kodierungsbaum für alle Alphabete Σ mit Σ n und alle Möglichkeiten für P. Induktions-Schluss Gegeben sei Alphabet Σ = {,..., n + } mit Wahrscheinlichkeiten P = {p,..., p n+ }. Für einen Kodierungsbaum T bezeichne f (T ) = v Σ p v d T (v) die zugehörige mittlere Wortlänge. Wir machen einen Widerspruchsbeweis. Bezeichne T huff einen Huffman-Baum für (Σ, P). Sei T opt einen Kodierungsbaum für (Σ, P) mit f (T opt ) < f (T huff ) Torsten Ueckerdt - Theoretische Grundlagen der Informatik

57 Beweis Induktionsschluss Seien x, y Σ die Zeichen, die im Huffman-Algorithmus zuerst zusammengefasst werden. Vorbereitendes Lemma: Wir können T opt so wählen, dass x und y den gleichen Elternknoten besitzen. T opt T huff x y x y Torsten Ueckerdt - Theoretische Grundlagen der Informatik

58 Beweis Induktionsschluss Seien x, y Σ die Zeichen, die im Huffman-Algorithmus zuerst zusammengefasst werden. Vorbereitendes Lemma: Wir können T opt so wählen, dass x und y den gleichen Elternknoten besitzen. T opt T huff z z Sei Σ = Σ \ {x, y} {z} Instanz für neues Zeichen z mit Wkt p x + p y. Seien T opt und T huff die Bäume, die sich aus T opt und T huff ergeben, wenn man x, y mit ihrem Elternknoten zu Knoten z verschmilzt Torsten Ueckerdt - Theoretische Grundlagen der Informatik

59 Beweis Induktionsschluss Sei Σ = Σ \ {x, y} {z} Instanz für neues Zeichen z mit Wkt p x + p y. Seien T opt und T huff die Bäume, die sich aus T opt und T huff ergeben, wenn man x, y mit ihrem Elternknoten zu Knoten z verschmilzt. T opt T huff z z Es gilt: T huff ist ein Huffman-Baum für Instanz Σ mit den neuen Wkten. T opt ist ein Kodierungs-Baum für Instanz Σ mit den neuen Wkten Torsten Ueckerdt - Theoretische Grundlagen der Informatik

60 Beweis Induktionsschluss Sei Σ = Σ \ {x, y} {z} Instanz für neues Zeichen z mit Wkt p x + p y. Seien T opt und T huff die Bäume, die sich aus T opt und T huff ergeben, wenn man x, y mit ihrem Elternknoten zu Knoten z verschmilzt. T opt T huff z z Es gilt: f (T huff ) = f (T huff) d Thuff (x)p x d Thuff (y)p y + d T (z)p z huff = f (T huff ) p x p y f (T opt ) = f (T opt) d Topt (x)p x d Topt (y)p y + d T (z)p z opt = f (T opt ) p x p y Torsten Ueckerdt - Theoretische Grundlagen der Informatik

61 Beweis Induktionsschluss Sei Σ = Σ \ {x, y} {z} Instanz für neues Zeichen z mit Wkt p x + p y. Seien T opt und T huff die Bäume, die sich aus T opt und T huff ergeben, wenn man x, y mit ihrem Elternknoten zu Knoten z verschmilzt. T opt T huff z z Damit ist T opt ein besserer Coderierungsbaum für Σ als T huff. Da Σ = n ist dies ein Widerspruch zur Induktionsvoraussetzung Torsten Ueckerdt - Theoretische Grundlagen der Informatik

62 Nachteile der Huffman-Kodierung Unterschiedliche Codewortlängen führen zu unterschiedlichen Bitraten und Dekodierungsverzögerung. Datenkompression reduziert die Redundanz und erhöht damit die Fehleranfälligkeit. Die Kenntnis der Wahrscheinlichkeiten der Zeichen wird vorausgesetzt. Universelle Kodierverfahren wie der Lempel-Ziv Algorithmus setzen kein a-priori Wissen an die Statistik der Daten voraus Torsten Ueckerdt - Theoretische Grundlagen der Informatik

63 Lauflängenkodierung Bei der Faxübertragung wird die Vorlage zeilenweise abgetastet und in weiße (w) und schwarze (s) Bildelemente zerlegt. Üblicherweise ist die Zahl der weißen Elemente viel höher, als die der schwarzen. Wir nehmen der Einfachheit halber an, dass die Bildpunkte voneinander unabhängig sind. Bei 5% Schwärzungsgrad ergibt sich eine Entropie von H =.85 log 2 (.85).5 log 2 (.5).6 Bei guter Kodierung sollte eine entsprechende mittlere Codewortlänge zu erwarten sein Torsten Ueckerdt - Theoretische Grundlagen der Informatik

64 Lauflängenkodierung Bei der Faxübertragung wird die Vorlage zeilenweise abgetastet und in weiße (w) und schwarze (s) Bildelemente zerlegt. Üblicherweise ist die Zahl der weißen Elemente viel höher, als die der schwarzen. Wir nehmen der Einfachheit halber an, dass die Bildpunkte voneinander unabhängig sind. Bei 5% Schwärzungsgrad ergibt sich eine Entropie von H =.85 log 2 (.85).5 log 2 (.5).6 Bei guter Kodierung sollte eine entsprechende mittlere Codewortlänge zu erwarten sein. Problem: Wie ist platzsparende Kodierung von einem Alphabet mit zwei Zeichen möglich? Torsten Ueckerdt - Theoretische Grundlagen der Informatik

65 Lauflängenkodierung Problem: Wie ist platzsparende Kodierung von einem Alphabet mit zwei Zeichen möglich? Möglicher Ansatz: Block-Codes Fasse k Zeichen zu Blöcken zusammen und kodiere diesen Beispiel k = 2: Neues Alphabet: ww,ws,sw,ss. Dieses kann platzsparend kodiert werden. Beispiel: Zeichen ww ws sw ss Wkt Huffman Torsten Ueckerdt - Theoretische Grundlagen der Informatik

66 Lauflängenkodierung Lauflängenkodierung Spezielle Zusammenfassung für Bildkodierung bei Fax/Videoanwendungen Die Länge der Blöcke ist variabel. Idee: Kodiere nicht die Bildpunkte, sondern den Abstand zwischen zwei schwarzen Bildpunkten. Beispiel: wwwswwsswwwwswswwwwwwswwwwwws wird aufgefasst als Für eine Binärkodierung braucht man noch Codes für die Abstände (also für N). Um dies platzsparend zu machen, benötigt man Wahrscheinlichkeiten für einzelne Abstände Torsten Ueckerdt - Theoretische Grundlagen der Informatik

67 Lauflängenkodierung Lauflängenkodierung Wie groß sind die Wkten für die einzelnen Abstände? Annahme: Die Bildpunkte sind voneinander unabhängig. Sei p k die Wkt für einen Block aus k aufeinanderfolgenden weißen Bildpunkten mit einem schwarzen Bildpunkt am Schluss p k = P(w k s) = P k (w) P(s). Es ergibt sich eine geometrische Verteilung Torsten Ueckerdt - Theoretische Grundlagen der Informatik

68 Geometrische Verteilung Quelle: Wikipedia Torsten Ueckerdt - Theoretische Grundlagen der Informatik

69 Lauflängenkodierung Man kann ein Schwarzweißbild über Angabe der Lauflängen verlustfrei rekonstruieren. Sonderbehandlung für letzten Block erforderlich. Weiteres Problem: Lauflängen können beliebig groß werden. Shannon-Fano-Kodierung kann trotzdem einfach angewandt werden. Abstand Wkten Codewort,59,388 2,25 3,946 4,796 5,669 6,563 7,473 8,398 9,334,28,237 2, Torsten Ueckerdt - Theoretische Grundlagen der Informatik

70 Kodierung zum Schutz gegen Übertragungsfehler Quelle Störung Kanal Empfänger Kanaldekodierung Quellendekodierung Quellenkodierung Kanalkodierung Torsten Ueckerdt - Theoretische Grundlagen der Informatik