Seminar Kompressionsalgorithmen Huffman-Codierung, arithmetische Codierung

Transkript

1 Huffman-Codierung, arithmetische Codierung Theoretische Informatik RWTH-Aachen 4. April 2012

2 Übersicht 1 Einführung

3 Einführung Datenkompression Disziplin,die Kompressionsalgorithmen entwirft Ziel: effiziente Speicherung und Übertragung von Daten

4 Einführung Datenkompression Disziplin,die Kompressionsalgorithmen entwirft Ziel: effiziente Speicherung und Übertragung von Daten Kompressionsalgorithmus Kompressionsalgo A = Kompressionsalgo A und Dekompressionsalgo A A (x) = y A (y) = z

5 Einführung Klassen von Kompressionsalgorithmen verlustfreie Kompressionsalgorithmen. Es gilt: z = x verlustbehaftete Kompressionsalgorithmen. Im Allgemeinen z x

6 Einführung Klassen von Kompressionsalgorithmen verlustfreie Kompressionsalgorithmen. Es gilt: z = x verlustbehaftete Kompressionsalgorithmen. Im Allgemeinen z x Gliederung des Kompressionsvorgangs Modellierung Codierung

7 Alphabet, Symbol, Sequenz A = {a 1, a 2,..., a n } ist ein Alphabet a i A ist ein Symbol s = (a i 1 a i 2 a i m ),m 1, Sequenz über A der Länge m A m = {(a i 1 a i 2 a i m ) a i j A}, m 1 A = m=1 Am ist der Kleenesche Abschluss von A

8 Datenquelle Datenquelle Q: Folge von Symbolen aus A Q diskret A endlich oder abzählbar unendlich Q gedächtnislos Auftreten eines Symbol unabhängig von den anderen p i = p(a i ) : Auftretenswahrscheinlichkeit vom Symbol a i p = (p 1,..., p n ): Wahrscheinlichkeitsverteilung der Symbole aus A

9 Modell M : A [0, 1); a i p M (a i ) = p i

10 Modell Code M : A [0, 1); a i p M (a i ) = p i A: Quellenalphabet und B ein endliches Alphabet. C : A B, a i C(a i ) l i := Länge von C(a i ). Im Allgemeinen B = {0, 1}

11 Modell Code M : A [0, 1); a i p M (a i ) = p i A: Quellenalphabet und B ein endliches Alphabet. C : A B, a i C(a i ) l i := Länge von C(a i ). Im Allgemeinen B = {0, 1} Erweiterung eines Codes C C : A B, s = (a i 1 a i 2 a i m ) C(s) = C(a i 1 )C(a i 2 ) C(a i m )

12 Nützliche Eigenschaften eines Codes Sei C : A B ein Code Eindeutige Dekodierbarkeit C eindeutig decodierbar s 1, s 2 A : s 1 s 2 = C (s 1 ) C (s 2 )

13 Nützliche Eigenschaften eines Codes Sei C : A B ein Code Eindeutige Dekodierbarkeit C eindeutig decodierbar s 1, s 2 A : s 1 s 2 = C (s 1 ) C (s 2 ) Präfixfreier Code C präfixfrei, wenn kein Codewort präfix eines anderen ist.

14 Nützliche Eigenschaften eines Codes Sei C : A B ein Code Eindeutige Dekodierbarkeit C eindeutig decodierbar s 1, s 2 A : s 1 s 2 = C (s 1 ) C (s 2 ) Präfixfreier Code C präfixfrei, wenn kein Codewort präfix eines anderen ist. Fano-Bedingung C präfixfrei = C eindeutig decodierbar

15 Nützliche Eigenschaften eines Codes Sei C : A B ein Code Eindeutige Dekodierbarkeit C eindeutig decodierbar s 1, s 2 A : s 1 s 2 = C (s 1 ) C (s 2 ) Präfixfreier Code C präfixfrei, wenn kein Codewort präfix eines anderen ist. Fano-Bedingung C präfixfrei = C eindeutig decodierbar

16 Nützliche Eigenschaften eines Codes Beispiel: Code C 1 Symbol Codewort A 0 B 01 C 10 Beispiel: Code C 2 Symbol Codewort A 0 B 10 C 110

17 Nützliche Eigenschaften eines Codes Beispiel: Code C 1 Symbol Codewort A 0 B 01 C 10 Beispiel: Code C 2 Symbol Codewort A 0 B 10 C 110 Example Zu decodieren:

18 Nützliche Eigenschaften eines Codes Beispiel: Code C 1 Symbol Codewort A 0 B 01 C 10 Example Zu decodieren: C C 1 Beispiel: Code C 2 Symbol Codewort A 0 B 10 C 110 AACC ABAC ABBA

19 Nützliche Eigenschaften eines Codes Beispiel: Code C 1 Symbol Codewort A 0 B 01 C 10 Example Zu decodieren: C C C 1 Beispiel: Code C 2 Symbol Codewort A 0 B 10 C 110 C 2 AACC ABAC ABBA AABB.

20 Nützliche Ergebnisse aus der Informationstheorie Ausgangspunkt Datenquelle Q über A = {a 1, a 2,..., a n } mit p = (p 1, p 2,..., p n )

21 Nützliche Ergebnisse aus der Informationstheorie Ausgangspunkt Datenquelle Q über A = {a 1, a 2,..., a n } mit p = (p 1, p 2,..., p n ) Informationsgehalt eines Symbols I(a i ) = I(p i ) = log 2 ( 1 p i ) = log 2 (p i ) [Bits]

22 Nützliche Ergebnisse aus der Informationstheorie Ausgangspunkt Datenquelle Q über A = {a 1, a 2,..., a n } mit p = (p 1, p 2,..., p n ) Informationsgehalt eines Symbols I(a i ) = I(p i ) = log 2 ( 1 p i ) = log 2 (p i ) [Bits] Informationsgehalt einer Sequenz Sei s = (a i 1 a i 2 a i m ) eine Sequenz. p(s) = p(a i 1 ) p(a i 2 ) p(a i m ) I(s) = I(p(s)) = m j=1 I(p i j ) [Bits]

23 Nützliche Ergebnisse aus der Informationstheorie Definition Entropie von Q: durchschnittlicher Informationsgehalt aller a i

24 Nützliche Ergebnisse aus der Informationstheorie Definition Entropie von Q: durchschnittlicher Informationsgehalt aller a i formal Die Entropie H(p) = n i=1 p i log 2 ( 1 p i ) = n i=1 p i log 2 (p i ) Einheit : [ Bits/Symbol]

25 Nützliche Ergebnisse aus der Informationstheorie Definition Entropie von Q: durchschnittlicher Informationsgehalt aller a i formal Die Entropie H(p) = n i=1 p i log 2 ( 1 p i ) = n i=1 p i log 2 (p i ) Einheit : [ Bits/Symbol] Entropie erweiterter Alphabete A m, Alphabet mit Wahrscheinlichkeitsverteilung p m. H(p m ) = m H(p)

26 Nützliche Ergebnisse aus der Informationstheorie sei C : A B ein präfixfreier Code. Mittlere Länge L C von C L C = n j=1 l j p j

27 Nützliche Ergebnisse aus der Informationstheorie sei C : A B ein präfixfreier Code. Mittlere Länge L C von C L C = n j=1 l j p j Satz ( Noiseless Coding theorem von Claude Shannon ) H(p) L C

28 Das Huffman-Verfahren 1952 von David Albert Huffman veröffentlicht. sehr schnell wegen mathematischer Einfachheit beliebt. generiert präfixfreien Code

29 Das Huffman-Verfahren 1952 von David Albert Huffman veröffentlicht. sehr schnell wegen mathematischer Einfachheit beliebt. generiert präfixfreien Code Eigenschaften eines optimalen Codes C P j > P k = l j l k a i und a j zwei Symbole mit den kleinsten Auftretenswahrscheinlichkeiten. Dann : l i = l j, C(a i ) und C(a j ) bis auf das letzte Bit identisch

30 Das Huffman-Verfahren Huffman-Baum binärer Baum, Knoten mit Gewichten.

31 Das Huffman-Verfahren Huffman-Baum binärer Baum, Knoten mit Gewichten. Algorithmus: Generierung des Huffman-Baumes Sei L eine leere Liste. Für jedes a i, ein Blatt mit Gewicht p i wiederhole,bis L nur einen Knoten enthält. Sortiere L absteigend nach den Gewichten wähle 2 Knoten u, v mit kleinsten Gewichten p(u) und p(v) Erzeuge w mit Gewicht p(w) = p(u) + p(v), w Vater von u und v. Entferne u und v aus L und füge w in L ein.

32 Beispiel: Huffman-Baum Example a i p i A 0.2 B 0.4 C 0.2 D 0.1 E 0.1

33 Beispiel: Huffman-Baum Huffman-Baum Example a i p i A 0.2 B 0.4 C 0.2 D 0.1 E 0.1

34 Code-Generierung Code-Generierung Für jeden inneren Knoten u, markiere die linke Kante aus u mit 0 und die rechte mit 1 Codewort eines Symbols als Folge der Kantenmarkierungen von der Wurzel bis zum Blatt.

35 Code-Generierung Code-Generierung Für jeden inneren Knoten u, markiere die linke Kante aus u mit 0 und die rechte mit 1 Codewort eines Symbols als Folge der Kantenmarkierungen von der Wurzel bis zum Blatt. Bemerkung Huffman-Code besitzt die obigen Eigenschaften eines optimalen Codes.

36 Beispiel: Huffman-Code markierter Huffman-Baum

37 Beispiel: Huffman-Code markierter Huffman-Baum Code-Tabelle a i p i C(a i ) A B C D E

38 Analyse des Huffman-Codes Seien C H ein Huffman-Code mit mittlerer Länge L H und C ein präfixfreier Code mit mittlerer Länge L. Optimalität-Eigenschaft C H ist optimal. L H L

39 Analyse des Huffman-Codes Seien C H ein Huffman-Code mit mittlerer Länge L H und C ein präfixfreier Code mit mittlerer Länge L. Optimalität-Eigenschaft C H ist optimal. L H L Schranken für L H H(p) L H < H(p) + 1

40 Bessere Annäherung der Entropie Betrachte A m als Alphabet mit p m. C H ein Huffman-Code für A m mit L m. Dann gilt:

41 Bessere Annäherung der Entropie Betrachte A m als Alphabet mit p m. C H ein Huffman-Code für A m mit L m. Dann gilt: Schranken für L m H(p m ) L m < H(p m ) + 1

42 Bessere Annäherung der Entropie Betrachte A m als Alphabet mit p m. C H ein Huffman-Code für A m mit L m. Dann gilt: Schranken für L m H(p m ) L m < H(p m ) + 1 H(p m ) = m H(p) und L H = Lm m

43 Bessere Annäherung der Entropie Betrachte A m als Alphabet mit p m. C H ein Huffman-Code für A m mit L m. Dann gilt: Schranken für L m H(p m ) L m < H(p m ) + 1 H(p m ) = m H(p) und L H = Lm m Schranken für L H H(p) L H < H(p) + 1 m

44 Erinnerung: Schranken für L H H(p) L H < H(p) + 1 m

45 Erinnerung: Schranken für L H H(p) L H < H(p) + 1 m Nachteile Codewörter aller Sequenzen der Länge m. exponentieller Wachstum der Codetabelle mit wachsender m Beispiel : m = 10 und A = 10 = Codewörter

46 Erinnerung: Schranken für L H H(p) L H < H(p) + 1 m Nachteile Codewörter aller Sequenzen der Länge m. exponentieller Wachstum der Codetabelle mit wachsender m Beispiel : m = 10 und A = 10 = Codewörter Lösung : verlustfrei Codewort für eine ganze Sequenz

47 Codierung als reelle Zahl Ausgangspunkt Datenquelle über A = {a 1,..., a n } und p = (p 1,..., p n )

48 Codierung als reelle Zahl Ausgangspunkt Datenquelle über A = {a 1,..., a n } und p = (p 1,..., p n ) Definiere folgende Funktion F { 0 wenn i = 0 F : {0, 1,..., n} [0, 1], F(i) = i j=1 p j sonst

49 Codierung als reelle Zahl Ausgangspunkt Datenquelle über A = {a 1,..., a n } und p = (p 1,..., p n ) Definiere folgende Funktion F F : {0, 1,..., n} [0, 1], F(i) = Eigenschaften von F F(0) = 0, F(n) = 1 { 0 wenn i = 0 i j=1 p j sonst i {1,..., n} : p i = 0 = i, j {0, 1,..., n}, j i : F(i) F(j).

50 Codierung als reelle Zahl Prinzip der arithmetischen Codierung s A AC [l s, u s ) [0, 1) [l s, u s ) eindeutig für s T (s) = ls+us 2 als Code

51 Codierung als reelle Zahl Vorgehen Init: l = 0 und u = 1 wiederhole, bis ganze Sequenz bearbeitet partitioniere [l, u) : a i A = [l + (u l) F(i 1), l + (u l) F (i))

52 Codierung als reelle Zahl Vorgehen Init: l = 0 und u = 1 wiederhole, bis ganze Sequenz bearbeitet partitioniere [l, u) : a i A = [l + (u l) F(i 1), l + (u l) F (i)) a j, j te Symbol der Sequenz. Setze: l = l + (u l) F(j 1) und u = l + (u l) F(j) T (s) = l+u 2

53 Codierung als reelle Zahl Vorgehen Init: l = 0 und u = 1 wiederhole, bis ganze Sequenz bearbeitet partitioniere [l, u) : a i A = [l + (u l) F(i 1), l + (u l) F (i)) a j, j te Symbol der Sequenz. Setze: l = l + (u l) F(j 1) und u = l + (u l) F(j) Example T (s) = l+u 2 siehe Projektor..

54 binärer arithmetischer Code Definition seien s A mit Wahrscheinlichkeit p(s) und x, y zwei Zahlen. l(s) := log 2 ( 1 p(s) ) + 1 bin(x) y := erste y-bits der binären Darstellung von x.

55 binärer arithmetischer Code Definition seien s A mit Wahrscheinlichkeit p(s) und x, y zwei Zahlen. l(s) := log 2 ( 1 p(s) ) + 1 bin(x) y := erste y-bits der binären Darstellung von x. binärer arithmetischer Code C(s) = bin(t (s)) l(s)

56 Beispiel: binärer arithmetischer Code Example Für s = abc hatten wir T(s) = Mit p(s) = p(a) P(b) p(c) = erhalten wir: 1 l(s) = log 2 ( ) + 1 = 8. T (s) = (0.553) 10 = ( ) 2. C(s) = bin(0.553) 8 =

57 Decodierung einer reellen Zahl Ausgangspunkt A = {a 1,..., a n }, p = (p 1,..., p n ) s eine Sequenz mit Codewort T(s) der Länge k. Technik Imitiere den Codierer.

58 Decodierung einer reellen Zahl Algorithmus l = 0 ; u = 1 ; s= ; For i = 1 To k Do finde a j i so, dass für das zugehörige Teilintervall [a, b) [l, u) gilt: T (s) [a, b). s = s a j i ; l = a ; u = b; End

59 Decodierung einer reellen Zahl Algorithmus l = 0 ; u = 1 ; s= ; For i = 1 To k Do finde a j i so, dass für das zugehörige Teilintervall [a, b) [l, u) gilt: T (s) [a, b). s = s a j i ; l = a ; u = b; End Example siehe Projektor...

60 Terminierung zwei Möglichkeiten zur Terminierung. Länge der Sequenz bekannt end-of-transmission Symbol

61 Analyse des arithmetischen Codes s A mit Codewort C(s) der Länge l(s) Eindeutigkeit und eindeutige Decodierbarkeit C(s) identifiziert s eindeutig C(s) präfixfrei = C(s) eindeutig decodierbar

62 Analyse des arithmetischen Codes s A mit Codewort C(s) der Länge l(s) Eindeutigkeit und eindeutige Decodierbarkeit C(s) identifiziert s eindeutig C(s) präfixfrei = C(s) eindeutig decodierbar mittlere Länge L A m eines arithmetischen Codes L A m = s Am p(s) l(s) Es gilt: L A = L A m m

63 Analyse des arithmetischen Codes Schranken für L A m H(p m ) L A m < H(p m ) + 2

64 Analyse des arithmetischen Codes Schranken für L A m H(p m ) L A m < H(p m ) + 2 Schranken für L A H(p) L A < H(p) + 2 m arithmetische Codierung ist asymptotisch optimal.

65 Skalierungsfunktionen Motivation Inkrementelle De-/Codierung Endliche Genauigkeit von Rechnern

66 Skalierungsfunktionen Motivation Inkrementelle De-/Codierung Endliche Genauigkeit von Rechnern Für kleines [l, u) unterscheidet man: [l, u) [0, 0.5) [l, u) [0.5, 1) [l, u) [0.25, 0.75)

67 Skalierungsfunktionen Skalierungsfunktionen E 1 und E 2 E 1 : [0, 0.5) [0, 1), E 1 (x) = 2 x E 2 : [0.5, 1) [0, 1), E 2 (x) = 2 (x 0.5)

68 Skalierungsfunktionen Skalierungsfunktionen E 1 und E 2 E 1 : [0, 0.5) [0, 1), E 1 (x) = 2 x E 2 : [0.5, 1) [0, 1), E 2 (x) = 2 (x 0.5) Die Skalierungsfunktion E 3 E 3 : [0.25, 0.75) [0, 1), E 3 (x) = 2 (x 0.25)

69 Skalierungsfunktionen Skalierungsfunktionen E 1 und E 2 E 1 : [0, 0.5) [0, 1), E 1 (x) = 2 x E 2 : [0.5, 1) [0, 1), E 2 (x) = 2 (x 0.5) Die Skalierungsfunktion E 3 E 3 : [0.25, 0.75) [0, 1), E 3 (x) = 2 (x 0.25) Eigenschaften von E 3 E 1 (E 3 ) n = (E 2 ) n E 1 E 2 (E 3 ) n = (E 1 ) n E 2

70 Beispiel: Codierung mit Skalierung Example Siehe Projektor...

71 Laufzeit Huffman-Verfahren schneller arithmetische Codierung rechenaufwändig

72 Laufzeit Effizienz Huffman-Verfahren schneller arithmetische Codierung rechenaufwändig Schranken für die mittlere Länge eines Huffman-Codes für Sequenzen der Länge m: H(p) L H < H(p) + 1 m eines arithmetischen Codes: H(p) L A < H(p) + 2 m

73 Huffman-Codierung Textkomprimierung Fax-Übertragung ZIP, GZIP, JPEG, MP3,...

74 Huffman-Codierung Textkomprimierung Fax-Übertragung ZIP, GZIP, JPEG, MP3,... Textkomprimierung, JPEG Gültige Patente hindern verbreiteten Einsatz

75 1 Einführung