Arithmetisches Codieren

Transkript

1 Arithmetisches Codieren 1. Motivation: Als Alternative zum arithmetischen Codieren bot sich damals als effizientester Algorithmus das Huffmann-Coding an. Dieses jedoch hatte einen entscheidenden Nachteil: Beim Huffmann-Coding wird jedes Symbol in eine ganzzahlige Anzahl von Bits umgewandelt, die Symbole werden also einzeln in Abhängigkeit von ihrer Wahrscheinlichkeit übersetzt. Sollte demnach eines dieser Symbole eine Wahrscheinlichkeit haben, die nicht Potenz von ½ ist, so muss man trotzdem diese gebrochene Bitstelle zur nächsten ganzen Bitstelle auffüllen, es entsteht also Redundanz. Bei der Übersetzung eines Symbols kann eine Redundanz von <1 entstehen, bei der Übersetzung von n Symbolen kann die Redundanz also < n sein, maximal also n-(0,1 ^ 8) n. Damit wird durch den Algorithmus für den oben beschrieben Fall die Kompressionsrate suboptimal. 2. Algorithmus des arithmetischen Codierens Vorbetrachtung Die Idee des arithmetischen Codierens beruht einfach auf der Abbildung eines Wortes auf ein Intervall. Der Vorteil gegenüber dem Huffmann-Coding besteht nun darin, dass nicht jedes Symbol eine bitstellenmäßige Redundanz erzeugen kann, sondern nur das komplette Wort / die komplette Nachricht. Dies liegt daran, dass nur das fertige Intervall übermittelt wird, aber bei der internen Berechnung auch mit gebrochenen Bits gearbeitet werden kann. Die maximale Redundanz pro Nachricht ist damit <1 Bit! Idee: Abbildung des Codeworts auf ein Intervall [B, B+A] Rekursion: Intervall [0..1] = [B, B+A] B(i+1)= B(i) + A(i) * q(x) A(i+1)= A(i) * p(x) Intervall [B, B+A] Codierung, nicht adaptive Variante geg.: Wort bbaca a < b < c Tabelle 1: Symbol Häufigkeit p kumulative Häufigkeit q a 0,2 0 b 0,5 0,2 c 0,3 0,7 Anm.: Die kumulative Häufigkeit des i-ten Symbols der Tabelle ergibt sich aus der Summe aller Häufigkeiten p der Symbole von i = 1 bis (i-1)

2 Tabelle 2: Startintervall [0..1] = leeres Wort - B=0 A=1 [0,1] b 0 + 1*0,2 = 0,2 1* 0,5 = 0,5 [0,2;0,7] b 0,2 + 0,5*0,2 = 0,3 0,5 * 0,5 = 0,25 [0,3; 0,55] a 0,3 0,05 [0,3; 0,0,35] c 0,335 0,015 [0,335; 0,035] a 0,335 0,003 [0,335; 0,338] Anm.: Intervall [0,335; 0,338] repräsentiert alle Codewörter, die mit bbaca anfangen. Decodierung Wir gehen davon aus, dass der Empfänger zunächst die Intervallgrenzen übermittelt bekommt. Als Voraussetzung für die Decodierung muss ihm zusätzlich die Tabelle 1 zur Verfügung stehen, bzw. die Ordnung der Symbole sowie deren Wahrscheinlichkeit. Intervall: [0,335; 0,338] vergleichende Methode: Schritt 1: Empfänger vergleicht das Intervall mit dem Intervall [q(s); p(s)+q(s)] eines jeden Symbols s. Liegt das gegebene Intervall dazwischen, so ist s das erste Symbol der Nachricht. Im Beispiel: s = a ; q(a) = 0; p(a) = 0,2 [0,335; 0,338] nicht Teilmenge von [0; 0,2] s = b ; q(b) = 0,2; p(b) = 0,5 [0,335; 0,338] Teilmenge von [0,2; 0,7] erstes Symbol ist b Schritt 2: Berechnung aller möglichen Intervalle, danach erneuter Vergleich: ba hätte Intervall [0,2; 0,3], bb hätte [0,3..0,55], bc hätte [0,55; 0,7] => also bb usw. skalierende Methode : Die Intervallgrenzen werden zurückskaliert, so dass das gegebene Intervall immer größer wird und jedes Mal nur mit der gegebenen Tabelle zu vergleichen ist. Der Vorteil liegt darin, dass man bei n möglichen Symbolen nicht n Operationen (ausrechnen aller möglichen Intervalle bei der vergleichenden Methode, Schritt 2), sondern nur 1 Operation ausführen muss. Mathematisch gesehen kehrt man die Rekursion einfach um: Schritt 1: wie bei der vergleichenden Methode Schritt 2: B=B - q( b ) = [0,335 0,2; 0,338 0,2] Intervall [0,135; 0,138] A=A / p( b ) = A/0,5 = 0,03*2 = 0,6 Intervall [0,27; 0,276] Man decodiert also die Nachricht von [0,335; 0,338] zu b[0,27; 0,276]

3 3. Betrachtungen: Problem: mit zunehmender Wortlänge wird das Intervall immer kleiner, man benötigt also eine immer präzisere Arithmetik Lösung: - sobald ein auszugebendes Bit/ Ziffer feststeht => Ausgabe, dann Skalierung - Zahl im Speicher repräsentiert immer unbekannten Teil des Intervalls - Ausgabe immer, wenn erste Ziffer von B = erster Ziffer von B+A Problem: Wenn Intervall nahe Grenze von Bit/Ziffer z.b. [0,49..0,51] [0, ,10000] kommt, so kann man das Bit für eine längere Zeit nicht ausgeben, da es erst mit dem / den nachfolgenden Symbol/en eindeutig definiert wird Lösung: Man speichert statt einer festen Integer die folgende Zuweisung: Wenn folgende Integer 0 => vorhergehende ist 5 Wenn folgende Integer 9 => vorhergehende ist 4 Dies könnte z.b. durch den Befehl <x(i) = x(i+1)-5> geschehen, wobei x(i) die fragwürdige Dezimalstelle und x(i+1) die folgende Dezimalstelle repräsentiert. Skalierung und Ausgabe können selbstverständlich erst dann stattfinden, wenn die nachfolgende Ziffer feststeht. 4. Stringterminierung Wenn die komprimierten Daten mit dem schon beschriebenen Verfahren decodiert werden, reicht es aus, nur die untere Intervallgrenze zu kennen. Allerdings weiß der Decoder damit noch nicht, wann er mit dem Decodiervorgang aufhören kann. Um dieses Problem zu lösen kann entweder ein Endekennzeichen eingefügt werden, oder die Anzahl der Codierebenen wird vorausgeschickt. Natürlich muß der Decoder das Wahrscheinlichkeitsmodell kennen. Man unterscheidet dabei 2 Verfahren. Beim nicht adaptiven Verfahren wird der Code vorher nicht auf Häufigkeiten überprüft, sondern auf ein vorher festgelegtes Wahrscheinlichkeitsmodell zurückgegriffen. Diese Methode ist zwar schnell, aber wenig effizient. Eine bessere Möglichkeit bietet die adaptive Variante. 5. Effizienz Je kleiner der Bereich wird, desto mehr Nachkommastellen sind nötig. Es werden also mehr Bits für kleinere Auftrittswahrscheinlichkeiten gebraucht. Die Wahrscheinlichkeit wirkt sich also direkt auf die Anzahl der notwendigen Bits aus (siehe nächstes Beispiel) => Die arithmetische Codierung gehört zu den Verfahren der Entropiecodierung. Vergleicht man das Verfahren mit Hufmann, so zeigt sich das es etwas langsamer ist. Dafür arbeitet es aber durch variable Häufigkeiten weitaus effizienter, da der Code besser komprimiert wird. Außerdem lässt sich vor allem die adaptive Variante viel einfacher anpassen (Intervallgrenzen lassen sich schneller korrigieren als die Bäume bei Hufmann). Insgesamt lassen sich also klare Vorteile für das arithmetische Kodieren erkennen. Es ist nahezu redundanzfrei und kann jede bekannte verlustfreie Kompression unterbieten.

4 Trotzdem findet man dieses Verfahren eher selten, da viele Patente auf dieses Verfahren eine kommerzielle Nutzung kaum zulassen. Mit diesem Beispiel wird gezeigt, dass sich die Wahrscheinlichkeit direkt auf die Bitzahl auswirkt. Es sollen bei gleichbleibenden Wahrscheinlichkeiten die Worte aba und bab verschlüsselt werden: Wie erwartet werden weitaus mehr Bits benötigt um bab zu verschlüsseln.

5 Zusammenfassung: Das arithmetische Kodieren wird zur verlustfreien Datenkompression eingesetzt und ist eine Form der Entropiekodierung. Prinzip: Bei diesem Verfahren wird eine kontinuierliche Berechnung durchgeführt, die gewissermaßen in einer einzigen sehr langen Zahl (= komprimierte Datei) Information speichert. Dabei bestimmen die Häufigkeiten im Ausgangstext Anteile beim jeweiligen Rechenschritt. Die verwendeten Rechenoperationen werden beim Auslesen durch die gelieferte 'lange Zahl' ersichtlich und lassen den Rückschluß auf das jeweils kodierte, gepackte Zeichen zu. Die Kernidee ist, dass sich häufigere Symbole in einer geringeren Veränderung der globalen Zahl (eigentlich ein Teilungsintervall) widerspiegeln. Arithmetisches Kodieren besticht dadurch, dass es wesentlich die Bitgrenzen aufhebt und eigentlich einen rein mathematischen Formalismus verwendet. Dieser macht eigentlich notwendig, riesige Zahlen zu berechnen. Durch geschickte Wahl von Randparametern kann aber dennoch eine praktikable Implementation erreicht werden.