6. Komprimierung. (Text)komprimierung ist ein Wechsel der Repräsentation von Daten, so daß sie weniger

Transkript

1 Komprimierung 6. Komprimierung (Text)komprimierung ist ein Wechsel der Repräsentation von Daten, so daß sie weniger Platz brauchen Motivation: beschleunigt Plattenzugriffe oder Datenübertragungen Voraussetzung: bei Textkomprimierung muß eine Datei exakt rekonstruiert werden können Einführung in Information Retrieval 216

2 Übersicht Wir betrachten folgende Verfahren: Huffmankodierung arithmetische Kodierung Ziv-Lempel (ZIP) wortweise Huffmankodierung Einführung in Information Retrieval 217

3 Huffmankodierung 6.1. Huffmankodierung zentrale Idee: ersetze häufig vorkommende Zeichen durch kurze Codes, selten vorkommende Zeichen durch längere Codes Prefix Constraint: kein gültiges Codewort darf Präfix eines anderen sein Problem ist nun, möglichst gute Balance zwischen Häufigkeit und Codewortlänge zu finden Einführung in Information Retrieval 218

4 Vorgehensweise in einem ersten Schritt muß die Häufigkeit jedes Zeichens im Text bestimmt werden je nach Häufigkeit bekommen diese Zeichen eine Bitsequenz zugeordnet bei der Dekodierung wird die komprimierte Datei Bit für Bit durchlaufen, bis wir eine Bitsequenz gefunden haben, die einem Zeichen entspricht dieses Zeichen wird ausgegeben und wir suchen weiter Einführung in Information Retrieval 219

5 Eindeutigkeit bei der Kodierung muß darauf geachtet werden, daß eindeutig dekodiert werden kann benutze Binärbaum, bei dem alle Knoten entweder zwei Kinder oder keine Kinder haben: Präfixeigenschaft ist erfüllt, wenn die Zeichencodes Blättern in diesem Baum entsprechen Einführung in Information Retrieval 220

6 Zuordnung Zuordnung der Codes: füge alle Zeichen in einen Heap H ein (nach Häufigkeit); while(h ist nicht leer) { if(nur ein Zeichen X in H) { mache X zur Wurzel von Baum T ; } else { nimm Zeichen X und Y mit kleinster Häufigkeit aus H; ersetze X und Y mit neuem Zeichen Z; Häufigkeit von Z = Häufigkeit X + Y ; mache X und Y zu Kindern von Z; } } Einführung in Information Retrieval 221

7 Beispiel Beispiel für Zeichen A, B, C, D, E und F mit den Häufigkeiten 5,2,3,4,10 und 1 Einführung in Information Retrieval 222

8 Arithmetische Kodierung 6.2. Arithmetische Kodierung Huffmankodierung kann die Codes nur auf ganzzahlige Bits anpassen, d.h. ein Zeichen wird durch 1,2,3,...,n Bits kodiert bei arithmetischer Kodierung kann die Kodierung beliebig genau an die Häufigkeitsverteilung angepasst werden auf diese Weise ist eine noch bessere Komprimierung möglich Einführung in Information Retrieval 223

9 Verfahren wie kodiert man z.b. ein Zeichen mit Bits? man benutzt nicht immer den gleichen Code für ein Zeichen, sondern wechselt je nach Häufigkeit den Code (und so eventuell auch die Länge des Codes) dabei wird der gesamte Text in eine einzige Fließkommazahl umgewandelt Einführung in Information Retrieval 224

10 Beispiel Wir haben Alphabet Σ = {a, b, c} und möchten bccb komprimieren Annahme zu Beginn: alle Zeichen treten gleich häufig auf für das erste Zeichen wählen wir eine Zahl zwischen und Einführung in Information Retrieval 225

11 Beispiel für das nächste Zeichen bleiben wir in diesem Interall dieses Intervall wird nun neu aufgeteilt (unter Berücksichtigung der neuen Auftrittshäufigkeiten) Einführung in Information Retrieval 226

12 Beispiel dieses Verfahren wird jetzt einfach für die nächsten Zeichen fortgesetzt: Einführung in Information Retrieval 227

13 Beispiel Endergebnis: wir müssen eine Zahl zwischen und wählen man wählt diese Zahl möglichst geschickt (mit kürzest möglicher Binärdarstellung) führende Null kann sowieso weggelassen werden (da alle Zahlen zwischen 0 und 1 Dekodierer hat keine Probleme, da er mit genau den gleichen Intervallen startet und diese auf die gleiche Art und Weise anpaßt Einführung in Information Retrieval 228

14 Beispiel Binärdarstellung von : Binärdarstellung von : kürzeste Zahl in diesem Intervall: bei einer Übertragung des Textes kann schon während des Kodierens mit der Übertragung begonnen werden (mit dem Teil, der sich definitiv nicht mehr ändert) Einführung in Information Retrieval 229

15 Fazit komprimiert besser als Huffman ist allerdings auch langsamer kann nicht mitten im Text aufsetzen Einführung in Information Retrieval 230

16 Ziv-Lempel 6.3. Ziv-Lempel bekannter unter dem Namen ZIP (alle ZIP- Verfahren basieren auf Ziv-Lempel) lexikonbasiertes Verfahren, jeder Teilstring im Text wird durch Codewort ersetzt Beispiel aus dem realen Leben: Dezember 12, Montag Mo, etc. Einführung in Information Retrieval 231

17 Möglichkeiten für Lexikon einfachstes Lexikon: Kodierung der häufigsten 2-grams (2-Buchstabenkombinationen) größere Lexika stellen uns allerdings vor Probleme: gespeicherte Information wird zu groß außerdem ist festes Lexikon ungeeignet für Spezialanwendungen Lösung: man benutzt den Text selbst als Lexikon Einführung in Information Retrieval 232

18 Beispiel erste Zahl im Tripel gibt an, wieviele Positionen vor aktuellem Zeichen Teilstring beginnt zweite Zahl gibt an, wie lange Teilstring ist drittes Zeichen gibt an, was dahinter gehängt wird Einführung in Information Retrieval 233

19 Wortbasierte Huffmankodierung 6.4. Wortbasierte Huffmankodierung Suchen und Komprimieren wurden traditionell aus sich ausschließende Verfahren betrachtet d.h. die bisherige Ansicht war, daß komprimierte Texte zum Durchsuchen erst dekomprimiert werden müssen in letzter Zeit wurden Verfahren entwickelt, um auf komprimierten Texten direkt zu suchen Einführung in Information Retrieval 234

20 Wortbasierte Huffmankodierung einer dieser Ansätze ist die wortbasierte Huffmankodierung Kodierung ebenfalls in 2 Phasen Häufigkeit der vorkommenden Worte bestimmen Kodierung aufbauen für englische Texte reduziert zeichenbasierte Huffmankodierung die Größe um ca. 40% wortbasierte Huffmankodierung die Größe um ca. 75% Einführung in Information Retrieval 235

21 Beispiel Einführung in Information Retrieval 236

22 Byte-orientierte Huffmankodierung variabel lange Codewörter bremsen Verarbeitung schnellere Verarbeitung möglich, wenn sich Kodierung an Bytegrenzen orientiert byte-orientierte Huffmankodierung funktioniert im Prinzip wie normale wortbasierte Huffmankodierung, nur daß Mehrweg- statt Binärbäume verwendet werden Einführung in Information Retrieval 237

23 Mehrweg- vs. Binärbäume Einführung in Information Retrieval 238

24 Mehrweg- vs. Binärbäume Verzweigungen werden in einem Byte kodiert üblicherweise wird zusätzliche Markierung (tag) benutzt (oberstes Bit markiert Wortanfang, um Suche noch weiter zu beschleunigen) Einführung in Information Retrieval 239

25 Vorteile/Nachteile ein Teil der besseren Komprimierung der wortweisen Kodierung wird wieder aufgegeben reduziert die Größe einer (englischen) Textdatei im Schnitt um 60% bis 70% mit byteorientierter Kodierung können aber die Standardsuchalgorithmen auf komprimierten Text angewendet werden! Einführung in Information Retrieval 240