Die Burrows-Wheeler-Transformation

Größe: px

Ab Seite anzeigen:

Download "Die Burrows-Wheeler-Transformation"

Ute Fuhrmann
vor 5 Jahren
Abrufe

1 Die Burrows-Wheeler-Transformation Martin Knapp Proseminar Datenkompression 11. Dezember 2002

2 Inhaltsverzeichnis 1. Einleitung 3 2. Funktionsweise Grundlagen Transformation anhand eines Beispiels Betrachtungen hinsichtlich der Komprimierung Welche Vorteile bringt diese Transformation? Das move-to-front-verfahren (MTF) Vergleich verschiedener Verfahren Zusammenfassung 7 Quellenangabe 8 Die Burrows-Wheeler-Transformation 2

3 1. Einleitung Die bisher behandelten Komprimierverfahren haben gezeigt, dass die Komprimierungsrate als auch der Berechnungsaufwand stark von den zu bearbeitenden Daten und deren innerer truktur abhängt. Wie kann man dem entgegenwirken? Ein nsatz ist die npassung der zu komprimierenden Daten an eine standardisierte truktur. Diese Idee wurde von Michael Wheeler bereits 1983 untersucht, die daraus erzielten Ergebnisse jedoch nicht veröffentlicht. Erst 1994 stellten David Burrows und M. Wheeler in einem Forschungsbericht ihren Block-sorting Lossless Data Compression -lgorithmus vor, dessen Kernstück bildete die der Kompression vorangehende Transformation der Eingangsdaten die Burrows-Wheeler-Transformation. Die Burrows-Wheeler-Transformation 3

4 2. Funktionsweise 2.1 Grundlagen Bei der Burrows-Wheeler-Transformation (im folg. BWT ) handelt es sich um eine blockweise ortierung der Eingangsdaten, die usgangsdaten enthalten die gleichen Elemente nur in anderer Reihenfolge. Die bbildung zwischen beiden Datenmengen ist ein-eindeutig, d.h. die Transformation ist umkehrbar. Hier lässt sich bereits ein Vorteil gegenüber herkömmlichen Verfahren erkennen. Diese arbeiten häufig im treaming-modus, d.h. der zu komprimierende Text wird Zeichen für Zeichen durchgegangen. Die BWT hingegen bearbeitet den Text blockweise, was in einer erheblichen Zeitersparnis resultiert. Die Größe der Blöcke wird hier lediglich durch den verfügbaren rbeitsspeicher beschränkt. Damit ist ebenfalls das Haupteinsatzgebiet der BWT abgegrenzt, denn eine isochrone Übertragung des Textes im treaming-verfahren wird somit unmöglich, Einsatzziel ist vielmehr die rchivierung großer Textmengen. 2.2 Transformation anhand eines Beispiels Die BWT soll nun an einem einfachen Beispiel veranschaulicht werden. Der zu transformierende Text besteht lediglich aus den Worten MHL. Man stelle eine Matrix der Dimension m x m auf, wobei m die Länge des Textstrings gleich 12 ist. In die erste Zeile setzt man den Eingabetext, diese Zeile wird anschließend m-mal um ein Zeichen nach links rotiert und das jeweilige Ergebnis in die darauf folgende Zeile geschrieben. nmerkung: Die Matrix dient hier lediglich der Repräsentation des peichers, bei der Programmumsetzung ist nicht mit einer komplett besetzten Matrix (zu hoher ufwand), sondern mittels Zeigerkonzept zu arbeiten. Wir erhalten folgende Matrix: M H L H L M H L M H L M H L M L M H L M H L M H L M H M H L M H L M H L Die Burrows-Wheeler-Transformation 4

5 Die Zeilen sollen abschließend lexikografisch sortiert werden. In palte 12 erhalten wir, wie in folgender bbildung zu sehen, den usgabestring der BWT MHL. H L M L M H M H L H L M L M H M H L H L M L M H M H L H L M L M H M H L m die bbildung zwischen dem usgabestring und dem Eingabetext ein-eindeutig zu gestalten, muss zusätzlich zum usgabetext die Position des 1. Zeichens des ursprünglichen Textes, der so genannte Primärindex, gespeichert werden. In unserem Beispiel ist der Primärindex gleich 0, da das Zeichen M in der 0. Zeile steht. Doch wie kann man sich die Rückwärtstransformation vorstellen? Dazu sind die auszugebende letzte palte (im folg. L ), als auch die erste palte (im folg. E ) der Matrix zu betrachten. Hierbei fällt auf, dass in jeder Zeile das Zeichen in palte L der jeweilige Vorgänger des Zeichens in palte E im usgangstext darstellt. Weiterhin muss erkannt werden, dass palte E durch ortieren von palte L erzeugt werden kann. Fassen wir dies zusammen um die Rücktransformation zu verdeutlichen: Wir steigen in palte L an der mittels Primärindex übergebenen Position ein. lgorithmus: Das in der aktuellen Zelle gefundene Zeichen wird ausgegeben. nschließend wird innerhalb der gleichen Zeile in palte E gewechselt, das dort gefundene Zeichen wird gespeichert und die Zeile aus der weiteren Betrachtung gestrichen. Das gespeicherte Zeichen muss nun in palte L gesucht werden. Wurde das Zeichen gefunden wird der lgorithmus von vorn durchlaufen, ansonsten ist die Rückwärtstransformation abgeschlossen. Veranschaulichung: palte L M H L palte E H L M usgabe: M usw. Die Burrows-Wheeler-Transformation 5

6 3. Betrachtungen hinsichtlich der Komprimierung 3.1 Welche Vorteile bringt diese Transformation? Wendet man die BWT z.b. auf Texte oder Programmcode, d.h. Daten mit festgelegter truktur und häufigen Wiederholungen (sog. hohe Kontextabhängigkeit) an, so wird man feststellen das im usgabetext lange Ketten gleicher Zeichen entstehen. Dies führt bei herkömmlichen Verfahren zumindest zu einer schnelleren Komprimierung, es können z.b. Bäume zur Bestimmung von Zeichenhäufigkeiten effizient gebildet werden. Wird nun allerdings noch ein weiteres Transformationsverfahren der eigentlichen Kompression vorangestellt, das ebenfalls von Burrows und Wheeler entwickelte move-to-front-verfahren, kann man die Komprimierung entscheidend erhöhen. 3.2 Das move-to-front-verfahren (MTF) Dieses Verfahren beruht auf einer einfachen Methode: Jedem im Text vorkommenden Zeichen wird ein Index gegeben, z.b. in alphabetischer Reihenfolge eine Zahl von 0 bis 255 (CII-Code). Dieser Index muss zusätzlich zum Text gespeichert werden, z.b. in Form einer Liste. nhand unseres Beispieles ergibt sich folgende Index-Liste: H L M Nun wird unser Textstring MHL Zeichen für Zeichen durchgegangen, der Index des aktuellen Zeichens ausgegeben und das Zeichen in der Indexliste nach vorn sortiert, sein Index ist somit danach gleich 0: M gefunden usgabe 3 neue Index-Liste M H L H gefunden usgabe 2 neue Index-Liste H M L usw. Entscheidend sind nun die Ketten gleicher Zeichen, wie z.b., die bei der usgabe durch 4,0,0 repräsentiert werden. Nachdem MTF auf unseren tring angewendet wurde, erhalten wir folgende Zeichenkette: (Die Rücktransformation ist identisch der Hintransformation, ausgehend von der gespeicherten Index-Liste). Die hier zu beobachtende Tendenz, das niedrige Zeichen häufiger auftreten als hohe bestätigt sich bei längeren trings und wird dort sogar noch deutlicher (ca. 70% des transformierten Textes sind Nullen). Bezugnehmend auf vorangehende Vorträge ist dieser Text nun optimal strukturiert um effizient mittels Verfahren wie Run-Length-Coding oder Huffman komprimiert zu werden. Die Burrows-Wheeler-Transformation 6

7 3.3 Vergleich verschiedener Verfahren File x tility bit/byte bzip dmc gzip zip arj lha lharc compress bible.tar ( bytes) netscape ( bytes) gcc tar ( bytes) N/ N/ 2.99 (Grafik aus kript Medientechnik W 2001 der niversität Hamburg) Bei bzip handelt es sich um ein BWT-basiertes Kompressionsprogramm. Es zeigt sich deutlich die Konkurrenzfähigkeit BWT-basierter Lösungen mit kommerziellen Kompressionsprogrammen. 4. Zusammenfassung Bei der Burrows-Wheeler-Transformation handelt es sich also um eine rt ortierverfahren für Texte. Im Gegensatz zu herkömmlichen ortierverfahren ist diese ortierung allerdings eindeutig umkehrbar. Ergebnis der BWT ist, dass jeder Text eine innere truktur erhält, welche es ermöglicht ihn effektiv weiterzubearbeiten / zu komprimieren. Ein großer Vorteil der Transformation ist, dass gerade einfache Komprimierverfahren wie Huffman die besten Ergebnisse erzielen. Michael Burrows und David Wheeler haben hier also eine echte lternative zu komplexen (und oftmals nur in teuren Programmen eingesetzten) Kompressionsverfahren geliefert. Die Burrows-Wheeler-Transformation 7

8 Quellenangabe 1) Block-sorting Lossless Data Compression lgorithm von M. Burrows und D. Wheeler veröffentlicht in RC 124 des Digital ystems Research Center ) Datenkompression mit der Burrows-Wheeler-Transformation von ndreas Junghans ) Data Compression with the Burrows-Wheeler Transform von Mark Nelson erschienen in Dr. Dobb s Journal 1996 Die Burrows-Wheeler-Transformation 8

Ähnliche Dokumente

Dynamisches Huffman-Verfahren

Dynamisches Huffman-Verfahren - Adaptive Huffman Coding - von Michael Brückner 1. Einleitung 2. Der Huffman-Algorithmus 3. Übergang zu einem dynamischen Verfahren 4. Der FGK-Algorithmus 5. Überblick über