Mathematisches Praktikum - SoSe 2014

Transkript

1 Mathematisches Praktikum - SoSe 2014 Prof. Dr. Wolfgang Dahmen Felix Gruber, M. Sc., Christian Löbbert, M. Sc., Yuanjun Zhang, M. Sc., Klaus Kaiser, M. Sc. Zusatzaufgabe 3 für Informatiker Bearbeitungszeit: drei Wochen (bis Montag, 30. Juni 2014) Mathematischer Hintergrund: diskrete Kosinus-Transformation, Datenkompression, verlustbehaftete Bilddatenspeicherung Aufgabenstellung Entwickeln Sie eigenständig eine Ergänzung ihrer Bildklasse aus der Bildverarbeitungs-Aufgabe, mit der Sie JPEG-Graustufenbilder mit 256 Graustufen, die mit einem speziellen Huffman-Verfahren kodiert sind, einlesen und dekodieren können. JPEG Mit dem Ziel, einen Standard für Bildkompressionsverfahren zu definieren, wurde 1986 die Joint Photographic Expert Group (JPEG) gegründet. Dieses Komitee wurde Arbeitsgruppen der ISO (International Organization for Standardization) und der ITU-T (International Telecommunications Union-Telecommunications-Sector) gegründet. Der von diesem Gremium verabschiedete, als JPEG bekannte Standard mit der offiziellen Bezeichnung ISO/IEC [3], etablierte sich in den 1990er Jahren und ist Dank zahlreicher Implementierungen ein weit verbreitetes und industriell oft eingesetztes Verfahren zur Kompression und Speicherung von Bildern. Das zugehörige Grafikformat JFIF (engl. JPEG File Interchange Format) hat sich besonders im Internet zur Übertragung von Bildern in Webseiten und im Bereich der digitalen Fotographie mit der Erweiterung Exif (engl. Exchangeable Image File Format), um zusätzliche Daten zu Kameraeinstellungen und Motiv zu speichern, als Standard durchgesetzt. Im folgenden beschränken wir uns auf die Beschreibung des mit Baseline bezeichneten Minimalstandard des gesamten JPEG-Standards, der die grundlegenden Methoden beinhaltet, die eine Implementierung von JPEG mindestens beinhalten muss. Nachdem verschiedene Vorschläge abgewogen wurden, einigte man sich auf einen Standard, der auf einer diskreten Kosinus-Transformation und einer Variation des Huffman-Codes für verlustbehaftete Kompression basiert. Zusätzlich lässt der Standard auch verlustfreie Kompression, arithmetische Kodierung, sowie progressive und hierarchische Kodierung zu, die aber hier nicht weiter besprochen werden sollen. JPEG unterstützt farbige Bilder mit bis zu 3 Komponenten mit je bis zu 12 Bit. Der Einfachheit halber beschränken wir uns in dieser Aufgabe aber auf JPEG-Bilder im 8 Bit-Format mit nur einer Komponente und 256 Graustufen. Außerdem betrachten wir nur den gängigen Fall des Baseline-Standards der nur mit einem speziellen Huffman-Verfahren codierten Bilder erlaubt, obwohl im JPEG-Standard auch weitere Entropiekodierungsverfahren zugelassen sind. Abbildung 1 zeigt eine schematische Übersicht der Kodierung und Decodierung bei JPEG, die im Folgenden erläutert wird. 1

2 8x8 Block FDCT Quantisierungs Tabelle Quantisierung DC Prädiktion RLC AC DIFF Entropie Tabelle Entropie Kodierer Header Komprimierte Daten JPEG Datei Header Komprimierte Daten JPEG Datei Entropie Tabelle Entropie Dekodierer Diff Prädiktion IRLC DC AC Quantisierungs Tabelle Dequantisierer 8x8 Block IDCT (a) Kodierung (b) Decodierung Abbildung 1: Schematische Darstellung der JPEG-Kodierung. [2] Blockzerlegung In einem ersten Schritt wird das Bild in Blöcke aus 8x8 Pixeln eingeteilt. Ist die Anzahl der Spalten oder Zeilen nicht durch 8 teilbar, so wird das Bild am rechten bzw. unteren Rand auf die nächste durch 8 teilbare Spalten- bzw. Zeilenzahl aufgefüllt. Der JPEG-Standard schreibt nicht vor, wie diese Auffüllung erfolgen soll. Um eine möglichst gute Kompression zu erreichen, ist es eine gängige Praxis, die letzte gültige Spalte oder Zeile beim Auffüllen zu wiederholen. Diskrete Kosinustransformation Die diskrete Kosinustransformation (engl. discrete cosine transformation, DCT) eines diskreten 8x8-Bildes F k,l für 0 i, j 7 ist durch F k,l = 1 4 C kc l mit Normierungskonstanten 7 7 i=0 j=0 ( ) ( ) (2i + 1) (2j + 1) f i,j cos kπ cos lπ C k = { 1 2, für k = 0, 1, sonst, für 0 k, l 7, (1) definiert. Dabei handelt es sich um einen Basiswechsel: Statt in der Basis der stückweise konstanten Funktionen, die jeweils auf einem Pixel identisch Eins und sonst gleich Null sind, wird das Bild in Kosinusfunktionen verschiedener Frequenzen in die beiden Koordinatenrichtungen zerlegt. Die normierte Kosinusbasis ist eine Orthonormalbasis und in Abbildung 2a grafisch dargestellt. (2) horizontale Frequenz DC vertikale Frequenz (a) Grafische Darstellung der Basisfunktionen der diskreten Kosinus-Transformation für 8x8 Pixel (b) Zickzack-Sortierung der 8x8 Koeffizienten [2] Abbildung 2: Die diskrete Kosinus-Transformation und die Umsortierung der Koeffizienten. Die entsprechende Rücktransformation (engl. inverse discrete cosine transformation, IDCT) erhält man als 2

3 f i,j = k=0 l=0 ( ) ( ) (2i + 1) (2j + 1) C k C l F k,l cos kπ cos lπ für 0 i, j 7. (3) Weitere Details zur diskreten Kosinustransformation sind in [4] ausführlich erklärt. Sie und ihre Umkehrung können mit Hilfe einer schnellen Fouriertransformation (engl. fast Fourier transformation, FFT) wesentlich effizienter als über die Definitionen in (2) und (3) berechnet werden. Dies kann auch ohne den Einsatz von Fließpunktoperationen mit nur wenigen Operationen auf ganzen Zahlen durchgeführt werden. In dieser Aufgabe genügt es jedoch, direkt die Gleichungen (2) und (3) umzusetzen. Quantisierung Bei verlustbehafteten Kompressionsverfahren wie dem JPEG-Format erreicht man im Vergleich zu verlustfreien Verfahren sehr viel höhere Kompressionsraten. Allerdings entspricht das gespeicherte Bild nicht mehr exakt dem Ursprungsbild, sondern es werden Abweichungen toleriert, die jedoch möglichst klein gehalten werden sollen. Beim JPEG-Verfahren wird die Kompressionsrate und damit auch der Verlust an Information bei der Quantisierung gesteuert. In einer Quantisierungstabelle Q ij wird für 0 i, j 7 wird für jeden der Koeffizienten festgelegt, mit welcher Genauigkeit er gespeichert werden soll, indem der Koeffizient durch den zugehörigen Eintrag der Quantisierungsmatrix geteilt und abgerundet wird F Q i,j = Fi,j Q i,j. (4) Zickzack-Sortierung Nach der Quantisierung werden die quantisierten Koeffizienten aus der Kosinustransformation nach dem in Abbildung 2b angegebenen Diagonalschema umsortiert und in einem Vektor abgespeichert. Dies hat den Zweck, dass die Koeffizienten im Ergebnisvektor aufsteigend der Frequenzen sortiert sind und die zu vergleichbaren Frequenzen gehörigen Koeffizienten im Ergebnisvektor aufeinander folgen. Dadurch wird bei der folgenden speziellen Entropiekodierung eine bessere Kompression erreicht. Der nach der Kosinustransformation zur Frequenz 0 gehörige Koeffizient mit den Koordinaten k=0 und l=0 gibt den Mittelwert der Pixelwerte des Ursprungsblocks an, da beide Kosinusfunktionen auf dem gesamten Block konstant gleich Eins sind. In Analogie zur Elektrotechnik, wird dieser Koeffizient auch Gleichstromkoeffizient oder DC-Koeffizient (engl. direct current) genannt. Die übrigen Koeffizienten werden als Wechselspannungskoeffizienten oder AC-Koeffizienten (engl. alternating current) bezeichnet. Beide Arten Koeffizienten werden bei der Kodierung getrennt voneinander behandelt, wie in den folgenden Abschnitten noch beschrieben wird. JFIF-Dateiformat Ziel dieser Aufgabe ist es, einen Decoder für Teile des Grafikformats JFIF zu schreiben. Im Folgenden wird die Struktur des Dateiformats erklärt. Bytereihenfolge Speichert man einen Datentyp ab, der mehr als ein Byte (8 Bit) lang ist, z.b. ein Word (16 Bit), so steht die Reihenfolge der zugehörigen Bytes (Bytereihenfolge, engl. Byte-Order, endianness) noch nicht fest. Für die Bytereihenfolge haben sich zwei Standards etabliert, die auch jeweils in Hardware umgesetzt wurden. Beim Big-Endian-Format wird das Byte, das die höchstwertigen Bits enthält zuerst, das heißt an der niedrigeren Adresse, abgespeichert. Dann folgen die weiteren Bytes mit absteigender Wertigkeit Dieses Format entspricht der mathematischen Schreibweise einer Binärzahl, denn die höchstwertigen Bits werden zuerst notiert und die Reihenfolge der Bits bleibt erhalten. Da der Hersteller Motorola dieses Format bei vielen seiner Prozessoren einsetzt, wird es auch als Motorola-Format bezeichnet. 3

4 Markierung Abkürzung Beschreibung Seite der Definition in [3] 0xFF 0xD8 SOI start of image 34 0xFF 0xD9 EOI end of image 34 0xFF 0xC0 SOF0 start of frame, type 0: baseline DCT 35 0xFF 0xE0 APP0 application 44 0xFF 0xFE COM comment 43 0xFF 0xC4 DHT define Huffman table 40 0xFF 0xDB DQT define quantization table 39 0xFF 0xDA SOS start of scan 41 0xFF 0xDD DRI define restart interval 43 Tabelle 1: Tabelle der Markierungen Beim Little-Endian-Format hingegen speichert man zuerst das Byte mit den niederwertigsten Bits, dann folgen die weiteren Bytes mit zunehmender Wertigkeit. Dieses Format wird von Intel favorisiert und z.b. bei Intel-x86-Prozessoren und Kompatiblen eingesetzt, daher wird es auch oft Intel-Format genannt. Die Reihenfolge der Bits innerhalb eines Bytes bleibt stets identisch und wird von der Bytereihenfolge nicht verändert. Beide Formate haben Vor- und Nachteile. Inzwischen gibt es selten auch Mischvarianten (engl. Bi-Endian) und Hardware (z.b. die PowerPC-Prozessoren und die ), die beide Formate verarbeiten kann. Unabhängig von der Hardware, hat das Standardisierungsgremium festgelegt, dass JPEG-Dateien immer im Big-Endian-Format abgespeichert werden. Dies ist beim Einlesen der Dateien stets zu berücksichtigen. Markierungen Eine Datei im Format JFIF wird durch sogenannte Markierungen (engl. marker) in Informationsabschnitte (engl. segment) strukturiert. Eine Markierung besteht aus zwei Byte, das erste ist immer 0xFF und das zweite von 0x00 verschieden und gibt den Typ des Informationsblocks an. In Tabelle 1 sind die für diese Aufgabe relevanten Markierungen wiedergegeben. Das gesamte Bild beginnt mit der Markierung SOI (engl. start of image) und endet mit der Markierung EOI (engl. end of image). Diese beiden Markierungen bilden als einzige einen eigenen Informationsabschnitt. Bei allen anderen Markierungen folgt eine in 16 Bit abgespeicherte natürliche Zahl (engl. unsigned), die die Länge des Informationsabschnitts in Byte angibt, wobei die Markierung nicht mitgezählt wird, die 2 Byte große Längenangabe jedoch schon. Im Rest des Informationsabschnitts folgen je nach Markierung Informationen über das Bild, z.b. Größenangaben, Quantisierungs- oder Huffman-Tabellen. Die genaue Struktur der Informationsabschnitte ist in Abhängigkeit der Markierung in [3] beschrieben. In Tabelle 1 ist in der letzten Spalte angegeben, auf welcher Seite die jeweilige Definition beschrieben ist. Tritt eine Markierung auf, die der Decoder nicht verarbeiten kann, so soll er den zugehörigen Informationsabschnitt ignorieren. Kodierung der Bilddaten Nach dem Informationsblock, der durch die Markierung SOF0 eingeleitet wurde, folgen die eigentlichen Bilddaten. Diese sind Block für Block codiert, wobei die Blöcke das Bild blockzeilenweise durchlaufen. Zunächst werden die Pixelwerte von einem vorzeichenfreien Byte im Wertebereich durch Subtraktion von 128 in den um 0 symmetrischen Zahlbereich verschoben. Anschließend wird jeder Block der Kosinustransformation, der Quantisierung und der Umsortierung unterzogen. Nun folgt noch die spezielle Entropiekodierung der Bilddaten, die für den DC-Koeffizienten und die AC-Koeffizienten jedes Blocks getrennt ablaufen. In den Bilddaten ist das Byte 0xFF als die 16 Bit-Folge 0xFF 0x00 codiert, um es von einer Markierung unterscheiden zu können. 4

5 Kategorie Wert bitweise Interpretation des Werts ,1 0,1 2-3,-2,2,3 00,01,10,11 3-7,-6,-5,-4,4,5,6,7 000,001,010,011,100,101,110, ,...,-8,8,..., ,...,0111,1000,..., ,...,-16,16,..., ,...,01111,10000,..., ,...,-32,32,..., ,...,011111,100000,..., ,...,-64,64,..., ,..., , ,..., ,...,-128,128,..., ,..., , ,..., ,...,-256,256,..., ,..., , ,..., ,...,-512,512,..., ,......, ,...,-1024,1024,..., ,......, ,...,-2048,2048,..., ,......, ,...,-4096,4096,..., ,......, ,...,-8192,8192,..., ,......, ,...,-16384,16384,..., ,......, Tabelle 2: Kategorien Kategorien Die Bilddaten eines Blocks beginnen mit dem kodierten DC-Koeffizienten, anschließend folgen die AC-Koeffizienten. Beide Teile werden mit Hilfe verschiedener Huffman-Tabellen kodiert, die zuvor im Kopf der JPEG-Datei festgelegt wurden. Beim speziellen Huffman-Verfahren folgen im Bitstrom auf jedes Huffman-Symbol möglicherweise einige weitere Bits, deren Anzahl im Huffman-Symbol codiert sind. Diese Anzahl wird als Kategorie (engl. category) bezeichnet. Die Tabelle 2 zeigt, wie für verschiedene Kategorien die gelesenen Bits als vorzeichenbehaftete 16 Bit-Ganzzahl (engl. integer) zu interpretieren sind DC-Kodierung Da zwei aufeinanderfolgenden 8x8-Blöcke voraussichtlich ähnliche Mittelwerte besitzen, wird beim JPEG-Verfahren nicht der DC-Koeffizient selbst, sondern die Differenz DIF F zum vorigen DC- Koeffizienten mit { DCi DC DIF F i = i 1, für i > 0, DC i, für i = 0, gespeichert. Dabei bezeichnet DC i den DC-Koeffizienten des i-ten Blocks, wobei die Blockzählung bei Null beginnt. In der Huffman-Tabelle ist zu jeder der 16 Kategorien ein Huffman-Code abgelegt. AC-Kodierung Da voraussichtlich in vielen Blöcken nicht alle Koeffizienten ungleich Null sind, implementiert der JPEG-Standard eine Lauflängenkodierung (engl. run length coding, RLC) der Nullen, das heißt es wird die Anzahl der Nullen vor einem von Null verschiedenen Koeffizienten gezählt und anschließend mit diesem Koeffizienten gespeichert. Wir schreiben ein Paar aus Lauflänge r und Kategorie k als Tupel (r, k). Da Lauflänge im ersten und die Kategorie im zweiten 4 Bit-Block (engl. nibble) eines Bytes gespeichert werden, kann eine maximale Lauflänge von 15 abgelegt werden. Treten mehr Nullen nacheinander auf, so wird das spezielle Symbol (15, 0) gespeichert, das für 16 Nullen steht. Dieses kann auch mehrfach nacheinander eingesetzt werden, falls nötig. Der Code (0, 0) steht für das Symbol EOB (engl. end of block) und bedeutet, daß alle von Null verschiedenen AC-Koeffizienten übermittelt wurden, der Block hiermit sofort endet und sofort anschließend die Kodierung des nächsten Blocks beginnt. Auf diese Weise kann die Speicherung von vielen Nullen eingespart werden. Die Huffman-Tabelle für die AC-Koeffizienten speichert Einträge für jedes auftretende Paar aus Lauflänge und Kategorie, wobei beides zu einem Byte zusammengefaßt ist. 5

6 Restart-Markierung Die Entropiekodierung mit dem Huffman-Verfahren ist anfällig gegen Übertragungsfehler. Ein falsches Bit führt schon oft dazu, daß das Bild nicht mehr Dekodiert werden kann oder keine Ähnlichkeit mit dem Ursprungsbild mehr besitzt. Daher kann der Bitstrom zur Synchronisation von sogenannten Restart-Markierungen DRI (engl. define restart interval) in Teilstücke zerlegt werden, die unabhängig voneinander verarbeitet werden können. Auf diese Weise steigt die Wahrscheinlichkeit, ein gestörtes Bild noch teilweise wiederherstellen zu können, obwohl die Größe des komprimierten Bildes nur wenig wächst. Im Fall eines Bitfehlers kann der Decoder nach einer solchen Markierung wieder ansetzen und weitere Teilblöcke des Bildes verarbeiten. Der Einfachheit halber verzichten wir in dieser Aufgabe auf die Unterstützung von Restart-Markierungen und verwenden nur Bilder, in denen diese nicht auftreten. Beispiel In Abbildung 3 ist die Kodierung mit Zwischenschritten für ein einfaches Beispielblocks erläutert. (a) Testblock (b) Eingangsblock (8 Bit) (d) DCT (f) Quantisierungstabelle (c) Symmetrisierung (e) Zickzack-Sortierung (g) quantisierte DCT DC : (1) 1 AC : (15, 0)(15, 0)(3, 5)24(1, 4)15(1, 4)11(1, 6)39(0, 0) (h) Datenstrom vor Huffman-Codierung (Kategorie bzw. Lauflänge und Kategorie in Klammern) Abbildung 3: Kodierung am Beispiel eines Blocks Praktikumsumgebung In der Praktikumsumgebung, die aus den Dateien unitz3.h und unitz3.o besteht, werden Ihnen einige Hilfsmittel zur Decodierung von JPEG-Dateien bereitgestellt. 6

7 Die Klasse huffman_entry modelliert einen Eintrag einer Huffman-Tabelle für DC- oder AC-Koeffizienten. Mit der Methode get_size() erhält man die Länge des Huffman-Codes, mit get_code() einen unsigned, der den Huffman-Code enthält. Je nachdem, ob es sich um einen Tabelleneintrag für die DC- oder AC- Koeffizienten handelt, kann mit DC_category() oder AC_category() auf die Kategorie zugegriffen werden. Zusätzlich liefert AC_RLC_count() bei AC-Koeffizienten die Anzahl der vorweggestellten Nullen. Die Funktion void extract_huffman_table ( byte tabclass, byte * data, huffman_table & H, bool verbose = true ); generiert aus dem komprimierten Format einer JPEG-Datei eine gebrauchsfähige Huffman-Tabelle. Die Variable tabclass gibt an, ob es sich um eine Tabelle für DC- oder AC-Koeffizienten handelt. Im ersten Fall ist tabclass auf 0, im zweiten Fall auf 1 zu setzen. Der Zeiger data zeigt auf den eingelesenen Datenstrom im Speicher, der die komprimierte Huffman-Tabelle enthält. Er beginnt ab dem vierten Byte (Offset 3) hinter dem Marker DHT. Weiterhin werden Ihnen einige Testbilder zur Verfügung gestellt, an denen Sie ihren Dekodierer überprüfen können. Ausblick Das JFIF-Format unterstützt viele weitere Funktionalitäten, von denen hier noch einige angesprochen werden sollen. Weitere Details finden sich z.b. in [3, 5]. Farbtransformation Farbige Bilder werden in Komponenten zerlegt abgespeichert, wobei jede Komponente wie ein Graustufenbild behandelt wird. Statt des üblichen additiven RGB-Farbmodells (Zerlegung in Rot-, Grün- und Blauanteil) setzt man beim JPEG-Verfahren das YCbCr-Farbmodell ein, bei der das Bild in Helligkeit (Luminanz) und zwei Farbigkeiten (Chrominanzen) zerlegt wird. Dieses Modell gibt das Farbensehen des Auges besser wieder, denn das Auge nimmt Unterschiede der Helligkeit viel stärker wahr als vergleichbare Farbunterschiede. Daher können z.b. die Chrominanzen deutlich grober quantisiert werden, obwohl das Auge den Unterschied kaum wahrnehmen kann. Daher ist es auch möglich, für die Farbkomponenten verschiedene Quantisierungs- und Huffman-Tabellen zu wählen. Subsampling Aus dem gleichen Grund können die Chrominanzanteile auch grober gerastet, d.h. mit niedriger Auflösung gespeichert werden, als die Luminanzanteile. Die entsprechenden Funktionen werden als Subsampling bezeichnet und vom JPEG-Verfahren bereitgestellt. Arithmetische Codierung Neben der Huffman-Codierung unterstützt das JPEG-Verfahren als weitere Entropiekodierungsmethode auch die arithmetische Codierung, die man als auf einer Art Intervallschachtelungsprinzip beruhend verstehen kann. Da die Umsetzung der arithmetische Codierung nur mit Hilfe von Ganzzahloperationen vergleichsweise kompliziert ist, unterstützen viele Decoder diese Art der Codierung nicht. Progressiver Bildaufbau Statt das Bild blockweise abzuspeichern, kann es besonders bei Datenübertragungen z.b. im Internet sinnvoll sein, das Bild zunächst nur in einer groben Auflösung zu übertragen und nach und nach durch Korrekturen die Auflösung des Bildes zu erhöhen. So kann bereits nach geringer übertragener Datenmenge ein erster Eindruck des Bildes entstehen, der vielleicht schon genügt und der Rest der Bilddaten braucht nicht mehr übertragen zu werden. Dies wird als progressiver Bildaufbau bezeichnet und vom JPEG-Verfahren unterstützt. 7

8 Literatur [1] Cuturicu, Cristi und Oliver Fromme: A note about the JPEG decoding algorithm. Technischer Bericht, [2] Hochstrat, Laura: Bilddatenkompression mit JPEG und JPEG2000. Seminar zur Signalanalyse und Wavelets im Wintersemester 08/09. Institut für Geometrie und Praktische Mathematik, RWTH Aachen. [3] ISO/IEC: JPEG Standard (JPEG ISO/IEC ITU-T Recommendation T.81). org/graphics/jpeg/itu-t81.pdf. [4] Mallat, Stéphane: A Wavelet Tour of Signal Processing. Academic Press, New York, 2. Auflage, [5] Strutz, Tilo: Bilddatenkompression: Grundlagen, Codierung, MPEG, JPEG. Vieweg,