Einführung Geschichte Eigenschaften Dateiformat Einsatzgebiet. Das JPEG-Format. Sebastian Schnell. 1. April 2008

Transkript

1 1. April 2008

2 Inhaltsverzeichnis 1 2 Notwendigkeit eines Standards 3 4 JFIF JP2 5

3 JPEG steht für 'Joint Photographic Experts Group' Bezeichnung für das Gremium, welches JPEG entwickelt hat JPEG ist kein für Bildspeicherung Lediglich eine Kompressionsmethode SPIFF, JNG und JFIF sind konkrete Bildformate JFIF als gebräuchlichstes Format mit Endung '.jpg' JFIF: JPEG File Interchange Format

4 Joint Photographic Experts Group Notwendigkeit eines Standards 'Joint Photographic Experts Group': Gegründet 1986 Ozieller Name: ISO/IEC JTC1 SC29 Working Group 1 Gemeinsames Komitee der ISO und der ITU-T (früher CCITT) ISO: International Organization for Standardization ITU-T: International Telecommunication Union CCITT: Comité Consultatif International Télégraphique et Téléphonique Beides Organisationen, die Standards festlegen

5 Probleme der Bildverarbeitung Notwendigkeit eines Standards Entstehung der ersten Grakprogramme gegen 1960 Jeder Hersteller mit eigenem Format Anstieg des Speicherbedarfs mit fotorealistischen Bildern Probleme: Keine Interoperabilität Festplatten / Disketten zu klein

6 Lösung Notwendigkeit eines Standards JPEG-Standard: Ozielle Bezeichnung: ISO/IEC IS ITU-T Recommendation T.81 Verfahren zur Bildkompression Entwicklung seit 1983 durch ISO Ab 1986 Zusammenschluss mit ITU-T (ehemals CCITT) zum JPEG-Komitee Endgültige Verabschiedung im Jahr 1992: Information Technology Digital Compression and Coding of Continuous-tone Still Images Requirements and Guidelines. ISO/IEC , ITU T.81, September 1992

7 Weiterentwicklung Notwendigkeit eines Standards -Standard: Ozielle Bezeichnung: ISO/IEC-Norm :2000 ITU-Empfehlung T.800 Weiterentwicklung des Original Standards von 1992 Durch ISO/IEC JTC l/sc 29/WG1: Zusammenschluss von 80 Firmen und Universitäten Endgültige Verabschiedung im Jahr 2000: ISO/IEC :2000. Information technology JPEG 2000 image coding system Part 1: Core coding system

8 weitere JPEG-Standards Notwendigkeit eines Standards JPEG-LS: Verlustfreie Komprimierung fotorealistischer Bilder JBIG / JBIG2: Verlustfreie Komprimierung von Grauwert/Binärbildern Motion JPEG (M-JPEG): Videokomprimierung mittels JPEG

9 Grundsätzliche Denition eines Verfahrens zur Speicherung von fotorealistischen Bildern Lizenzfrei im Gegensatz zu bspw. GIF Farbmodell: YCbCr mit bis zu 12 Bits pro Kanal Verlustbehaftete Kompression Auch bei maximaler Qualität! Kompressionsgrad frei wählbar: Faktor 1 bis 1/100 Sequentielle oder Progressive Speicherung

10 Farbraumkonvertierung YCbCr: Dem menschlichen Sehvermögen angepasstes Farbmodell Helligkeit Y Farbton Cb (Abweichung nach Blau) Sättigung Cr (Abweichung nach Rot) Wahrnehmungsfähigkeit in dieser Reihenfolge Umwandlung von RGB-Farbraum in YCbCr Unterschiedliche Auösung der einzelnen Komponenten

11 Farbraumkonvertierung Aufsplittung in die YCbCr-Komponenten: [Quelle:

12 Farbraumkonvertierung Chroma-Subsampling: JPEG sieht folgende Möglichkeiten vor YCbCr 4:4:4 Chrominanz-Auösung identisch zur Luminanz-Auösung YCbCr 4:2:2 horizontale Chrominanz-Auösung halbiert YCbCr 4:2:0 horizontale und vertikale Chrominanz-Auösung jeweils halbiert YCbCr 4:2:0 ist gebräuchlichste Auösung in JPEG Komprimierung der Bildgrösse allein dadurch um 50%! Weitere YCbCr-Datenformate auf

13 Farbraumkonvertierung Umrechnung RGB nach YCbCr für JPEG: R'G'B' sind auf [0,1] normalisierte Werte Y'Cr'Cb' erstrecken sich auf den Bereich [0,255] Also 8-Bit-Konvertierung bei Verwendung von ganzen Zahlen 12-Bit auch im Standard vorgesehen, aber ungebräuchlich

14 Blockbildung und Spektralanalyse Getrennte Komprimierung der einzelnen Kanäle Einteilung in 8x8 Pixelblöcke DCT: Diskrete Kosinus Transformation Errechnung der DCT-Koezienten: mit = Spektralanalyse

15 DCT-Veranschaulichung Zusammensetzung des Originalbilds durch Linearkombination der nebenstehenden Bilder DCT-Koezienten als Faktoren Feine Details Richtung unten rechts

16 Quantisierung Bis hierhin keine Kompression! Komprimierungsgrad gesteuert durch Quantisierungsmatrix: Elemtweise Teilung der Koezientenmatrix durch Quantisierungsmatrix Weitere Eigenschaft des Auges (vgl. YCbCr): Höhere Empndlichkeit gegenüber groben Strukturen Daher hohe Teiler in der QM in Richtung rechts unten! Umwandlung der resultierenden Matrix F Q in ganzzahlige Werte ergibt dann Datenböcke mit niedriger Entropie

17 Lauängenkodierung Erste wirkliche Komprimierung: Lauängenkodierung Anwendung auf alle AC-Komponenten eines Blocks Grundton DC wird gesondert behandelt (nächste Folie) Dazu Zick-Zack-Umsortierung der Werte: [VL Medienverarbeitung, Prof. Susanne Boll] Sortierung anhand der Frequenzen

18 Prädikative Codierung Anwendung auf alle DC-Komponenten aller Blöcke (Grundtöne) Speicherung der Dierenwerte von Nachbarblöcken Weitere Komprimierung

19 Entropie-Kodierung Letzter Schritt: Entropie-Kodierung: Getrennt für AC- und DC-Komponenten Zwei Verfahren im JPEG-Standard Arithmetische Kodierung: Hohe Ezienz Aber lizenzpichtig und langsam Human Algorithmus: Niedrigere Ezienz Aber lizenzfrei und schnell Verwendung von Human in 99% aller Fälle

20 Human-Kodierung Entropie als Maÿ für den mittleren Informationsgehalt eines Zeichens Entropie ist die durchschnittliche Anzahl von Entscheidungen (Bits), die benötigt werden, um ein Zeichen aus einer Zeichenmenge zu identizieren oder zu isolieren Human-Algorithmus codiert häug auftretende Zeichen mit weniger Bits als seltene Zeichen Kein Codewort darf dabei Anfang eines anderen sein (Fano-Bedingung) Resultierende mittlere Codewort-Länge wäre im Optimalfall exakt die Entropie Im Normalfall etwas höher (Arithmetische Codierung ezienter)

21 Details zur Human-Kodierung Berechnung der Entropie H: H = Z i p(z i ) log 2 (z i ) p(z i ) bezeichnet hierbei die Wahrscheinlichkeit, mit der das i-te Zeichen des Alphabets Z vorkommt. Redundanz = L-H als Güte für die Komprimierung L = Z p(z i ) n i i Wobei n i die Anzahl der Bits ist, die für das Zeichen z i verwendet werden

22 Details zur Human-Kodierung Aufbau des Codebaums: Erstellung aller Blätter Enthaltene Informationen: Wahrscheinlichkeit p und Buchstabe z i Zusammenfügen der zwei Blätter mit den zwei niedrigsten Wahrscheinlichkeiten an einen Knoten Der neu erstellte Knoten erhält jetzt die addierte Wahrscheinlichkeit seiner zwei Kinder Zusammenfügen der zwei Blätter / Knoten mit der niedrigsten Wahrscheinlichkeit usw. Ergebnis ist ein Binärbaum, dessen Blätter die Buchstaben des Alphabets enthalten

23 Details zur Human-Kodierung [VL Medienverarbeitung, Prof. Susanne Boll]

24 Details zur Human-Kodierung Die zu schreibende Bitfolge für jedes Zeichen ergibt sich aus den Abzweigungen (links oder rechts) auf dem Weg von der Wurzel zum Blatt Beim Dekodieren wird der Baum vom Wurzelknoten anhand der gelesenen Bits solange durchwandert, bis man auf ein Blatt trit Dieses ist das gesuchte Zeichen Der Codebaum muss unbedingt mitgespeichert werden, da sonst keine Dekodierung möglich ist! Redundanz meist gröÿer Null aufgrund der Verwendung von ganzen Bits Im Vergleich: Arithmetische Codierung arbeitet mit reellen Zahlen niedrigere Redundanz

25 Dekodiervorgang Umgekehrte Reihenfolge: Entropiedekodierung Umsortierung Requantisierung (Quantisierungsmatrix muss bekannt sein) IDCT: Inverse Diskrete Cosinus Transformation Re-Skalierung der Chromawerte Umwandlung in Ziel-Farbraum

26 Dekodiervorgang IDCT: Ergebnis sind konkrete Pixelwerte RGB-Konvertierung: mit

27 Unterschiede Unterschiede zu JPEG: Wegfall der DCT Stattdessen Nutzung von Wavelet-Transformationen: DWT Keine Blockbildung Sondern Einteilung in 'Tiles' Daher keine visuelle Blockbildung mehr bei hoher Kompression Stattdessen Unschärfe Arithmetische-Kodierung jetzt Picht Noch nicht weit verbreitet (siehe Abschnitt e)

28 Bildvergleich Vorteilhaft insbesondere bei hohem Komprimierungsgrad Hier der Vergleich bei 66-facher Kompressionsrate: Keine Blockbildung mehr erkennbar

29 Wavlet-Transformation Mathematische Entwicklung ca Zeitlich und räumlich begrenzte Klasse von Funktionen Mischung aus Sinus und Dirac-Impuls Einsatz von 'Daubechies 9/7 Wavelet' für verlustbehaftete Komprimierung 'Le Gall 5/3 Wavelet' für verlustfreie Komprimierung

30 Wavlet-Transformation Iteriertes Anwenden von Hoch- und Tiefpass-Filtern Kontinuierliches Halbieren der Auösung [ Trennung von hohen und niedrigen Frequenzanteilen Bezeichnung auch 'Subband-Coding' Auch hier erfolgt nach Transformation wieder eine Quantisierung der Koezienten

31 Wavlet-Transformation Vorteile der DWT: Berechnungsaufwand ist nur O(N) im Gegensatz zu O(N log N) bei DCT Dadurch keine Notwendigkeit der Aufteilung in kleine 8x8 Blöcke Einteilung in verschiedengroÿe Rechtecke bei dennoch vorgesehen für adaptive Kompressionsfaktoren Lokaler Charakter der DWT verhindert jedoch auch hier Sichtbarkeit der Grenzen Keine Klötzchenbildung Natürliche Progressivität des Algorithmus

32 De- / Komprimierung Analog zu JPEG-1992

33 JFIF JFIF JP2 JPEG File Interchange Format Neueste Version 1.02 verabschiedet 1992 Das einzige bedeutende Bild-Format, das JPEG implementiert Dateiendung '.jpg' Seltener: '.jpeg', '.jpe', '.jf' MIME type: 'image/jpeg' Farbmodell auf YCbCr beschränkt Information über das Seitenverhältnis Beschränkung der Auösung auf x Pixel

34 Aufbau JFIF JP2 Header (kann auch leer sein) Anschlieÿend die eigentlichen Daten Eingelietet durch SOI-Marker 0xFF 0xD8 Aufgeteilt in Segmente Entsprechung von TAGs in anderen Formaten wie TIFF oder 3DS Tag-Header bestehend aus 4 Bytes: 0xFF XX SizeUB SizeLB XX gibt Art des Segments an Die Gröÿe des Datensegments ergibt sich aus (SizeUB 8) + SizeLB Gröÿe enthält die zwei Bytes für die Längenangabe Leeres Segment hätte also eine Gröÿe von 2

35 Tag-Typen JFIF JP2

36 Details zum Aufbau JFIF JP2 1 SOI-Marker 2 JFIF-Tag: FF E A A ist die ASCII-Codierung für JFIF 3... weitere (optionale) Tags ein unkomprimiertes Thumbnail Quantisierungstabelle(n)... 4 SOS Start of Scan: beinhaltet Entropie-enkodierte Pixeldaten 5 EOI End of Image

37 JP2 JFIF JP2 JP2 als Datei Format für ISO-standardisiert Deniert in Part1 der -Spezikation [ Speicherung des Farbraums (bspw. srgb) Optionaler Transparenzkanal Farbpaletten ähnlich GIF Dateiendung '.jp2' MIME-Type: 'image/jp2'

38 Bilder Primär geeignet für die Speicherung fotoähnlicher Bilder Im Format JFIF Breite Software-Unterstützung in der PC-Welt: Internet-Browser Java Bildverarbeitungssoftware: Paint, Gimp, Photoshop... Spiele... Internet-Dominanz neben GIF und PNG am meisten verwendet

39 Bilder Einsatz in digitalen Fotoapparaten beschränkt auf semi-professionellen Bereich: Kompressionsartefakte zu gross JFIF bietet keine Farbraum-Denition JFIF-Kanalauösung zu klein (nur 8-Bit) Eingebettete Systeme mit Hardwareseitiger Kompression / Dekompression

40 Videos MPEG Entwickelt vom Fraunhofer Institut Verbindet JPEG-Kompression mit anderen Techniken wie bswp. Block Motion Compensation zur ezienten Kodierung von Bewegtbildern Einsatz auf Video-DVDs oder Video-CDs Motion-JPEG M-JPEG Bietet keine frameübergreifende Komprimierung Aneinanderreihung unabhängig voneinander komprimierter JPEG-Bilder Einsatz in digitalen Videokameras Eingebettete Systeme mit Hardwareseitiger Kompression / Dekompression

41 Keine hohe Verbreitung im PC-Sektor (bis jetzt) Geringe Browserunterstützung (nur Safari auf Mac OS X) Einbettung von -Strömen in DICOM Texturen in SecondLife Deutsche Reisepässe ;)

42 Fragen Fragen?