JPEG-Standbildcodierung

JPEG-Standbildcodierung Dipl.-Ing. Guido Heising Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 1

Gliederung der Vorlesung Einführung JPEG (1992) - Funktionsblöcke - Transformation mittels DCT - Lauflängencodierung - Betriebsmodi Einführung JPEG 2000 - Anforderungen - Vergleich JPEG versus JPEG 2000 - Neue Funktionalitäten - Wavelettransformation Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 2

ISO Bild- und Videocodierstandards Standard Datei-Extension Medien ISO/JPEG (1992): *.jpg Standbild ISO/JPEG 2000: *.jp2 Standbild ISO/Motion JPEG 2000: *.mj2 Mehrere Standbilder,Video ISO/MPEG 1, 2: *.mpg Video, Audio ISO/MPEG 4: *.mp4 Beliebig geformte Videos, Audio, synthetische 2D + 3D Welten ISO (International Standardization Organisation) Deutschland ist bei der ISO durch das DIN (Deutsches Institut für Normung e.v.) vertreten. Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 3

JPEG-Standard (1992) Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 4

Transformationscodierung (JPEG, MPEG) digitales Bildsignal Codierer Decodierer rekonstruiertes digitales Bildsignal Transformation Quantisierung Entropiecodierung Entropie- Decodierung Inverse Transformation Nebeninformationen Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 5

Basisfunktionen DCT Basisblöcke KLT Basisblöcke (Karhunen-Loeve-Transf.) Transformationsbasis von JPEG und MPEG Optimale Transformationsbasis für das rechts dargestellte Bild (bildabhängig, daher sind die Basisblöcke am Decoder nicht bekannt) Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 6

Partielle Codierung Original Rekonstruktion mit 1 2 4 8 Koeffizienten KLT (JPEG) DCT Probleme durch visuelle Artefakte an den Blockgrenzen! Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 7

Quantisierungskennlinie xq /2 x Gleichförmige Quantisierung mit Quantisiererstufenhöhe Bsp: Werte 3 /2 < x 5 /2 werden mit x q = 2 rekonstruiert Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 8

Entropiecodierung von JPEG (1992) DCT-Koeffizienten eines 8x8 Blocks quantisierte Koeffizienten Zigzag Scan Viele Koeffizienten werden auf den Wert Null quantisiert. Eine Lauflängencodierung überführt die 2D-Anordnung der Koeffizienten mittels Zigzag-Scan in eine 1D-Reihenfolge, wobei der Abstand zwischen Koeffizienten ungleich Null und der Wert des Koeffizienten bei JPEG gemeinsam codiert. Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 9

Entropiecodierung von JPEG (1992) Quantisierungsmatrix 1 1 1 1 1,5 1 1 2 2 1 1 2 2 Lauflängencodierung (RLC) mit Wertepaaren (Länge,Quantisiererindex) Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 10

JPEG (1992) Modi (insgesamt 25 Modi) 2 verbreitete Modi: Baseline Modus Progressiver Modus (Bild kann vom Decoder nach und nach mit besserer Qualität aufgebaut werden) wenig unterstützt: Lossless Modus (DPCM) kein Standard (viele unterschiedliche Implementierungen): Motion JPEG Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 11

Codierungsbeispiel (geringe Qualität) 8x8 Pixel Block Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 12

Anforderungen an JPEG 2000 (Auswahl) Erhöhte Codiereffizienz bei mittleren und niedrigen Bitraten Wahlweise verlustbehaftete oder verlustfreie Kompression Progressive Übertragung (Qualitäts- bzw. Auflösungsskalierbarkeit) Erhöhter Fehlerschutz Zugriff auf Teilbereiche des Bildes (Region of Interest, ROI) Offene Architektur (Optimierung für bestimmte Bildklassen)... Verfahren: Wavelettransformation + EBCOT Entropiecodierung (Embedded Block Coding with Optimized Truncation, wird hier nicht näher behandelt) Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 13

Vergleich JPEG vs. JPEG2000: JPEG (1992) Encoder Einstellungen Quantisierung Vorverarbeitung Decoder Möglichkeiten keine unbekannte Bitrate Bitstrom Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 14

Vergleich JPEG vs. JPEG2000: JPEG (2000) Encoder Einstellungen verlustfrei, verlustbehaftet zerlegen in Teilbilder bisherige Parameter von JPEG (1992) Decoder Möglichkeiten Auflösung Qualität Region-of-Interest (ROI) feste Rate Teilkomponenten Bitstrom Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 15

JPEG: Hotel @ 0,145 bpp Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 16

JPEG2000: Hotel @ 0,145 bpp Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 17

Vergleich JPEG2000 (verlustbehaftet) [1] 34 32 30 Bike PSNR 28 26 24 22 20 0 1/64 1/32 3/64 1/16 1/Kompressionsfaktor JPEG 2000 SPIHT JPEG 1992 [1] M.D.Adams, H.Man, F. Kossentini, T.Ebrahimi, JPEG2000: The Next Generation Still Image Compression Standard Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 18

Auflösungsskalierbar 5 Stufen, Hotel 1 Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 19

Auflösungsskalierbar 5 Stufen, Hotel 2 Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 20

Auflösungsskalierbar 5 Stufen, Hotel 3 Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 21

Auflösungsskalierbar 5 Stufen, Hotel 4 Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 22

Auflösungsskalierbar 5 Stufen, Hotel 5 Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 23

Qualitätsskalierbar mit 6 Raten, Hotel @ 0.0625bpp Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 24

Qualitätsskalierbar mit 6 Raten, Hotel @ 0,125 bpp Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 25

Qualitätsskalierbar mit 6 Raten, Hotel @ 0,25bpp Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 26

Qualitätsskalierbar mit 6 Raten, Hotel @ 0,5 bpp Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 27

Qualitätsskalierbar mit 6 Raten, Hotel @ 1,0 bpp Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 28

Qualitätsskalierbar mit 6 Raten, Hotel @ 2,0 bpp Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 29

Region of Interest (ROI), Kreis, Hotel @ 0,0625 bpp Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 30

Region of Interest (ROI), Kreis, Hotel @ 0,125 bpp Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 31

Region of Interest (ROI), Kreis, Hotel @ 0,25 bpp Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 32

Region of Interest (ROI), Kreis, Hotel @ 0.5 bpp Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 33

Region of Interest (ROI), Kreis, Hotel @ 1,0 bpp Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 34

Region of Interest (ROI), Kreis, Hotel @ 2,0 bpp Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 35

Flexibilität -> Anwendungsgebiete (Auswahl) Medizin verlustfrei sehr wichtig, Region of Interest (ROI) Digitale Kameras begrenzter Speicherplatz, Ratenkontrolle Archivierung Angepasste Extraktion für spezielle Darstellungsmedium (Bildschirm, Drucker) WWW Dialog (mehr Daten, andere Daten) Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 36

Blockdiagramm image image R G B Color transform R G B Inverse color transformn X1 X2 X3 DWT DWT DWT X1 X2 X3 IDWT IDWT IDWT Coder Decoder 0 0 1 1 1 1 0 0 Storage Media Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 37

JPEG2000 - Verfahren Bild zerlegen in Teile Bild zerlegen in Wavelettransformation -> Zerlegung in Teilbänder Farbkomponenten Zerlegung in Auflösungsstufen (Gruppen von Waveletkoeffizienten) Magnitude 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 Zerlegung in Zonen Zerlegung in Codeblöcke Zerlegung in Bitebenen (Ermöglicht Erzeugung eines skalierbaren Bitstroms) Codierung in mehreren Pässen mittels Entropiecodierung Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 38

Wavelet-Basisfunktionen Wavelet-Basisfunktionen überlappen sich und haben unterschiedliche Größen 5/3 Spline-Wavelet DCT Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 39

Lokalisation im Zeit- (Orts-) und Frequenzbereich Sinusschwingung plus Impuls Identitätsbasis Fourier-Basis Gefensterte Fourier-Basis Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 40

Wavelets im Zeit- (Orts-) und Frequenzbereich Wavelet- Basis ψ j,k Zeitbereich Frequenzbereich Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 41

Wavelettransformation Wavelettransformation mittels Tiefpassfilter H0 liefert tieffrequente Koeffizienten in x- und y-richtung (LL) und Hochpassfilter H1 liefert die hochfrequenten Koeffizienten HH. HL und LH enthalten nur hochfreq. Anteile in x- oder y-richtung H 0(z) 2 c 0 2 G 0(z) f(x) H 1(z) 2 c 1 2 G 1(z) Σ f(x) LL LH HL HH Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 42

Wavelet-Analyse und -Synthese 1D-Wavelet-Analyse and Synthese mittels 2-Kanal-Filterkaskadierung Kaskadierung: Mehrmalige Anwendung der gleichen Filter auf das Filterergebnis Filter: Analyse: Tiefpass H 0 and Hochpass H 1 Synthese: Tiefpass G 0 and Hochpass G 1 Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 43

2D-Wavelet-Analyse: einstufig Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 44

2D-Wavelet-Analyse: zweistufig Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 45

2D-Wavelet-Analyse: dreistufig Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 46

Wavelettransformation (Beispiel: Lena) Waveletkoeffizienten nach der Quantisierung show decoding example (Zu Null quantisierte Werte sind weiss dargestellt) Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 47

Vorteile von Wavelets Keine Blockartefakte durch überlappende Basisfunktionen Bessere Zerlegung der Zeit-Frequenzebene Funktionsweise entspricht in etwa dem menschl. Auge Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 48

Auflösungsskalierbarkeit Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 49

Qualitätsskalierbarkeit durch Zoomen + Restfehler Zoomen + = Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel, G. Blättermann 50