Verlustbehaftete Kompression von Kamera Rohdaten

Transkript

1 Verlustbehaftete Kompression von Kamera Rohdaten Prof. Dr., Prof. Dr. D. Kunz, Katja Köhler Fachhochschule Köln Institut für Medien- und Phototechnik 1

2 Übersicht Aktuelle Situation Konzept Modellierung der JPEG Kompression Experiment Ergebnisse Zusammenfassung 2

3 Übersicht Aktuelle Situation Konzept Modellierung der JPEG Kompression Experiment Ergebnisse Zusammenfassung 3

4 Aktuelle Situation Dateigrößen der Rohbilder verschiedener DSLRs: DSLR Modell Fuji S3 / S5 Canon EOS 1D Mark III Canon EOS 5D Nikon D2Xs Sensor Größe 12 MPix 10 MPix 12 MPix 12.4 MPix Rohdateigröße 25MByte 11 MByte 13 MByte 9 MByte Aber: Steigende Sensor- und Dateigrößen Datentransferzeit zwischen Kamera und Speichermedium Datentransferzeit zwischen Speichermedium und PC zur Nachverarbeitung Datentransferzeit über Netzwerk insbesondere für medizintechnische Anwendungen 4

5 Konzept Bildverarbeitung und Datenfluß: DSC internal DSC external CFA Sensor Data Sensor Correction (Defect Pixel) Lossy Compression Encoder Data Storage and Transfer Lossy Compression Decoder Demosaicking Postprocessing Rendered 10 MPix/14bit 5 MByte? 10 MPix/ 14bit 5

6 Prüfverfahren Raw Data JPEG Compression file *.jpg JPEG Decompression Compressed Difference Difference Kompressionsmethode: 12 bit baseline JPEG LUT: Lineare Funktion 16 bit -> 12 bit Auswertung des Differenzbilds: Pegel des Kompressionsrauschens (Standardabweichung σ) 6

7 JPEG Artefakte kein Bildrauschen Komprimiert Differenz x 10 Verunschärfung für niedrige Kanten Ringing nimmt mit der Kantenhöhe zu Ab einer gewissen Kantenhöhe bleibt Ringing konstant 7

8 JPEG Artefakte kein Bildrauschen Komprimiert Differenz x 10 Verunschärfung für niedrige Kanten Ringing nimmt mit der Kantenhöhe zu Ab einer gewissen Kantenhöhe bleibt Ringing konstant Für die Rohdatenanwendung unbedingt zu vermeiden! 8

9 JPEG Verarbeitungsstruktur DCT Quantizer Sorting & Entropy Coding Compressed IDCT Re-Quantizer Entropy Decoding & Re-Sorting 9

10 JPEG Verarbeitungsstruktur DCT Quantizer Sorting & Entropy Coding Compressed IDCT Re-Quantizer Entropy Decoding & Re-Sorting Verluste durch die Quantisierungsstufe Steuerparameter: Qualitätsfaktor (0 100) 10

11 JPEG Artefakte Bildrauschen Komprimiert Differenz x 10 Bildrauschen wirkt als Ditherrauschen für den Quantisierer Ringing Artefakte verschwinden! 11

12 JPEG Modellierung Compression Decompression DCT Quantizer Sorting & Entropy Coding Entropy Decoding & Re-Sorting Re-Quantizer IDCT Compressed DCT Quantizer Re-Quantizer IDCT Compressed 12

13 JPEG Modellierung Compression Decompression DCT Quantizer Sorting & Entropy Coding Entropy Decoding & Re-Sorting Re-Quantizer IDCT Compressed DCT Quantizer Re-Quantizer IDCT Compressed DCT + IDCT Compressed N q (f) 13

14 JPEG Modellierung DCT + IDCT Compressed N q (f): N q (f) Quantisierungsrauschen durch den Quantisierer Minimales Ditherrauschen zur Vermeidung von JPEG Artefakten 14

15 JPEG Modellierung DCT + IDCT + IDCT (N q (f)) N q (f): N q (f) Quantisierungsrauschen durch den Quantisierer Minimales Ditherrauschen zur Vermeidung von JPEG Artefakten Compressed = + IDCT( N q (f)) IDCT( N q (f)) = Compressed - 15

16 JPEG Modellierung + IDCT (Nq(f)) DCT DCT( IDCT( N q (f))) = N q (f) IDCT + IDCT (N q (f)) N q (f): Quantisierungsrauschen durch den Quantisierer Minimales Ditherrauschen zur Vermeidung von JPEG Artefakten Compressed = + IDCT( N q (f)) IDCT( N q (f)) = Compressed - DCT( IDCT( N q (f))) = N q (f) IDCT( N q (f)) ist das minimale Eingangsrauschen, um JPEG Artefakte zu vermeiden 16

17 Kompressionsrauschen (Qualitätsfaktor = 50) + Noise Difference = IDCT( N q ) Compression Noise Standard Deviation x 105 Noise Spectrum σ DI CompNoise lg( A) fx Rauschpegel unabhängig von der Bildhelligkeit Hochpaß Rauschspektrum 17

18 Kompressionsrauschen (Qualitätsfaktor = 50) + Noise Difference = IDCT( N q ) Compression Noise Standard Deviation x 105 Noise Spectrum σ DI CompNoise lg( A) fx Rauschpegel unabhängig von der Bildhelligkeit Hochpaß Rauschspektrum 18

19 Kamera Rauschmodell lg A lg A max Signal ~ A Noise ~ A Ausgangssignal A ist linear zur Belichtung Rauschpegel wächst mit σ Camera ~A 0.5 Rauschspektrum ist weiß lg H lg H max 19

20 Anpassung des Sensorrauschens Idee: Gleichverteilung des Sensorrauschens durch die Gammafunktion y=x σ q = σ Camera y' = A = = 2 A 2 const. file 16 LUT 12 JPEG *.jpg JPEG Compression Decompression 12 LUT

21 Anpassung des Sensorrauschens Idee: Gleichverteilung des Sensorrauschens durch die Gammafunktion y=x 0.5 Anpassung des Qualitätsfaktors an den Pegel des Sensorrauschens file 16 LUT 12 JPEG *.jpg JPEG Compression Decompression 12 LUT QF 21

22 Vollständiges Kompressionsmodell CFA Sensor Data Color Separation R 16 G1 16 G2 16 B 16 1D Compression LUT 1D Compression LUT 1D Compression LUT 1D Compression LUT R 12 G1 12 G2 12 B 12 JPEG Encoder R JPEG Encoder G1 JPEG Encoder G2 JPEG Encoder B C o m p r e s s e d D a t a Farbseparation: 4 Kanäle (R, G1, G2, B) 1D Compression LUT: 16 -> 12 bit Gammafunktion JPEG: 12 bit baseline standard 22

23 Experiment 6 Beispiele von Rohbildern mit Canon s EOS 5D (12.8 MPix, MByte Dateigrößen) 23

24 Ergebnisse Kompressionsrauschen Die schwarze Linie markiert JPEG Quantisierungsrauschen Abweichungen von diesem Rauschverhalten, wenn das Kamerarauschen zu niedrig wird (QF <= 85) Compression Noise image1 image2 image3 image4 image5 image6 JPEG Quality Factor 24

25 Ergebnisse Kompressionsrauschen Die schwarze Linie markiert JPEG Quantisierungsrauschen Abweichungen von diesem Rauschverhalten, wenn das Kamerarauschen zu niedrig wird (QF <= 85) Compression Noise image1 image2 image3 image4 image5 image6 JPEG Quality Factor 25

26 Ergebnisse Kompressionsrauschen Die schwarze Linie markiert JPEG Quantisierungsrauschen Abweichungen von diesem Rauschverhalten, wenn das Kamerarauschen zu niedrig wird (QF <= 85) Compression Noise image1 image2 image3 image4 image5 image6 JPEG Quality Factor 26

27 Ergebnisse Artefakte vs. Qualitätsfaktor Alle Bilder wurden 3 mal durch den Photoshop Standard Filter verschärft QF=50 27

28 Ergebnisse Artefakte vs. Qualitätsfaktor Alle Bilder wurden 3 mal durch den Photoshop Standard Filter verschärft QF=80 28

29 Ergebnisse Artefakte vs. Qualitätsfaktor Alle Bilder wurden 3 mal durch den Photoshop Standard Filter verschärft QF=90 29

30 Ergebnisse Kompressionsrate Compression Ratio Quality Factor 30

31 Zusammenfassung Ein verlustbehaftetes Kompressionsmodell auf der Basis 12 bit baseline JPEG wurde entwickelt und auf Rohdaten angewendet JPEG Artefakte sind zu vermeiden durch Anpassung des Modells an das spezifische Kamerarauschen Kompressionsraten von über 4 wurden erreicht ohne visuelle Qualitätsverluste bezüglich JPEG Artefakte, Schärfe und Bildrauschen. 31