Prof. Dr. Gregor Fischer Institut für Medien- und Phototechnik Fachhochschule Köln. G. Fischer

Transkript

1 Prof. Dr. Gregor Fischer Institut für Medien- und Phototechnik Fachhochschule Köln

2 Überblick Raw Problematik: Aktuelle Situation Standardisierung Raw Vergleich Raw / JPG: Workflow Vor- und Nachteile Besonderheiten von Rawdaten Bildentstehung: Von der Szene zum Rohbild Vom Rohbild zum fertigen Bild Raw Standardisierung: Anforderungen an ein Standardformat Möglichkeiten der Standardisierung und Lösungsvorschlag Vision

3 Aktuelle Situation Raw Problem: Semi- und professionelle Kameras bieten Raw Format Raw Konverter von Herstellern und Fremdanbietern verfügbar Problem: Dateiformat ist herstellereigen und nicht öffentlich Konsequenzen: Fremdanbietern stehen nicht uneingeschränkt alle Bild- und Kamerainformationen zur Verfügung Inkompatibilitäten: 1. Zukünftige Lesbarkeit älterer Raw Formate ist nicht gesichert 2. Neue Kameras werden von älteren Konvertern nicht unterstützt Standardisierung: ISO TIFF/EP image data format ISO WG42: 2. Ausgabe in Überarbeitung

4 Photographischer Workflow Digitale Kamera Beleuchtung opt. Abbildung Bildaufzeichnung interne Bildverarbeitung JPG Motiv RAW Raw Konverter JPG Verständnis: Raw Format entspricht digitalem Negativ JPG Format entspricht digitalem Dia Bildverarbeitung funktioniert wie elektronische Diaentwicklung Raw Konverter hat Funktion wie die kamerainterne Bildverarbeitung

5 Vergleich JPEG - Raw Eigenschaften JPEG: Bilddaten sind auf Referenzausgabemedium bezogen (z.b. srgb, Adobe RGB) -> Farbraumbegrenzung (reelle Primärvalenzen) -> nachträgliche Änderungen von Belichtung und Weißabgleich schlecht möglich Kleine Dateigröße Eigenschaften Raw: Sensordaten sind eingabebezogen (Szene) Zur Interpretation und Aufbereitung der Sensordaten sind Metadaten (kamera- und bildspezifische Zusatzinformationen) erforderlich Aufbereitung der Bilddaten durch externe Recheneinheit Große Dateigröße

6 Raw Daten: HDR Dynamik Quelle: 1 Raw Bild

7 Von der Szene zum Rohbild Objektiv Sensor digitale Bilddaten A/D Rohdatenaufbereitung Raw Data

8 Artefakte der Optik Unschärfe Chromatische Aberrationen Streulicht Vignettierung Verzeichnung

9 Artefakte der Optik Unschärfe Chromatische Aberrationen Streulicht Vignettierung Verzeichnung

10 Artefakte der Optik Unschärfe f/1.4 f/5.6 Chromatische Aberrationen Streulicht Vignettierung Verzeichnung

11 Aufbau eines Farbsensors Lichtstrahl AA-Filter Mikrolinsen Farbfilter Sensor Quelle: Fuji

12 Artefakte der Sensorik Dunkelstrom Rauschen Basisrauschen Quantenrauschen Fixed Pattern Noise Defektpixel Aliasing (Moiré) Farbmosaik Farbfehlsichtigkeit

13 Aliasingartefakte bei Farbsensoren Fuji S3 mit AA-Filter (6 MPix) deaktivierter AA-Filter

14 Beispielalgorithmus: Demosaicking Farbinterpolation des Farbfiltermosaiks

15 Demosaicking und Aliasing Intelligente Demosaicking Algorithmen unterdrücken Moirèstrukturen Capture One dcraw

16 Sensorkorrektur Quelle: Agfa Defektspalte Quadrantenstruktur Randabfall + Beleuchtungsinhomogenitäten

17 Pixelkorrektur Pix Vorher Pix1 Dark Frame Subtraction: Offset und Dunkelstromsignal pixelweise unterdrücken Pix2 Flatfielding: Unterschiedliche Pixelempfindlichkeiten ausgleichen Pix Nachher Ext Pix1 =Pix2 Ext

18 Beispiel kameraspezifische Kalibrierung: Pixelkorrektur FPN wird unterdrückt Korrektur von Inhomogenitäten (Vignettierung, Staub) vorher nachher

19 Farbfehlsichtigkeit des Sensors Überlagerung der Lichtfarbe Unnatürliche Farbdifferenzierung

20 Weißabgleich Kompensation der Lichtfarbe Neutrale Farben werden grau

21 Beispiel kameratypspez. Kalibrierung: Farbkorrektur (Colormanagement) Unkorrigierbare Farbabweichungen durch Metamerie E im Mittel bei 5

22 Spektrale Empfindlichkeiten Auge <-> Sensor Auge Dalsa FTF6146C t d p IR Sperrfilter zur Unterdrückung der IR-Empfindlichkeit des Sensors Spektrale Empfindlichkeiten sind kameratypspezifisch

23 Farbfehler Verbindung von Soll- und Istfarben Polynom 3. Ordnung Matrix b a b a -> Lineare Matrix zur Farbkorrektur reicht nicht aus!

24 Vom Rohbild zum fertigen Bild Sensor Data Sensorkorrektur Demosaicking Objektivkorrektur Weißabgleich / Belichtungskorrektur Farbkorrektur Bildverbesserung Output Colormanagement focal plane referred scene referred

25 Vom Rohbild zum fertigen Bild Sensor Data Sensorkorrektur Demosaicking focal plane referred Objektivkorrektur Weißabgleich / Belichtungskorrektur scene referred Farbkorrektur Bildverbesserung Output Colormanagement

26 Vom Rohbild zum fertigen Bild Sensor Data Sensorkorrektur Demosaicking Objektivkorrektur Weißabgleich / Belichtungskorrektur Farbkorrektur Bildverbesserung Output Colormanagement focal plane referred scene referred Meßtechnik Geschmack

27 Vom Rohbild zum fertigen Bild Sensor Data Sensorkorrektur Demosaicking Objektivkorrektur Weißabgleich / Belichtungskorrektur Farbkorrektur Bildverbesserung Output Colormanagement focal plane referred scene referred kameraspezifisch (Hardware) bildspezifisch (Motiv)

28 Vom Rohbild zum fertigen Bild Sensor Data Sensorkorrektur Demosaicking Objektivkorrektur Weißabgleich / Belichtungskorrektur Farbkorrektur Bildverbesserung Output Colormanagement focal plane referred scene referred Geschmack bildspezifisch (Motiv) Automatik

29 Vom Rohbild zum fertigen Bild Sensor Data Sensorkorrektur Demosaicking Objektivkorrektur Weißabgleich / Belichtungskorrektur Farbkorrektur Bildverbesserung Output Colormanagement focal plane referred scene referred Bilddaten Metadaten Standard Raw?!

30 Zusammenspiel Metadaten Raw Konverter BV Parameter sind algorithmen- und herstellerspezifisch BV Parameter Bilddaten BV Algorithmen fertiges Bild Raw Datei Raw Konverter

31 Zusammenspiel Metadaten Raw Konverter BV Parameter sind algorithmen- und herstellerspezifisch Metadaten sind ebenfalls herstellerspezifisch und nicht öffentlich dokumentiert Ausnahme: Adobe DNG Metadaten BV Parameter Bilddaten BV Algorithmen fertiges Bild Raw Datei Raw Konverter

32 Zusammenspiel Metadaten Raw Konverter Metadaten GUI BV Parameter BV Parameter sind algorithmen- und herstellerspezifisch Metadaten sind ebenfalls herstellerspezifisch und nicht öffentlich dokumentiert Ausnahme: Adobe DNG Geschmack oder fehlende Parameter über GUI Eingabe Bilddaten BV Algorithmen fertiges Bild Raw Datei Raw Konverter

33 Zusammenspiel Metadaten Raw Konverter BV Parameter sind algorithmen- und herstellerspezifisch GUI Metadaten sind ebenfalls herstellerspezifisch und nicht öffentlich dokumentiert Ausnahme: Adobe DNG Metadaten BV Parameter Interne Daten Geschmack oder fehlende Parameter über GUI Eingabe Interne Daten: kameratypspezifisch Bilddaten Raw Datei BV Algorithmen Raw Konverter fertiges Bild Metadaten: bild- und kameraspezifisch, sind direkte Steuerdaten

34 Zusammenspiel Metadaten Raw Konverter Nachteile der bisherigen Struktur: Interne Datenhaltung (z.b. externe Kalibrierdaten): Versteckte Daten (genauso wie private Tags in offenen Standards) Daten hängen nicht am Bild und können verloren gehen (Datensicherheit) Metadaten als direkte Steuerparameter von Algorithmen: Konkurrenzalgorithmen können nur ähnlich funktionieren Hemmung von technologischem Fortschritt Anpassung schwierig für hardwarenahe Algorithmen Konsequenzen: Interne Datenhaltung sollte generell verboten werden Metadaten sind als reine Bildeigenschaften zu standardisieren

35 Lösungsvorschlag zur Standardisierung von Metadaten Standardisierungsziel: Möglichst alle verfügbaren relevanten Daten im Bildheader unterbringen, damit 1. dem Bild keine notwendigen Daten verloren gehen können, 2. die Bildautomatik mit allen Korrekturen möglichst gut funktioniert, 3. keine externe Kalibrierung nötig ist.

36 Lösungsvorschlag zur Standardisierung von Metadaten Standardisierungsrichtlinien: Standardmetadaten sind keine Steuerparameter, sondern Bildeigenschaften (z.b. standardisierte Meßwerte oder Einstellungen) und werden nur von der Kamera geschrieben. Steuerdaten, die von der Kamera oder vom Rawkonverter kommen, dürfen als private Tags versteckt werden (oh, oh). Relevante bildspezifische Parameter müssen vollständig ausgefüllt werden. Kameraspezifische Kalibrierdaten müssen in Metadatenstandard enthalten und ausgefüllt werden. Externe Kameratypspezifische Kalibrierdaten müssen als Standarddatensätze (z.b. ICC Profile) gehandhabt werden. Bilddaten müssen so aufbereitet sein, daß keine externe Kalibrierung kameraspezifischer Eigenschaften nötig ist.

37 Datenkompatibilität Bilddaten: Nach Sensorkorrektur Verschiedene Pixelstrukturen: Bayer Pattern, Fuji s Super CCD, Foveon, Binning Relevante Meßdaten/Einstellungen: Belichtung (ISO, Belichtungskorrektur, Belichtungszeit, ) Weißpunkt Optik (Brennweite, Objektweite, Streulichtdaten, ) Geschmackseinstellungen an der Kamera (z.b. Motivwahl etc.) Sonstige Infos (z.b. Blitz etc., wie bei EXIF) Relevante Kameraeigenschaften (Kalibrierdaten): Spektrale Empfindlichkeiten oder ICC Profil Optische Eigenschaften (z.b. MTF, chromat. Aberration, Vignettierung ) oder Objektiv Profil

38 Fragen und Statements Legen Sie besonderen Wert auf die Bildqualitätsaussagen von Kameratests, bevor Sie sich für eine Kamera entscheiden? Der Raw Konverter beeinflußt die Bildqualität zu mehr als 50 %. Wie wichtig sind Ihnen Datenhandling und Workflow beim Umgang mit Raw Daten? Das Kaufverhalten wird einen entscheidenden Einfluß auf die Unterstützung eines Raw Standards seitens der Hersteller haben. Standard Raw garantiert Datensicherheit und automatisch beste Bildqualität. Fühlen Sie bei den proprietären Raw Formaten Ihre Rechte am eigenen Bild verletzt? Sie haben die Rechte am eigenen Bild, aber nicht an den Algorithmen der Hersteller. Stört Sie auch das hohe Datenvolumen beim Umgang mit Raw Daten? Wir arbeiten daran