Modell der Bildentstehung mit HDR-Kameras

Transkript

1 Modell der Bildentstehung mit HDR-Kameras Wolfram Hans, Thorsten Grosch, Tobias Feldmann, Dietrich Paulus, Stefan Müller {hans, grosch, tfeld, paulus, Institut für Computervisualistik Universität Koblenz-Landau 06. Oktober 2006 Druckversion Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 1

2 Agenda Einleitung Motivation High Dynamic Range Imaging Allgemeine Grundlagen Radiometrie- und Photometrie Sensorik Bildentstehungsmodelle Bildentstehungsmodell der Bildverarbeitung Bildentstehungsmodell der Computergraphik Zusammenführen der Modelle Modellierung Zusammenfassung Zusammenfassung Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 2

3 Motivation Einleitung Gruppenübergreifendes Projekt Enhanced Reality Unterschiedliche Modelle der Bildentstehung Bildverarbeitung: Radiometrisch, kalibriert Computergraphik: Photometrisch, photorealistisch Ziel: Gemeinsames Modell und Verständnis Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 3

4 Motivation Hoffnung Dialog (Trialog) Messtechnik Bildverarbeitung Graphik Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 4

5 High Dynamic Range Imaging High Dynamic Range High Dynamic Range (HDR) Auf der SIGGRAPH 1997 von Debevec vorgestellte Methode zur Aufnahme von HDR-Fotos Erweiterter Dynamikumfang (1 : 10 8 statt 1 : 250) HDR-Kameras sind vergleichbar mit menschlicher Wahrnehmung (oder besser) Zunehmende Verbreitung und Einsatzbereiche Frage: Welchen Einfluss hat HDR auf die Bildverarbeitung und Computergraphik? Frage (unbeantwortet): Wie entsteht ein HDR Bild und wie muss die Technik der Bildentstehung modelliert werden? Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 5

6 Radiometrie- und Photometrie Licht und Farbe Sichtbares Licht ist eine physikalisch messbare, elektromagnetische Welle im Bereich nm Farbreiz (Licht) Farbvalenz (Auge) Farbempfindung (Gehirn) Farbe ist ein subjektiver, durch das Auge vermittelter Sinneseindruck und keine Materialeigenschaft Standardisierung durch die CIE Mit der V (λ)-kurve lassen sich strahlungsphysikalische in photometrische Größen umrechnen. Hellempfindung λ Tag λ Nacht Wellenlänge λ Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 7

7 Radiometrie- und Photometrie Radiometrische Größe Photometrische Größe Bezeichnung Einheit Bezeichnung Einheit Strahlungsmenge Q r J = W s Lichtmenge Q p lm s Strahlungleistung/ Strahlungsfluss Φ r W Lichtstrom Φ p lm Strahlstärke I r W sr Lichtstärke I p cd = lm/sr Strahldichte L r W/(m 2 sr) Leuchtdichte L p cd/m 2 Bestrahlungsstärke E r W/m 2 Beleuchtungsstärke E p lx = lm/m 2 Bestrahlung H r Ws/m 2 Belichtung H p lx s Umrechnung radiometrischer in photometrische Größe G p = K m 780nm 380nm G r (λ) V (λ)dλ G p = Photometrische Größe K m = Photometrisches Strahlungsäquivalent (683 Lumen/Watt) G r = Physikalische Größe V(λ) = Spektrale Hellempfindung Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 8

8 Radiometrie- und Photometrie CIE XYZ Farbraum mit den (virtuellen) Primärvalenzen X, Y und Z sowie den Normfarbwerten X, Y und Z können sämtliche, vom Menschen wahrnehmbare Farben beschrieben werden: Die Normfarbwerte einer Farbe F s (λ) werden bestimmt durch: X = c λ F s(λ)x(λ)dλ Y = c λ F s(λ)y(λ)dλ Z = c λ F s(λ)z(λ)dλ c normiert weiß (W(λ)) auf den Wert 100: c = 100/ R 0 λ W(λ)y(λ)dλ Normspektralwert Wellenlänge λ x 10 y 10 z 10 Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 9

9 Sensorik Kalibrierung Für die Verwendung von Kameras als Messgeräte müssen verschiedene Dinge berücksichtigt werden: Bestimmung der Geometrie der Bildaufnahme Ermitteln der optischen Eigenschaften der Kamera Bei radiometrischer Kalibrierung die spektralen Sensorantworten Dazu kommen mögliche Fehlerquellen: Farbverzeichnungen durch Objektiv und Blende Streulichteffekte Dispersion (wellenlängenabhängige Eigenschaften) Optisches Auflösungsvermögen Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 10

10 Sensorik Bildsensoren Bildsensoren basieren auf dem lichtelektrischen Effekt, bei denen ein Lichtteilchen die elektrischen Eigenschaften des Halbleiters verändern. Die Mehrzahl der Sensoren bilden Charge Coupled Devices (CCD) und Complementary Metal Oxide Semiconductor (CMOS) Mögliche Fehlerquellen: Rauschen Dunkelströme Inhomogenitäten der Sensorfläche Überstrahlungs- oder Sättigungseffekte Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 11

11 Sensorik HDR-Sensoren HDR-Kameras sind neben Sättigungseffekten von diesen Fehlern nicht ausgenommen. Mit dem erweiterten Dynamikbereich lassen sich jedoch vollständige Szene erfassen und bei entsprechender Kalibrierung können HDR-Kameras zur Lichtmessung verwendet werden. Aber: Durch die meist logarithmische Kennline der Kameras sind systematische Fehler bei besonders niedrigen und sehr hohen Leuchtdichten zu beachten. Mit konventionellen Farbfiltern (z. B. Bayer-Pattern) ändert sich die Eigenschaft hinsichtlich Farbe nicht. Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 12

12 Bildentstehungsmodell der Bildverarbeitung Bildentstehungsmodell im Rechnersehen x w E(λ) ρ(λ) f (k) x c GretagMacbeth ColorChecker R k 1 k Lichtquelle erzeugt am Punkt x w die Bestrahlungsstärke E(λ). Objekt reflektiert das Licht mit ρ(λ). Sensorsensitivität R k (λ) des k-ten Kanals. Sensorantwort f (k) im Bildpunkt x c. Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 14

13 Bildentstehungsmodell der Bildverarbeitung Mathematische Modellierung Sensorantwort Sensorantwort f (k) des k-ten Kamerakanals: ) f (k) (x c ) = F k (t b l(x w ) n(x w ) E(λ) ρ(x w,λ) R k (λ)dλ λ s F k : Linearisierung der radiometrischen Antwortfunktion t b : Belichtungszeit l(x w ) : Richtung zur Lichtquelle im Punkt x w n(x w ) : Oberflächennormalen im Punkt x w λ s : sichtbares Spektrum R k (λ) : spektrale Sensitivitätsfunktion des k-ten Kanals Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 15

14 Bildentstehungsmodell der Bildverarbeitung Vereinfachende Annahmen und Randbedingungen Isotrope Lichtquelle und Lambert sche Reflexion Belichtungszeit ist nur multiplikative Konstante Linearisierungsfunktion F k ist Identität (bzw. korrigiert) Vereinfachte Sensorantwort kontinuierlich: f (k) (x c ) = E(λ) ρ(x w,λ) R k (λ)dλ λ s L diskret: f (k) (x c ) = E λ ρ λ (x w ) R k,λ λ n=1 mit L als Anzahl der Abtastintervalle des Spektrums Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 17

15 Bildentstehungsmodell der Computergraphik Bildentstehungsmodell in der Graphik L o (ω o ) L i (ω i ) θ o dω o da e φ o θ i dω i φ i Betrachten des infinitesimalen Flächenelements da e. Ausgestrahlte Leuchtdichte (L o ) setzt sich aus dem in diese Richtung emittierten Leuchtdichte L e und von allen Raumwinkeln eingestrahle Leuchtdichte L i zusammen. Integration über Raumwinkel ω. Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 18

16 Bildentstehungsmodell der Computergraphik Mathematische Modellierung Rendering Equation L o (da e,dω o ) = L e (da e,dω o ) + 2π f r(da e,dω i,dω o ) L i (da e,dω i ) cos θ i dω i L o (da e,dω o ): Insgesamt vom Flächenelement da e in den Raumwinkel ω o ausgestrahlte Leuchtdichte. L e (da e,dω o ): Vom Flächenelement da e in den Raumwinkel ω o emittierte Leuchtdichte (Selbstleuchter). f r (da e,dω i,dω o ): Bidirektionale Reflexions Verteilungs Funktion (BRDF). L i (da e,dω i ): Aus Richtung ω i eingetrahlte Leuchtdichte Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 19

17 Bildentstehungsmodell der Computergraphik Reflexionsverhalten Die BRDF beschreibt die Eigenschaften des Materials in Bezug auf dessen Reflexionsverhalten. (Verhältnis ausgesendeter Leuchtdichte L o zur einfallenden Beleuchtungsstärke E i ) f r (da e,dω i,dω o ) = dl o(da e,dω o ) de i (da e,dω i ) [ 1 sr ] Reflexionsgrad (Verhältnis ausgesendeten zum gesamt eingestrahlten Lichtstrom (Φ): ρ = Φ o 2π = L o(dω o ) cos θ o dω o Φ i 2π L i(dω i ) cos θ i dω i Für vollständig diffuse Oberflächen ist die BRDF konstant und ρ = f r π. Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 20

18 Bildentstehungsmodell der Computergraphik Vorgeschlagenes Farbmodell (Computergraphik) Gegeben eine radiometrische Größe (z.b. Strahldichte L). Verzicht auf die Normierung mit dem Faktor c. Für den 2 -Normalbeobachter gilt y(λ) = V (λ). X = λ L r x(λ)dλ Y = λ L r y(λ)dλ = λ L r V (λ)dλ Z = λ L r z(λ)dλ Mit dem Zusammenhang zwischen photo- und radiometrischen Größen ergibt sich: L p = K m λ L r(λ) V (λ)dλ oder L p = K m Y So kann mit der Messung der Normvalenz Y direkt die absolute Leuchtdichte ermittelt werden. Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 21

19 Bildentstehungsmodell der Computergraphik X Y Z = X R X G X B Y R Y G Y B Z R Z G Z B Für absolute Leuchtdichte: R G B = M R G B L = K m L 0 (m 21 R + m 22 G + m 23 B) (1) Wähle Konstante L 0 so, dass die Y -Komponente die tatsächliche, photometrische Information enthält. Falls RGB-Werte nicht in (0,1) tone-mapper Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 22

20 Modellierung Einschränkende Annahmen Z L o(da e, dω o) = L e(da e,dω o) + f r(da e, dω i,dω o) L i(da e,dω i) cos θ i dω i 2π Das Objekt leuchtet nicht selbst: Z L o(da e,dω o) = f r(dae, dω i,dω o) L i(da e,dω i) cos θ i dω i 2π Vollständig diffuse Umgebung: L o(da e,dω o) = ρ(dae) π Ohne geometrische Angaben: Z L i(da e,dω i) cos θ i dω i 2π L o(da e,dω o) = L o(da e) = ρ(dae) E konstant (da e) π Beleuchtungsinvariante Normierung eliminert Leuchtdichte-Information Die Beleuchtungsstärke E wird als konstant angenommen Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 24

21 Modellierung Erweiternde Annahmen Punktlichtquelle im Abstand d in Richtung θ i Gesamtlichtstrom Φ und eine konstante Lichtsstärke I in alle Raumrichtungen: I = Φ 4π Beleuchtungsstärke des Flächenelements da e : E(dA e ) = I cos θ i d 2 = Φ cos θ i 4π d 2 Der Beitrag der Punktlichtquelle zur Leuchtdichte des Flächenelements da e ist dann: L o (da e ) = ρ π L i (da e,dω i ) cos θ i dω i = ρ π Φ cos θ i 4π d 2 2π Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 25

22 Modellierung Zusammenführen der Betrachtungsweisen Darstellung des vereinfachten Bildentstehungsmodells der Bildverarbeitung aus Sicht der Computergraphik: Z Z f (k) (x c ) = L o(λ,da e) R k(λ) dλ = λ λ E konstant e) ρ(λ,dae) (λ,da R k(λ) dλ π Erweitertes Bildentstehungsmodell: Z «f (k) (x c ) = F k t b l(x w ) n(x w ) E(x w, λ) ρ(x w, λ) R k(λ,e(λ))dλ λ s Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 26

23 Zusammenfassung Zusammenfassung Gemeinsames Verständnis wurde geschaffen Die verschiedenen Modelle wurden ergänzt und können ineinander überführt werden. Unter Beibehaltung der photometrischen Information erweitert die Verwendung von HDR-Kameras den Anwendungsbereich. Mit photometrischer Kalibrierung können Leuchtdichten ermittelt werden. Da HDR-Wiedergabegeräte kaum verfügbar sind, ist meist der Einsatz von tone-mappern notwendig. Antwort: HDR beeinflusst sowohl die Bildverarbeitung wie auch die Computergraphik! Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 27

24 Zusammenfassung Ausblick Die Zusammenarbeit hat viel geklärt aber auch neue Fragen aufgeworfen: Welchen Einfluß hat die logarithmische Kennlinie? Wie ändert sich der Farbraum entlang der Unbuntachse? Kann eine HDR-Kamera bei entsprechender Kalibrierung als Farbmessgerät verwendet werden? Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 28

25 Zusammenfassung... und komme zu dem Schluss: Gedankenaustausch von Messtechnikern Kamera-Entwicklern Computergraphikern Bildverarbeitern dringend erforderlich! Modell der Bildentstehung mit HDR W. Hans, T. Grosch, T. Feldmann, D. Paulus, S. Müller Folie 29