Wahrnehmungspsychologie

Transkript

1 S3D: Gutes Stereobild Schlechtes Stereobild Technische Konsequenzen aus der des Menschen Prof. Nikolaus Hottong Hochschule Furtwangen / Fakultät Digitale Medien

2 Zeitsprung: 111 Jahre und kein bisschen weise? 3DTV ist in den konsumorientierten USA mittlerweile [Pay-TV] Realität geworden und gehört zum Programmalltag. Was man allerdings geboten bekommt, ist oftmals schlechter als schlechtes NTSC, bei dem man ja noch wenigstens die Möglichkeit hatte, die Farbe abzuschalten Stereo Fotokamera mit Synchro Objektiven von Carl Zeiss/Jena (1899) Bericht in FKT von Reinhard E. Wagner zur NAB2010 FKTG Jahrestagung 20/05/2010, Hamburg

3 Vorschlag für Ablauf 1. Verständnis des binokularen Sehvorgangs 2. Verständnis der wesentlichen Wirkprinzipien des Stereofilms 3. Resultierende Paradigmenwechsel & Auswirkungen auf Kameratechnik & Kamerakalibration (Medienproduktion) Videocodecs für S3D Akquise S3D Distribution S3D Produktion Planung Inszenierung Dreh Postproduction Shipping Darstellungsgeräte Digital Cinema Displays Beamer Bei Bedarf und Interesse!

4 Eine wichtige Feststellung... und drei Fragen 1. Unser Auge ist keine Kamera! 2. Wenn wir zwei Augen haben, warum sehen wir die Welt nicht doppelt? 3. Wieso können Leute mit einer Augenklappe problemlos im Raum agieren? 4. Was passiert also wirklich, wenn wir einen Stereofilm auf der Leinwand sehen?

5 Unser Auge ist keine Kamera! Stereoskopische HD Aufnahmen 1. Unserer Augäpfel sind muskulär steuerbar und im Blickfeld frei beweglich. Kopfbewegungen setzen relativ spät ein. 3. Die Rezeptoren auf der gekrümmten Netzhaut sind zusammengeschaltet zu Rezeptiven Feldern, welche mit zunehmenden Abstand vom Sehzentrum immer größer werden. Ein Nervenimpuls wird oft nur bei Helligkeitsdifferenzen innerhalb des Feldes ausgelöst. fovea centralis Quelle: online.de 2. Die Linse in unserem Auge verändert ihre Brennweite durch muskuläre Dehnung/Streckung Ziel: maximale Schärfeabbildung eines gewünschten Fixationspunkts auf die fovea centralis Akkommodation. Fokussierungen 7m Abstand Ziliarkörper ist komplett entspannt. Fokussierungen < 2m Abstand führen zu deutlich spürbaren Ziliarkontraktionen.

6 Wie nehmen wir unsere Umwelt wahr? Verdeutlichung der visuellen Wahrnehmung eines ruhenden Auges bei Fixation Aufzeichnung der Augenbewegungen (rot) und Fixationspunkte (gelb) einer Testperson zur Gesamtwahrnehmung einer Szene Colin Ware, Visual Thinking for Design Colin Ware, Visual Thinking for Design 1 : Bereich höchster örtlicher Auflösung Detailerkennung 2: Bereich differenzieller Grobverarbeitung optimierte Strukturerkennung 3: Bereich flächiger, temporaler Verarbeitung optimierte Bewegungserkennung Nur eine schmaler Bereich unserer visuellen Wahrnehmung realisiert hohe örtliche Auflösung. Die übrigen Bereiche sind evolutionär optimiert auf die Erkennung von Grobstrukturen und Bewegungen! Erst durch die Summe der muskulären Augensprünge ( Saccaden ) mit jeweiliger Akkommodation auf die Fixationspunkte ergibt sich die scharfe Gesamtwahrnehmung unserer Umgebung.

7 Exkurs: Dieses Wissen wird von uns seit Jahrzehnten beim Filmemachen eingesetzt! Unscharfe Bildbereiche vertreiben das Auge des Zuschauers (keine Möglichkeit der scharfen Fixation selbst bei extremem Bemühen des Zuschauers) Szenische Anwendung: Selektive Schärfe Schärfe wird ganz bewusst zur gezielten Lenkung und Bindung der Aufmerksamkeit der Zuschauer eingesetzt. Bildbeispiele On every given sunday / 1999 / directed by Oliver Stone / DoP Salvatore Totino

8 Szenenverständnis Heute Stereoskopische HD Aufnahmen Acting Area Focus Schärfebereich hinterer vorderer Schärfebereich abhängig von: Kameraabstand a zur Szene gewählte Brennweite f Verhältnis Brennweite/Bildsensorgröße Blendenzahl k

9 Wir besitzen 2 Augen. Warum sehen wir die Welt nicht doppelt?

10 Wir besitzen 2 Augen. Warum sehen wir die Welt nicht doppelt? (scharfer) Fixationsbereich Bewegungen & Grobstrukturen R Bewegungen & Grobstrukturen L Im primären visuellen Cortex findet die zyklopische Fusion im Schärfebereich beider Augen statt

11 Wir besitzen 2 Augen. Warum sehen wir die Welt nicht doppelt? LINKS vom Objekt RECHTS vom Objekt LINKS von mir RECHTS von mir Nase Von beiden Augen detailscharf wahrnehmbares Raumsegment bei Fixation zyklopische Fusion im primären visuellen Cortex

12 Zyklopische Fusion: patente und latente Stereopsis Im primären visuellen Cortex findet eine gezielte L/R Feinauswertung des Schärfebereichs nach korrespondierenden Punkten/Kanten. statt. Ergebnis: Fusion zu EINER scharfen Wahrnehmung + patente Stereopsis. Nebeneffekt Latente (qualitative) STEREOPSIS: Unscharfe L/R Doppelkonturen in diesem Bereich gehören möglicherweise zu vorgelagerten Objekten Nase Abbildung fernerer Objekte (als die fixierte Würfelfläche) reizen retinal LINKS im Schärfebereich Abbildung fernerer Objekte (als die fixierte Würfelfläche) reizen retinal RECHTS im Schärfebereich Patente STEREOPSIS: = zerebrale Auswertung der retinalen L/R Querdisparitäten korrespondierender Abbildungspunkte im Schärfebereich und Abgleich mit erlernter Raumtiefe

13 Die Fähigkeit zur patenten Stereopsis ist nur auf einen sehr schmalen Sehbereich begrenzt! Nur in einem schmalen Segment des Schärfebereichs ist patente Stereopsis optimal möglich! (Auswertung von sog. Fixations Disparitäten ) 1

14 Patente Stereopsis: Der schmale Grat der Fixationsdisparität Tiefenreiz Dieser Bereich der parvo Stereopsis kann z.b. im KINO bei 2k Projektion noch nicht genutzt werden Blickfeld ±0,5 Bildquelle: FKT11/2010, Die Rolle der Bildwandgröße in der Stereoskopie D. Siragusano; A. Minuth Blickfeld ±6 Blickfeld & Fixationsdisparität: Optimale patente Stereopsis nur im Blickfeld ±0,5 um die Sehachse. Tiefenauflösungsvermögen: Die kleinste detektierbare L/R Differenz zur Tiefeninterpretation beträgt bei ruhendem Motiv ca. 0,02 bei bewegtem Motiv ca. 0,2 Die größte detektierbare L/R Differenz zur quantitativen Tiefeninterpretation beträgt ca Oberhalb dieser Grenze beginnt der Bereich nachlassender Fusionsfähigkeit und aufkommender Doppelwahrnehmung (Diplopie) einhergehend mit einer deutlichen Regression des Tiefenreizes: Im ± 6 Blickfeld sind max binokulare Disparität auswertbar. ( Grenze für Stereobild Betrachtung) Danach setzt die zerebrale Suppression ein und der Tiefenreiz bricht zusammen. Disparitäten >> 100 (im ± 6 Blickfeld) lösen reflexhaft neue Konvergenzstellungen der Augen aus. ( disparity vergences )

15 Patente Stereopsis ist in der Realität nur im Panumraum möglich Horopter = Linie gleich wahrgenommener Entfernung bei variabler Augenbewegung aber unverändertem Fixationsabstand a. Panumraum = Summe aller stereoptisch wahrnehmbaren Raumsegmente auf dem jeweiligen Fixations Horopter. Nase

16 Warum können dann Menschen mit einer Augenklappe problemlos Autofahren? Die menschliche Tiefeninterpretation stützt sich auf mehrere Hinweisreize ( depth cues ) ab! Die Stereopsis ist nur EIN Hinweisreiz für die menschliche Tiefeninterpretation! Fritz Lang (1975), Bildquelle: Deutsches Filminstitut John Ford (1973), Bildquelle: Wikipedia Raoul Walsh (Datum unbek.), Bildquelle:

17 Zehn + Eins: Tiefenerfahrung im zweidimensionalen Medium Sechs monokulare depth cues in einem Bild Monokulare depth cues: Verdeckung Atmosphärische Perspektive Perspektivische Konvergenzen Gewohnte Größe im Blickfeld Relative Größe im Blickfeld Relative Höhe im Blickfeld Foto: F. Hofmeyer

18 Zehn + Eins: Tiefenerfahrung im zweidimensionalen Medium Licht & Schatten Monokulare depth cues: Verdeckung Atmosphärische Perspektive Perspektivische Konvergenzen Gewohnte Größe im Blickfeld Relative Größe im Blickfeld Relative Höhe im Blickfeld

19 Zehn + Eins: Tiefenerfahrung im zweidimensionalen Medium Texturdichte (gradient) Monokulare depth cues: Verdeckung Atmosphärische Perspektive Perspektivische Konvergenzen Gewohnte Größe im Blickfeld Relative Größe im Blickfeld Relative Höhe im Blickfeld Licht & Schatten

20 Zehn + Eins: Tiefenerfahrung im zweidimensionalen Medium Bewegungsparallaxe Monokulare depth cues: Verdeckung Atmosphärische Perspektive Perspektivische Konvergenzen Gewohnte Größe im Blickfeld Relative Größe im Blickfeld Relative Höhe im Blickfeld Licht & Schatten Texturdichte (gradient)

21 Zehn + Eins: Tiefenerfahrung im zweidimensionalen Medium Dynamische Verdeckung Monokulare depth cues: Verdeckung Atmosphärische Perspektive Perspektivische Konvergenzen Gewohnte Größe im Blickfeld Relative Größe im Blickfeld Relative Höhe im Blickfeld Licht & Schatten Texturdichte (gradient) Bewegungsparallaxe Dynamische Verdeckung

22 Exkurs: 2D 3D Konverter Stereoskopische HD Aufnahmen Monokulare depth cues: Verdeckung Atmosphärische Perspektive Perspektivische Konvergenzen Gewohnte Größe im Blickfeld Relative Größe im Blickfeld Relative Höhe im Blickfeld Licht & Schatten Texturdichte (gradient) Bewegungsparallaxe Dynamische Verdeckung

23 Zusammenfassung: Stereoskopische HD Aufnahmen Gesamte Tiefenwahrnehmung des Menschen Monokulare Depth Cues: statisch: Verdeckung/Interposition Atmosphärische Perspektive Perspektivische Konvergenzen Gewohnte Größe im Blickfeld Relative Größe im Blickfeld Relative Höhe im Blickfeld Licht & Schatten Texturdichte ( gradient) dynamisch: Bewegungsparallaxe Dynamische Verdeckung + Binokulare Depth Cues: Patente Stereopsis im Schärfebereich des Auges (Querdisparation korrespondierender Netzhautpunkte) Latente (quantitative) Stereopsis Okulomotorischer Depth Cue (Erfühlen der muskulären Augenspannungen bei Nahfixation und Abgleich mit erlerntem Entfernungswissen) Unsere Tiefenwahrnehmung ist erlernt! (abgeschlossen ca. 12 Lebensjahr) Sie stützt sich parallel auf monokulare und binokulare Hinweisreize ab. Die Stereopsis ist nur EIN Hinweisreiz für die menschliche Tiefeninterpretation! In der Wahrnehmung unserer Umwelt ist die Stereopsis im Bereich 0,1m 10m mit einer der mächtigsten Hinweisreize (für Zweiäugige). In Anlehnung an: Cutting/Vishton

24 & Stereofilm So funktioniert Stereofilm (wahrnehmungspsychologisch)

25 DREI Effekte greifen ineinander! Stereoskopische HD Aufnahmen & Stereofilm Grobfaktor 2. Okulomotorische Stereopsis Erfühlte Stellung des Konvergenzwinkels der Augen bei L/R Objektfixationen auf der Displayebene! (Sehachsen überkreuzen sich nicht = Hintergrund Sehachsen überkreuzen sich = vor dem Hintergrund) Technisch: ABSOLUTE L/R Parallaxe im Bild 3. Patente Stereopsis Im Zuge der Fixation auf einen gemeinsamen Punkt/ein Objekt ergeben sich zusätzlich korrespondierende Querdisparitäten im Schärfebereich der Retina! (insbes.: Objektvolumina + verdeckende/hinterlagerte Objekte im Blickfeld) Technisch: RELATIVE Parallaxe im Blickfeld Nachhaltigster Faktor!!! 1. Monokulare depth cues im Bild Sehr wichtig! (und beeinflussbar: Ausleuchtung Szenenaufbau Kamerafahrten)

26 & Stereofilm Abläufe bei der Betrachtung eines S3D Films auf dem zweidimensionalen Bildschirm 1. Unsere Augen springen wahrnehmungsgesteuert ( Sakkaden) über die Leinwand/das Display. 2. Wir akkommodieren permanent auf die Ebene der Leinwand. 3. Wir konvergieren in pseudo Fixationen autonom L vs. R und losgelöst von der Akkommodation auf korrelierende Objektpunkte auf der Leinwand. 4. Wir fusionieren an diesen Objektpunkten. 5. Aufgrund der absolut&relativ wahrnehmbaren L/R Versätze entsteht pseudo Stereopsis (patent + okulo). 6. In der temporalen Summe aller pseudo Fixationen ergibt sich die Gesamtwahrnehmung der Filmbilder, zusätzlich unterstützt durch die Tiefenerfahrung aufgrund monokularer depth cues. Bild R Bild L

27 Exkurs: Das unnatürliche bei der Stereofilm Betrachtung. & Stereofilm 1. Unsere Augen springen wahrnehmungsgesteuert ( Sakkaden) im gesamten Gesichtsfeld. 2. Wir konvergieren auf (interessante) Fixationspunkte in unterschiedlichen Entfernungen, parallel akkommodieren wir auf diesen gemeinsamen Schnittpunkt der Sehachsen erste okulomotorische Entfernungsschätzung 3. Wir fusionieren am gemeinsamen Schnittpunkt. 4. Bei festgestellten L/R Querdisparitäten im Schärfebereich um den Fixationspunkt entsteht patente Stereopsis. 5. In der temporalen Summe aller pseudo Fixationen ergibt sich die Gesamtwahrnehmung der Filmbilder, zusätzlich unterstützt durch die Tiefenerfahrung aufgrund monokularer depth cues. 1. Unsere Augen springen wahrnehmungsgesteuert ( Sakkaden) über die Leinwand/das Display. 2. Wir akkommodieren permanent auf die Ebene der Leinwand. 3. Wir konvergieren in pseudo Fixationen autonom L vs. R und losgelöst von der Akkommodation auf korrelierende Objektpunkte auf der Leinwand. 4. Wir fusionieren an diesen Objektpunkten. 5. Aufgrund der absolut&relativ wahrnehmbaren L/R Versätze entsteht pseudo Stereopsis (patent + okulo). 6. In der temporalen Summe aller pseudo Fixationen ergibt sich die Gesamtwahrnehmung der Filmbilder, zusätzlich unterstützt durch die Tiefenerfahrung aufgrund monokularer depth cues. Natürliches Sehen S3D Filmbetrachtung Zusätzlich: technologiebedingte Probleme bei der Darstellung/Betrachtung z.b.: Ghosting (geringe optische Trennschärfe L zu R) Shutter Systeme (Helligkeitsverringerung plus kritisch bei Neigung zur Epilepsie) erhöhter Motion Blur z.b. bei trägen LCD Displays (= Einbruch der patenten Stereopsis) + 10% der Bevölkerung sind nicht in der Lage stereoptisch zu sehen (erwarten es zunächst aber).

28 Exkurs: Das Anstrengende bei der Stereofilm Betrachtung. & Stereofilm 1. Muskuläre Akkommodation der Augenlinse, permanent & konstant auf eine Schärfeebene (Leinwand/Display), kein Wechsel ( Bildschirmarbeit ). Erst ab > 7m Focalebene entspannter Ziliarkörper (bedenke: Betrachtungsabstand Kino, TV, Mobile Device). Zusätzlich: a) autonome Konvergenzbewegungen mit ungewohntem Konvergenz zu Akkommodations Verhältnis (C/A Ratio) sind für Normalsichtige trainierbar aber anstrengend. b) evtl. Rückkopplungskonflikte mit dem natürlichen Vergence Adaption Reflex 2. Bildschnitte sind Sprünge in Zeit und Raum : Transient ausgelöster Neu Scan des linken und rechten Augapfels auf korrespondierende Bereiche/Objekte im linken und rechten Bild (Sehachsen drehen sich von parallel bis überkreuz) nach jeder neuen Einstellung/Schnitt. Quelle: online.de 3. Auslösen von ungewollten disparity vergences Bei Fixation im Stereobild ungewollt ausgelöste Saccaden aufgrund Überschreitung der max. 90 Disparitätsgrenze im ± 6 Blickfeld. (insb. zwischen sich überlappenden Objekten). Medial Rectus

29 Stereofilm Regeln Gutes Stereobild Schlechtes Stereobild

30 Regel1: Divergenzverbot das absolute No Go beachten! Stereofilm Regeln Divergenz der Sehachsen des Zuschauers bei der Fixation von Fernobjekten im S3D Film ist unzulässig! (Beachte: getrennte Bilder für rechtes und linkes Auge) Max. absolute Parallaxe Augenabstand sonst Divergenz der Sehachsen! absolute L/R Parallaxe Einflüsse des Divergenzverbots: S3D Kameras dürfen in ihren optischen Achsen niemals divergieren! Schon bei der Aufnahme ist grob zu berücksichtigen: a) Wie groß das Ziel Display ist ( Vergrößerungsfaktor Display/Bildsensor)! b) Wie weit der Zuschauer Ø vom Display entfernt sitzt ( Betrachtungsabstand)! Eine Divergenz der Sehachsen kommt in der natürlichen visuellen Wahrnehmung des Menschen nicht vor! Punktuell und kurzfristig können Menschen noch Sehachsen Divergenzen von 2 4 ertragen, allerdings nur unter hoher Anstrengung. Beachte: Augenabstand Kinder < Erwachsene!

31 Regel2: Discomfort in der patenten Stereopsis VERMEIDEN! Stereofilm Regeln Die relative Parallaxe sollte (Objekt und Augenbezogen) im ± 0,5 Blickfeld um die Sehachse kleiner als 40 bleiben und absolute L/R Parallaxe im ± 6 Blickfeld um die Sehachse kleiner als 90 bleiben.

32 Regel3: Temporalen Discomfort vermeiden Stereofilm Regeln Die durchschnittliche Dauer von natürlichen Fixationen beträgt ms * ( 5 15 frames). Die benötigte Anzahl von Fixationen zur hinreichenden Wahrnehmung von Bildern korreliert mit der visuellen Komplexität des Bildinhaltes. Die durchschnittliche Dauer einer Konvergenzwinkeländerung von 3 (für beide Augen) beträgt ca. 175 ms ** ( 4 frames) Die zerebrale Verarbeitungszeit für das erstmalige Wahrnehmen patenter Stereopsis liegt zwischen 17ms für Stereo Standbilder *** und ms für bewegte Stereobilder ** Schnelle Schnitt Rhythmen arbeiten gegen die Tiefenwahrnehmung! Allzu große Tiefensprünge zwischen Schnitten vermeiden! Technisch machbares Tiefenbudget nicht in allen Szene gnadenlos aufbrauchen, sondern dramaturgisch gerecht verwenden! (3DTV Praxis: es wird z.b. auch noch Platz für 3D Grafik Einblendungen, 3D Bauchbinden, etc. benötigt). Regelmäßig Szenen mit dramaturgisch vertretbarer verringerter Tiefe vorsehen! ( Augenpausen für den Zuschauer) *Lehrbuch Wahrnehmen /R.Guski (1996) ** Th. O Salmon /VisionScienceIII *** Untersuchungen B. Julez (1964) mit random dot Diagrammen

33 Professionelle S3D Produzenten haben dies verstanden! Stereofilm Regeln Beispiel: Disparity Plot zur Kontrolle der relativen Parallaxe in den Einstellungen (Fa. CinePostproduction) Mit freundlicher Genehmigung von: Daniel Siragusano, CinePostproduction/München Beispiel: Tiefenscript aus Oben/UP (Darstellung absolute Parallaxe und Schnittrhythmus/Tiefensprünge) Quelle: Brian Gardner, Perception And The Art of 3D Storytelling,

34 Erstes Fazit: Stereoskopische HD Aufnahmen Erstes Fazit Die Toleranzbereiche der stereoskopischen Tiefenwahrnehmung des Menschen sind schmal! Dessen muss man sich in der S3D Medienproduktion permanent bewusst sein, denn technische Fehler (bei Aufnahme, Postproduction, Darstellung) können sehr schnell zu wahrnehmungspsychologischen Konsequenzen führen. Quelle: Mobile3DTV Project / Bev, Hollosi, Gotchev: Classification of stereoscopic artefacts