View Synthesis for 3-D Video

Transkript

1 View Synthesis for 3-D Video Topics in Multimedia Signal Processing Julian Habigt

2 3-D Video Avatar, der erfolgreichste Film aller Zeiten, ist ein 3-D Film 3-D Blu-ray und stereoskopische Fernseher sind verfügbar bis 2015 werden 30% der Fernseher zuhause 3-D fähig sein (Schätzung von 2010) zahlreiche Kinofilme erscheinen neu in 3-D (Titanic, Star Wars ) Topics in Multimedia Signal Processing 2

3 Herausforderungen aktueller 3-D Technologie Großer Markt für stereoskopische 3-D Technologie Geräte von allen Herstellern verfügbar, große Auswahl an 3-D Content Trotz hoher Qualität der Geräte und des Materials existiert noch Raum für technologische Verbesserungen Einige zentrale Probleme sind immer noch ungelöst Topics in Multimedia Signal Processing 3

4 Stereoskopisches 3-D wie funktioniert s? Tiefenwirkung (Stereopsis) Das Human-Visual-System ist in der Lage, die durch das rechte und linke Auge wahrgenommenen (2D-)Bilder zu einem Raumbild mit Tiefenwirkung zusammenzufügen. Parallaxe Veränderte Perspektive zwischen den Bilder beider Augen Verschiebung korrespondierender Bildpunkte zwischen linkem und rechtem Auge Winkel zwischen Geraden die von den Augen auf einen Raumpunkt gerichtet sind Möglichkeit zur Berechnung der Entfernung mittels Disparität des korrespondierendem Punktepaar und Triangulation Topics in Multimedia Signal Processing 4

5 3D-Darstellung 3D-Displays können generell in 3 Klassen eingeteilt werden: Perspektivisch: 3D-Welt wird auf 2D-Display durch perspektivische Transformation und guter Elimination von widersprüchlichen 2D-Cues dargestellt ( 3D -Computerspiel) Volumetrisch: Lichtstrahlen werden in bestimmten 3D-Raum gesandt und durch Effekte, wie Interferenz wird ein reales 3D-Bild erzeugt (Hologramm, oszillierender Spiegel) Stereoskopisch: Erzeugen zweier getrennter Ansichten für das rechte und linke Auge Topics in Multimedia Signal Processing 5

6 Stereoskopie Unterschied zwischen stereoskopisch und autostereoskopisch Stereoskopische Verfahren benötigten Hilfsmittel zur Trennung der Bilder für das rechte und linke Auge Autostereoskopische Verfahren benötigten keine weiteren Hilfsmittel Topics in Multimedia Signal Processing 6

7 3D-Anzeigegeräte Stereoskopie Stereoskopische Verfahren benötigen Vorrichtungen beim Betrachter zur Trennung und Zuordnung der zwei Ansichten Brillen mit Farb-,Interferenz-, Polarisationsfilter, Shutterbrillen, Head-Mounted-Displays Anaglyphensystem [11] Trennung der Bilder mittels Color-Separation Ansichten in 2 nicht überlappende spektrale Farbbänder versetzt. Brille mit Bandpassfiltern. Topics in Multimedia Signal Processing 7

8 3D-Anzeigegeräte Stereoskopie Polarisationssysteme Brille mit Polarisationsfiltern Beide Gläser sind orthogonal zueinander polarisiert. Lineare Polarisation Zirkulare Polarisation (Kino: RealD, Masterimage) [11] Topics in Multimedia Signal Processing 8

9 3D-Anzeigegeräte Stereoskopie Interferenzsysteme 2 Pirmärfarbentriplets (oben), schmalbandige Filter der beiden Gläser (mitte,unten) (Infitec [5]) Entsprechen dem HVS wird ein Farbwert aus 3 Primärfarben gemischt Hier werden Triplets dieser Primärfarben genutzt um zwei (oder mehr) Ansichten voneinander spektral zu trennen (Wavelength Multiplex) Der Betrachter trägt eine Brille mit Interferenzfilter (aus Glas), welche nur schmal begrenzte Farbbänder durchlassen Umgesetzt im Dolby-3D-Cinema Systemen Topics in Multimedia Signal Processing 9

10 3D-Anzeigegeräte Stereoskopie Shutter-Systeme Bilder für beide Augen zeitlich nacheinander präsentiert Shutter-Brille mit Projektor synchronisiert Gläser mit Liquid-Crystal-Schicht; durch angelegte Spannung lichtdurchlässig Gläser abwechselnd lichtdurchlässig Aktive Brille mit Batterien und Elektronik Topics in Multimedia Signal Processing 10

11 3D-Anzeigegeräte Autostereoskopie Grundprinzip der Stereoskopie Keine Brille Diskrete Sweet-Spots mit 3D-Effekt Verschiedene Perpektiven (Multiview) möglich Diskrete Sweet-Spots des Lentikularen Displays (Bruls[7]) Verfahren zur Trennung des Stereopaars Parallax-Barrier Technik Lentikulare Linsenanordnung Integral-Imaging Wenige korrekte Positionen für das Augenpaar bei autostereoskopischen Displays (3dforums[6]) Topics in Multimedia Signal Processing 11

12 Lentikulare Displays L/R-Bilder über Linsen voneinander getrennt bereitgestellt Zylindrische Linsen vor den Pixeln angebracht Kein Helligkeitsverlust, keine Beugung Schematische Zeichnung eines Lentikularen Displays mit Strahlenzuordnung an L/R-Auge (3dforums[6]) Topics in Multimedia Signal Processing 13

13 Multi-View Autostereoscopic Display Problem: Viele Ansichten nötig, zu hohe Bitraten für die Übertragung Datenrate steigt linear mit der Anzahl der Ansichten View Synthese: Berechnung beliebig vieler Ansichten beim Empfänger möglich Topics in Multimedia Signal Processing 14

14 Parallaxe/Disparität (horizontal) Zero Parallaxe Setting (ZPS) Punkt auf Bildschirm empfunden d=0 Diverging Nicht erlaubt! d>0 CRT Space Punkt hinter Bildschirm empfunden d>0 View Space Punkt vor Bildschirm empfunden d<0 Grafiken zu möglichen Konvergenzsituationen (Stereographics, [1]) Akkommodation erfolgt immer auf den Bildschirm! Konvergenzwinkel abhängig von betrachtetem Objekt! Topics in Multimedia Signal Processing 25

15 Konvergenz und Tiefenschärfe Veranschaulichung der Tiefenschärfe und Zone in der Konvergenz natürlich ist (Emoto et al. [3]) Topics in Multimedia Signal Processing 26

16 Parallaxe (horizontal) Positiv: weit weg Negativ: vor dem Bildschirm [28] Topics in Multimedia Signal Processing 27

17 Parallaxe/Disparität (vertikal) Verursacht Kopfschmerzen Muss im Post-processing korrigiert werden Vertikale Disparitäten tauchen beim sog. Keystone Effekt grundsätzlich auf Keystone Effekt wird durch das Eindrehen (toe-in) der Kameras erzeugt Durch Verzerrung wird eine vertikale Disparität erzeugt L R Fusion Topics in Multimedia Signal Processing 28

18 Maximale Positive Parallaxe (MPP) MPP gleich dem Augenabstand Augen blicken parallel Objekte werden als stereoskopisch unendlich weit entfernt gesehen MPP wird größer als der Augenabstand Augen divergieren -> schmerzhaft Für diesen Moment ist das Objekt weiter als unendlich entfernt MPP ist eine Funktion der Displaygröße Aktuelle Normen beziehen sich auf 30 bis 40 Zoll Screens Größerer Bildschirm -> MPP > Augenabstand -> Divergenz -> Problem Kleinerer Bildschirm -> MPP wird nicht ausgereizt -> verminderter 3D Effekt und u.u. veränderte Darstellung -> ebenfalls nicht gut! [28] Topics in Multimedia Signal Processing 29

19 Negative Parallaxe Mittlere Negative Parallaxe (MNP) Ungefähr der MPP gleichbedeutend Objekt etwa bei halber Entfernung zum Screen positioniert Setzt eine relative Entfernung zum Screen fest Doppelte Entfernung -> Objekttiefe wird in Beobachterrichtung verdoppelt Abhängig von der Zeit können Objekte bei 1x bis 2x MNP verharren. sich bei bis zu 3x MNP bewegen. bei bis zu 3x bis 5x MNP für einen kurzen Moment gezeigt werden. Funktion der Anzeigegröße Analog zur MPP [1] Topics in Multimedia Signal Processing 30

20 Größenwahrnehmung in Abhängigkeit vom Display [28] Topics in Multimedia Signal Processing 31

21 Stereoskopische Komfortzone Topics in Multimedia Signal Processing 34

22 Visuelle Zonen Grau: Unsichtbar für den Zuschauer Rot: Gefährliche Zonen Starke Muskelaktivität Konvergenz arbeitet gegen Akkommodation Auf keinen Fall zu lang darin aufhalten Orange: Nur Bewegung Wird nur auf einer Retina abgebildet Für schnelle Bewegungen in die Szene oder aus der Szene heraus Grün: Aufenthalt Nahe am Screen Gestreift: Ungleiche retinale Belichtung, jedoch natürlichen Ursprungs [28] Topics in Multimedia Signal Processing 35

23 Das stereoskopische Fenster Bei 3D stellt der Bildschirm ein Fenster dar Definiert Screen Space und Theater Space Der Rahmen bestimmt was dahinter liegt Entspricht der normalen Wahrnehmung Der Rahmen bestimmt was davor liegt Entspricht auf keinen Fall der Wahrnehmung [28] Topics in Multimedia Signal Processing 36

24 Fensterverletzung Objekt berührt den Rahmen und ist zeitgleich vor dem Screen Erzeugt Widerspruch Verdeckungs-Depth-Cue -> Hinter dem Screen Parallaxe -> Vor dem Screen In milden Fällen überwiegt der Verdeckungs-Cue Objekt wird hinter den Screen verbannt Bei starken Verletzungen wird Stereopsis unterbrochen Zuschauer sehen Doppelbild [1]

25 3D Größeneffekte 2D vs. 3D 2D Aufnahmen können in Höhe und Breite skaliert werden 3D Objekte besitzen auch eine Tiefe Änderung der Parallaxe wirkt sich auf die empfundene Objektgröße aus Weit entfernt: Jumbo Jet Vor dem Screen: Spielzeugmodell, Puppet Theater Effect Künstlerischer Einsatz: Riesen, Zwerge, [28] Topics in Multimedia Signal Processing 39

26 Audience Sizing 2D vs. 3D 2D Kamera: Brennweite 3D Kamera rig: Kameraabstand Zuschauer sehen durch die Augen der 3D Kamera Hypo Stereo: Zuschauer schrumpfen Kameraabstand kleiner als menschl. Augenabstand Hyper Stereo: Zuschauer sind Riesen Kameraabstand ist größer als menschl. Augenabstand [28] Wiederum künstlerisch einsetzbar Topics in Multimedia Signal Processing 40

27 Übersicht: 3D-Kamerasysteme Stereoskopische Kameras 2D Video mit Tiefenscanner 2D zu 3D Konvertierung Topics in Multimedia Signal Processing 42

28 Stereoskopische Kamerasysteme Voraussetzungen: 2 passende Kameras Identische Bildverarbeitung Weißabgleich Empfindlichkeit Identische Verschlussgeschwindigkeit Gleiche Blendenöffnung Identische optische Einstellungen Brennweite Konstante Geometrie Abstand der Kameras Winkel zwischen den Kameras Ebene in der die Kameras liegen Synchronität Topics in Multimedia Signal Processing 43

29 Stereoskopische Kamerasysteme: Parallel 2 Typen: Simple parallele Kamerasysteme Alle Objekte vor dem Screen Parallele Kamerasysteme mit Konvergenz (Hardware oder Post-Convergence) Objekte vor und hinter dem Screen Kein Keystone Effekt Kameraabstand Wichtigster Parameter Bestimmt die Stärke des 3D Effekts Tiefenskalierung kann post-operativ durch Disparitätsanpassung geändert werden Optimaler Kameraabstand abhängig von Szenentiefe, Brennweite, maximal zulässiger Disparität Topics in Multimedia Signal Processing 44

30 Parallele Kamerasysteme Beispiel: einfaches paralleles Kamerasystem ohne Konvergenz Effekt bei Änderung des Kameraabstands: Topics in Multimedia Signal Processing 45

31 Stereoskopische Kamerasysteme: Konvergierend, toed-in Konvergenzwinkel Objekte teilweise hinter der Kamera Tiefenposition der Szene kann durch die Position der Schnittpunkte der optischen Achsen relativ zum Kamerasystem festgelegt werden (Konvergenzdistanz) Keystone Effekt tritt auf -> Post-Processing Topics in Multimedia Signal Processing 47

32 2D-Video mit Tiefenkarte Aufnahme: 1 RGB Kamera,1 Lichtquelle, 1 TOF-Senser (TOF = time of flight ) Beispiele: ATTEST -Projekt, Kinect Monoskopische Farbdaten werden zeitgleich mit pixelgenauer Tiefenkarte (8-Bit) gespeichert Tiefenkamera sendet sehr schnell pulsierende IR-Lichtimpulse aus, welche mit IR empfindlicher Kamera aufgenommen werden Daraus errechnet sich die Tiefe anhand der Laufzeit der Impulse Intensitätsbild (links) Und pixelgenaue Tiefenkarte (rechts) [22] Topics in Multimedia Signal Processing 51

33 2D-Video mit Tiefenkarte Topics in Multimedia Signal Processing 52

34 2D-Video mit Tiefenkarte Typischerweise 8-Bit codiert Nähere Objekte erscheinen heller Nichtlinear: Höhere Auflösung für nahe Objekte d z = z 1 z max 1 1 z min z max Probleme: Erzeugung Quantisierungsfehler Fehler in der Tiefenkarte gravierender als Fehler in Farbinformationen Topics in Multimedia Signal Processing 53

35 View Synthese K 12 = f x r d p x 0 f y p y O r O l R 12 t 12 = r 11 r 12 r 12 t 1 r 21 r 22 r 23 t 2 r 31 r 32 r 33 t 3 y r x r z m 1 = K 1 M 1 = K 1 (R 1 M + t 1 ) z m 2 = K 2 M 2 = K 2 (R 2 M + t 2 ) Topics in Multimedia Signal Processing 54

36 Formulierung der View Synthese M = R 1 1 (zk 1 1 m 1 t 1 ) m 2 = 1 z K 2(R 2 M + t 2 ) Für Zwischenansichten K 2, R 2, t 2 ersetzen durch: K λ = 1 λ K 1 + λk 2 t λ = 1 λ t 1 + λt 2 [O. Schreer. Stereoanalyse und Bildsynthese, Springer, Berlin, 2005] R λ = slerp(r 1, R 2, λ) λ [0; 1] Topics in Multimedia Signal Processing 55

37 2D-Video mit Tiefenkarte Pro: 3D Reproduktion direkt am Empfangsgerät: Anpassung an Betrachtungsbedingungen 2D->3D Konvertierung durch Hinzufügen einer Tiefenkarte Geringer Overhead (<20%) im Vergleich zu herkömmlichem 2D Fernsehen Geeignet zur 3D Nachverarbeitung (z.b. Augmented Reality) Photometrische Asymmetrien werden systembedingt vermieden Contra: Güte der Tiefenkarte für Qualität der 3D-Ansicht entscheidend Verdeckte Bereiche im L/R-Bild vorhanden -> Maskierungsmethoden Halbtransparente Objekte sowie Schatten und Reflexionen werden nicht adäquat behandelt Set-top Box ist komplexer als konventioneller stereoskopischer Empfänger, da mehr Rechenaufwand für die Synthese notwendig ist Topics in Multimedia Signal Processing 56

38 Depth-Image Based Rendering (DIBR) DBIR besteht aus 3 Teilen: 1. Pre-processing of depth map 2. 3D image warping 3. Hole-filling Pre-processing Of depth map 3D image warping Hole-filling Vorverarbeitung der Tiefenkarte Zero-Parallax-Setting Einstellungen vornehmen: Welche Ebene der Tiefenkarte entspricht Display-Ebene Zusätzliche Vorverarbeitungschritte: z.b. Glättung der Tiefenkarte Topics in Multimedia Signal Processing 57

39 Depth-Image Based Rendering (DIBR) 3D image warping Gegeben: 1 Original 2D Bild Ziel: Ansichten für L&R (3D) 3 Ansätze denkbar: Toed-in Kameraperspektiven Shift-Sensor Approach Verschieben der Tiefenkarte & Shift-Sensor Approach Shift-Sensor Approach 2 parallele virtuelle Kameras Horizontales Verschieben der Sensoren der virtuellen Kameras um einen kleinen Abstand h, relativ zu den Linsen, erzeugt ZPS x virtuell = x + x = x ± t x 2 f Z ± h, y virtuell = y t x Skizze: Shift-sensor approach [25] & [26] Topics in Multimedia Signal Processing 58

40 Depth-Image Based Rendering (DIBR) Verschieben der Tiefenkarte & Shift-Sensor Approach ZPS-Ebene durch Ursprungstrafo der Grauwertverteilung der Tiefenkarte Z c = Z near Z far, Punkte in der ZPS Ebene 2 Z = Z 8 Bit Z c 8-Bit Tiefenkarte normalisieren mit Faktor 255 Zε 0,5; 0,5 Originalbildkoordinaten x, y x virtuell = x + x = x ± t x 2 y virtuell = y f Z nach [22] & [25] Topics in Multimedia Signal Processing 59

41 Depth-Image Based Rendering (DBIR) Hole-filling Hintergrundbereiche, die im Originalbild verdeckt sind können im L oder R Bild sichtbar werden Keine Bild- und Tiefeninformation für diese Bereiche Fehlende Textur muss durch örtliche Interpolation aufgefüllt werden Dabei kann eine Vorverarbeitung sinnvoll sein: z.b. Glättung der Depth Map Original Linkes virtuelles Bild weiß: ohne Texturinfo Nach Hole-filling mit Glättung nach [25] Topics in Multimedia Signal Processing 60

42 Hole-filling Original OpenCV inpaint() (Navier-Stokes-Inpainting, Bertalmio2001) Inpainting nach Criminisi2004 Topics in Multimedia Signal Processing 61

43 Hole-filling Gautier2011 Topics in Multimedia Signal Processing 62

44 2D to 3D Conversion Basiert derzeit meist auf einer Tiefenkarte Verwendet monoskopische 3D-Cues zur Bestimmung der Tiefenkarte Vollautomatische Konvertierung ist sehr anfällig für Artefakte Semi-automatische Ansätze sind der beste Kompromiss Structure-from-motion Monocular-depth-estimation Topics in Multimedia Signal Processing 63

45 Quellenverzeichnis [1] The Stereographics Developer s Handbook Background on Creating Images for CrystalEyesR and SimulEyesR. (1997). [2] Hartley, R.: Theory and practice of projective rectification. Int. J. Comput. Vis. 35, , (1999) [3] Emoto, M., Niida, T., Okano, F.: Repeated vergence adaptation causes the decline of visual functions in watching stereoscopic television. J. Disp. Technol. 1(2), (2005).doi: /JDT [4] Holografie [5] INFITEC - A NEW STEREOSCOPIC VISUALISATION TOOL BY WAVELENGTH MULTIPLEX IMAGING, Helmut Jorke, Markus Fritz,INFITEC GmbH, [6]3d-forums.com, [7] Enabling Introduction of stereoscopic (3D) video: formats and compression standards, W.H.A. (Fons) Bruls et al., Philips Research Laboratories, Niederlande [8] New integral imaging technique uses projector, Makoto Okui, Jun Arai and Fumio Okano,2007, SPIE Newsroom. DOI: / , [9] Adrian Hilton et al, University of Surrey, [10] Free View Point Video - der nächste Schritt in der Unterhaltungselektronik, P. Eisert et al., Fraunhofer Heinrich-Hertz-Institut [11] Grafiken Seite 16-19, 27 Löwenzahn 3D-Brillen Polarisationen etimestamp= Mädchen