Diplomarbeit Animation mit bildbasierter Szenenrepräsentation

Transkript

1 Diplomarbeit Animation mit bildbasierter Szenenrepräsentation Bauhaus-Universität Weimar 2003 Fachbereich Mediengestaltung eingereicht von:

2 Animation mit bildbasierter Szenenrepräsentation 1. Zielsetzung der Arbeit 1 2. Aufbau der Arbeit 1 3. Bildbasierte Modellierung und Darstellung Entwicklung und Einflüsse Historische Entwicklung Angrenzende Forschungsgebiete Grundlegende Überlegungen Räumliches Sehen Konvergenz Disparität der Netzhautbilder Parallaxenverschiebung Kameramodell Bildbasierte Szenenrepräsentation Die plenoptische Funktion als Rahmen der bildbasierten Szenenrepräsentation Akquisition bildbasierter Szenen Speicherung Bildbasiertes Rendern Klassifikation bildbasierter Szenenrepräsentation Kriterien Renderverfahren ohne Geometrie-Information: rein bildbasierte Renderverfahren Allgemeines Panorama Prinzip Akquisition und Erstellen Apple QuickTime VR Prinzip Akquisition und Erstellen von QTVR-Filmen QTVR-Panoramafilm QTVR-Objektfilm Diskussion Multiperspektivische Panoramen Anwendung: Panoramabilder im virtuellen Set des Films Spiderman 17 A

3 Konzentrische Mosaike Prinzip Akquisition und Erstellen neuer Ansichten Diskussion Lightfields Prinzip Akquisition und Erstellen neuer Ansichten Diskussion Anwendung: Der Timeslice -Effekt Prinzip Kamerasysteme Bullet-time im Film Matrix Renderverfahren mit impliziter Geometrieinformation Allgemeines Interpolation zwischen Betrachtungspositionen (View Interpolation) Prinzip Akquisition und Erstellen neuer Ansichten Diskussion Generieren neuer Betrachtungspositionen durch Morphen (View Morphing) Prinzip Akquisition und Erstellen neuer Ansichten Diskussion Transfermethoden Renderverfahren mit expliziter Geometrieinformation Allgemeines Szenenrekonstruktion mit photometrischen Techniken (Photogrammetrisches Modellieren) Hybride Verfahren Szenenrekonstruktion von einem einzelnen Bild Prinzip Szenenrekonstruktion im Tour into the Picture -System Szenenrekonstruktion von mehreren Bildern Allgemein Modellierung mit Hilfe von Silhouetten Prinzip Anwendung: Rekonstruktion einer bewegten Figur aus den Silhouetten für den Film Minority Report Szenenrekonstruktion durch Stereo-Korrespondenz Rekonstruktion mit Hilfe geometrische Beschränkungen und Bedingungen Rekonstruktion durch Rückschlüsse von der Bewegung auf die Szenenstruktur Texturen 40 B

4 Statische Texturen Bump- und Displacement-Texturen Kameraabhängige Texturen Kameraabhängige Texturen im FAÇADE -Modellierungssystem Anwendung: Fotorealistische virtuelle Sets in den Filmen Matrix und Matrix Reloaded Anwendungen von Kameraprojektion und approximierten Geometriemodellen Titelsequenz des Films Panic Room Kameraprojektion für bewegte Figuren Sprites und Sprites mit Tiefeninformation Geschichtete Tiefenbilder Prinzip Akquisition und Erstellen neuer Ansichten Diskussion Bilder mit mehreren Projektionszentren Prinzip Akquisition und Erstellen neuer Ansichten Diskussion Kameraabhängige Geometrie Bildbasierte Beleuchtung Prinzip Aufzeichnen einer Beleuchtungssituation Lightprobes HDR-Bilder Erstellen eines HDR-Panoramas Rekonstruktion einer Beleuchtungssituation Diskussion Weiterentwicklungen Bildbasierte Beleuchtung realer Objekte und Darsteller HDR-Video Vorteile und Grenzen bildbasierter Szenenrepräsentation Analyse der Anzahl benötigter Referenzbilder Vergleich konventioneller und bildbasierter Rendernverfahren Ausblick Anwendungen in Spielfilmen Bildbasierte Szenendarstellung im Film Fight Club Virtuelles Kino im Film Matrix Reloaded Cgi- Timeslice -Effekt Universal Capture von Gesichtern Licht-Rekonstruktion 66 C

5 Timslice -Effekt für DIVE Anforderungen Planung, Tests und Previsualisierung Planung des Kamera-Rigs Previsualisierung Test des Kamerasystems Dreharbeiten Aufbau des Kamerasystems Aufnahmen Set-Dokumentation Lightprobe Postproduktion Digitalisieren Scanen der Negative Filmabtastung D-Postproduktion Kameraabhängige Texturen in Maya Figur Modell Textur Füße Haare Szene und Beleuchtung Hintergrundbilder für Meer und Himmel Felsen Beleuchtung Rendern Retusche Compositing Diskussion Kosten Lessons learned Danke Verzeichnisse Index Abbildungen Verwendete Quellen Anhang Beispiele Software Tutorials Nützliche Links 101 D

6

7 Grundlagen Animation mit bildbasierter Szenenrepräsentation Kurzexposé Trotz enormer Fortschritte der Computergrafik können fotorealistische Bilder mit konventionellen Rendertechniken nur mit sehr hohem Aufwand erzeugt werden. Die bildbasierte Modellierung und Szenendarstellung nutzt einen anderen Ansatz zur Erzeugung realistischer Computergrafik. Insbesondere für die Kombination realer und synthetischer Bilder bieten sich dadurch erweiterte Möglichkeiten, die diese Arbeit vorstellt und vergleicht. 1. Zielsetzung der Arbeit In der Computergrafik findet, im Vergleich zu anderen Forschungsgebieten, ein rascher Transfer von Forschungsergebnissen in die Medienproduktion statt. Bei der bildbasierten Szenendarstellung handelt es sich um ein relativ neues Teilgebiet der Computergrafik und nicht nur um eine einzelne, sondern eine Vielzahl unterschiedelicher Techniken und Varianten. Auf den ersten Blick erscheint das Thema daher etwas unzugänglich. Die plenoptische Funktion strukturiert es jedoch theoretisch und es lassen sich viele bekannte Techniken und Anwendungen zuordnen. Ziel der Arbeit ist es, Anwendern mit Grundkenntnissen im Bereich Computergrafik einen kompakten und anschaulichen Überblick über die Techniken und Anwendungsgebiete der bildbasierter Szenendarstellung zu geben. Da insbesondere die Möglichkeiten erkundet werden sollen, reale und synthetische Bilder zu kombinieren, stammen die angeführten Beispiele überwiegend aus dem Bereich Animation oder Film. 2. Aufbau der Arbeit Die Arbeit beginnt mit einer Einordnung und kurzen Beschreibung der Entwicklung des Gebiets. Nach einigen grundlegenden Überlegungen und Definitionen werden die wesentlichen Konzepte bildbasierter Computergrafik vorgestellt. Anschließend folgt eine Beschreibung und Vergleich wichtiger Techniken der bildbasierten Szenenmodellierung und -darstellung, die jeweils anhand eines Beispiels oder einer Anwendung aus dem Bereich Animation oder Film erläutert werden. Eine Diskussion der Vorteile und Grenzen der bildbasierten Szenendarstellung wird durch einen Ausblick auf zukünftige Entwicklungen ergänzt. Es schließt sich ein ausführliches Spielfilm-Beispiel an, für das einige der vorgestellten Techniken kombiniert wurden. Abschließend dokumentiere ich die Arbeitschritte für das im Rahmen dieser Arbeit umgesetzte praktische Projekt für den Kurzfilm DIVE. Auf der beiliegenden DVD finden sich Beispiele, der Volltext der wissenschaftliche Veröffentlichungen sowie Hinweise auf erhältliche Software. 1

8 Grundlagen 3. Bildbasierte Modellierung und Darstellung 3.1. Entwicklung und Einflüsse Historische Entwicklung Die Bild-Registrierung und das nahtlose Zusammenfügen von Einzelbildern zur Darstellung einer Szene haben eine lange Tradition bereits vor der Entwicklung der Computer-Technologie. Das Panorama wurde nach Pollefeys et al. [Pollefeys et al. 2001] bereits 1787, also Jahrzehnte vor der Erfindung der Fotografie, von R. Barker in London zum Patent angemeldet. Er erbaute in Edinburgh eine Rotunde, in der rundumlaufende Gemälde mit einer Höhe von bis zu siebzehn Metern und einem Umfang von 130 Meter auf die Innenseite der Wände gemalt wurden. Das Publikum stand auf einer zentralen, abgedunkelten Plattform und betrachtete die von einer verdeckten Lichtquelle erleuchteten Gemälde. Das Panorama entwickelte sich so zur einträglichen Massenattraktion. Abbildung 1: Panoramadruck London from the Roof of the Albion Mills, FREDERICK BIRNIE, London, 1792, von [THE BILL DOUGLAS CENTRE 2000] Der Erfindung der Fotografie im Jahr 1839 folgten bald die ersten Ideen für Panoramakameras patentierte der Österreicher J. Puchberger eine Kamera mit drehbarer Optik, die von Hand mit einer Kurbel angetrieben wurde. Diese Technik wurde von Kodak weiterentwickelt und ab 1899 als erste Panoramakamera vertrieben. Auf der Weltausstellung 1900 konnte das Publikum das Medium Panorama in Form des bewegten Cineorama bestaunen. In dieser Tradition stehen auch Disney s zylindrische CircleVision und moderne Kinos wie das IMAX - und das kuppelförmige OMNIMAX -Kino. Das Interesse am statischen Panoramabild wurde in den 1990er Jahren durch das Internet neu belebt. Inzwischen kann es sogar mit einer in ein Mobiltelefon eingebauten Kamera angefertigt werden. In der Kartografie entstand bald nach der Erfindung der Fotografie die sogenannte Photogrammetrie (griechisch: Bildmessung). Ihre Erfindung wird dem französischen Geodäsieprofessor A. Laussedat zugeschrieben, der 1850 ein Verfahren zu Erzeugung von topografische Karten entwickelte, bei dem mehrere Aufnahmen aus verschiedenen Blickwinkeln zusammengefügt werden können [digital production 2003]. Mit der Erfindung von Flugzeugen (1903) und später der Satellitentechnik kamen weitere Anwendungsfelder in der Luftbildfotografie hinzu. Für diese Einsatzgebiete wurden mit fortschreitender Entwicklung der Computer-Technologie digitale Verfahren entwickelt. 2 Für die Film- und Effektproduktion entdeckte man die digitale Photogrammetrie allerdings erst Anfang der 1990er. Maßgeblichen Anteil daran hat die französische Postproduktionsfirma BUF Compagnie. Die digitale Photogrammetrie bietet sich als Erweiterung bestehender Blue- und Greenscreen-Verfahren an. Deren Vorgänger zur Darstellung von Hintergrundszenen waren zunächst gemalte Hintergründe (Matte Paintings) und später Projektionstechniken. Abbildung 2: Bluescreen-Compositing und digitales Mattepainting aus dem Film Herr der Ringe, von [HERR DER RINGE]

9 Grundlagen Die Rückprojektion ist eine Tricktechnik, mit der bewegte Hintergründe mit Kulissen und Darstellern im Studio bei der Aufnahme kombiniert werden können. Abbildung 3: Prinzip der Rückprojektion einer Filmkulisse, vgl. [GIESEN UND MEGLIN 2000] Angrenzende Forschungsgebiete In der wissenschaftlichen Diskussion zur Computergrafik finden sich seit Anfang der 1990er Jahre eine zunehmende Zahl von Veröffentlichungen, die sich mit Techniken der bildbasierten Modellierung und Szenenrepräsentation (IBR: Image Based Rendering) beschäftigen. Dabei werden intensiv die Erkenntnisse verschiedener angrenzender Gebiete einbezogen. Neben Luftbildanwendungen und Fernerkundung sind dies vor allem die Bereiche Computer Vision, Machine Vision, Robot Vision und die medizinische Bildverarbeitung. Verschiedene Autoren [Cohen 1997] [McMillan 1999] betonen den engen Bezug zur Computer Vision, einem Forschungsgebiet, das sich mit der Bildverarbeitung und der visuellen Objekt- und Mustererkennung durch Computer befasst. Methoden der Computer Vision werden insbesondere bei automatisierten Verfahren, der Tiefendatenschätzung und zur geometrischen Szenenrekonstruktion von Bildern genutzt Grundlegende Überlegungen Räumliches Sehen Das räumlich Sehvermögen des Menschen basiert auf dem Zusammenspiel verschiedener Mechanismen. Da diese Prinzipien auch für den räumlichen Eindruck einer Szenendarstellung entscheidend sein können, möchte ich sie kurz erwähnen Konvergenz Beim binokularen Sehen laufen die Sehachsen aufeinander zu, d. h. sie konvergieren. Nach Rock [Rock 1985] schneiden sie sich dabei jeweils im gerade fixierten Punkt. Mit wachsendem Abstand des Fixationspunkts nimmt der Konvergenzwinkel zwischen den Sehachsen ab. Bei der Einstellung auf unendlich stehen die Augen parallel und der Konvergenzwinkel ist null. Das Wahrnehmungssystem kann so durch trigonometrische Verrechnungsoperationen die absolute Entfernung jedes Objektes in der Szene bestimmen. Abbildung 4: Konvergenzwinkel bei unterschiedlicher Einstellung der Augen, vgl. [ROCK 1985]

10 Grundlagen Disparität der Netzhautbilder Das Wahrnehmungssystem kann durch das Auswerten der Disparitätsinformation ( Ungleichheit ) der beiden Netzhautbilder relative Entfernungsdifferenzen zwischen Objekten bestimmen. Für jedes Auge ergibt sich durch den Abstand der beiden Augen voneinander einen leicht unterschiedlicher Blickwinkel. Die Disparität nimmt mit dem Konvergenzwinkel zu. Wenn disparate Bilder den Eindruck von Tiefe hervorrufen, wird dies als Stereopsis bezeichnet Abbildung 5: Disparität der Netzhautbilder beim räumlichen Sehen, vgl. [ROCK 1985] Parallaxenverschiebung Parallaxe beschreibt die scheinbare Verlagerung eines Objektes aufgrund unterschiedlicher Beobachtungsstandorte. Bewegt sich der Betrachter, verändert sich der Winkel unter dem er zwei Objekte in unterschiedlicher Entfernung sieht. Ein vom Betrachter aus naher Gegenstand bewegt sich schneller im Gesichtsfeld als ein weiter entfernter. Die Parallaxenverschiebung kann daher als Hinweis auf Entfernungsunterschiede zwischen Objekten registriert werden und so zur Tiefenwahrnehmung einer Szene beitragen. Abbildung 6: Prinzip der Parallaxe, vgl. [ROCK 1985] Abbildung 7: Blick aus einem Zugfenster, nahe Objekte scheinen sich schneller zu bewegen als weiter vom Betrachter entfernte, vgl. [ROCK 1985] 4

11 Kameramodell Grundlagen Möchte man wissen, wie Gegenstände aus der Szene auf ein Bild abgebildet werden, muss man die Parameter der aufzeichnenden Kamera(s) kennen. Virtuelle Kameras werden außerdem als Referenzmodell zur Spezifikation von Betrachtungspositionen und -transformationen eingesetzt. Die Abbildung wird durch die Position und Orientierung der Kamera in der abgebildeten Szene (extrinsischen Kameraparameter) und die Abbildungseigenschaften der Kamera (intrinsischen Kameraparameter) beeinflusst. Die Bestimmung der Kameraparameter wird als Kamerakalibrierung bezeichnet. Viele Autoren beschreiben Position und Orientierung der Kamera mit den in Abbildung 8 angegebenen Fachbegriffen. Die z-achse, also die Blickrichtung der Kamera, wird auch als optische Achse oder Sichtachse bezeichnet. Abbildung 8: Position und Orientierung der Kamera, nach [KRÖMKER 2000] Kamerainterne Parameter sind durch die Parameter der Sicht-Pyramide festgelegt, an deren Spitze sich die Kamera befindet (siehe Abbildung 9). Die Brennweite und das Filmmaß bestimmen das Blickfeld durch den horizontale und vertikale Sehwinkel (Field of View: FOV) und definiert somit die aufzunehmenden Bereiche der Szene. Eine Veränderung des Sehwinkels durch Verstellen der Brennweite entspricht einem Zoom. Die vordere und hintere Clipping-Ebene bestimmen den Tiefenschärfebereich und den Fokus. Für virtuelle Kameras existieren zusätzlich verschiedene Projektionsarten. Abbildung 9: Kameramodell, nach [WATT UND POLICARPO 2001] 5

12 Grundlagen Bildbasierte Szenenrepräsentation Die plenoptische Funktion als Rahmen der bildbasierten Szenenrepräsentation Bei der bildbasierten Szenenrepräsentation wird eine Szene direkt durch Bilder dargestellt, die in der dargestellten Szene aufgezeichnet wurden. Ein digitales Rasterbild besteht aus einer endlichen und diskreten Pixelmenge. Gleichzeitig kann ein Bild auch als die Menge aller Strahlen (Intensitäten) die von einem Punkt aus zu sehen sind, betrachtet werden. Dieses Bildmodell liegt auch der geometrischen Zentralperspektive zugrunde (siehe Abbildung 10). Ein perspektivisches Bild beschreibt nach McMillan [McMillan 1995] eine Menge von Strahlen von einer bestimmten Betrachtungsposition aus. Abbildung 10: Underweysung der Messung mit dem Zirkel und Richtscheyt von Albrecht Dürer, vgl. [BURKHARDT 2001] und perspektivisches Bild nach [COHEN 1997] 6 Eine allgemeine Beschreibung der (idealisierten) menschlichen Wahrnehmungsfähigkeit stellt die von Adelson und Bergen 1991 veröffentlichte plenoptische Funktion dar. Sie bietet sich als konsistenter Rahmen für die abstrakte Beschreibung der Eigenschaften bildbasierter Szenenrepräsentationen an. Alle bildbasierten Darstellungsverfahren Proceedings of SIGGRAPH können 95 (Los dadurch Angeles, charakterisiert California, August werden, 6-11, 1995) Copyright 1999 Michael Cohen, Microsoft wie sie die Abtastung, Speicherung und Rekonstruktion der plenoptischen Copyright 1999 Funktion Michael Cohen, umsetzen. Microsoft (, ) as well as a band of wavelengths,, Research which we wish to consider. glance, this type of augmenta the plenoptic function s domai of computer vision have show Ray mation is equivalent to cha infinitesimal perturbations of θ Constant radiance Ray variables [20], [13]. This loca time is fixed the intensity gradient via appli θ Constant radiance time is fixed phing makes an even stronger is constant along the entire pa approximation. Also, a blend (V x, V y, V z ) θ 5D both reference images after be 3D position configurations to a given poin θ 5D 2D direction is usually some linear combin 3D position percentage of the path s lengt 2D direction is a plenoptic reconstruction Abbildung 11: Darstellungen FIGURE der 1. The plenoptischen plenoptic function Funktion von ADELSON UND BERGEN, position. describes all of the samples and uses local deriva image information visible from a particular viewing mations. links: vgl. [POLLEFEYS ET AL. 2001], Mitte: vgl. [MCMILLAN All Rays 3.3 View Interpolation In the case of a dynamic scene, we can additionally choose the time, UND BISHOP 1995], rechts: t, at which vgl.[cohen we wish to 1999] Chen s and Williams [8] vie evaluate the function. This results θ Plenoptic in the following form for the plenoptic function: all possible images Function All Rays plenoptic samples and image θ Plenoptic Functionviewpoints with some constra too much stuff! p = P( V x V y V z t) all possible (1) imagesprocess uses information abou Die sieben-dimensionale plenoptische Funktion P7 = P(Vx, Vy, Vz, too much stuff! In computer graphics terminology, the plenoptic function Chen and Williams point out a λ, θ, φ, t) gibt für jeden Punkt describes (Vx, the Vy, set Vz) of im all possible dreidimensionalen environment maps for a given scene. problems of image-based ren For the purposes of visualization, one can consider the plenoptic faces. Chen and Williams cho Raum und jeden Zeitpunkt t die Intensität des aus Richtung (θ, φ) function as a scene representation. In order to generate a view from flow-field in a back-to-front einfallenden Lichtstrahls der a given Wellenlänge point in a particular λ an. direction we would need to merely plug value. This approach works in appropriate values for (V x, V y, V z ) and select from a range of (, ) images share a common gaze for some constant t. points are restricted to stay w SIGGRAPH 99 Course Image-Based We define a complete sample of the plenoptic function as a full An image flow field alone Modeling, Rendering, and Lighting spherical map for a given viewpoint and time value, and an incomplete sample as some solid angle subset of this spherical map. solutions, unless we restrict ou SIGGRAPH 99 Course on Image-Based such as rubber-sheet local sp Modeling, Rendering, and Lighting Within this framework we can state the following problem definition for image-based rendering. Given a set of discrete samples warps. This problem must b image-based rendering system (complete or incomplete) from the plenoptic function, the goal of transporting the image into th image-based rendering is to generate a continuous representation of Establishing flow fields f that function. This problem statement provides for many avenues of be problematic. Chen and W exploration, such as how to optimally select sample points and how images to determine flow field Research

13 Grundlagen Damit sind die optischen Eigenschaften einer synthetischen oder realen Szene komplett beschrieben. Im Gegensatz zur Radiosity-Gleichung oder zur allgemeinen optischen Flussgleichung kommt diese Beschreibung völlig ohne explizites Wissen über die vorliegenden Geometrien aus [Hoffmann et al. 2000]. Der Mensch kann mehrere Parameter der plenoptische Funktion simultan auswerten, wobei nach Krömker [Krömker 2000] mit dem Raumwinkel (θ, φ) das Formsehen durch die flächige Retina, mit λ das Farbsehen und mit t die Bewegung in der Szenen erfasst werden. Sind Betrachtungsposition und Kameraperspektive gegeben, kann die Bildsynthese abstrakt als die Bestimmung einer Teilmenge der plenoptischen Funktion beschrieben werden. Burkhardt [Burkhardt 2001] definiert bildbasiertes Rendern als den Versuch, die kontinuierliche plenoptische Funktion aus diskreten beispielhaften Messungen der Funktion zu bestimmen oder zu approximieren Akquisition bildbasierter Szenen Wie Shum und Kang [Shum und Kang 2000] feststellen, ist bisher keine vollständige Abtastung oder Speicherung der sieben-dimensionalen plenoptischen Funktion einer Szene gelungen. Man beschränkt sich auf eine partielle Abtastung, also darauf einen Ausschnitt (oder Teilraum) der plenoptischen Funktion aufzuzeichnen (siehe Abbildung 12). Fotografiert man eine Szene, werden die in die Kamera einfallenden Lichtstrahlen durch den Film aufgezeichnet. Dies kann als eine (unvollständige) Abtastung der plenoptischen Funktion aufgefasst werden. In der Literatur wird eine Stichprobe, die von einem festen Betrachtungspunkt aus den vollen Winkelbereich (θ, φ) erfasst, eine vollständige Abtastung oder Environment-Map genannt [Pollefeys et al. 2001]. Zur bildbasierten Szenendarstellung wird eine endliche Zahl diskreter Bilder, sogenannt Referenzbilder aufgenommen, um beim Rendern wieder die kontinuierliche plenoptische Funktion anzunähern. Mit der Frage wieviele Bilder zur Darstellung einer Szenen mindestens erforderlich sind, befasst sich die Sampling Analyse (siehe Abschitt ). Abbildung 12: Partielle Abtastungen, vgl. [POLLEFEYS ET AL. 2001] links: Raumwinkel (R: Region), rechts: Bild Speicherung Eine verallgemeinerte Szenenbeschreibung auf Basis der plenoptischen Funktion kann zur Speicherung und Darstellung von Szenen verwendet werden. Bei der Abtastung der plenoptischen Funktion entstehen aber sehr große Datenmengen. Einer der Schwerpunkte der wissenschaftlichen Forschung ist nach Zhang und Chen [Zhang und Chen 2003] die Formulierung sinnvoller Einschränkungen, die zu einer Reduzierung der zu verarbeitenden Datenmenge führen ohne die Renderqualität zu sehr zu beeinträchtigen. 7

14 Grundlagen Zur Vereinfachungen der Szenenbeschreibung wird meist eine zeitliche Invarianz (t) der Szene angenommen, also nur ein Schnappschuss bzw. eine statische Szene betrachtet. Außerdem wird die Beleuchtung auf drei Wellenlängen (rot, grün, blau) beschränkt, durch deren Kombination große Teile des dem menschlichen Sehvermögen entsprechenden Farbraums darstellbar sind. Die Funktion vereinfacht sich auch dann weiter, wenn man Einschränkungen der Bewegungsfreiheit des Betrachters annimmt. Neben der Holographie existieren mehrere Ansätze zur Speicherung der plenoptischen Funktion, auf die ich in dem jeweils in der Tabelle angegeben Abschnitt eingehe. Mit einer Vereinfachung und Verringerung der Dimension der Funktion sinkt auch der jeweils benötigte Speicherplatzbedarf. Dimension Name Jahr Bewegungsfreiheit des Betrachters Mathematische Beschreibung 7 Ursprüngliche plenoptische Funktion 1991 Frei P7 = P(Vx, Vy, Vz, θ, φ, λ, t) 5 Plenoptische Modellierung (Abschnitt ) Lightfield Video (Abschnitt ) 1995 Frei P5 = P(Vx, Vy, Vz, θ, φ) 4 Lightfields und Lumigraph (Abschnitt ) 1996 Frei, außerhalb (oder innerhalb) der konvexen Hülle (bzw. Bounding Box) P4 = P(u, v, s, t) 3 Konzentrische Mosaike (Abschnitt ) 1999 Planare konzentrische Kreise Panoramavideo 2 Panorama (Abschnitt ) Bild Feste Betrachtungsposition P2 = P(θ, φ) Tabelle 1: Klassifikation plenoptischer Funktionen, nach [SHUM UND KANG 2000] und [ZHANG UND CHEN 2003] 8 Durch Kompression der Referenzbilder kann der benötigte Speicherplatzbedarf noch weiter reduziert werden. Unabhängig davon wie sich Speicherkapazitäten zukünftig entwickeln, werden eine Analyse der benötigten Referenzbilder und Kompression notwendig sein, um die anfallenden Datenmengen in einem sinnvollen Rahmen zu halten.

15 IBR: Modellbasierte Methoden Modellierung und Rendering Traditionelle Pipeline Grundlagen Modellierung ist schwer Geometrie: Vermessung, Pflanzen, Benutzerhilfe, Bildbasiertes Rendern Material: BRDF, Texturen,... Modellierung und Rendering Die klassische Computergraphik behandelt Rendering das ist schwer Traditionelle Pipeline Simulationsproblem des Oberflächen-Modell Komplexität Modellierung basierten Renderns. Diese Methode, bei der Objekte in der Szene mit Geometriemodellen aus Interreflexion ist schwer Geometrie: Beleuchtung Vermessung, Pflanzen, Benutzerhilfe,... Material:... BRDF, Texturen,... vielen planaren Primitiven dargestellt werden, ist Rendering ist schwer die heute etablierte Technik. Komplexität Realität Modell: Geometrie + Material Bilder Ein Geometriemodell beschreibt die Lage Interreflexion und den Aufbau der vorhandenen physikalischen Beleuchtung Modellierung Rendering Objekte und ein zugeordnetes Oberflächenmodell... legt fest, wie die Ob- jektoberfläche mit einfallendem Licht Realität Modell: Geometrie + Material Bilder interagiert. Zwischen den Objekten können Interaktionen mathematisch Modellierung Rendering definiert werden. Das Ergebnis dieser Abbildung 13: Konventionelles Simulation hängt dabei ganz entscheidend von Modellieren, oben: vgl. [Mc Millan der Qualität der verwendeten Modelle und Modellierung 1999], unten: aus vgl. [Slusallek Bildern 2000] Modelltypen ab. Dies ist häufig eine kompakte und aufschlussreiche Darstellungsform. Computer-Vision Bilder enthalten Informationen über Bildbasierte Renderverfahren gehen dagegen direkt Geometrie, vom dem Material, aus, was Beleuchtung ein menschlicher Betrachter oder eine Kamera wahrnehmen Modellierung kann. Rekonstruktion Allgemein kann der dies Modelle aus durch aus die Bildern plenoptische der Realität Funktion beschrieben werden. Bildbasierte Renderverfahren Aber, Computer-Vision stellen auch eher ist eine schwer Signalrekonstruktion als eine physikalische Simulation Computer-Vision Benutze Abkürzung:... dar [Zhang und Chen 2003]. Die Bilder enthalten Informationen über Geometrie, Material, Beleuchtung kontinuierliche plenoptische Funktion Modell- Modell Rekonstruktion der Modelle aus Bildern der Realität wird abgetastet und aus diesen dis- Rekonstruktion kreten Werten wieder interpoliert und rekonstruiert. Bei der bildbasierten Szenenrepräsentation stellen Bilder den Ausgangspunkt und das Ergebnis der Renderpipeline dar (siehe Abbildung 14), eine explizite Modellrekonstruktion ist nur bei einigen speziellen Techniken vorgesehen. IBR: Modellbasierte Methoden Aber, Computer-Vision ist schwer... Benutze Abkürzung: Kalibrierung & Registrierung Bildbasiertes Modell Modell- Bildbasiertes Exaktes Modell Rekonstruktion Rendering Bilder Bilder Rendering Bildbasiertes Modell Rendering Kalibrierung Abbildung & 14: Bildbasierte Szenendarstellung, vgl. [Slusallek Bildbasiertes 2000] Registrierung Rendering Bilder Bilder Klassifikation bildbasierter Szenenrepräsentation Kriterien Die bildbasierte Szenenbeschreibung kann vereinfacht werden, indem verschiedene Einschränkungen bezüglich der dargestellten Parameter der plenoptischen Funktion formuliert werden (siehe Abschnitt ). Ein andere Ansatz, um eine kompaktere Darstellung zu erhalten, ist die Kombination der bildbasierten Szenenbeschreibung mit geometrischer Information der Szene. Da zwischen der zur Darstellung einer Szene benötigten Bild- und Geometrieinformation grundsätzlich Substitutionsmöglichkeiten bestehen, lassen sich die verschiedenen bisher entwickelten Szenenrepräsentationen als Kontinuum zwischen den Polen rein bildbasierter Verfahren und der Repräsentation durch ein exaktes Geometriemodell mit statischer Texturierung einordnen.

16 Grundlagen In Anlehnung an Shum und Kang [Shum und Kang 2000] werde ich die im Folgenden vorgestellten Techniken den drei Kategorien Renderverfahren ohne Geometrieinformation, mit impliziter und mit expliziter Geometrieinformation zuordnen (siehe Abbildung 15). Selbstverständlich sind auch andere sinnvolle Unterteilungen dieser Techniken möglich, beispielsweise die in [Kang 1997] oder [Zhang und Chen 2003] verwendeten. Kategorien mit repräsentativen Vertretern Kategorien mit repräsentativen Vertretern Renderverfahren ohne Rendeverfahren mit Renderverfahren mit Geometrie, (rein impliziter Geometrie expliziter Geometrie bildbasierte Renderverfahren Verfahren) ohne Rendeverfahren mit Renderverfahren mit Geometrie, (rein impliziter Geometrie expliziter Geometrie bildbasierte Verfahren) Abbildung 15: Klassifikation bildbasierter Rendertechniken, nach [SHUM UND KANG 2000] Kontinuum der 3D Modell-Repräsentation Kontinuum der 3D Modell-Repräsentation Interpolation Interpolation Warping Warping Texturierte Modelle Texturierte Modelle "Konventionelle" Grafik- Pipeline "Konventionelle" Grafik- Pipeline Abbildung 16: Kontinuum der Szenenrepräsentation, nach [POLLEFEYS ET AL. 2001] Slusallek [Slusallek 1998] interpretiert die Klassifikation der Renderverfahren zusätzlich als geeignete Entfernung verschiedener bildbasierter Darstellungsverfahren von einer Kamera- oder Betrachtungsposition. 10 Abbildung 17: Verschiedene bildbasierter Darstellungsverfahren, vgl. [SLUSALLEK 1998]

17 Rein bildbasierte Renderverfahren

18 Rein bildbasierte Renderverfahren Renderverfahren ohne Geometrie-Information: rein bildbasierte Renderverfahren Allgemeines Rein bildbasierte Verfahren sind Szenenrepräsentationen, die ausschließlich auf Bildinformation beruhen. Die geometrischen Eigenschaften der Szene sind also völlig unbekannt. Die im Folgenden beschriebenen Verfahren benutzen Stichproben der plenoptischen Funktion P in Form von Bildern, um neue Ansichten einer Szene zu berechnen Panorama Prinzip Beschränkt man die Bewegungsfreiheit des Betrachters, vereinfacht sich die Darstellung der plenoptischen Funktion (siehe Tabelle 1). Bei einer festen Betrachtungsposition (also keiner Bewegung des Betrachters) reduziert sich die plenoptischen Funktion auf ihre einfachste und wohl bekannteste zweidimensionale Anwendung, ein Panorama P2 = P(θ, φ) Akquisition und Erstellen Ein Panoramabild lässt sich mit speziellen omnidirektionalen Panorama-Fotokameras (siehe Abbildung 18) und Fischaugen-Objektiven, die ein großes Sichtfeld aufweisen, aufnehmen. Abbildung 18: Panorama-Fotokameras (von links nach rechts) Schlitzkameras: WIDELUX 35, NOBLEX PRO 120, PANOSCAN, GLOBUSCOPE. 360 ONE VR, von [KAIDAN], Prototyp vgl. [NAYAR 2000] Weitaus verbreiteter ist es, zunächst mehrerer Teilbilder einer Szene mit überlappenden Randbereichen ( Image Mosaics ) mit einer herkömmlichen Kleinbild- oder digitalen Fotokamera aufzunehmen. Abbildung 19: rechts oben: Bild-Mosaik, oben und rechts unten: Projektion der Bilder auf eine gemeinsame Fläche, vgl. [MAGNOR 2003] Mosaicing eines Panoramas durch Projektion der Bilder auf eine gemeinsame Fläche. Durch geometrische Korrektur entsteht die Form einer Fliege. Würde man mehrere mit einer rotierenden Kamera aufgenommen planare Fotos einfach zusammenkleben erhält man nicht das gewünschte Ergebnis (Gesamtbild der Szene, das einer Weitwinkel-Aufnahme entspricht). 12

19 Rein bildbasierte Renderverfahren Beim Aufnehmen von Teilbildern für ein Panorama sollte die Kamera bei unveränderter Kameraposition nur um ihr perspektivisches Zentrum (den Nodalpunkt) gedreht werden, da sich sonst keine einheitliche Perspektive und keine klaren Überlappungsmerkmale zwischen den Bildern ergeben. Die Anzahl und der Grad der Überlappung der benötigten Bilder können anhand des Bildwinkels des verwendeten Objektivs bestimmt werden. Übliche Werte für die Überlappung sind 30% bis 50% zwischen den Einzelbildern. Das nahtlose Zusammenfügen mehrerer Aufnahmen zu einem Gesamtbild durch Registrierung und Stitching der Bilder wird als Mosaicing bezeichnet. Mosaicing stellt für viele bildbasierte Verfahren mit mehreren Quellbildern eine zentrale Technik dar. Vorteile dieser Methode sind ein gegenüber den Teilbildern erweitertes Sichtfeld der Kamera und die hohe Auflösung des erzeugten Panoramabildes. Zunächst werden in den einzelnen Bildern die durch die Linse beim Fotografieren hervorgerufenen Verzerrungen mit geometrischen Operationen korrigiert und die Bilder auf eine gemeinsame Fläche, meist einen Zylinder projiziert. Bekannte Kameraparameter erleichtern die Bild-Registrierung, anderenfalls müssen sie mit Hilfe der Bildinformation geschätzt werden. Bei der Bild-Registrierung werden die Bildränder zweier Bilder ausgerichtet. Dabei wird die Position der Bilder anhand von (manuell oder automatisch ermittelten) korrespondierenden Merkmalen in beiden Bildern so verschoben, dass die in beiden Bildern abgebildeten Szenenelemente deckungsgleich werden (vgl. Abbildung 21). Es existieren auch verschiedene automatische Verfahren zur Bild-Registrierung, die nicht auf dem Ausrichten korrespondierende Bildmerkmale, sondern beispielsweise auf der Minimierung von Pixeldifferenzen beruhen. Abbildung 20: Mosaicing eines zylindrischen Panoramas, vgl. [MAGNOR 2003], von oben nach unten: Einzelbilder, vor und nach dem Mosaicing, Panoramabild in dem sich der Betrachten durch Verschieben eines Sichtfensters umsehen kann Abbildung 21: Bild-Registrierung, vgl. [Szeliski 2001] 13 Stimmen die Kamerazentren (also die Kameraposition) der Bilder einer Bildserie nicht überein oder bewegen sich aufgenommen Objekte, können im zusammengefügten Panoramabild unscharfe Bildbereiche auftreten. Diese einer Mehrfachbelichtung ähnliche Erscheinung wird als Ghosting bezeichnet (siehe Abbildung 22). Es existieren verschiedene Deghosting-Techniken um diesen Effekt abzuschwächen. Bewegte Objekte werden dabei ausgeblendet oder nur aus einem der Quellbilder übernommen.

20 Rein bildbasierte Renderverfahren Abbildung 22: Ghosting bewegter Objekte und korrigiertes Panorama ( Deghosting ), vgl. [DAVIS 1998] Im nächsten Schritt werden die Pixel der überlappenden Randbereiche zwischen den Einzelbildern überblendet, um sichtbare Ränder an den Grenzen der Einzelbilder zu beseitigen. Unterschiede in der Helligkeit der Einzelbilder (z.b. durch Belichtungsunterschiede) können mit einfachen Methoden der Bildbearbeitung ausgeglichen werden. Schließlich werden noch die durch Korrekturen verbogenen Ränder des Panoramabildes abgeschnitten (siehe Abbildung 23). Abbildung 23: Panorama eines Space-Shuttle Cockpits, vgl. [SZELISKI UND SHUM 1997], die gebogenen Bildränder sind durch die Korrektur der unstabilisierten Bewegung der in der Hand gehaltenen Kamera verursacht Verfügbare Software 1: Die Panorama-Software PT-Tools kann kostenlos unter http: // (derzeit offline) heruntergeladen werden, Mirrorseite: ( ) Vergleich kommerzieller Panorama-Software unter scores.html ( ) Beispiel 1: Deghosting [DAVIS 1998]: truck.lg.mov Apple QuickTime VR Prinzip QTVR [Chen 1995] steht für QuickTime Virtual Reality und ist eine Erweiterung von Apple s QuickTime-Technologie mit der zylindrische und kubische Panoramabilder (siehe Abbildung 25) und die Darstellung sogenannter QuickTime VR-Objekte möglich sind. QTVR ist seit 1997 in QuickTime integriert. Es handelt sich also eigentlich um ein kommerzielles Produkt, nicht um ein spezielles Verfahren. Ein VR-Panorama ist ein Standbild in dem ein Betrachter sich von einem festen Betrachtungspunkt aus durch Verschieben eines Sichtfensters umsehen kann (siehe Abbildung 20). Dabei werden Kameraschwenks durch geometrisches Deformieren des Bildes (Warpen) simuliert, während Kamera-Zooms durch einfache Vergrößerung und Verkleinerung des angezeigten Bildausschnitts dargestellt werden. 14

21 Rein bildbasierte Renderverfahren QuickTime VR speichert eine Szene als Menge von zylindrischen Panoramabildern sequenziell in einer Film-Zeitleiste ab. Ortswechsel, die der Benutzer durch das Anklicken von Hot Spots interaktiv auslösen kann, werden durch den Wechsel zwischen verschiedenen Panoramabildern durchgeführt Akquisition und Erstellen von QTVR-Filmen QTVR-Panoramafilm QTVR-Filme können aus digitalisierten Foto- oder Videoaufnahmen mit identischem Projektionszentrum (feste Kameraposition und Brennweite) realer Szenen erstellt werden. Die hierzu erforderlichen Arbeitschritte sind in Abschnitt erläutert. Abbildung 24: Panorama-Videokameras, vgl. [MAGNOR 2003] Computergenerierte QTVR-Szenen können mit einigen 3D-Modellierungsprogrammen direkt ausgegeben werden oder man muss die gerenderte Szene, genau wie reale Aufnahmen, nachträglich zusammenfügen. Apple bietet eine QTVR-Authoring -Software an, mit der man zylindrische Panoramen und mehrreihige Objekt- Filme erzeugen kann. Für kubische Panoramen eignet sich beispielsweise die Software Realviz Stitcher. Abbildung 25: Verschiedene Projektionen: Kubisches, sphärisches und zylindrisches Panorama, vgl. [MCMILLAN 1999] QTVR-Objektfilm Während es ein Panorama erlaubt, eine Umgebung von einem festen Betrachtungspunkt innerhalb der Szene zu betrachten, kann in einem QuickTime VR-Objektfilm ein Objekt aus verschiedenen Blickwinkeln von außen betrachtet werden. Ein QTVR-Panorama besteht aus einem einzelnen Bild, ein Objektfilm dagegen aus einer Bildsequenz. Ein navigierbarer Film beinhaltet für jede zulässige Orientierung des abgebildeten Objekts ein separates Bild (oder Videoclip). Die Szene wird gerastert, d. h. die möglichen Kamerapositionen auf die diskreten Orte beschränkt, an denen Bilder vorliegen. Die Bilder werden völlig ohne Stitching, Überblendung oder Projektion hintereinander abgespielt. Daher werden relativ viele Bilder benötigt. Üblicherweise werden Bilder in einem Abstand von maximal zehn Grad der Kamera- oder Objektrotation aufgenommen. Ein kleinerer Abstand zwischen den Bildern lässt die Bewegung flüssiger erscheinen. Entsprechend sind auch die Speicheranforderungen höher als bei einem Panorama. Typischerweise ist ein Objekt-Film ein zweidimensionales Bildfeld, bei dem jedes Bild einer Blickrichtung entspricht.

22 Rein bildbasierte Renderverfahren Bei der Aufzeichnung eines Objektfilms findet eine Kamera- oder Objektbewegung statt, was die Aufzeichnung realer Szenen erschwert. Für ein ein-dimensionales Bildfeld kann ein Objekt auf einem Drehteller von verschiedenen Seiten fotografiert werden. Chen [Chen 1995] beschreibt die in Abbildung 26 schematisch dargestellte Aufnahmevorrichtung, bei der eine an einen Computer angeschlossene, synchronisierte Videokamera entlang der eingezeichneten Pfeile bewegt werden kann. Abbildung 26: Prinzip eines zwei-dimensionalen QTVR Objekt-Films, vgl. [APPLE COMPUTER 2002] Diskussion QuickTime VR-Filme haben gravierende Einschränkungen, so können keine Verdeckungen dargestellt werden und Beleuchtung und Betrachtungsposition der Szenen sind statisch. Ortswechsel werden durch Sprünge zwischen Panoramabildern dargestellt. QuickTime VR-Filme sind aber sehr einfach herstellen und bei weitem die verbreiteteste und populärste Anwendung bildbasierter Szenendarstellung. Beispiel 2: QTVR-Panoramafilme ( Sets aus Matrix Reloaded [MATRIX]): teahouse_vr.mov, SE-LV-KO- 01[2].mov, QTVR-Objekt-Filme: team27.mov, team30.mov Beispiel 3: Panoramavideo für die Installation Place-Urbanity, JEFFREY SHAW 2002, ZKM Karlsruhe: journeyshort_bband.mov, ( ) Verfügbare Software 2: Apple QTVR-Authoring (kommerziell) QuickTime/qtvr ( ), VRWorx (kommerziell, kostenlose Demoversion) ( ), Realviz Stitcher (kommerziell, kostenlose Demoversion) http: // ( ), PT-Tools (kostenlos) unter ( ) 16

23 Rein bildbasierte Renderverfahren Multiperspektivische Panoramen In [Salesin et al. 1997] werden multiperspektivische Panoramen vorgestellt. Diese können eine beliebige Kamerabewegung in einer statischen Szene mit im voraus festgelegtem Kamerapfad in einem Einzelbild darstellen. Abbildung 27: Multiperspektivisches Panorama, oben: Handgezeichnetes multiperspektivisches Panorama für Disney s Animationsfilm Pinocchio (1940), rechts: Modell für computergenerierte multiperspektivisches Panoramen (die weißen Rechtecke stellen Sichtfenster der Kamera dar, die gelbe Linie den Kamerapfad), vgl. [SALESIN ET AL. 1997] Wird das Bild durch ein kleines bewegtes (Kamera)-Sichtfenster betrachtet, entsteht der Eindruck einer 3-dimensionaler Kamerafahrt im Raum. Anwendungsfelder für multiperspektivische Panoramen sehen die Autoren neben dem Animationsfilm dort, wo die Kamerabewegung in einer computergenerierten Szene im voraus festgelegt werden kann. Rademacher und Bishop [Rademacher und Bishop 1998] betrachten multiperspektivische Panoramen als einen Spezialfall der von ihnen vorgestellten Bilder mit mehreren Projektionszentren (siehe Abschnitt ). Ein wesentlicher Unterschied ist aber, dass für multiperspektivische Panoramen von den Autoren das Speichern von Tiefeninformation nicht vorgesehen ist Anwendung: Panoramabilder im virtuellen Set des Films Spiderman Während Panoramabilder sehr häufig zur Darstellung entfernter Hintergrundszenen, als Environment-Maps eingesetzt werden, finden sie in dem Film Spiderman eine nicht so offensichtliche Verwendung. Anhand von in New York aufgenommenen Referenzfotos wurden fünfzehn Hero - Gebäude manuell mit der 3D-Modellierungssoftware Maya erstellt. Für die erleuchteten Innenräume der Gebäude, zwischen denen sich Spiderman bewegt, wurden je nach Entfernung von der Kamera verschiedene Techniken eingesetzt. Die Einrichtung solcher Innenräume, die aus unmittelbarer Nähe gezeigt werden, ist durch vollständig texturierten Geometriemodelle dargestellt, um bei Kamerafahrten die Parallaxenverschiebung zwischen den Möbelstücken korrekt abbilden zu können (siehe Abbildung 28). 17

24 Rein bildbasierte Renderverfahren Für weiter von der Kameraposition entfernte Räume war es ausreichend, die Innenseite mit einem Panoramafoto des jeweiligen Raums zu texturieren. Bei einer Kamerafahrt durch die Strassenschlucht sind durch die Sichtfenster des Gebäudes Ausschnitte der Panoramabilder zu sehen. Diese vereinfachte Darstellung reicht hier aus, um den Eindruck möblierter Innenräume zu erzeugen. 18 Abbildung 28: Gebäude aus dem Film Spiderman (2002), links: ohne die Fassade ist zu erkennen, das die Inneneinrichtung des Raums durch vollständig texturierte Geometriemodelle dargestellt wird, Effekte: SONY PICTURES IMAGEWORKS, von [MILLIMETER 2002] is the preferred approach Weak perspective Beispiel approximation 4: Panorma als Environmentmap: In many real scenes, ANDREAS it is a reasonable KLEIN approximation 2003 (Filmakademie that pixelsbaden-württemberg): from hochbetrieb.avi a vertical line have the same depth. In that case, we can use a weak Beispiel 5: Trailer des Films Spiderman : spiderman_tr3_m320.mov, perspective approximation. Efficient rendering algorithms exist if weak perspective camera model is used for each line. We only need to estimate a depth value for each vertical line and scale the whole line uniformly. Vertical distortions increase with the amount of depth variation in each vertical line and decrease with the distances of the scene objects from the camera. Konzentrische Mosaike Constant depth approximationprinzip Figure 8: Depth correction with concentric mosaics. The depth information Shum requirement und He can [Shum be further und reduced He 1999] to be astellen constant for all the captured vertical lines. This approach is essentially a cylindrical mit konzentrische environment mapmosaike that dynamically einen Ansatz updatesvor, der, its content based on im the Gegensatz location ofzu the herkömmlichen novel view. LikePanoramen, the weak perspective case, there Verdeckungen are vertical berücksichtigen distortions for objects kann. whose Der Be- similar approach to put the ist nicht plane fixiert, atsondern the depth is different from the assumed depth. The Lumigraph system [GGSC96] uses atrachtungsstandpunkt object center. In our nur system, auf eine thefestgelegte user can interactively Region beschränkt adjust the (planare a slider konzentrische control to correct Kreise) theinnerhalb distortion to der thesich der assumed depth with object of interest. Betrachter frei bewegen kann. Parallaxenverschiebung function und Änderungen der Beleuchtung einer 2.3 3D plenoptic It is now straightforward statischen to show Szene that the werden concentric dabei mosaics korrekt representation is a plenoptickonzentrische function parameterized Mosaike bystellen three variables: dargestellt. eine dreidimensionale of view (FOV), plenoptische as illustratedfunktion in Figure 9. dar, wobei Figure Abbildung 9: Concentric29: mosaics Parameter represent ader 3D plenoptic plen- function. rotation angle, radius (distance of camera to rotation axis), and vertical elevation or field No vertical parallax die berücksichtigen is captured in concentric Parameter mosaics der because Rotationswinkel, constrained der Radius to a horizontal zwischen planar Kamera region, und androtati- Mosaike, vgl. [SHUM UND HE all optischen Funktion konzentrischer the camera views are only a slit image is taken at each viewpoint. However, as shown 1999] in our real-time rendering onsachse experiments und der and vertikale demonstrated Sehwinkel years(fov) ago sind (e.g., every tenth of a degree). But in the radial direction, the sampled by the horizontal (siehe parallaxabbildung only holographic 29). stereograms [Ben83], circles should not be at locations, but at because the median circle dividing people still have a strong sense of 3D perception even with only the horizontal parallax. Perhaps it is due to the fact that our eyes remain unit circle into two halves of equal areas is not at but at. relatively planar and observe mainly horizontal parallax as we move How many samples do we need? In a typical novel view with around. degrees horizontal FOV and width image, samples in Sloan et al.[scg97] have also derived Akquisition a 3D parameterization und of Erstellen the angular neuer direction Ansichten are needed. The more samples taken in the the Lumigraph by replacing the plane with its 1D subset, i.e., radial direction, the less interpolation is required (therefore better constraining the camera In [Shum motionund alonghe a line. 1999] A sind verschiedene representation is used where realer parameterizes Szenen mit the camera einer einzelnen motion (i.e., und dropmehreren in Fotokameras angular directions, sowie mit i.e., einer 20 concentric Videokamera mosaicsbe- with a width of Aufnahmevorrichtungen rendering results). Typically, für we konzentrische sample 20 concentric Mosaike circles in the plane 2 ), and schrieben. parameterizes Außerdem the wird plane eine roughly Methode in the. The width of each slit image determined according to its erläutert, synthetische Szenen als konzentrisches Mosaik object center. Moving along the line provides parallax in the motion horizontal field of view (e.g., degree for samples at each aus einem gewöhnlichen 3D-Modellierungsprogramm circle). auszugeben. direction. To have a complete coverage of the object, the camera can move on four connected perpendicular lines, i.e., a square. This sampling is not as uniform as concentric mosaics because one has to switch from one line to another. But it has the advantage that straight lines are preserved from 3D Lumigraph to rendered images, therefore has better computational efficiency. 3 Construction of concentric mosaics 3.1 Synthetic scenes For synthetic environments, we use a renderer ( 3D Studio Max, to render slit images at different concentric circles. 3.2 Real scenes We considered a number of ways to capture concentric mosaics from a real scene. One design was having many cameras on a beam which rotates, as shown in Figure 2. The problem with this design is that the whole system is bulky and expensive because many cameras are needed. Another design was to use a single camera that shifts to different locations before moving in a new circle. A motorized one-dimensional linear X-stage can be used to control the camera location. However, both designs require synchronization and alignment of multiple mosaics.