Immersive Environments: From Virtual Indoor Tours to Outdoor Modelling

Transkript

1 Research Collection Doctoral Thesis Immersive Environments: From Virtual Indoor Tours to Outdoor Modelling Author(s): Saurer, Olivier Publication Date: 2016 Permanent Link: Rights / License: In Copyright - Non-Commercial Use Permitted This page was generated automatically upon download from the ETH Zurich Research Collection. For more information please consult the Terms of use. ETH Library

2 DISS. ETH NO Immersive Environments: From Virtual Indoor Tours to Outdoor Modelling A thesis submitted to attain the degree of DOCTOR OF SCIENCES of ETH Zürich (Dr. sc. ETH Zürich) presented by Olivier Saurer MSc ETH Zurich born citizen of Sigriswil, canton of Bern, Switzerland accepted on the recommendation of Examiner Prof. Dr. Marc Pollefeys Co-Examiners Prof. Dr. Friedrich Fraundorfer Prof. Dr. Davide Scaramuzza Prof. Dr. Konrad Schindler 2016

3 Abstract Virtual navigation through urban environments and building interiors have gained great popularity in the last decade. Initially maps were served in topological representation, providing vital information while leaving out unnecessary details. They have since greatly evolved from panoramic images to full 3D representations of the environment. In this thesis, we propose a suite of algorithms to create such maps. Starting with sparse representation of the 3D environment and creating compelling 3D representation of buildings. Finally we create topological maps and virtual tours through building interiors. Estimating the camera motion between two intrinsically calibrated cameras, requires a minimal of 5-point correspondences. Given additional scene information, such as the gravity direction and a dominant scene plane (the ground plane for instance), reduces the minimal number of required correspondences. For a known gravity direction, we proposed a minimal 3-point algorithm. This algorithm relies on a known common direction, which is obtained either through IMU measurements or vanishing points. If in addition a dominant plane of the scene is known, such as the ground plane, ceiling or a wall, the minimal number of correspondences required, can further be reduced to 2.5- or 2-points. Many of today s cameras use a CMOS sensor to capture light and eventually to form an image. The sensor has a peculiarity of sequentially exposing each row/column with light, also known as a rolling shutter. For moving cameras this leads to distortion artefacts. We exploit this time delay in the image formation process to estimate the position and velocity of the camera from a single image, which results in a 5-point absolute pose algorithm. vii

4 Abstract Applying dense stereo to such imagery, leads to geometrically wrong reconstructions. We propose a novel stereo algorithm that models the temporal delay in the image formation process. The obtained results are geometrically consistent and provide high fidelity to the ground truth. Indoor reconstructions are known to be challenging. The lack of light often leads to low signal to noise ratio in the image, narrow corridors provide poor visual connectivity between images, which makes the 3D reconstruction process brittle. To overcome these challenges, we propose to build virtual tours from omnidirectional imagery. Such virtual tours provide the user with a great immersive experience, without the need to build a full 3D model. viii

5 Zusammenfassung Virtuelle Navigation durch städtische Umgebungen und Innenräumen haben in über die letzten Jahre an grosser Bedeutung gewonnen. Anfangs wurden Karten in topologischer Form dargestellt um wichtige Informationen hervorzuheben, während unnötige Details ausgelassen wurden. Seitdem haben sich Karten stark weiter entwickelt und reichen von Panorama-Bilder bis hin zur 3D Darstellung der Umgebung. In dieser Arbeit schlagen wir eine Reihe von Algorithmen vor, um solche Karten zu erstellen. Wir beginnen mit der spärlichen Darstellung der 3D- Umgebung und schaffen dann detaillierte 3D Repräsentationen von Gebäuden. Schliesslich schlagen wir Algorithmen vor um topologische Karten und virtuelle Touren durch Innenräumen zu erstellen. Die Schätzung der Kamerabewegung zwischen zwei kalibrierten Kameras, benötigt ein Minimum an 5-Punktkorrespondenzen. Mit jeder zusätzlichen Szeneinformation, wie beispielsweise der Schwerkraftrichtung oder einer dominanten Szenen Ebene, kann sich die Anzahl der erforderlichen Punktkorrespondenzen reduzieren. Dazu haben wir einen minimalen 3-Punkt- Algorithmus vorgeschlagen. Dieser Algorithmus beruht auf einer bekannten gemeinsamen Richtung, die entweder durch IMU Messungen oder Fluchtpunkte gewonnen werden kann. Wenn zusätzlich eine dominante Ebene der Szene bekannt ist, wie beispielsweise die Grundebene, Decke oder Wand, kann die Anzahl von Korrespondenzen auf 2,5- oder 2-Punkten reduziert werden. Viele Kameras die heute verwendet werden, beruhen auf einem CMOS-Sensor. Der Sensor hat die Besonderheit, jede Zeile oder Spalte sequenziell zu belichten, was in der Literatur auch als Rolling-Shutter bekannt ist. Bewegt ix

6 Zusammenfassung sich die Kamera, führt diese zeitversetzte Belichtung der einzelnen Zeilen oder Spalten zu Verzerrungen im Bild. Wir nutzen diese Zeitverzögerung im Bilderzeugungsprozess, um die Position und die Geschwindigkeit der Kamera zu schätzen. Die Formulierung resultiert in einem 5-Punkt absolute Pose Algorithmus. Wendet man auf solchen Rolling-Shutter Bildern Standard Stereo Algorithmen an, entstehen dabei Rekonstruktionen die geometrisch falsch und inkonsistent sind. Wir schlagen deshalb einen neuen Stereo-Algorithmus vor, welcher die zeitlichen Verzögerung im Bilderzeugungsprozess modelliert. Die erzielten Ergebnisse sind geometrisch konsistent und bieten eine hohe Wiedergabetreue zur Ground Truth. Innen Rekonstruktionen sind bekanntlich schwierig zu realisieren. Der Lichtmangel führt häufig zu geringem Signal-Rausch-Verhältnis im Bild und enge Gänge bieten schlechte visuelle Verbindung zwischen den einzelnen Bildern. Diese Einschränkungen erschweren den 3D-Rekonstruktionsprozess. Aus diesen Gründen schlagen wir vor, virtuelle Touren aus omnidirektionalen Bilder zu realisieren. Eine solche virtuelle Tour bietet dem Anwender eine grosse eindringende Erfahrung, womit die Notwendigkeit ein vollständiges 3D-Modell zu erstellen entfällt. x