Technologies for Next Generation Telepresence

Transkript

1 Diss. ETH No Technologies for Next Generation Telepresence A thesis submitted to attain the degree of DOCTOR OF SCIENCES of ETH ZURICH (Dr. sc. ETH Zurich) presented by CLAUDIA PIA KUSTER MSc ETH Computer Science, ETH Zurich born on citizen of Thalwil (ZH), Switzerland accepted on the recommendation of Prof. Dr. Markus Gross, examiner Prof. Dr. Craig Gotsman, co-examiner Prof. Dr. Tiberiu Popa, co-examiner 2015

2 Abstract Communication over long distances is a cornerstone of our globalized society, with implications in many aspects of everyday life. Modern video conferencing applications are widely available and have radically changed the way we work, collaborate and communicate. However, compared to a face-to-face conversation, the sense of presence is still limited in electronic communication. Reasons for this include lack of 3D perceptual cues, limited body language, discontinuity of the physical environments, cropped or resized views of the participants, and missing eye contact. In this thesis, we investigate approaches to address these challenges. We develop technologies to overcome the discrepancy between communication in real life and over an electronic link. First, we describe two complete pipelines for acquisition, reconstruction and rendering of live 3D video. We capture dynamic scenes with setups of multiple color and depth sensors, and propose algorithms for efficient processing and fusion of their data streams. Furthermore, we extend the traditional framework of Moving Least Squares (MLS) surfaces to the context of live 3D acquisition with hybrid (color+depth) sensor setups. The MLS methodology, together with a point-based data representation, allows for unified, spatio-temporal reconstruction and seamlessly fuses color and geometric information. A consistent 3D representation of captured scenes can be used for novel view synthesis, which allows rendering from arbitrary viewpoints. The proposed processing runs at interactive frame rates and directly enables applications in 3D teleconferencing. Integrating the developed algorithms for fusion of hybrid data, we present a fully functioning prototype system for live 3D teleconferencing. Users are captured in 3D by color and depth sensors, and displayed on a life-size transparent 3D display. With this setup, we create an immersive user experience by seamlessly embedding remote participants into the local environment, enabling 3D spatial awareness, body language, and binocular parallax for remote communication. Finally, we address the problem of missing eye contact in video conferencing, caused by the disparity between the viewing direction of the user and the camera. We first present a gaze correction approach using a single color+depth camera, and then extend it for standard webcams. At the heart of our system lies a fast, multiperspective rendering algorithm. A novel view of the subject s face with the correct iii

3 gaze is generated and seamlessly transferred into the original color image. This results in an image with improved eye contact and no missing pixels or noticeable visual artifacts. All processing is done in real-time as the video is streamed. Our system is suited for mainstream video conferencing and brings gaze correction to the consumer level. iv

4 Zusammenfassung Die Möglichkeit, über grosse Distanzen zu kommunizieren gehört zu den Grundpfeilern unserer globalisierten Gesellschaft und hat Auswirkungen auf viele Aspekte des täglichen Lebens. Moderne Videotelefonie-Anwendungen sind weit verbreitet und haben die Art und Weise, wie wir zusammenarbeiten und kommunizieren grundlegend verändert. Allerdings ist elektronische Kommunikation mit den heutigen Möglichkeiten noch nicht mit einer persönlichen Begegnung im realen Leben vergleichbar. Zu den Gründen dafür gehören fehlende 3D Wahrnehmnung, nur beschränkt übermittelbare Körpersprache, keine gemeinsame Umgebung der Kommunikationspartner und fehlender Blickkontakt. In dieser Dissertation suchen wir nach Ansätzen, um diese Einschränkungen zu überwinden. Wir entwickeln Technologien, um die Diskrepanz zwischen Kommunikation im realen Leben und elektronischer Kommunikation zu verringern. Als Erstes beschreiben wir zwei komplette Pipelines für Erfassung, Rekonstruktion und Darstellung von 3D Video. Wir erfassen dynamische Szenen mit einer Kombination von mehreren Farb- und Tiefensensoren und entwickeln Algorithmen, um deren Daten effizient zu bearbeiten und zusammenzuführen. Ausserdem erweitern wir die traditionelle Moving Least Squares (MLS) Methode für die Anwendung mit hybriden (Farb- und Geometrie-) Daten. Die MLS Methodik, zusammen mit einer Punktbasierten Datenrepräsentation, erlaubt ganzheitliche, raum-zeitliche Rekonstruktion unter dem Einbezug von Farbe und Geometrie der erfassten Szenen. Mithilfe einer konsistenten 3D Repräsentation können die Szenen von neuen Blickwinkeln dargestellt werden, welche nicht denen der Kameras entsprechen. Dank effizienter Bearbeitung der Daten kann das Ergebnis direkt für 3D Telekommunikation eingesetzt werden. Wir integrieren die entwickelten Algorithmen für die Fusion hybrider Daten in ein komplett funktionstüchtiges Prototyp System für Echtzeit-3D-Telekommunikation. Benutzer werden von Farb- und Tiefensensoren erfasst und auf einem lebensgrossen, transparenten 3D Display dargestellt. Dieser Aufbau ermöglicht die direkte Einbindung von entfernten Kommunikationspartnern in die lokale Umgebung und damit ein immersives und lebensechtes Videotelefonie-Erlebnis. Schliesslich behandeln wir das Problem des fehlenden Augenkontakts in der Videotelefonie, verursacht durch den Winkel zwischen der Blickrichtung des Benutzers und der Kamera. Wir zeigen eine Blick-Korrektur Methode für eine Farb- + Tiefenkamv

5 era und erweitern diese dann für herkömmliche Webcams. Unserem System liegt ein multi-perspektivischer Darstellungs-Algorithmus zugrunde. Eine neue, rotierte Ansicht des Gesichts, in welcher der Blick korrekt ist, wird automatisch erzeugt und nahtlos ins Originalbild eingefügt. Dadurch entsteht in Echtzeit ein Ausgabebild mit verbessertem Augenkontakt, wo sowohl der Gesichtsausdruck des Benutzers, als auch der Bildhintergrund erhalten bleiben. Unser System ist geeignet für gängige, weitverbreitete Videotelefonie Systeme und ermöglicht Blick-Korrektur für ein breites Publikum. vi