Stereoskopisches 3D Gaming

Transkript

1 PRIME Symposium BERLIN Stereoskopisches 3D Gaming Jonas Schild Lehrstuhl für Medieninformatik und Entertainment Computing

2 Universität Duisburg Essen Lehrstuhl Medieninformatik Entertainment Computing Prof. Dr. Ing. Maic Masuch Forschung und Lehre zu Game Development seit >13 Jahren, >150 Games Est. 2008, führender Informatiklehrstuhl mit Fokus auf Digitalen Spielen Team mit Industrie Background im kommerziellen Game Development Industriekooperationen PRIME Konsortium Middleware Hersteller: Trinigy, Xaitment, Crytek, Nevigo, etc. Forschung Entertainment Computing

3 S3D Gaming Windows PC Automatische Treiber wandeln Spiele in 3D um (Nvidia 3D Vision, i TiD TriDef, etc.) Benötigen 120 Hz Display + Shutterbrille Sony Playstation 3 3D Support via HDMI 1.4, 3DTV Gerät Wenige aktuelle Spiele und einige ältere 3D fähig Nintendo 3DS Autostereo 3D Display, Stereo Kamera 3D Effekt einstellbar Herausforderungen Einstellungen 3D Effekt erforderlich Optionaler 3D Effekt vs. 3D spezifische Spielkonzepte Performance + MarCom Quelle: Nintendo, 2011

4 S3D Gaming im PRIME Projekt Ziel: Neue Möglichkeiten durch 3D Film in 3D Spielen aufzeigen Mehrverwertung von 3D Film in Digitalen Spielen 1. Untersuchung neuer S3D Video + Gaming Möglichkeiten 3D Interaktion Interaktive Filme in 3D Interaktives 3D Kino 2. Entwicklung der nötigen Technologien Einbindung von 3D Video in Games MSVR Verfahren 3. Demonstrator: YouDash 3D

5 Neue S3D Gaming Möglichkeiten 3D Interaktion Stereoskopisches Sehen verbessert Wahrnehmung Prototyp 3D Crime Scene Investigation Game Design: Tiefenbasierte Interaktion, wie tut man etwas? 3D Interactive Movies Full Motion Video Games in den 1990er Jahren Neues Potenzial durch tiefenbasierte 3D Formate: Video Plus Depth, Depth Enhanced Stereo Cross Media Produktionen Erfordert frühzeitige Abstimmung der Produktionen

6 Interaktives 3D Kino 3D Projektion in vielen Kinos Zusätzliche Veranstaltungen in 3D Kinos attraktiv Neue Verwertungsmöglichkeiten: 3D Crowd Gaming Kinosaal R L L e i n w a n d Virtuelle Szene Game Design Konzepte Ermöglicht AdHoc Play Product Placement Live Video Stereo Effekte

7 3D Video am Desktop PC Desktop PC 3D Kamera Video R L D i s p l a y Virtuelle Szene Multi pass Stereoscopic Video Rendering Game Engine Game Engine Echtzeit Erzeugung einer virtuellen Szene Verarbeitung der Spieler Eingabe Game Logik Physik, Grafik, Sound, KI MSVR Erweiterung Einpassung und Darstellung von 3D Video in Game Engine

8 Multi pass Stereoscopic Video Rendering Stereo Surface Occlusion Mesh Trinigy Vision Game Engine Backbuffer MSVR Erweiterung Stereoskopisches Rendern von unterschiedlichen Views auf nicht professionellen Grafikkarten Einpassung und Darstellung von 3D Video Anpassung der Parallaxe und Cropping Kollision und Verdeckung virtueller Objekte mit 3D Video Echtzeit Performance 3D Vision Rendering Schild, J., Seele, S., Fischer, J., Masuch, M.: Multi pass Rendering of Stereoscopic Video on Consumer Graphics Cards. In Proc. of the SIGGRAPH Symposium on Interactive 3D Graphics and Games (i3d 2011). San Francisco, CA, USA, ACM, Feb 18 21, 2011

9 Demonstrator: YouDash 3D Tiefenbasiertes 3D Wettrennen Bewegungs egu gs und Tiefenbasierte ee baseteinteraktion t Automatische Anpassung Video Parallaxe System Fraunhofer IIS MicroHD Stereo Rig DVS Centaurus II Capture Karte Gaming PC: Quad Core, 4 GB, Geforce Grafikkarte Echtzeit Rendering + Videostream 2 x FullHD 1080p24 + Trinigy Vision Game Engine + MSVR + 3D Vision in 2 x 1080p + Bewegungserkennung mit OpenCV >25 fps!!!

10 YouDash 3D

11 YouDash 3D

12 YouDash 3D

13 YouDash 3D

14 YouDash 3D

15 Fazit und Ausblick Demonstrator: YouDash 3D MSVR: Lösung zur Einbindung von 3D Video in Echtzeit Game Engines 3D Film und S3D Gaming eröffnen neue Game Design Möglichkeiten 3D Film als Game relevanter Inhalt In Zukunft: 3D Interaktion, i3d Kino, aus Film generierte 3D Umgebungen Gemeinsame Herausforderungen von Film und Game Produktionen Abstimmungvon Cross MediaProduktionen 3D Bildregie und Kamera Einstellungen (fix im Film, dynamisch im Spiel) Künstliche Tiefeneffekte, nicht lineares Tiefenbudget Tiefen Darstellung von Einblendungen, Untertiteln, Info Boxen Mehrwert von 3D in Spielen Messung über Game Experience, Versuche laufen Vorl. Ergebnisse: Gesteigertes Erleben von Immersion und Flow

16 Vielen Dank für Ihre Aufmerksamkeit Kontakt due.de due.de