Eckehard Steinbach Fachgebiet Medientechnik. Technische Universität München. EIKON e.v. Jahresversammlung

Transkript

1 Bildbasierte 3D Welten Eckehard Steinbach Fachgebiet Medientechnik Lehrstuhl für Kommunikationsnetze Technische Universität München EIKON e.v. Jahresversammlung

2 Traditionell: Geometrische Szenenmodellierung DC Polygone Quelle: 2

3 Geometrie-basierte 3D Welten Reale Welt Computer Vision 3D Modelle Computer Graphik Virtuelle Ansichten Quelle: Shum et al., Springer

4 3D Rekonstruktion realer Objekte Kamera 1 Kamera N Kamera 2 3D Modell 4

5 Limitierungen Feine geometrische Strukturen Transparente Objekte Spiegelnde Oberflächen 5

6 Bildbasierte 3D Welten Bildbasiertes Rendering Reale Welt Computer Vision 3D Modelle Computer Graphik Virtuelle Ansichten Quelle: Shum et al., Springer

7 Die Matrix: Bullet Time Walk Through Quelle: 7

8 Video 1 Quelle: 8

9 Video 2 Quelle: 9

10 Plenoptische Funktion Adelson and Bergen, MIT Press, dimensionale Funktion, die das Licht in einer Szene beschreibt als Funktion der Wellenlänge λ (1 Freiheitsgrad) an jeder Stelle im Raum x,y,z (3 Freiheitsgrade) in jede Richtung φ, θ (2 Freiheitsgrade) und zu jeder Zeit (1 Freiheitsgrad) 10

11 Aufnahme: Omnidirektionale Kamera Quelle: 11

12 Aufnahme: Lichtfeld-Kameraarray 16x8 Kameras Quelle: Stanford University 12

13 TRIVIS (TRIfocal VISion) Akquisitionsgerät für unstrukturierte bildbasierte Szenen am Fachgebiet Medientechnik - USB video cameras (1280*1024) - Laser-Line-Scanner /0.5 resolution - 50 Scans/second 13

14 TRIVIS Lichtfeldakquisition Lichtfelddarstellung ohne Geometrie Szenendarstellung mit Geometrie und Texturemapping Lichtfelddarstellung mit Geometrieunterstützung 14

15 Akquisition bildbasierter Szenen DV camera ~2m Motor + Getriebe Laser scanner 15

16 Aufnahme eines konzentrischen Mosaiks Kamerapfad Szene/Objekt r 16

17 Aufnahme eines konzentrischen Mosaiks Kamerapfad Szene/Objekt r Neue Ansicht 17

18 Aufnahme eines konzentrischen Mosaiks Kamerapfad Szene/Objekt r Neue Ansicht 18

19 Aufnahme eines konzentrischen Mosaiks Kamerapfad Szene/Objekt r Neue Ansicht 19

20 Aufnahme eines konzentrischen Mosaiks Kamerapfad Szene/Objekt r Neue Ansicht 20

21 Beispiel Fotorealistische interaktive Navigation 21

22 Stereodarstellung Kamerapfad Szene/Objekt linkes Auge 6cm rechtes Auge 22

23 Kombination mit Tiefeninformation 3D Zeilen-Laserscanner 23

24 Kombination mit Tiefeninformation Beispiel: Stereopanorama Akquisition Tiefeninformation: 3D Laserscanner RGB und Z für jedes Pixel 24

25 Beispiel: Stereopanorama 25

26 Anwendung: Aufmerksamkeitssteuerung CoTeSys (Sprecher: Prof. M. Buss) Projektpartner: Prof. Darius Burschka, Informatik Internes Modell Prädiktion Bildbasierte Szenenbeschreibung Überraschungs- karte Beobachtung 26

27 Szenenbeschreibung Referenzbilder Blickpunktabhängige Geometrieapproximation 27

28 Beispiel (Automatica 2008) 28

29 Ausblick Vollautomatische Akquisition Beleuchtungsinvariante Szenenbeschreibungen Dynamische Modelle Verknüpfung mit kognitiven Prozessen auf höherer Ebene Symbolische Wissensrepräsentation Aktionsplanung 29

30 Zusammenfassung Bildbasierte 3D Welten Referenzbilder + blickpunktabhängige Geometrie Plenoptische Funktion und deren Approximation Kompromiss zwischen Aufnahmekomplexität und Bewegungsfreiheit Anwendung in kognitiven technischen Systemen Aufmerksamkeitssteuerung 30