360 Welten (ToJoJa) Tobias Sperling Jonas Kiefer Jan Schnee MECM2 WS16/17

Größe: px

Ab Seite anzeigen:

Download "360 Welten (ToJoJa) Tobias Sperling Jonas Kiefer Jan Schnee MECM2 WS16/17"

Maya Vogel
vor 6 Jahren
Abrufe

1 360 Welten (ToJoJa) Tobias Sperling Jonas Kiefer Jan Schnee MECM2 WS16/17

2 Further Work Bildgewinnung und Mapping mithilfe einer C#-Anwendung für Leonie PRAXIS Darstellung des Live-Streams der Ricoh über Unity Verbindung zwischen VR Brille und SphereCam Fortsetzung Quaternionen Beispielrechnung? THEORIE All done! IU Semesterprojekt ToJoJa 2

3 Funktionsübersicht Max Auflösung Max FPS Format Dateiformat WLAN 640x Equirect MotionJPEG Livestream (HDMI) 1920x1080 / 1280x720 / 720x Dual Fisheye uncompressed YCbCr Livestream (USB) MotionJPEG 1280x720 H x1080 MotionJPEG 15 H Dual Fisheye MotionJPEG Oder H.264 (version or above) Quelle: 3

4 Mapping des Dual-Fisheye Bildes Polarwinkel (Winkel zur YZ-Ebene) Azimutwinkel (Winkel zur XZ-Ebene) ö cos sin sin cos cos Umrechnung in den dreidimensionalen Raum 4

5 Mapping des Dual-Fisheye Bildes Winkel in der XY-Ebene Winkel von Z-Achse zu Punktvektor cos ö sin Abbildungsvorschrift: Koordinaten der Abbildung 5

6 Mapping des Dual-Fisheye Bildes 6

7 Darstellung in Unity Idee: Bilder/Livestream auf Kugeltextur (Innenseite) Positionieren des Benutzers in Kugel Einfache VR-Unterstützung ausnutzen Erstellung des 3D Modells der Kugel in Blender Automatisches UV-Mapping der Textur Equirectangular Format 7

8 Darstellung in Unity Was ist mit Fisheye Format? Verzerrung und schwarze Flächen 8

9 Darstellung in Unity 1. Verfahren Angepasstes UV-Mapping für Fisheye Format Aufwendiger Abgleich in Unity 9

10 Darstellung in Unity 2. Verfahren Unity Shader Scripts um UV-Mapping vorzunehmen Abgleich der Textur während der Laufzeit möglich Pro Fischauge eine überlappende Halbkugel und Blending 10

11 Darstellung in Unity Vergleich der Ergebnisse zu den beiden Verfahren 1. Verfahren: 2. Verfahren (Blending): 11

12 Theorie Wiederholung Quaternionen Euler Rotation -> Rotationsreihenfolge entscheidend für Endpunkt, ZYX-Konvention Gimbal Lock mit Euler: -> 2 Drehachsen liegen übereinander (hier: z und x) -> hier bei Y=-90 -> Reduzierung der Freiheitsgrade! Quaternionen: -> Erweiterung des Zahlenbereichs um 3 komplexe Anteile (4D), Drehung nur noch um eine komplexe Achse Quaternionen als Ausweg bei Gimbal Lock mit Eulerwinkeln 12

1 ]*[w 2,v 2 ] = [w 1 *w 2 -v 1 *v 2,v 1 xv 2 +w 1 *v 2 +w 2 *v 1 ] Konjugation q=[w,v]-> q K =[w,-v] Betrag/Länge, Inverse IqI=(a 2 +b 2 +c 2 +d 2 ) 1/2

13 Quaternionen Rechenregeln i*j j*i i*j=k j*k=i k*i=j j*i=-k i*k=-j k*j=-i i²=j²=k²=-1 k i j Addition q 1 +q 2 = [w 1,v 1 ]+[w 2,v 2 ] = a 1 +b 1 i+c 1 j+d 1 k+a 2 +b 2 i+c 2 j+d 2 k = (a 1 +a 2 )+(b 1 +b 2 )i+(c 1 +c 2 )j+(d 1 +d 2 )k = [w 1 +w 2,v 1 +v 2 ] Multiplikation q 1 *q 2 q 2 *q 1 q 1 *q 2 = [w 1,v 1 ]*[w 2,v 2 ] = [w 1 *w 2 -v 1 *v 2,v 1 xv 2 +w 1 *v 2 +w 2 *v 1 ] Konjugation q=[w,v]-> q K =[w,-v] Betrag/Länge, Inverse IqI=(a 2 +b 2 +c 2 +d 2 ) 1/2 q -1 =q K / IqI 2 Polarform q = IqI*(cos(ϴ)+i*sin(ϴ)+j*sin(ϴ)+k*sin(ϴ)) Quaternionen benötigen teilweise Erweiterung der Rechenregeln der komplexen Zahlen 13

14 Beispiel - Quaternionen Rechenvorschriften φ = 2 arccos(a) a = cos (φ /2) v = [b,c,d] * sin (φ /2) Bildung des Einheitsquaternions q = q / IqI Rotation v R = q * v * q K v R = q 2 *(q * v * q K )*q K 2 q v = (1,2,0)=i+2j 60 um Z Achse: z q = cos(60 /2) + (0i 0j 1k)*sin(60 /2) q = cos(30 ) k * sin(30 ) IqI=1 vr = 2.23i j (2.23,0.14,0) y v v R x Live-Demo, Matlab-GUI Umrechnung zwischen Eulerwinkel und Quaternionen realisierbar, Rotationskonvektion beachten 14

15 Further Work C#-Implementierung in Leonie PRAXIS C#-Oberfläche auf Grafikkarte implementieren Abgriff der Daten von Ricoh über HDMI VR-/AR-Brillen und 360 Kameras updaten Unity Anwendung mit Zusatzinformationen in VR- Welt erweitern THEORIE Vielen Dank für Eure Aufmerksamkeit! IU Semesterprojekt ToJoJa 15

16 Back Up: Gimbal Lock 16

17 Gliederung Theorie Mapping des Dual Fisheye Bildes Quaternionen Praxis Programm zur Bildgewinnung der Ricoh Theta S Sphere Cam meets VR Zukunft Further Work 17

Ähnliche Dokumente

Seminar SS 2006 Intelligent Virtual Characters

Seminar SS 2006 Intelligent Virtual Characters Leiter: Dr. Michael Kipp Johannes Tran Character Animation Materials by Jeff Lander, John Lasseter and Rick Parent Überblick Einführung: Bewegung, Computer