Virtuelle Realität und. S. Müller U N I V E R S I T Ä T KOBLENZ LANDAU

Transkript

1 (3) Tracking Vorlesung Virtuelle Realität und Augmented Reality S. Müller KOBLENZ LANDAU

2 Wiederholung I: Ausgabegeräte HMD: head mounted Display Datenhelm, Datenbrille LCD/TFT, CRT HCD: head coupled Display Boom Autostereoskopische Displays Holographische Displays Ultimati: keine Mattscheibe in eine irtuelle Welt, sondern ein Fenster Berechnung einer LVK Ausgabe einer LVK Projektoren LCD/TFT DLP (Digital Light Processing), Micromirrors Laserprojektion Projektionsarten Aufprojektion Rückprojektion Stereoprojektion Anaglygh Akti, Shutter Passie Projektion Linear, circular polarisiert Infitec KOBLENZ LANDAU S. Müller - 2 -

3 Wiederholung II: Stereoprojektion Heute am häufigsten eingesetzt Passi: 2 Projektoren Polarisation oder Infitec Billige Brillen Mehr Licht Akti: 1 Projektor Shutterbrillen Teure Brillen Wenig Licht Rückprojektion Geringere Hot Spots Keine Verschattung Braucht mehr Platz ( nach hinten ) Aufprojektion Hot Spots Verschattung Räumlich oft die einzige Möglichkeit Oft werden mehrere Leinwände nebeneinander angebracht (z.b. 8m x 3 m) ( Powerwall ) KOBLENZ LANDAU S. Müller - 3 -

4 Stereoleinwände Großprojektionen Cured Screens, Panoramaprojektionen KOBLENZ LANDAU S. Müller - 4 -

5 Projektion mit/ohne Tracking Man muss für die 2 Augen eine Position/Blickrichtung annehmen Z.B. Mitte des Auditoriums Eindruck umso schlechter, je weiter man sich on diesem Optimalpunkt entfernt Alternati: man erfasst die Position/Orientierung des Betrachters ( Tracking ) und berechnet die Bilder für seine tatsächliche Augposition Vorteil: holographischer Eindruck Nachteil: Ein-Personen-Display KOBLENZ LANDAU S. Müller - 5 -

6 Workbench Aktie, getrackte Rückprojektion Alternati: passi mit Circularpolarisation oder Infitec Passi mit Linearpolarisation ist nicht möglich, da man unter erschiedenen Richtungen auf den Tisch sehen kann Erweiterung: 2-Personen durch Mehrfachshuttering (P1 links, P1 rechts, P2 links, P2 rechts ). Problem Flackern bei 3 Hz. KOBLENZ LANDAU S. Müller - 6 -

7 Holobench Aktie, getrackte Rückpro auf 2 aufeinander senkrecht stehenden Leinwände Großer Field-of-iew, sehr immersi KOBLENZ LANDAU S. Müller - 7 -

8 CAVE Cae Automatic Virtual Enironment Anfangs aktier, getrackter Rückprojektions Würfel Anfang 3,4,5 und inzwischen 6 Seiten CAVEs Faszinierendste und teuerste 1-Personen-Display der Welt. Inzwischen auch passie Lösungen (mit schwarzen Leinwänden) 5-Seiten CAVE: 1 Bilder pro Zeiteinheit KOBLENZ LANDAU S. Müller - 8 -

9 3-Seiten Cae Spiegelanordnung KOBLENZ LANDAU S. Müller - 9 -

10 5-Seiten Cae 6-Seiten C Cae, Alborg, DK KOBLENZ LANDAU S. Müller - 1 -

11 Rechnerbetrieb Früher/Heute Betrieb mit Multi-Pipe SGI ONYX-Maschinen (infinite reality) Kosten: > 1 Mio Euro Aktuell PC-Cluster Z.B. 5-Seiten CAVE, passi: 1+1 PCs Kosten: 11*aktueller ALDI Preis (ca. 2. Euro) KOBLENZ LANDAU S. Müller

12 Heye Wall Motiation: die Bildauflösung hat sich in den letzte 2 Jahren nicht wirklich erändert (ca. Faktor 2-4) Einfache Projektoren sind billig Zusammenstellung eine gekachelten Bildes mit Hilfe ieler Projektoren NCSA: 4 x 5 Wall, mono KOBLENZ LANDAU S. Müller

13 Tiled Wall HEyeWall (IGD Darmstadt): 6 x 4 Meter Stereo Projektion 6 x 4 Bilder in Stereo (Auflösung 124 x 768/Teilbild) 48 Projektoren PC-Cluster (48+1 PCs) OpenSG Gesamtauflösung 6144 x 396 Pixel Sehr hell under construction KOBLENZ LANDAU S. Müller

14 Zusammenfassung Displays Monitore HMDs HCDs Autostereoskopische, holographische Displays Projektionen Unterscheidung on VR- Projektionen IPTs Akti/passi Aufpro/Rückpro Getrackt/ungetrackt Passi: linear oder circular polarisiert; Infitec LCD/TFT DLP Stereoleinwände Laser Workbench/Holobench CAVE Heye Wall KOBLENZ LANDAU S. Müller

15 Wiederholung III Großbildprojektionen Unterscheidung on VR- Projektionen Powerwall Cured Screens Akti/passi Aufpro/Rückpro IPTs Getrackt/ungetrackt Passi: linear oder circular polarisiert; Infitec Stereoleinwände Workbench/Holobench CAVE Heye Wall KOBLENZ LANDAU S. Müller

16 KOBLENZ LANDAU Tracking

17 Tracking Unter Tracking ersteht man so etwas wie erfolgen oder genauer: in seiner Position und Orientierung erfassen Tracking ist eine der wichtigsten Basistechnologien für VR und AR Es wird z.b. gebraucht zu: Wo ist der Kopf des Betrachters und wohin schaut er (Grundlage des Rendering) Wo ist die Hand und wie ist sie orientiert (Grundlage der 3D-Interaktion) Es gibt eine Reihe on Sensortechniken für Tracking KOBLENZ LANDAU S. Müller

18 Tracking: Unterscheidung Grobtracking Actie Badges / Reader Infrarot Baken GPS WLAN Positioning (Elektr. Kompass) Feintracking Elektro-Magnetisch Mechanisch Ultraschall Trägheit Optisch Laser Hybrid Wichtiger Begriff: DOF Degrees of freedom, Freiheitsgrade Position und Orientierung: 6 DOF KOBLENZ LANDAU S. Müller

19 Personal Badges I werden wie ein Namensschild getragen aussenden eines Infrarot-Signal (alle 6 sec.) Reader empfangen Signal Empfang bis 2 m direkter Sichtkontakt nötig KOBLENZ LANDAU S. Müller

20 Personal Badges II Senden on Badge-Code und Reader-Nr. an Serer Speicherung in Datenbank Maschine 3 Maschine 2 Maschine 1 KOBLENZ LANDAU S. Müller - 2 -

21 Infrarot Baken Baken senden kontinuierlich im Infrarotbereich (85-9nm) Empfang über Infrarot-Schnittstelle am mobilen Gerät Maschine 3 Maschine 2 Maschine 1 KOBLENZ LANDAU S. Müller

22 GPS GPS Messen on Satellitensignalen Nur Position + großer Aktionsradius ( out-door ) - sehr geringe Präzision - Line of Sight Problem: man braucht Sichtkontakt zum Satelliten KOBLENZ LANDAU S. Müller

23 WLAN Positioning Beispiel: Ekahau Positioning Engine Idee: man geht durch ein Gebäude, erfasst die aktuelle Position aus Karten und misst die Empfangsstärkern der WLAN-Sender mit der WLAN-Karte Mit dieser Tabelle kann man dann über die WLAN-Karte umgekehrt die Position erfassen Genauigkeit it ca. einige i Meter Ausgleich on Ungenauig- keiten durch die hinterlegten Karten (nicht durch Etagen springen ) KOBLENZ LANDAU S. Müller

24 Elektronischer Kompass Liefert zumindest eine horizontale Orientierung Orientiert sich am Magnetfeld der Erde Digitale Schnittstelle zur Anbindung der Applikation KOBLENZ LANDAU S. Müller

25 Mechanisch Vorteile: Präzision Keine Latenz Keine Störung durch Metall Nachteile: Unbequem Reichweite "tote" Winkel Festmachen am Körper Kalibrierung Trägheit high instrumentation of the enironment Einh.matrix am Anfang Fest (Decke) Gelenk 2 Gelenk n Gelenk 1 HMD Trafo des Endes KOBLENZ LANDAU S. Müller

26 Mechanisches Tracking KOBLENZ LANDAU S. Müller

27 Akustisch Ähnlich zu Echolot 1 Ultraschall-Quelle 3 Empfänger (für 3 DOF) Laufzeit Position Vorteile: Billig Nachteile: Echos Line-of-sight 3 Sender für 6DOF Geringe Reichweite Schallgeschwindigkeit hängt ab on Lufttemperatur KOBLENZ LANDAU S. Müller

28 Elekto-Magnetisch Polhemus FastTrak Ascension (MotionStar, Flock-of-birds) KOBLENZ LANDAU S. Müller

29 Elektro-magnetisch Sender stationär, Empfänger = Sensor Langwelliges Feld, Phasenerschiebung zwischen gesendetem u. empfangenem Signal Entfernung 3 Spulen im Sender (3 ersch. Frequenzen), pro Sensor 3 Empfängerspulen orthogonal zueinander, 9 empfangene Feldstärken Vorteile: Kleine Sensoren Reichweite eite 3m (auch mehr) Nachteile: Kabel Fremdmetall stört Rauschen KOBLENZ LANDAU S. Müller

30 Elektro-magnetische Verzerrung KOBLENZ LANDAU S. Müller - 3 -

31 Trägheitssensoren (Intersense) KOBLENZ LANDAU S. Müller

32 Trägheitssensoren (Intersense) Alle anderen Sensoren brauchen einen Sender und einen Empfänger Das einzige, autonome Trackinggerät bieten Trägheitssensoren Engl.: intertia, auch gyro Misst Trägheit, also eine Kraft Daraus wird die Beschleunigung in eine Richtung ermittelt Positionsbestimmung durch 2- fache Integration Daraus akkumuliert sich quadratischer Fehler Vorteile: Kein Sender nötig Klein Nachteile: Drift (genaue Ergebnisse nur in Zeitscheiben on Sekunden) Braucht Stützung, also absolute Position ca. in Sekunden Kombination mit Ultraschall KOBLENZ LANDAU S. Müller

33 Optisches Tracking Mit Abstand die präziseste (und teuerste) Lösung Man unterscheidet 2 Varianten: Out-side-in Externe Kameras ( out-side- in Kameras am Körper ( in- side-out ) Man erfolgt aktie oder passie Marker am Körper durch extern aufgestellte Kameras In-side-out Man erfolgt aktie oder passie Marker in der Umgebung durch Kameras am Körper KOBLENZ LANDAU S. Müller

34 Optisches Tracking: out-side-in in Aktie Marker Leuchtende Punkte (meist LEDs) werden am Körper angebracht Im Kamerabild werden die hellen Punkte gesucht Identifikation der Marker: für jedes Bild leuchtet nur ein Marker Oder jeder Marker sendet einen Binär- Code ; Idenfikation nur aus Bilderfolge Vorteil: sehr präzise Nachteil: Aktie Marker haben Kabel, Line-of-Sight Flashpoint KOBLENZ LANDAU S. Müller

35 Optisches Tracking: out-side-in in Passie Marker Um die (Infrarot-)Kamera herum sind Infrarot-Blitze Kugeln werden mit retroreflektierter Schicht überzogen Im Bild sucht man die hellen Punkte Problem: Identifikation der Marker nur aus geometrischer Anordnung der Marker ( rigid bodies ) Vorteil: A.R.T Kabellos, super präzise KOBLENZ LANDAU S. Müller

36 Beispiele Technologie kommt oft aus Motion-Capturing 1Marker Position 3 Marker ("rigid body") Position u. Orientierung Standard-Technik für Body- Tracking in Animationsstudios u. für manche Spiele KOBLENZ LANDAU S. Müller

37 Optisches Tracking: in-side-out Die Kamera ist am Körper angebracht Sehr wichtige Methode or allem für AR In der Umgebung werden (meist passie) Marker angebracht ( Fiducial ) Rekonstruktion der Kameraparameter (intern/extern) aus Bildern (1 Marker genügt!) Hoffnung: markerloses Tracking KOBLENZ LANDAU S. Müller

38 Lasertracker Erste Produkte auf dem Markt + sehr hohe Auflösung - sehr teuer - line of sight - nur Position KOBLENZ LANDAU S. Müller

39 Zusammenfassung VR Typischerweise eingeschränkter Aktionsradius Das beste Preis-/Leistungs- erhältnis für eine VR-Labor bieten immer noch die elektromagnetischen Tracker Die beste Präzision erreicht man auf jeden Fall mit optischen Trackern mit fest montierten Kameras allerdings zu sehr hohem Preis AR Oft ist der Aktionsradius auch eine Halle oder outdoor Die präzisesten Ergebnisse liefern optische Tracker; alle anderen sind für AR untauglich Eine wirklich gute Lösung ist noch nicht gefunden; oft arbeitet man mit in-side-out und passien Marker Extremer Wunsch: Tracking ohne Marker KOBLENZ LANDAU S. Müller

40 Koordinatentransformation P y x z A w u Beispiel: Trackingsensor steht or der Leinwand bei Position A mit Koordinatenachsen u,, w. Die Welt sei mit Ursprung in der Mitte or der Leinwand und den Achsen x, y, z. definiert. Gemessen wird der Punkt P in Trackerkoordinaten KOBLENZ LANDAU S. Müller - 4 -

41 A w 1. Schritt Translation u p uw P p xyz d y x z Man muss den Vektor, den Ursprung und die Achsen der Welt in Trackerkoordinaten kennen bzw. ausmessen Translation: Man misst Man kennt Man sucht p p uw d xyz pu = p pw du d dw px = py pz = KOBLENZ LANDAU S. Müller

42 2 Schritt: Rotation 2. Schritt: Rotation Man kennt die Koordinatenachsen der Welt in Trackerkoordinaten Basisektoren als Zeilen in die Matrix in Trackerkoordinaten x y z u w u x p x x x p = w u x x x x = w u y y y y = w u z z z z = u w u w u y x p p z z z y y y p p w w w y x w w u z p z z z p x z u w z KOBLENZ LANDAU S. Müller

43 Zusammen Zusammen Erst Translation, dann Rotation 1 d = 1 1 u u w u w u y x p p d d y y y x x x p p = w w w u z p d z z z p Bei Koordinatentransformationen wird oft auf die 4x Matrix erzichtet. Die Translation wird als Vektor aufaddiert und die Rotation als 3x3 Matrix ausgeführt. KOBLENZ LANDAU S. Müller

44 Was macht man mit der Orientierung? Wichtig, man muß genau wissen, was die gemessenen Winkel bedeuten und wie sie zu interpretieren sind. Manchmal erwendet: Eulerwinkel. Drehe zuerst um die z-achse, dann um die y-achse, schließlich um x- Achse R ( α, β, γ ) = R ( α) R ( β ) R ( γ ) x y y ' x ' x' = R( α, β, γ ) x x z y' = R α, β, γ ' z' = α, β,γγ z ( ) y R( ( ) z KOBLENZ LANDAU S. Müller y z

45 Orientierung Orientierung Möglichkeit zur Darstellung der Koordinatenachsen in Weltkoordinaten: die gedrehten Vektoren transformieren. (z.b. u-achse) R( ) d d y y y x x x u w u w u β 1 1 ' R( ) u d z z z y y y x w w u w u = γ β α,, ' 1 1 KOBLENZ LANDAU S. Müller