(3) Tracking Vorlesung Virtuelle Realität und Augmented Reality S. Müller KOBLENZ LANDAU
Wiederholung I: Ausgabegeräte HMD: head mounted Display Datenhelm, Datenbrille LCD/TFT, CRT HCD: head coupled Display Boom Autostereoskopische Displays Holographische Displays Ultimativ: keine Mattscheibe in eine virtuelle Welt, sondern ein Fenster Berechnung einer LVK Ausgabe einer LVK Projektoren LCD/TFT DLP (Digital Light Processing), Micromirrors Laserprojektion Projektionsarten Aufprojektion Rückprojektion Stereoprojektion Anaglygh Aktiv, Shutter Passive Projektion Linear, circular polarisiert Infitec KOBLENZ LANDAU S. Müller - 2 -
Wiederholung II: Stereoprojektion Heute am häufigsten eingesetzt Passiv: 2 Projektoren Polarisation oder Infitec Billige Brillen Mehr Licht Aktiv: 1 Projektor Shutterbrillen Teure Brillen Wenig Licht Rückprojektion Geringere Hot Spots Keine Verschattung Braucht mehr Platz ( nach hinten ) Aufprojektion Hot Spots Verschattung Räumlich oft die einzige Möglichkeit Oft werden mehrere Leinwände nebeneinander angebracht (z.b. 8m x 3 m) ( Powerwall ) KOBLENZ LANDAU S. Müller - 3 -
Stereoleinwände Großprojektionen Curved Screens, Panoramaprojektionen KOBLENZ LANDAU S. Müller - 4 -
Projektion mit/ohne Tracking Man muss für die 2 Augen eine Position/Blickrichtung annehmen Z.B. Mitte des Auditoriums Eindruck umso schlechter, je weiter man sich von diesem Optimalpunkt entfernt Alternativ: man erfasst die Position/Orientierung des Betrachters ( Tracking ) und berechnet die Bilder für seine tatsächliche Augposition Vorteil: holographischer Eindruck Nachteil: Ein-Personen-Display KOBLENZ LANDAU S. Müller - 5 -
Workbench Aktive, getrackte Rückprojektion Alternativ: passiv mit Circularpolarisation oder Infitec Passiv mit Linearpolarisation ist nicht möglich, da man unter verschiedenen Richtungen auf den Tisch sehen kann Erweiterung: 2-Personen durch Mehrfachshuttering (P1 links, P1 rechts, P2 links, P2 rechts ). Problem Flackern bei 30 Hz. KOBLENZ LANDAU S. Müller - 6 -
Holobench Aktive, getrackte Rückpro auf 2 aufeinander senkrecht stehenden Leinwände Großer Field-of-view, sehr immersiv KOBLENZ LANDAU S. Müller - 7 -
CAVE Cave Automatic Virtual Environment Anfangs aktiver, getrackter Rückprojektions Würfel Anfang 3,4,5 und inzwischen 6 Seiten CAVEs Faszinierendste und teuerste 1-Personen-Display der Welt. Inzwischen auch passive Lösungen (mit schwarzen Leinwänden) 5-Seiten CAVE: 10 Bilder pro Zeiteinheit KOBLENZ LANDAU S. Müller - 8 -
3-Seiten Cave Spiegelanordnung KOBLENZ LANDAU S. Müller - 9 -
5-Seiten Cave 6-Seiten Cave, Alborg, DK KOBLENZ LANDAU S. Müller - 10 -
Rechnerbetrieb Früher/Heute Betrieb mit Multi-Pipe SGI ONYX-Maschinen (infinite reality) Kosten: > 1 Mio Euro Aktuell PC-Cluster Z.B. 5-Seiten CAVE, passiv: 10+1 PCs Kosten: 11*aktueller ALDI Preis (ca. 20.000 Euro) KOBLENZ LANDAU S. Müller - 11 -
Heye Wall Motivation: die Bildauflösung hat sich in den letzte 20 Jahren nicht wirklich verändert (ca. Faktor 2-4) Einfache Projektoren sind billig Zusammenstellung eine gekachelten Bildes mit Hilfe vieler Projektoren NCSA: 4 x 5 Wall, mono KOBLENZ LANDAU S. Müller - 12 -
Tiled Wall HEyeWall (IGD Darmstadt): 6 x 4 Meter Stereo Projektion 6 x 4 Bilder in Stereo (Auflösung 1024 x 768/Teilbild) 48 Projektoren PC-Cluster (48+1 PCs) OpenSG Gesamtauflösung 6144 x 3096 Pixel Sehr hell under construction KOBLENZ LANDAU S. Müller - 13 -
Zusammenfassung Displays Monitore HMDs HCDs Autostereoskopische, holographische Displays Projektionen LCD/TFT DLP Laser Unterscheidung von VR- Projektionen IPTs Aktiv/passiv Aufpro/Rückpro Getrackt/ungetrackt Passiv: linear oder circular polarisiert; Infitec Stereoleinwände Workbench/Holobench CAVE Heye Wall KOBLENZ LANDAU S. Müller - 14 -
Wiederholung III Großbildprojektionen Powerwall Curved Screens Unterscheidung von VR- Projektionen IPTs Aktiv/passiv Aufpro/Rückpro Getrackt/ungetrackt Passiv: linear oder circular polarisiert; Infitec Stereoleinwände Workbench/Holobench CAVE Heye Wall KOBLENZ LANDAU S. Müller - 15 -
KOBLENZ LANDAU Tracking
Tracking Unter Tracking versteht man so etwas wie verfolgen oder genauer: in seiner Position und Orientierung erfassen Tracking ist eine der wichtigsten Basistechnologien für VR und AR Es wird z.b. gebraucht zu: Wo ist der Kopf des Betrachters und wohin schaut er (Grundlage des Rendering) Wo ist die Hand und wie ist sie orientiert (Grundlage der 3D-Interaktion) Es gibt eine Reihe von Sensortechniken für Tracking KOBLENZ LANDAU S. Müller - 17 -
Tracking: Unterscheidung Grobtracking Active Badges / Reader Infrarot Baken GPS WLAN Positioning (Elektr. Kompass) Feintracking Elektro-Magnetisch Mechanisch Ultraschall Trägheit Optisch Laser Hybrid Wichtiger Begriff: DOF Degrees of freedom, Freiheitsgrade Position und Orientierung: 6 DOF KOBLENZ LANDAU S. Müller - 18 -
Personal Badges I werden wie ein Namensschild getragen aussenden eines Infrarot-Signal (alle 60 sec.) Reader empfangen Signal Empfang bis 20 m direkter Sichtkontakt nötig KOBLENZ LANDAU S. Müller - 19 -
Personal Badges II Senden von Badge-Code und Reader-Nr. an Server Speicherung in Datenbank Maschine 3 Maschine 2 Maschine 1 KOBLENZ LANDAU S. Müller - 20 -
Infrarot Baken Baken senden kontinuierlich im Infrarotbereich (850-900nm) Empfang über Infrarot-Schnittstelle am mobilen Gerät Maschine 3 Maschine 2 Maschine 1 KOBLENZ LANDAU S. Müller - 21 -
GPS GPS Messen von Satellitensignalen Nur Position + großer Aktionsradius ( out-door ) - sehr geringe Präzision - Line of Sight Problem: man braucht Sichtkontakt zum Satelliten KOBLENZ LANDAU S. Müller - 22 -
WLAN Positioning Idee: man geht durch ein Gebäude, erfasst die aktuelle Position aus Karten und misst die Empfangsstärkern der WLAN-Sender mit der WLAN-Karte Mit dieser Tabelle kann man dann über die WLAN-Karte umgekehrt die Position erfassen Genauigkeit ca. einige Meter Ausgleich von Ungenauigkeiten durch die hinterlegten Karten (nicht durch Etagen springen ) Beispiel: Ekahau Positioning Engine KOBLENZ LANDAU S. Müller - 23 -
Elektronischer Kompass Liefert zumindest eine horizontale Orientierung Orientiert sich am Magnetfeld der Erde Digitale Schnittstelle zur Anbindung der Applikation KOBLENZ LANDAU S. Müller - 24 -
Mechanisch Vorteile: Präzision Keine Latenz Keine Störung durch Metall Nachteile: Unbequem Reichweite "tote" Winkel Festmachen am Körper Kalibrierung Trägheit high instrumentation of the environment Einh.matrix am Anfang Fest (Decke) Gelenk 2 Gelenk n Gelenk 1 HMD Trafo des Endes KOBLENZ LANDAU S. Müller - 25 -
Mechanisches Tracking KOBLENZ LANDAU S. Müller - 26 -
Akustisch Ähnlich zu Echolot 1 Ultraschall-Quelle 3 Empfänger (für 3 DOF) Laufzeit Position Vorteile: Billig Nachteile: Echos Line-of-sight 3 Sender für 6DOF Geringe Reichweite Schallgeschwindigkeit hängt ab von Lufttemperatur KOBLENZ LANDAU S. Müller - 27 -
Elekto-Magnetisch Polhemus FastTrak Ascension (MotionStar, Flock-of-birds) KOBLENZ LANDAU S. Müller - 28 -
Elektro-magnetisch Sender stationär, Empfänger = Sensor Langwelliges Feld, Phasenverschiebung zwischen gesendetem u. empfangenem Signal Entfernung 3 Spulen im Sender (3 versch. Frequenzen), pro Sensor 3 Empfängerspulen orthogonal zueinander, 9 empfangene Feldstärken Vorteile: Kleine Sensoren Reichweite 3m (auch mehr) Nachteile: Kabel Fremdmetall stört Rauschen KOBLENZ LANDAU S. Müller - 29 -
Elektro-magnetische Verzerrung KOBLENZ LANDAU S. Müller - 30 -
Trägheitssensoren (Intersense) KOBLENZ LANDAU S. Müller - 31 -
Trägheitssensoren (Intersense) Alle anderen Sensoren brauchen einen Sender und einen Empfänger Das einzige, autonome Trackinggerät bieten Trägheitssensoren Engl.: intertia, auch gyro Misst Trägheit, also eine Kraft Daraus wird die Beschleunigung in eine Richtung ermittelt Positionsbestimmung durch 2- fache Integration Daraus akkumuliert sich quadratischer Fehler Vorteile: Kein Sender nötig Klein Nachteile: Drift (genaue Ergebnisse nur in Zeitscheiben von Sekunden) Braucht Stützung, also absolute Position ca. in Sekunden Kombination mit Ultraschall KOBLENZ LANDAU S. Müller - 32 -
Optisches Tracking Mit Abstand die präziseste (und teuerste) Lösung Man unterscheidet 2 Varianten: Externe Kameras ( out-sidein Kameras am Körper ( inside-out ) Out-side-in Man verfolgt aktive oder passive Marker am Körper durch extern aufgestellte Kameras In-side-out Man verfolgt aktive oder passive Marker in der Umgebung durch Kameras am Körper KOBLENZ LANDAU S. Müller - 33 -
Optisches Tracking: out-side-in Aktive Marker Leuchtende Punkte (meist LEDs) werden am Körper angebracht Im Kamerabild werden die hellen Punkte gesucht Identifikation der Marker: für jedes Bild leuchtet nur ein Marker Oder jeder Marker sendet einen Binär- Code ; Idenfikation nur aus Bilderfolge Vorteil: sehr präzise Nachteil: Aktive Marker haben Kabel, Line-of-Sight Flashpoint KOBLENZ LANDAU S. Müller - 34 -
Optisches Tracking: out-side-in Passive Marker Um die (Infrarot-)Kamera herum sind Infrarot-Blitze Kugeln werden mit retroreflektierter Schicht überzogen Im Bild sucht man die hellen Punkte Problem: Identifikation der Marker nur aus geometrischer Anordnung der Marker ( rigid bodies ) Vorteil: A.R.T Kabellos, super präzise KOBLENZ LANDAU S. Müller - 35 -
Beispiele Technologie kommt oft aus Motion-Capturing 1 Marker Position 3 Marker ("rigid body") Position u. Orientierung Standard-Technik für Body- Tracking in Animationsstudios u. für manche Spiele KOBLENZ LANDAU S. Müller - 36 -
Optisches Tracking: in-side-out Die Kamera ist am Körper angebracht Sehr wichtige Methode vor allem für AR In der Umgebung werden (meist passive) Marker angebracht ( Fiducial ) Rekonstruktion der Kameraparameter (intern/extern) aus Bildern (1 Marker genügt!) Hoffnung: markerloses Tracking KOBLENZ LANDAU S. Müller - 37 -
Lasertracker Erste Produkte auf dem Markt + sehr hohe Auflösung - sehr teuer - line of sight - nur Position KOBLENZ LANDAU S. Müller - 38 -
Zusammenfassung VR Typischerweise eingeschränkter Aktionsradius Das beste Preis-/Leistungsverhältnis für eine VR-Labor bieten immer noch die elektromagnetischen Tracker Die beste Präzision erreicht man auf jeden Fall mit optischen Trackern mit fest montierten Kameras allerdings zu sehr hohem Preis AR Oft ist der Aktionsradius auch eine Halle oder outdoor Die präzisesten Ergebnisse liefern optische Tracker; alle anderen sind für AR untauglich Eine wirklich gute Lösung ist noch nicht gefunden; oft arbeitet man mit in-side-out und passiven Marker Extremer Wunsch: Tracking ohne Marker KOBLENZ LANDAU S. Müller - 39 -
KOBLENZ LANDAU Eingabegeräte
Desktop-Geräte Spacemouse: 6 DOF Gut für Viewpoint- Navigation, Szene/Objekte rotieren Gamepad Getrackt und ungetrackt Wichtiges Eingabemedium: Knopf (Button) KOBLENZ LANDAU S. Müller - 41 -
3D-Zeiger Analogon zur 2D-Maus. Tracker mit Buttons dran Namen: flying mouse, flying joystick, wand (= Stab, USA), bone, fly-stick, etc... Evtl. zusätzlich mit Joystick oder Jog-Dial Physisches Objekt ergibt starkes Präsenzgefühl, wenn man virtuelles Objekt gegriffen hat. Fly-Stick, Stylus KOBLENZ LANDAU S. Müller - 42 -
Beispiele Kabelsimulation VR-Kniespiegelung KOBLENZ LANDAU S. Müller - 43 -
Beispiele Elektromagnetischer Sensor ist innerhalb der Lampe befestigt KOBLENZ LANDAU S. Müller - 44 -
Datenhandschuh Data Glove, Cyberglove Hat in der Regel einen (elektromagnetischen) Tracker Misst zusätzlich die Winkelstellungen der Fingergelenke KOBLENZ LANDAU S. Müller - 45 -
Datenhandschuh (data glove) Das erste VR-Eingabegerät Verschieden viele Sensoren: Min. 4x Daumen + 4x2 Finger = 12 Max. 4x Daumen + 4x3 Finger + 3x dazwischen + 2x Handgelenk + 1 Handrücken = 22 Technik: Glasfaser (nicht bewährt) Bimetallstreifen Nachteile: Niedrige Genauigkeit Handschuh (umständlich, Akzeptanz) Unterschiedliche Hände KOBLENZ LANDAU S. Müller - 46 -
Varianten Pinch Glove: Kein Tracking, misst nur Kontakt zweier Finger jeder Finger ein Button Nur 2 getrackte Gloves sinnvoll, damit recht pfiffige Navigation und Objektmanipulation möglich: Greifen und Bewegen Skalieren (Handles à la Inventor) Virtuelle Hand nicht darstellbar KOBLENZ LANDAU S. Müller - 47 -
Varianten Powerglove: 3 Finger getrackt Positions-Tracking mit Ultraschall Preiswert: $100 Nachteile: Nicht robust Anwendungen, die Fingertracking brauchen, brauchen alle Finger KOBLENZ LANDAU S. Müller - 48 -
Handschuhe mit Kraftrückkopplung Kraftrückkopplung (Force-Feedback) CyberForce KOBLENZ LANDAU S. Müller - 49 -
Handschuhe mit Kraftrückkopplung KOBLENZ LANDAU S. Müller - 50 -
Kraftrückkopplung: Tischgerät PHANToM bis zu 6 Freiheitsgrade für die Bewegungs-Eingabe 3 Freiheitsgrade für die Kraftrückkopplung KOBLENZ LANDAU S. Müller - 51 -
Andere haptische/kraftrück.-geräte KOBLENZ LANDAU S. Müller - 52 -
Fortbewegungseingabegeräte locomotion devices Uni Tsukuba, Japan Sarcos, Utah Sarcos KOBLENZ LANDAU S. Müller - 53 -
Omni-Directional Treadmill Tretmühle Virtual Space Devices, Inc. KOBLENZ LANDAU S. Müller - 54 -
Bodenoberflächensimulator KOBLENZ LANDAU S. Müller - 55 -
KOBLENZ LANDAU S. Müller - 56 -