(3) Tracking. Vorlesung Virtuelle Realität und Augmented Reality S. Müller U N I V E R S I T Ä T KOBLENZ LANDAU

Transkript

1 (3) Tracking Vorlesung Virtuelle Realität und Augmented Reality S. Müller KOBLENZ LANDAU

2 Wiederholung I: Ausgabegeräte HMD: head mounted Display Datenhelm, Datenbrille LCD/TFT, CRT HCD: head coupled Display Boom Autostereoskopische Displays Holographische Displays Ultimativ: keine Mattscheibe in eine virtuelle Welt, sondern ein Fenster Berechnung einer LVK Ausgabe einer LVK Projektoren LCD/TFT DLP (Digital Light Processing), Micromirrors Laserprojektion Projektionsarten Aufprojektion Rückprojektion Stereoprojektion Anaglygh Aktiv, Shutter Passive Projektion Linear, circular polarisiert Infitec KOBLENZ LANDAU S. Müller - 2 -

3 Wiederholung II: Stereoprojektion Heute am häufigsten eingesetzt Passiv: 2 Projektoren Polarisation oder Infitec Billige Brillen Mehr Licht Aktiv: 1 Projektor Shutterbrillen Teure Brillen Wenig Licht Rückprojektion Geringere Hot Spots Keine Verschattung Braucht mehr Platz ( nach hinten ) Aufprojektion Hot Spots Verschattung Räumlich oft die einzige Möglichkeit Oft werden mehrere Leinwände nebeneinander angebracht (z.b. 8m x 3 m) ( Powerwall ) KOBLENZ LANDAU S. Müller - 3 -

4 Stereoleinwände Großprojektionen Curved Screens, Panoramaprojektionen KOBLENZ LANDAU S. Müller - 4 -

5 Projektion mit/ohne Tracking Man muss für die 2 Augen eine Position/Blickrichtung annehmen Z.B. Mitte des Auditoriums Eindruck umso schlechter, je weiter man sich von diesem Optimalpunkt entfernt Alternativ: man erfasst die Position/Orientierung des Betrachters ( Tracking ) und berechnet die Bilder für seine tatsächliche Augposition Vorteil: holographischer Eindruck Nachteil: Ein-Personen-Display KOBLENZ LANDAU S. Müller - 5 -

6 Workbench Aktive, getrackte Rückprojektion Alternativ: passiv mit Circularpolarisation oder Infitec Passiv mit Linearpolarisation ist nicht möglich, da man unter verschiedenen Richtungen auf den Tisch sehen kann Erweiterung: 2-Personen durch Mehrfachshuttering (P1 links, P1 rechts, P2 links, P2 rechts ). Problem Flackern bei 30 Hz. KOBLENZ LANDAU S. Müller - 6 -

7 Holobench Aktive, getrackte Rückpro auf 2 aufeinander senkrecht stehenden Leinwände Großer Field-of-view, sehr immersiv KOBLENZ LANDAU S. Müller - 7 -

8 CAVE Cave Automatic Virtual Environment Anfangs aktiver, getrackter Rückprojektions Würfel Anfang 3,4,5 und inzwischen 6 Seiten CAVEs Faszinierendste und teuerste 1-Personen-Display der Welt. Inzwischen auch passive Lösungen (mit schwarzen Leinwänden) 5-Seiten CAVE: 10 Bilder pro Zeiteinheit KOBLENZ LANDAU S. Müller - 8 -

9 3-Seiten Cave Spiegelanordnung KOBLENZ LANDAU S. Müller - 9 -

10 5-Seiten Cave 6-Seiten Cave, Alborg, DK KOBLENZ LANDAU S. Müller

11 Rechnerbetrieb Früher/Heute Betrieb mit Multi-Pipe SGI ONYX-Maschinen (infinite reality) Kosten: > 1 Mio Euro Aktuell PC-Cluster Z.B. 5-Seiten CAVE, passiv: 10+1 PCs Kosten: 11*aktueller ALDI Preis (ca Euro) KOBLENZ LANDAU S. Müller

12 Heye Wall Motivation: die Bildauflösung hat sich in den letzte 20 Jahren nicht wirklich verändert (ca. Faktor 2-4) Einfache Projektoren sind billig Zusammenstellung eine gekachelten Bildes mit Hilfe vieler Projektoren NCSA: 4 x 5 Wall, mono KOBLENZ LANDAU S. Müller

13 Tiled Wall HEyeWall (IGD Darmstadt): 6 x 4 Meter Stereo Projektion 6 x 4 Bilder in Stereo (Auflösung 1024 x 768/Teilbild) 48 Projektoren PC-Cluster (48+1 PCs) OpenSG Gesamtauflösung 6144 x 3096 Pixel Sehr hell under construction KOBLENZ LANDAU S. Müller

14 Zusammenfassung Displays Monitore HMDs HCDs Autostereoskopische, holographische Displays Projektionen LCD/TFT DLP Laser Unterscheidung von VR- Projektionen IPTs Aktiv/passiv Aufpro/Rückpro Getrackt/ungetrackt Passiv: linear oder circular polarisiert; Infitec Stereoleinwände Workbench/Holobench CAVE Heye Wall KOBLENZ LANDAU S. Müller

15 Wiederholung III Großbildprojektionen Powerwall Curved Screens Unterscheidung von VR- Projektionen IPTs Aktiv/passiv Aufpro/Rückpro Getrackt/ungetrackt Passiv: linear oder circular polarisiert; Infitec Stereoleinwände Workbench/Holobench CAVE Heye Wall KOBLENZ LANDAU S. Müller

16 KOBLENZ LANDAU Tracking

17 Tracking Unter Tracking versteht man so etwas wie verfolgen oder genauer: in seiner Position und Orientierung erfassen Tracking ist eine der wichtigsten Basistechnologien für VR und AR Es wird z.b. gebraucht zu: Wo ist der Kopf des Betrachters und wohin schaut er (Grundlage des Rendering) Wo ist die Hand und wie ist sie orientiert (Grundlage der 3D-Interaktion) Es gibt eine Reihe von Sensortechniken für Tracking KOBLENZ LANDAU S. Müller

18 Tracking: Unterscheidung Grobtracking Active Badges / Reader Infrarot Baken GPS WLAN Positioning (Elektr. Kompass) Feintracking Elektro-Magnetisch Mechanisch Ultraschall Trägheit Optisch Laser Hybrid Wichtiger Begriff: DOF Degrees of freedom, Freiheitsgrade Position und Orientierung: 6 DOF KOBLENZ LANDAU S. Müller

19 Personal Badges I werden wie ein Namensschild getragen aussenden eines Infrarot-Signal (alle 60 sec.) Reader empfangen Signal Empfang bis 20 m direkter Sichtkontakt nötig KOBLENZ LANDAU S. Müller

20 Personal Badges II Senden von Badge-Code und Reader-Nr. an Server Speicherung in Datenbank Maschine 3 Maschine 2 Maschine 1 KOBLENZ LANDAU S. Müller

21 Infrarot Baken Baken senden kontinuierlich im Infrarotbereich ( nm) Empfang über Infrarot-Schnittstelle am mobilen Gerät Maschine 3 Maschine 2 Maschine 1 KOBLENZ LANDAU S. Müller

22 GPS GPS Messen von Satellitensignalen Nur Position + großer Aktionsradius ( out-door ) - sehr geringe Präzision - Line of Sight Problem: man braucht Sichtkontakt zum Satelliten KOBLENZ LANDAU S. Müller

23 WLAN Positioning Idee: man geht durch ein Gebäude, erfasst die aktuelle Position aus Karten und misst die Empfangsstärkern der WLAN-Sender mit der WLAN-Karte Mit dieser Tabelle kann man dann über die WLAN-Karte umgekehrt die Position erfassen Genauigkeit ca. einige Meter Ausgleich von Ungenauigkeiten durch die hinterlegten Karten (nicht durch Etagen springen ) Beispiel: Ekahau Positioning Engine KOBLENZ LANDAU S. Müller

24 Elektronischer Kompass Liefert zumindest eine horizontale Orientierung Orientiert sich am Magnetfeld der Erde Digitale Schnittstelle zur Anbindung der Applikation KOBLENZ LANDAU S. Müller

25 Mechanisch Vorteile: Präzision Keine Latenz Keine Störung durch Metall Nachteile: Unbequem Reichweite "tote" Winkel Festmachen am Körper Kalibrierung Trägheit high instrumentation of the environment Einh.matrix am Anfang Fest (Decke) Gelenk 2 Gelenk n Gelenk 1 HMD Trafo des Endes KOBLENZ LANDAU S. Müller

26 Mechanisches Tracking KOBLENZ LANDAU S. Müller

27 Akustisch Ähnlich zu Echolot 1 Ultraschall-Quelle 3 Empfänger (für 3 DOF) Laufzeit Position Vorteile: Billig Nachteile: Echos Line-of-sight 3 Sender für 6DOF Geringe Reichweite Schallgeschwindigkeit hängt ab von Lufttemperatur KOBLENZ LANDAU S. Müller

28 Elekto-Magnetisch Polhemus FastTrak Ascension (MotionStar, Flock-of-birds) KOBLENZ LANDAU S. Müller

29 Elektro-magnetisch Sender stationär, Empfänger = Sensor Langwelliges Feld, Phasenverschiebung zwischen gesendetem u. empfangenem Signal Entfernung 3 Spulen im Sender (3 versch. Frequenzen), pro Sensor 3 Empfängerspulen orthogonal zueinander, 9 empfangene Feldstärken Vorteile: Kleine Sensoren Reichweite 3m (auch mehr) Nachteile: Kabel Fremdmetall stört Rauschen KOBLENZ LANDAU S. Müller

30 Elektro-magnetische Verzerrung KOBLENZ LANDAU S. Müller

31 Trägheitssensoren (Intersense) KOBLENZ LANDAU S. Müller

32 Trägheitssensoren (Intersense) Alle anderen Sensoren brauchen einen Sender und einen Empfänger Das einzige, autonome Trackinggerät bieten Trägheitssensoren Engl.: intertia, auch gyro Misst Trägheit, also eine Kraft Daraus wird die Beschleunigung in eine Richtung ermittelt Positionsbestimmung durch 2- fache Integration Daraus akkumuliert sich quadratischer Fehler Vorteile: Kein Sender nötig Klein Nachteile: Drift (genaue Ergebnisse nur in Zeitscheiben von Sekunden) Braucht Stützung, also absolute Position ca. in Sekunden Kombination mit Ultraschall KOBLENZ LANDAU S. Müller

33 Optisches Tracking Mit Abstand die präziseste (und teuerste) Lösung Man unterscheidet 2 Varianten: Externe Kameras ( out-sidein Kameras am Körper ( inside-out ) Out-side-in Man verfolgt aktive oder passive Marker am Körper durch extern aufgestellte Kameras In-side-out Man verfolgt aktive oder passive Marker in der Umgebung durch Kameras am Körper KOBLENZ LANDAU S. Müller

34 Optisches Tracking: out-side-in Aktive Marker Leuchtende Punkte (meist LEDs) werden am Körper angebracht Im Kamerabild werden die hellen Punkte gesucht Identifikation der Marker: für jedes Bild leuchtet nur ein Marker Oder jeder Marker sendet einen Binär- Code ; Idenfikation nur aus Bilderfolge Vorteil: sehr präzise Nachteil: Aktive Marker haben Kabel, Line-of-Sight Flashpoint KOBLENZ LANDAU S. Müller

35 Optisches Tracking: out-side-in Passive Marker Um die (Infrarot-)Kamera herum sind Infrarot-Blitze Kugeln werden mit retroreflektierter Schicht überzogen Im Bild sucht man die hellen Punkte Problem: Identifikation der Marker nur aus geometrischer Anordnung der Marker ( rigid bodies ) Vorteil: A.R.T Kabellos, super präzise KOBLENZ LANDAU S. Müller

36 Beispiele Technologie kommt oft aus Motion-Capturing 1 Marker Position 3 Marker ("rigid body") Position u. Orientierung Standard-Technik für Body- Tracking in Animationsstudios u. für manche Spiele KOBLENZ LANDAU S. Müller

37 Optisches Tracking: in-side-out Die Kamera ist am Körper angebracht Sehr wichtige Methode vor allem für AR In der Umgebung werden (meist passive) Marker angebracht ( Fiducial ) Rekonstruktion der Kameraparameter (intern/extern) aus Bildern (1 Marker genügt!) Hoffnung: markerloses Tracking KOBLENZ LANDAU S. Müller

38 Lasertracker Erste Produkte auf dem Markt + sehr hohe Auflösung - sehr teuer - line of sight - nur Position KOBLENZ LANDAU S. Müller

39 Zusammenfassung VR Typischerweise eingeschränkter Aktionsradius Das beste Preis-/Leistungsverhältnis für eine VR-Labor bieten immer noch die elektromagnetischen Tracker Die beste Präzision erreicht man auf jeden Fall mit optischen Trackern mit fest montierten Kameras allerdings zu sehr hohem Preis AR Oft ist der Aktionsradius auch eine Halle oder outdoor Die präzisesten Ergebnisse liefern optische Tracker; alle anderen sind für AR untauglich Eine wirklich gute Lösung ist noch nicht gefunden; oft arbeitet man mit in-side-out und passiven Marker Extremer Wunsch: Tracking ohne Marker KOBLENZ LANDAU S. Müller

40 KOBLENZ LANDAU Eingabegeräte

41 Desktop-Geräte Spacemouse: 6 DOF Gut für Viewpoint- Navigation, Szene/Objekte rotieren Gamepad Getrackt und ungetrackt Wichtiges Eingabemedium: Knopf (Button) KOBLENZ LANDAU S. Müller

42 3D-Zeiger Analogon zur 2D-Maus. Tracker mit Buttons dran Namen: flying mouse, flying joystick, wand (= Stab, USA), bone, fly-stick, etc... Evtl. zusätzlich mit Joystick oder Jog-Dial Physisches Objekt ergibt starkes Präsenzgefühl, wenn man virtuelles Objekt gegriffen hat. Fly-Stick, Stylus KOBLENZ LANDAU S. Müller

43 Beispiele Kabelsimulation VR-Kniespiegelung KOBLENZ LANDAU S. Müller

44 Beispiele Elektromagnetischer Sensor ist innerhalb der Lampe befestigt KOBLENZ LANDAU S. Müller

45 Datenhandschuh Data Glove, Cyberglove Hat in der Regel einen (elektromagnetischen) Tracker Misst zusätzlich die Winkelstellungen der Fingergelenke KOBLENZ LANDAU S. Müller

46 Datenhandschuh (data glove) Das erste VR-Eingabegerät Verschieden viele Sensoren: Min. 4x Daumen + 4x2 Finger = 12 Max. 4x Daumen + 4x3 Finger + 3x dazwischen + 2x Handgelenk + 1 Handrücken = 22 Technik: Glasfaser (nicht bewährt) Bimetallstreifen Nachteile: Niedrige Genauigkeit Handschuh (umständlich, Akzeptanz) Unterschiedliche Hände KOBLENZ LANDAU S. Müller

47 Varianten Pinch Glove: Kein Tracking, misst nur Kontakt zweier Finger jeder Finger ein Button Nur 2 getrackte Gloves sinnvoll, damit recht pfiffige Navigation und Objektmanipulation möglich: Greifen und Bewegen Skalieren (Handles à la Inventor) Virtuelle Hand nicht darstellbar KOBLENZ LANDAU S. Müller

48 Varianten Powerglove: 3 Finger getrackt Positions-Tracking mit Ultraschall Preiswert: $100 Nachteile: Nicht robust Anwendungen, die Fingertracking brauchen, brauchen alle Finger KOBLENZ LANDAU S. Müller

49 Handschuhe mit Kraftrückkopplung Kraftrückkopplung (Force-Feedback) CyberForce KOBLENZ LANDAU S. Müller

50 Handschuhe mit Kraftrückkopplung KOBLENZ LANDAU S. Müller

51 Kraftrückkopplung: Tischgerät PHANToM bis zu 6 Freiheitsgrade für die Bewegungs-Eingabe 3 Freiheitsgrade für die Kraftrückkopplung KOBLENZ LANDAU S. Müller