18 Virtuelle Präsenz, Winter 04/05 Verteilet Systeme, Unversität Ulm, M. Schöttner

Transkript

1 2. Physische Präsenz 2.1 Begriffe Telepräsenz: entspricht physischer Präsenz. Virtuelle Realität (Virtual Reality): - ersetzt reale Umgebung vollständig, - perspektivisches Sehen in 3D, - Echtzeitanforderungen, - Interaktion (2- u. 3D), - typ. spez. Hardware. Immersive Umgebungen: - (vollkommenes) Eintauchen in eine virtuelle Welt, - Unterdrückung der Wahrnehmung der realen Umgebung, - realitätsgetreue Stimulierung der Sinne hoher HW-Aufwand. Erweiterte Realität (Augmented Reality): - Kombination von realer und virtueller Umgebung, - Grundeigenschaften wie bei Virtueller Realität, - auch Mixed Reality genannt. 18 Virtuelle Präsenz, Winter 04/05 Verteilet Systeme, Unversität Ulm, M. Schöttner 18

2 2.2 Virtuelle Realität - Historie 50er Jahre: 180 Grad Kinos und erste Flugsimulatoren. 1965: Sutherland s erste 3D Präsentation - Berücksichtigung der Körperstellung und erstes Head-Mounted Display (HMD). 70er Jahre: 3D Tracking - militärisch motiviert, - Computer Generated Image - Sichtsimulation (Flugsimulation), Ende 70er Jahre: 3D Hardware, Visualisierung für med. Anwendungen. 1984: W. Gibson: Neuromancer, Roman prägt Begriff Cyberspace. Mitte 80er: VR Forschung bei der NASA - Ziel der Telepräsenz (u.a. Entwicklung eines HMDs). 1989: Data Glove ist marktreif - Einführung des Begriffs Virtual Reality von Jaron Lanier. Anfang 90er: Head Mounted Display ist marktreif. Mitte 90er: VR Techniken etablieren sich - Konstruktion & Design, med. Anwendungen, Simulatoren, Visualisierung von Daten, Virtuelle Präsenz, Winter 04/05 Verteilet Systeme, Unversität Ulm, M. Schöttner 19

3 2.3 Sinneswahrnehmung Wahrnehmung beruht auf den fünf Sinnen: - Sehen (Optik): o dominantester Sinn, o Blickfeld: horizontal , vertikal Hören (Akustik): o 20 Hz 20 khz, o Geräuschquelle im Raum lokalisierbar. - Riechen (Olfatorik). - Schmecken (Gustatorik): o süß, sauer, salzig, bitter, umami, o umami jap. fleischig und herzhaft, eingeführt im 20 Jahrhundert. - Tasten (Haptik): o taktile Wahrnehmung: Oberflächensensibilität (Erkennen von Druck, Berührung und Vibration auf der Haut). o kinästhetische Wahrnehmung: Tiefensensibilität (Bewegungsempfindung, Erkennen der Bewegungsrichtung) Simulatorkrankheit: - Kopfweh, Schwindelgefühl, Desorientierung,... - Ursachen: Widersprüchliche Sinneseindrücke, Konflikt mit Erfahrungswerten, schlechte Bildqualität, Vektion (scheinbare Eigenbewegung), Virtuelle Präsenz, Winter 04/05 Verteilet Systeme, Unversität Ulm, M. Schöttner 20

4 2.4 Positionsbestimmung Positionsbestimmung (engl. Tracking). Ermittlung der Position & Orientierung im virtuellen 3D-Raum: - sechs Freiheitsgrade (DOF = Degree of Freedom), - X/Y/Z-Translation (Verschiebung), - X/Y/Z-Rotation. Kopfposition besonders wichtig, damit stereoskopische Darstellung an die Blickrichtung angepasst wird (hohe Genauigkeit wünschenswert). Position des Datenhandschuhs wichtig, um Objekte greifen zu können. Magnetische Positionsbestimmung: - Transmitter erzeugt über drei orthogonal angeordnete Spulen niederfrequentes Magnetfeld, - Receiver ist am beweglichen Objekt angebracht (oft an HMD), - Besitzt ebenfalls drei orth. Spulen Spannungsmessung, - Reichweite ~10m, Verzögerung 4ms, gängige Methode, - Vorteil: großer Abdeckungsbereich, sehr genau, - Nachteil: Metall u. magn. Elemente stören. - z.b. Flock Of Birds ( 21 Virtuelle Präsenz, Winter 04/05 Verteilet Systeme, Unversität Ulm, M. Schöttner 21

5 Akustische Positionsbestimmung: - Transmitter ist ein gepulster Ultraschallsender (am Helm oder Handschuh befestigt), - Receiver besteht aus vier Mikrophonen (jeweils Laufzeitmessung), - Schallgeschwindigkeit konstant, - Triangulierung (vgl. GPS), - Vorteil: günstig - Nachteile: o Sichtkontakt zum Empfänger notwendig, o Hintergrundgeräusche problematisch, o geringere Genauigkeit. Optische Positionsbestimmung: - Reflektierende Marker am bewegten Objekt. - Kamera zum Aufzeichnen der Marker. - Bildverarbeitung + Mustererkennung. - Lage des Markers im Raum best. - Vorteile: flexibel, keine Kabel. - Nachteile: o hohe Rechenzeit, o Sichtlinie zur Kamera, o helle Umgebung benötigt. 22 Virtuelle Präsenz, Winter 04/05 Verteilet Systeme, Unversität Ulm, M. Schöttner 22

6 Mechanische Positionsbestimmung: - mechanische Kopplung, - Einsatz beim Sutherland HMD (1968), - Trackingsystem an fester Position installiert, - Messung der mech. Gelenke Berechnung der Position. - Vorteile: sehr genau und geringe Latenz. - Nachteile: Bewegung einschränkt. 23 Virtuelle Präsenz, Winter 04/05 Verteilet Systeme, Unversität Ulm, M. Schöttner 23

7 2.5 Eingabegeräte 3D-Maus: - stationär, - ähnlich einem Joystick, - typischerweise mehr als drei Tasten, - dreidimensionale Bewegungssteuerung, - 6 Freiheitsgrade: Zoomen & Translation in alle Richtungen, - Anwendungsgebiete: CAD, Desktop VR (z.b. Magellan Space Mouse). Datenhandschuhe: - Anwendungsgebiete o zur Dateneingabe, o Manipulation von 3D Geometrien, o Navigation mittels Gestenerkennung. - Qualitätsfaktoren: Auflösung und Latenz. - Sensoren: für Bewegung der Finger & Position der Hand. - Optische Datenhandschuhe: o Glasfaserkabel an Fingern. o An einem Ende LED, an anderem Photozelle. o Bei Krümmung des Kabels gelangt weniger Licht an Photozelle. o z.b. (ca. $4.000). 24 Virtuelle Präsenz, Winter 04/05 Verteilet Systeme, Unversität Ulm, M. Schöttner 24

8 - DMS Datenhandschuhe: o ähnlich den optischen Datenhandschuhen, o statt Glasfaserkabel, Dehnungsmessstreifen (DMS), o auf Trägerschicht angebrachte Leiterbahnen. o verändern bei mechanischer Dehnung ihre Leitfähigkeit, o kostengünstig herzustellen weiter verbreitet, z.b. - Datenhandschuhe mit mechanischer Messung: o Exoskellet, o hohe Genauigkeit & sehr geringe Latenz, o aber unkomfortabel, ca. 350g Gewicht, o z.b. für Robotersteuerung. - viele weitere Techniken... Datenanzug: - Motion Capturing des ganzen Körpers, - Anwendung auch im Unterhaltungssektor, - z.b. Gipsy ( 25 Virtuelle Präsenz, Winter 04/05 Verteilet Systeme, Unversität Ulm, M. Schöttner 25

9 2.6 Ausgabegeräte Brillen & HMDs Stereoskopie: - Ziel: raumgetreue Abbildungen, - Mensch hat zwei nebeneinander liegende Augen, - Dies führt zu kleinen Unterschieden in den beiden wahrgenommen Bildern (Parallaxe). - Werden Bilder aufgenommen, die diese Parallaxe aufweisen, können diese Abbildungen räumlich wahrgenommen werden, wenn durch geeignete Techniken jedes Auge nur das diesem Auge jeweils zugeordnete Bild sehen kann. - Erfinder des Stereoskops ist Sir Charles Wheatstone (1832), verwendete Zeichnungen. Polfilterbrille : - Halbbilder werden mittels polarisiertem Licht auf eine spezielle Leinwand projiziert. - Brille besteht aus zwei Polarisationsfiltern, - Die jeweils nur das Licht des entspr. Projektors durchlassen. - Kostengünstig, z.b. in IMAX-3D Kino in Verwendung. Shutter-Brille: 26 Virtuelle Präsenz, Winter 04/05 Verteilet Systeme, Unversität Ulm, M. Schöttner 26

10 - ständiger Wechsel von rechtem und linkem Bild, - Verdunkeln der Gläser mittels Flüssigkristallen, - Synchronisation mit Projektor oder Monitor, - Bildwiederholrate v. Monitor halbiert sich, - mind. 120 Hz empfohlen ergibt 60 Hz. - bessere Qualität als Polfilterbrillen. - Kosten ca EUR. Head Mounted Display (HMD): erstes System von I. Sutherland, - 2 LCDs, je 640x480 (Standard in VR), - aber auch Auflösungen bis 1280x1024, - erzielt gute Immersion durch Abschirmung, - Qualitätsfaktoren: Gewicht, Auflösung, Optik, - Kopfposition wird typischerweise mitverfolgt, - z.b. (V8, $19.000). 27 Virtuelle Präsenz, Winter 04/05 Verteilet Systeme, Unversität Ulm, M. Schöttner 27

11 2.6.2 CAVE CAVE = Cave Automatic Virtual Environment (Firma Fakespace). Vorstellung 1992 auf der SIGGRAPH Konferenz. Ermöglicht mehreren Betrachtern Einblick in Virtuelle Umgebungen. Gut geeignet für Präsentationszwecke. Sehr aufwendig und teuer.. Daten: - Seitenlänge ~3m, - Stereo/Sourround Sound, Projektionsflächen: 1600x1200, 96Hz, - Shutterbrillen für Benutzer zur 3D Darstellung. 28 Virtuelle Präsenz, Winter 04/05 Verteilet Systeme, Unversität Ulm, M. Schöttner 28

12 Virtual Retina Display VRD (Virtual Retina Display): - Projektion direkt ins Auge, - Bild erscheint eine Armlänge entfernt, - Licht wird über einen Spiegel umgeleitet, - Vorteile : geringer Stromverbrauch, guter Kontrast, - Nachteile: nur monochrom (rot), keine Stereoskopie, - Microvision ( militärische Nutzung. 29 Virtuelle Präsenz, Winter 04/05 Verteilet Systeme, Unversität Ulm, M. Schöttner 29

13 2.6.3 Haptische Interfaces Taktile Displays: - sprechen Tastsinn des Anwenders an, - können Oberflächenstrukturen nachbilden, - benötigen extrem hohe Taktrate, - verschiedene Technologien: o Nadeln, o rotierende Scheiben, o elektrische Stimulation. Kinästhetische Displays: - Force Feedback, - schränken Bewegungsfreiheit des Anwenders ein, - oft über Exoskelette realisiert: Arm und Hand, - sehr hoher Grad an Immersion in Kombination mit taktilen Displays und entsprechender Virtuellen Umgebung. - Beispiel: Phaton Premium ( 30 Virtuelle Präsenz, Winter 04/05 Verteilet Systeme, Unversität Ulm, M. Schöttner 30

14 Medizin: - Visualisierung komplexer Daten, - medizinische Ausbildung, - Operationsplanung, - Teleoperation,... Architektur: - Designentwicklung, - Rundgang am Rechner, - Änderungen in Echtzeit, Anwendungen 31 Virtuelle Präsenz, Winter 04/05 Verteilet Systeme, Unversität Ulm, M. Schöttner 31

15 Militär: - Telerobotik, - Simulationen. Kybernetik: - Raumkognition, - Max-Planck-Institut für biologische Kybernetik, Tübingen. - Entertainment, Virtuelle Präsenz, Winter 04/05 Verteilet Systeme, Unversität Ulm, M. Schöttner 32

16 2.8 Erweiterte Realität Allgemeines Kombination von realer und virtueller Umgebung. - Erweiterung von Virtueller Realität. - Zusätzliche Anforderungen an Displays. - Tracking ist besonders kritisch Konsistenz zw. realen und virtuellen Objekten. Anwendungen: - Spezialeffekte im Film, - Entertainment und Edutaintment, - annotierte Umgebungen (z.b. Einblenden von Schaltplänen), - Militär: Zielmarkierungen, Ausgleich von schlechten Sichtverhältnissen,... Begriff Augmented Reality - eingeführt in 90er Jahre von Boeing, - Zusammenstellen von Kabelsträngen, - korrektes Ergebnis erzielt, aber langsam, - schlechtes Interface geringe Akzeptanz. 33 Virtuelle Präsenz, Winter 04/05 Verteilet Systeme, Unversität Ulm, M. Schöttner 33

17 2.8.2 Mischen von Bildern Video see through HMD: 34 Virtuelle Präsenz, Winter 04/05 Verteilet Systeme, Unversität Ulm, M. Schöttner 34

18 Optical see through HMD: 35 Virtuelle Präsenz, Winter 04/05 Verteilet Systeme, Unversität Ulm, M. Schöttner 35

19 2.8.3 Beispiel: SHEEP SHEEP = Shared Environment Entertainment Pasture. Demonstrator für DWARF: - Distributed Wearable Augmented Reality Framework, - Entwicklung von der TU München, seit 2000, - Corba-Middleware für mobile Umgebung. SHEEP Funktionsweise: - Jedes Schaf kennt die Position der anderen und versucht ohne Zusammenstoße bei der Herde zu bleiben. - Ein echtes Plastikschaf wird von der Herde erkannt. - Über Spracherkennung und Zauberstab können Schafe eingefügt und entfernt werden ( insert, die ). - Schafe können mit einem Palm aufgenommen werden. - Über HMD auch mit den Händen aufnehmbar. - Zuschauer über getrackte Laptops. 36 Virtuelle Präsenz, Winter 04/05 Verteilet Systeme, Unversität Ulm, M. Schöttner 36

20 Aufbau des Spiels: 37 Virtuelle Präsenz, Winter 04/05 Verteilet Systeme, Unversität Ulm, M. Schöttner 37

21 Vorlesung Virtual Reality an der TU Wien Literatur Vorlesung Virtual Reality im CAVE an der Universität Linz Vorlesung Erweiterte Realität I & Erweiterte Realität II an der TU München wwwbruegge.in.tum.de Vorlesung Mixed Reality an der Universität Frankfurt Augmented Reality Portal: SHEEP wwwbruegge.in.tum.de/dwarf/projectsheep Virtual Tübingen 38 Virtuelle Präsenz, Winter 04/05 Verteilet Systeme, Unversität Ulm, M. Schöttner 38