Techniküberblick Teil 1: Ein- und Ausgabegeräte / Hardware

Transkript

1 Kapitel 3 Techniküberblick Teil 1: Ein- und Ausgabegeräte / Hardware

2 Eingabegeräte HID (Human Interface Device) Klassifizierung: Art und Weise der Eingabe Diskrete vs. kontinuierliche Eingabe Freiheitsgrade Ziel: intuitive Bedienung 3.1 Eingabegeräte

3 3D-Maus Steuerung mit 6 Freiheitsgraden: Roboterarme CAD-Systeme 3.1 Eingabegeräte

4 Haptische Eingabegeräte Fühlen virtueller Objekte Force Feedback 3.1 Eingabegeräte

5 Positionsbestimmung Tracking Mechanisch Elektromagnetisch Akustisch Optisch 3.1 Eingabegeräte

6 Tracking-Methodik Deskription Prädikation Assoziation Innovation 3.1 Eingabegeräte

7 Eye-Tracking Biometrische Daten Head-mounted-Eye-Tr. vs. Remote-Eye-Tr. 3.1 Eingabegeräte

8 Eye-Tracking-Techniken Retinal-Nachbilder Elektrookulogramm Kontaktlinsen Verspiegelt Metallspule Cornea Reflex 3.1 Eingabegeräte

9 Motion Tracking Reale Bewegungen werden auf SW übertragen Einsatz von Markern Bewegungsdaten pro Bild erfasst Optimieren auf Keyframes 3.1 Eingabegeräte

10 Datenhandschuh Meßsystem und Force-Feedback integriert 3.1 Eingabegeräte

11 Datenanzug Prinzipiell analog zu Datenhandschuh 3.1 Eingabegeräte

12 Problem der fließenden Sprache: Homophone Phoneme: Sprechen: Srechen: 3.1 Eingabegeräte Spracherkennung

13 Gestenerkennung Gerätebasierte vs. kamerabasierte G.Erkennung Kontinuierliche vs. diskrete Gesten Motion Capturing 3.1 Eingabegeräte

14 Gehirn-Computer-Schnittstelle Brain-Computer-Interface (BCI) Vorstellung der Bewegung reicht zur Steuerung 3.1 Eingabegeräte Invasiv vs. nicht-invasiv

15 Ausgabegeräte Wahrnehmung beruht auf den fünf Sinnen: Sehen (Optik) Hören (Akustik) Riechen (Olfatorik) Schmecken (Gustatorik) Tasten (Haptik) 3.2 Ausgabegeräte

16 Problematik: Simulatorkrankheit Symptome Ursachen Widersprüchliche Sinneseindrücke Konflikt mit Erfahrungswerten Schlechte Bildqualität Vektion (scheinbare Eigenbewegung), Ausgabegeräte Kopfweh, Schwindelgefühl, Desorientierung,...

17 3.2.1 Optik Optik Curved Displays CAVE HMD Virtual Retina Display Holographische Systeme Stereoskopisches Sehen Shutterbrillen 3D-Monitor

18 3.2.1 Optik Curved Displays Komplette Ausfüllung des Sichtfeldes Gebogene Leinwand Normale Beamer

19 3.2.1 Optik CAVE Cave Automatic Virtual Environment Spezialform von Curved Display

20 3.2.1 Optik Head Mounted Display 2 Monitore direkt vor den Augen Meist kombiniert mit Trackingsystem

21 3.2.1 Optik Virtual Retina Displays Projiziert Rasterbild direkt auf Netzhaut Dadurch exzellente Qualität möglich Verwendung auch bei AR

22 3.2.1 Optik Holographische Displays Mehrere Projektoren benötigt Darstellung durch Lichtbrechung Glas Rauch Wasser

23 3.2.1 Optik Stereoskopisches Sehen Räumliches Sehen Unterschiedliche Perspektiven für beide Augen

24 3.2.1 Optik Shutterbrillen Monitor zeigt abwechselnd verschiedene Bilder Brille blendet jeweils ein Auge aus Synchronisierung mit Grafikkarte

25 3.2.1 Optik 3D-Monitore Autostereoskopisches Display 3D-Darstellung ohne zusätzliche Hardware Linsenraster oder Streifenraster Mehrbenutzerfähig

26 3.2.2 Akustik Akustik Raumklang Richtungs- und Entfernungshören Lautsprecher bzw. -systeme 5.1-Systeme Surround-Kopfhörer

27 3.2.3 Haptik Haptik Taktil Kinästetisch (Bewegungswahrnehmung) Verschiedene Interfaces: Magnetische Schwebeverfahren Akustische Wellen (Ultraschall) fühlbar machen

28 Hybridsysteme Kopplung von Ein- und Ausgabesysteme Locomotion Interfaces Laufbänder Fahrräder / Fahrzeuge Sphere CirculaFloor 3.3 Hybridsysteme

29 Laufbänder Zumeist nur Bewegung in eine Richtung möglich Richtungsänderung durch zusätzliche Geräte Freie Bild- und Tonwiedergabe möglich 3.3 Hybridsysteme

30 Fahrräder Basiert auf normalem Hometrainer Trittgeschwindigkeit und Fahrtrichtung 3.3 Hybridsysteme

31 Sphere Anwender innerhalb einer beweglichen Kugel Bewegung in jede Richtung möglich 3.3 Hybridsysteme

32 CirculaFloor 4 bewegliche Kacheln Freie Bewegung möglich Zwei Phasen Tracking Nachführung 3.3 Hybridsysteme

33 Augmented Reality (AR) Zumeist als Hilfe-/Informationssysteme 3.4 Augmented Reality Einblendung virtueller Informationen in die reale Wahrnehmung

34 Quellen / Weiterführende Links Anbieter zu Virtual Reality-Hardware mit Preisen Überblick über verschiedene (haptische) Interfaces Virtuelles Tübingen Ultraschall-Haptik-Interface Studierstube Augmented Reality Projects

35 Kapitel 3 Techniküberblick Teil 1: Ein- und Ausgabegeräte / Hardware

36 Eingabegeräte HID (Human Interface Device) Klassifizierung: Art und Weise der Eingabe Diskrete vs. kontinuierliche Eingabe Freiheitsgrade Ziel: intuitive Bedienung 3.1 Eingabegeräte Art und Weise der Eingabe: - mechanisch, akustisch,... - absolut vs. relativ Diskret vs. kontinuierlich: - Diskrete Eingaben z.b. Tastendruck - Kontinuierliche Eingaben z.b. Verlauf der Mausbewegung

37 3D-Maus Steuerung mit 6 Freiheitsgraden: Roboterarme CAD-Systeme 3.1 Eingabegeräte - Auch Spacemouse genannt - Normale Anwendungen teilweise damit bedienbar (Google Earth, manche Online-Welten)

38 Haptische Eingabegeräte Fühlen virtueller Objekte Force Feedback 3.1 Eingabegeräte - Nutzung des Tastsinns - Erfühlen, Untersuchen und Verändern von (virt.) Objekten - Anwendung hautpsächlich in Medizin und Militär - Fernsteuerung von Robotern (z.b. Entschärfung oder für Teleoperationen) 2 Vorgehensweisen: - Force-Feedback-Widerstand anhand Druck und Beschaffenheit auf Objekt-Oberfläche Verändern realer Objekte (Operationen) - Widerstand anhand virtueller Begebenheiten oder simuliertem Kraftaufwand Entwicklung neuer Technologien (z.b. ein Schaltgetriebe testen, bevor es gebaut wird)

39 Positionsbestimmung Tracking Mechanisch Elektromagnetisch Akustisch Optisch 3.1 Eingabegeräte - Zum Erfassen von (räumlichen) Zuständen ganzer Objekte - Bewegungserkennung

40 Tracking-Methodik Deskription Prädikation Assoziation Innovation 3.1 Eingabegeräte - Deskription: aktuelles Aufzeichnen der Messdaten - Prädikation: Vorhersage (Hypothese) der zukünftigen Bewegung/Position aufgrund bereits erhaltener Messdaten und einbezogener Gesetzmäßigkeiten - Assoziation: Ordnet bei mehreren verfolgten Objekten (Multi-Target-Tracking) die gemessenen Daten dem zugehörigen Objekt zu - Innovation: Zusammenführung der Prädikation und der aktuellen Messwerte anhand von Gewichtungen

41 Eye-Tracking Biometrische Daten Head-mounted-Eye-Tr. vs. Remote-Eye-Tr. 3.1 Eingabegeräte - Auswerten der Blickbewegung eines Benutzers - Blinzeln ist z.b. Mausklick - Untescheidung zw. - Remote-Eye-Tracking (stationär): - Fixed-Camera-System: Ausgleich der Kopfbewegung durch SW - Pan-Tilt-System: Kamera beweglich und wird der Kopfbewegung nachgeführt - Tilting-Mirror-Systeme: feste Kamera, Kopfbewegung bzw. Augen werden über servogetriebene Spiegel ausgeglichen - Head-mounted-Eye-Tracking: - Gesamte HW ist am Kopf des Probanden befestigt - Kopfbewegungen werden so automat. mitgeführt

42 Eye-Tracking-Techniken Retinal-Nachbilder Elektrookulogramm Kontaktlinsen Verspiegelt Metallspule Cornea Reflex 3.1 Eingabegeräte - Retinal-Nachbilder: - Starke Lichtreize erzeugen Nachbilder (wie Blitz beim Foto) - So werden teilweise Farben wahrgenommen, die in der Realität nicht vorhanden sind - Diese Überreizung ist wahrnehm- und meßbar, so dass Stellung und Bewegung des Auges erkennbar sind - Elektrookulogramm: - Elektr. Spannung zw. Retina und Hornhaut, welche sich bei Bewegungen ändert (zum pos. Pol=Hornhaut oder neg. Pol=Retina) - Spannung ungefähr proportional zum Blickwinkel - Kontaktlinsen - Verspiegelt: Reflektiertes Licht kann mit Kamera gemessen werden - Metallspule: Benutzer wird in Magnetfeld gesetzt, Bewegung erzeugt induktive Spannung, welche sich in Augenbewegungen umrechnen lassen (auch search coil genannt) - Cornea Reflex: - Reflektiertes Infrarotlicht wird von Infrarotkamera gemessen und daraus Augenposition errechnet (auch Video Based Eye Tracking genannt)

43 Motion Tracking Reale Bewegungen werden auf SW übertragen Einsatz von Markern Bewegungsdaten pro Bild erfasst Optimieren auf Keyframes 3.1 Eingabegeräte - Realer Akteur/Schauspieler wird aufgezeichnet, und Bewegung auf SW-Skelett übertragen - Zumeist Blue/Green-Screen -Technik zum Ausblenden der Person - Marker an Gelenken: Erkennung relevanter Positionen - Optimierung zur Reduktion der Informationsdichte (per Hand oder SW)

44 Datenhandschuh Meßsystem und Force-Feedback integriert 3.1 Eingabegeräte - Früher Messung anhand Biegesensoren, heute über elektrischen Widerstand bzw. faseroptisch über Lichtmenge - Ein Sensor pro Gelenk für optimale Bewegungsauflösung, evtl. sogar Handrücken und Handfläche - Auflösungen inzwischen von unter einem Grad ohne nennenswerte Beeinträchtigung im Handschuh

45 Datenanzug Prinzipiell analog zu Datenhandschuh 3.1 Eingabegeräte

46 Problem der fließenden Sprache: Homophone Phoneme: Sprechen: Srechen: 3.1 Eingabegeräte Spracherkennung - Ursprünglich sprecherabhängige Systeme, welche eintrainiert werden mußten - Haben dafür größeren Wortschatz als unabhängige Systeme - Beeinflussung durch Qualität der Aufnahme - Teilweise gekoppelt mit Systemen zum Lippenlesen - Erschwernis durch Homophone (Bsp: Meer bzw. mehr ), so dass Kontext mit einbezogen werden muss - Erschwernis durch Phoneme, welche nur sehr schwer zu erkennen sind (Bsp.: fehlendes p in Abbildung)

47 Gestenerkennung Gerätebasierte vs. kamerabasierte G.Erkennung Kontinuierliche vs. diskrete Gesten Motion Capturing 3.1 Eingabegeräte - Gerätebasiert: Über am Körper getragene weitere Eingabegeräte (Datenhandschuhe, Controller,... ) - Kamerabasiert: Ein- oder mehrere Kameras nehmen Teile oder gesamten Körper wahr

48 Gehirn-Computer-Schnittstelle Brain-Computer-Interface (BCI) Vorstellung der Bewegung reicht zur Steuerung 3.1 Eingabegeräte Invasiv vs. nicht-invasiv - Ursprünglich nur für Verbesserung behinderter Menschen - Nicht-invasiv (EEG, fmrt) oder invasiv (Elektroden) - Bislang allerdings nur Auslesen möglich, keine Einbringung von Daten

49 Ausgabegeräte Wahrnehmung beruht auf den fünf Sinnen: Sehen (Optik) Hören (Akustik) Riechen (Olfatorik) Schmecken (Gustatorik) Tasten (Haptik) 3.2 Ausgabegeräte - Arten von Ausgabgeräten: - Flüchtige Ausgabegeräte (z.b. Bildschirme) - Nichtflüchtige Ausgabegeräte (z.b. Drucker) - Schmecken (Gustatorik): - süß, sauer, salzig, bitter, umami, - umami (jap.): fleischig, herzhaft, eingeführt im 20. Jahrhundert - Nicht mit aufgenommen: Temperaturempfinden, Schmerz,...

50 Problematik: Simulatorkrankheit Symptome Ursachen Widersprüchliche Sinneseindrücke Konflikt mit Erfahrungswerten Schlechte Bildqualität Vektion (scheinbare Eigenbewegung), Ausgabegeräte Kopfweh, Schwindelgefühl, Desorientierung,... - Ursache lässt sich normalerweise darauf zurückführen, dass optische Wahrnehmung nicht kinästetischer Wahrnehmung entspricht - Insbesondere bei schneller Bewegung / schnellen Spielen (Action-Shootern, Rennspielen,...)

51 3.2.1 Optik Optik Curved Displays CAVE HMD Virtual Retina Display Holographische Systeme Stereoskopisches Sehen Shutterbrillen 3D-Monitor Sehen (Optik): - Dominantester Sinn - Blickfeld: horizontal , vertikal

52 3.2.1 Optik Curved Displays Komplette Ausfüllung des Sichtfeldes Gebogene Leinwand Normale Beamer - Verschieden gebogene Leinwände (zylindrisch, Ellipsoid,...) - Einsatz (mehrerer) normaler Beamer, welche überlappende Bilder darstellen, um Kanteneffekte zu vermeiden - Bild selbst muss dabei geeignet perspektivisch verzerrt werden

53 3.2.1 Optik CAVE Cave Automatic Virtual Environment Spezialform von Curved Display - Verbreitet in abgewandelter Form als Simulatoren

54 3.2.1 Optik Head Mounted Display 2 Monitore direkt vor den Augen Meist kombiniert mit Trackingsystem Eindruck großer Bildflächen durch die kurze Entfernung zu den Augen

55 3.2.1 Optik Virtual Retina Displays Projiziert Rasterbild direkt auf Netzhaut Dadurch exzellente Qualität möglich Verwendung auch bei AR - Niedrigenergielaser oder sehr helle LEDs - Sehr kleine Bauweisen möglich

56 Holographische Displays Mehrere Projektoren benötigt Darstellung durch Lichtbrechung Glas Rauch Wasser Optik - Bild wird schwebend im Raum projiziert - Blickwinkel von 360 möglich

57 Stereoskopisches Sehen Räumliches Sehen Unterschiedliche Perspektiven für beide Augen Optik Perspektivische Wahrnehmung: Effekt der stürzenden Linien Bekannte Verfahren: - Doppelbilder - Anaglypheverfahren - Polarisationsverfahren (linear, zirkulär) - Autostereogramme ( Das magische Auge )

58 Shutterbrillen Monitor zeigt abwechselnd verschiedene Bilder Brille blendet jeweils ein Auge aus Synchronisierung mit Grafikkarte Optik - Brillengläser aus LCD-Anzeigen - Halbierung der Framerate - Geisterbilder/Schlieren durch schlechte Synchronisierung möglich

59 3.2.1 Optik 3D-Monitore Autostereoskopisches Display 3D-Darstellung ohne zusätzliche Hardware Linsenraster oder Streifenraster Mehrbenutzerfähig - Mehrere Bilder werden gleichzeitig dargestellt, zw. 2-8 gebräuchlich, auch bis 64 schon möglich - Daher hohe Grafikleistung erforderlich bzw. Abstriche an der Bildqualität

60 3.2.2 Akustik Akustik Raumklang Richtungs- und Entfernungshören Lautsprecher bzw. -systeme 5.1-Systeme Surround-Kopfhörer Hören (Akustik): - 20 Hz20 khz, - Geräuschquelle im Raum lokalisierbar - Lautstärke vermittelt Entfernung

61 3.2.3 Haptik Haptik Taktil Kinästetisch (Bewegungswahrnehmung) Verschiedene Interfaces: Magnetische Schwebeverfahren Akustische Wellen (Ultraschall) fühlbar machen - Tasten (Haptik): - taktile Wahrnehmung: Oberflächensensibilität (Erkennen von Druck, Berührung und Vibration auf der Haut). - kinästhetische Wahrnehmung: Tiefensensibilität (Bewegungsempfindung, Erkennen der Bewegungsrichtung) - Magnetische Verfahren: Zur Eingabe und Force Feedback möglich - Ultraschall: - Fühlen von virtuellen Objekten, welche in den Raum projiziert werden - Mehrbenutzerfähig

62 Hybridsysteme Kopplung von Ein- und Ausgabesysteme Locomotion Interfaces Laufbänder Fahrräder / Fahrzeuge Sphere CirculaFloor 3.3 Hybridsysteme - Hybridsysteme bezeichnen Systeme, welche nur durch das Zusammenspiel von Ein- und Ausgabesystemen sinnvoll zu verwenden sind - Locomotion Interfaces versuchen, virtuelle Fortbewegung durch reale Fortbewegungsarten zu ermöglichen

63 Laufbänder Zumeist nur Bewegung in eine Richtung möglich Richtungsänderung durch zusätzliche Geräte Freie Bild- und Tonwiedergabe möglich 3.3 Hybridsysteme - Einfaches System, kann aus normalem Hometrainer-Laufband genutzt werden

64 Fahrräder Basiert auf normalem Hometrainer Trittgeschwindigkeit und Fahrtrichtung 3.3 Hybridsysteme Beispiel: 'Virtual Tübingen'

65 Sphere Anwender innerhalb einer beweglichen Kugel Bewegung in jede Richtung möglich 3.3 Hybridsysteme - Anwender kann zu jeder Zeit in jede Richtung laufen - Visualisierung über HMD (zwingend über Funk)

66 CirculaFloor 4 bewegliche Kacheln Freie Bewegung möglich Zwei Phasen Tracking Nachführung 3.3 Hybridsysteme - Anwender kann zu jeder Zeit in jede Richtung laufen - Visualisierung über HMD

67 Augmented Reality (AR) Zumeist als Hilfe-/Informationssysteme 3.4 Augmented Reality Einblendung virtueller Informationen in die reale Wahrnehmung - AR auch Mixed Reality genannt - Trackingsystem benötigt

68 Quellen / Weiterführende Links Anbieter zu Virtual Reality-Hardware mit Preisen Überblick über verschiedene (haptische) Interfaces Virtuelles Tübingen Ultraschall-Haptik-Interface Studierstube Augmented Reality Projects