Whitepaper Head Mounted Displays & Datenbrillen Einsatz und Systeme

Transkript

1 & Einsatz und Systeme Dr.-Ing. Dipl.-Kfm. Christoph Runde Virtual Dimension Center (VDC) Fellbach Auberlenstr Fellbach Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. Virtual Dimension Center VDC

2 & - Einsatz und Systeme Inhalt Whitepaper & : - Grundlagen - Produkte : - Grundlagen - Produkte

3 & - Einsatz und Systeme Klassifizierung Head Mounted Display Videobrille - Datenbrille Charakteristik Zielstellung, Einsatzzweck Isolation Field-of-View Head Mounted Display Videobrille Datenbrille Integration des Benutzers in eine interaktive 3D-Umgebung Virtual Reality, optional Augmented Reality (AR) per Video-See-Through Isolation des Benutzers von der realen Umgebung großes Field-of-View, damit bewegtes Auge sehr schnelles, sehr exaktes Head notwendig tragbarer Bildschirm Filmbetrachtung, Bildanzeige Isolation des Benutzers von der realen Umgebung geringes Field-of-View, damit tendenziell ruhendes Auge nicht notwendig tragbare Zusatzanzeige Typischer Vertreter VRVANA Totem Carl Zeiss Cinemizer Google Glass Zusatzinformationen bei Arbeit, Freizeit; optional AR per Optical-See-Through keine Isolation des Benutzers; Anzeige zusätzlich zur Realität sehr geringes Field-of-View; Auge betrachtet bei Bedarf aktiv die Zusatzanzeige; geringe Beschränkung der natürlichen Sicht zumeist grob; bei Einsatz für Augmented Reality sehr exaktes Head notwendig

4 & - Einsatz und Systeme (HMDs) kurzer Abriss 1961: erstes HMD auf dem Markt 1965: 3D-getracktes HMD durch Ivan Sutherland HMDs seit 1970er Jahren in signifikanter Anzahl im militärischen Bereich im Einsatz (Training, Zusatzanzeige) Tabelle: Bedeutende HMD- Projekte seit den 1970er Jahren [Quelle: Li, Hua et. al.: Review and analysis of avionic helmet-mounted displays. In : Op-tical Engineering 52(11), , November 2013]

5 & - Einsatz und Systeme Primäre Anwendungen von HMDs Innenraumbegehungen: subjektive Bewertung der Situation (z. B. Design, Sichtbarkeit/Sehverhältnisse) - im PKW - im Cockpit - in Kabine - im Gebäude Training: 360 -Perspektive, haptische Interaktion im Nahbereich - Militär - Luft- & Raumfahrt - Medizin Spiele Bild: NPSNET Bild: NASA Gefechtstraining mit HMD Training für Wartungsarbeiten in der Raumfahrt mit einem HMD

6 & - Einsatz und Systeme Vorteile von HMDs gegenüber Projektionen Systemische Vorteile von HMDs Kompaktheit: umschließendes VR-System auf kleinstem physischen Raum Preis: preisgünstig im Vergleich zu Mehrkanalprojektionen Isolation und Immersion: Benutzer konzentriert sich voll auf Inhalt und Aufgabe, blendet Realität aus Orientierungssinn muss zwangsläufig immer mit bedient werden (wg. Simulatorkrankheit) kein Akkommodationskonflikt: bei der haptischen Interaktion vor einer Projektionswand kann der Benutzer entweder nur auf die Projektion oder nur auf seine Hände fokussieren. HMDs haben dieses Problem nicht. Bild: Fh-IPA Einsatz eines HMDs und eines Datenhandschuhs zur Roboterprogrammierung Anfang der 1990er Jahre

7 & - Einsatz und Systeme Nachteile von HMDs gegenüber Projektionen Systemische Nachteile Isolation: fehlende Wahrnehmung der Umgebung führt zu Unsicherheit Isolation: kooperatives Arbeiten ist nur eingeschränkt möglich Akzeptanz: Ablehnung von HMDs als technische Spielerei Einsatz eines HMDs und eines Datenhandschuhs für Ergonomie-Untersuchungen Mitte der 1990er Jahre Bild: Fh-IAO

8 & - Einsatz und Systeme Nachteile von HMDs gegenüber Projektionen Produktimmanente Nachteile unzureichende Ergonomie: Gewicht, Gewichtsverteilung, umständlich anzulegen, Passkomfort, Fixierung, Hygiene fehlende geeignete Eingabesysteme: Verzicht auf Maus, Tastatur mäßige Auflösung: lediglich oberstes Preissegment 1280 x 1024 Akzeptanz: Fixierung Beeinträchtigung von Frisur, Kosmetik Bild: NIAR Training von Wartungs- und Inspektionstätigkeiten in der Raumfahrt Simulatorkrankheit: spürbare Latenzen zwischen Bewegung und Reaktion der Bildanzeige und fehlende Beschleunigungen verursachen Unwohlsein

9 & - Einsatz und Systeme Technische Spezifikationen bisheriger HMDs Gängige Eigenschaften durchschnittliches Sichtfeld: 60 Auflösung: SXGA (1280x1024) durchschnittliches Gewicht: 1kg nur bedingt in Form einer Brille erhältlich (wäre Kundenwunsch) durchschnittlicher Preis: ,- (rangiert von 500,- bis ,-.) Stark abweichende HMD-Systeme : Auflösung Sensics pisight: 2600 x 1200 Pixel Sensics xsight: 1680 x 1050 Pixel Virtual Realities HMD pro 3D WUXGA-60 : Sichtfeld Rockwell Collins Sim Eye SR 100: 100 Sensics pisight: 180 Sensics xsight: 104 SEOS HMD 120/40: x 1080 Pixel

10 & - Einsatz und Systeme Bisherige HMDs Hersteller Modellname Auflösung Auflösung Winkelauflösung Sichtfeld Sichtfeld Preis aktualisiert Gewicht Technologie horizontal vertikal horizontal vertikal grob Carl Zeiss Cinemizer 650,- mit Orientierung , g Tracker 3DOF OLED CyberMind Visette45 SXGA , ka 2014 ka nein FLCoS HiRes , $ 3.800, g nein LCD emagin X800 3D Visor , ka 2006 nein Z800 3D Visor , $ 1.700, g nein OLED Epson Moverio , , g nein LCD Fifth Dimension 5DT HMD D , $ 2.900, g nein OLED Technologies 5DT HMD D , $ 2.900, g nein LCoS io Display Systems i-glasses PC/SVGA-3D Pro , ka 2006 nein ka Kaiser Electro-Optics Inc. ProView SR , ka 2005 nein ka nvision / NVIS nvisor ST , ka g nein OLED nvisor SX , ka g nein LCoS Rockwell Collins ProView VO , ka 2006 ka nein ka Proview XL , ka 2006 ka nein ka ProView XL50 STm , ka 2006 ka nein ka Sim Eye SR , ka 2006 ka nein ka SaabTech Saab AddVisor , ka 2004 ka nein ka Sensics pisight , ka g nein OLED xsight , ka g nein OLED SEOS SEOS HMD 120/ , ka 2006 ka nein ka Silicon Micro Display ST , ka ka ka nein LCoS Sony HMZ-T , $ 799, g nein OLED HMZ-T , $ 894, g nein OLED Trivisio VRvision HMD , ka g nein AMLCD Virtual Realities VR , $ 1.300, g nein ka HMD Pro 3D SVGA , $ 4.000, ka nein OLED HMD Pro 3D SXGA , $ 8.500, ka nein OLED HMD Pro 3D WUXGA , $ , ka nein OLED Virtual Research Systems V , ka 2004 ka nein ka VR , ka 2005 ka nein ka VR , ka 2014 ka nein FLCoS

11 & - Einsatz und Systeme Neue und angekündigte HMDs Altergaze AntVR Archos VR Glasses Avegant Glyph Carl Zeiss VR One Durovis Dive FOVE VR Headset GameFace Google Cardboard InfinitEye Oculus Rift 2 Samsung GearVR Sony Morpheus Sulon Cortex Technical Illusions CastAR Valve HMD vrase VRVANA Totem

12 & - Einsatz und Systeme Neue und angekündigte HMDs Hersteller Modellname Auflösung horizontal Auflösung vertikal Winkelauflösung Sichtfeld horizontal Sichtfeld vertikal Preis grob Gewicht Kommentar AntVR AntVR , $ 300,- integriert Archos VR Glasses Smartphone-Halterung mit Optik 25,- Smartphone Smartphones bis 6 Zoll Avegant Glyph , $ 500,- 450 integriert Carl Zeiss VROne Smartphone-Halterung mit Optik 100,- Smartphone Durovis Dive Smartphone-Halterung mit Optik 60,- Smartphone Befestigung Art Kopfhörer, pixelfreies Bild durch Retinaldisplay nur für iphone 6, Samsung Galaxy S5 FOVE VR Headset ka ka ka 45 ka ka ka ka integriertes Eye GameFaceLabs GameFace ka ka ka $ 500,- integriert LCD, kabellos, Low-Persistence- Technologie Google Cardboard Smartphone-Halterung mit Optik $ 10,- Smartphone Gehäuse aus Pappe InfinitEye Gründerteam InfinitEye , $ 450,- (Bausatz) 490 nein Fresnel-Linse Liviu Berechet Antoni Altergaze Smartphone-Halterung mit Optik 60,- Smartphone Oculus / Facebook Rift , $ 350,- 400 integriert OLED, sattere Farben, Low-Persistence-Technologie Samsung GearVR Smartphone-Halterung mit Optik $ 200,- Smartphone Sony Morpheus , $ 300,- integriert LCD Sulon Cortex integriert Augmented-Reality-fähig Technical Ilusions Cast AR , $ 200,- integriert Augmented-Reality-fähig VRVANA Totem , ka integriert OLED, Augmented-Reality-fähig, Low-Persistence-Technologie Valve HMD Prototyp ka ka ka angekündigt vrase vrase Smartphone-Halterung mit Optik 60,- Smartphone Augmented-Reality-fähig

13 & - Einsatz und Systeme Eingesetzte Displaytypen in bisherigen HMDs (bis 2012) ab SXGA-Auflösung fast nur Einsatz zweier Microdisplays seit 2012: Smartphone-Displays als zusätzliche Bezugsquelle Hersteller Microdisplays: Hersteller emagin Corp. Epson Forth Dimension Displays Hitachi Micro Display Corp Olightek Planar Systems Reflection Technology Technologie OLED LCD flcos, ForthDD LCD [Geschäftstätigkeit eingestellt] Amoled [Geschäftsbereich abgegeben] [Geschäftstätigkeit eingestellt]

14 & - Einsatz und Systeme HMDs: Low-Persistence-Technologie Technologie der Fa. Valve für OLED-Displays Reduktion Nachzieh-Effekte des Displays (Verwischen) bei Bewegungen Kopfbewegungen schnell: auch bei Bildwiederholfrequenz von 60 Hertz kann Display nicht rechtzeitig aktualisiert werden Nutzer sieht für kurze Zeit (60 Hertz: 16 Millisekunden) Objekt an falscher Stelle. statt Frame so lange anzuzeigen, bis nächstes Frame geladen ist und es ersetzt, leuchten die Pixel bei "Low Persistence" nur für einen kurzen Augenblick auf und bleiben für die restliche Zeit dunkel damit dieser Strobing-Effekt dem Nutzer nicht auffällt, ist eine höhere Frequenz notwendig Tests bestätigten gestiegene Bildqualität Bild: Oculus Vergleich Low Persistence Full Persistence

15 & - Einsatz und Systeme HMDs: Firmen angekündigte HMD-Hersteller: Nr. Firmenname Ort Land Webseitenadresse 1 AntVR Technology Peking China 2 Avegant Ann Arbor USA 3 Durovis Münster Deutschland 4 FOVE Japan 5 GameFace Labs San Francisco USA 6 InfinitEye-Gründerteam Toulouse Frankreich 7 Liviu Berechet Antoni London Großbritannien 8 Meta Los Altos USA 9 Oculus / Facebook Irvine USA 10 Sulon Markham Kanada 11 Technical Illusions Woodinville USA 12 True Player Gear Outremont Kanada 13 Valve Bellevue USA 14 vrase Edinburgh Großbritannien Kickstarter: Oculus: 2,4 Mio$ Avegant: 1,5 Mio$ Technical Illusions: 1,0 Mio$ Meta: 0,2 Mio$ Oculus wurde im März 2014 für 2 Milliarden $ von der Fa. Facebook aufgekauft

16 & - Einsatz und Systeme : Grundlegendes Großteil der natürlichen Sicht unbehindert zumeist andere Verwendung als : Zusatzanzeige von Computer-generiertem Content beim Aufenthalt in natürlichen Umgebungen (z. B. Arbeit, Freizeit, Reise) im Allgemeinen kleinere Displayfläche (als HMDs) im Allgemeinen geringere Auflösung des Displays (als HMDs) Content zumeist symbolisch, Piktogramm, alphanumerisch wg. Auflösung und Größe des Displays bei High-En-Produkten im Marktsegment Augmented-Reality-Anwendungen möglich

17 & - Einsatz und Systeme - Produkte Atheer One Epson Moverio BT100 Epson Moverio BT200 Google Glass ION Glass Lumus OE-32 Meta One Meta Pro Microsoft HoloLens OptInvent ORA-1 Recon Jet Samsung Galaxy Glass Vuzix M100 Vuzix m100 Safety Vuzix m2000ar

18 & - Einsatz und Systeme - Produkte Hersteller Modellname Anzahl Displays Auflösung horizontal Auflösung vertikal Winkelauflösung Sichtfeld Sichtfeld horizontal vertikal Preis grob Gewicht Kommentar Atheer One ,0 52,0 39,0 $ 500,- 70g nein 2 x 8MP cameras Epson Moverio BT ,2 18,4 13,8 $ 700,- 240 nein LCD, Audio Epson Moverio BT ,2 18,4 13,8 700,- 124 Kompass, Gyro, Beschleunigung; GPS in Controller LCD, Audio GlassUp eyeglasses k.a. k.a. k.a. $ 300,- k.a. Accelerometer, Kompass Helligkeitssensor Google Glass ,2 12,5 9,4 $ g Beschleunigung, Gyro, Kompass, Eyetracker, Näherungssensor, Lagesensor Audio, LCoS,-Display, Touchpad, Mikrofon, Kamera, Helligkeitssensor ION Glass 1 Mehrfarben- LED k.a. k.a. k.a. k.a. $ 100,- nein Statusanzeige für Smartphone Lumus DK ,9 20,0 15,0 k.a. k.a. nein Entwicklermodul Lumus DK k.a. k.a. k.a. k.a. k.a. 9DOF-IMU Kamera; Entwicklermodul Lumus OE ,5 32,0 24,0 k.a. 26g nein Lumus PD ,9 25,6 19,2 k.a. 70g nein Meta One ,8 28,0 21,0 $ g 9DOF-IMU Meta Pro ,5 32,0 24,0 $ g 9DOF-IMU Microsoft HoloLens bislang nur Ankündigung nur Optikmodul für Entwickler nur Optikmodul für Entwickler 1 x Tiefenkamera, 2 x RGB-Kamera, Dolby 3D Audio 1 x Tiefenkamera, 2 x RGB-Kamera, Dolby 3D Audio Optinvent ORA ,6 19,2 14,4 [presales] 80g 9DOF-IMU, GPS Audio Recon Jet ,4 17,1 9,6 $ g Beschleunigung, Gyro, Magnetometer, GPS Audio, Altimeter, Barometer, Thermometer Samsung Galaxy Glass [bislang nur Ankündigung/Gerüchte] Vuzix M100, M100 Safety ,8 13,1 7,3 $999 k.a. 9DOF-IMU, GPS, Näherungssensor Kamera, Helligkeitssensor Vuzix m2000ar ,2 26,1 14,7 $6.000 k.a. 9DOF-IMU 1 x 5MP Kamera

19 & - Einsatz und Systeme : 9-DOF-IMUs Miniaturisierung, Präzisionssteigerung und Preisverfall: Bedeutungssteigerung der Inertialsensoren (engl. inertial measurement unit - IMU) für das IMU-Messeinheiten beinhalten folgende Sensorarten: 3 orthogonal angeordnete Beschleunigungssensoren (Translationssensoren): lineare Beschleunigung in x-, y- z-achse. Translation durch zweimaliger Integration. 3 orthogonal angeordnete Drehratensensoren (gyroskopische Sensoren) : Winkelgeschwindigkeit um x, y-, z-achse. Rotation mit einfacher Integration. Zur Bestimmung der Integrationskonstanten, zur Verbesserung der Genauigkeit und Korrektion der Drift der o.g. Sensoren: zusätzliche Sensoren, z.b. Magnetfeldsensoren (Kompasssensoren) und GNSS-Sensoren. Bild: SEIKO Epson Bild: Sparkfun IMU V340 der Fa. SEIKO Epson IMU Razor der Fa. Sparkfun

20 & - Einsatz und Systeme : Integration in HMDs und Spielekonsolen Mehrere Mess-Prinzipien und -Systeme im Einsatz: 9DOF-IMUs externe Kameras, die IR-Lichtquellen am HMD tracken Kameras am HMD, die externe IR-Lichtquellen in der Umgebung tracken Tiefenbildkameras zum Scannen der Realumgebung, fortwährende Referenzierung hybrider Ansätze: zumeist 9DOF-IMU in Kombination mit optischen Verfahren für schnelles wie auch absolutes 6-DOF- Bild: Oculus Bild: Sony IR-LEDs und externe Kamera IR-LEDs an Rückseite des HMDs für 360 -Drehung Bild: True Player Gear 2 Kameras an der Frontseite des HMDs

21 & - Einsatz und Systeme : Integration in HMDs und Spielekonsolen Firmenname Webseitenadresse Produktname Prinzip DOF Arbeitsraum Abtastrate AntVR AntVR 2 x 9DOF-IMUs 6 nur Relativtracking 1000 Hz Avegant Glyph 9DOF-IMU 3 nur Relativtracking 1000 Hz Carl Zeiss Cinemizer 9DOF-IMU 3 nur Relativtracking 1000 Hz GameFaceLabs GameFace 9DOF-IMU 3 nur Relativtracking 1000 Hz Immersight Immersight externe Kamera mit Mustererkennung des passiven -Targets 6 3m 60 Hz, bei anderer Kamera bis 330 Hz Meta SpaceGlasses 9DOF-IMU 3 nur Relativtracking 1000 Hz Microsoft Nintendo Kinect wii externe Kamera und Tiefenbildkamera optisch (Infrarot-Kamera in Controller) und Beschleunigungssensoren Oculus Rift 2 9DOF-IMU und externe Kamera; IR-LEDs vorne auf dem HMD, Sony Morpheus 9DOF-IMU und externe Kamera, IR-LEDs vorne und hinten auf dem HMD, Auflösung Kameras 640x480 Auflösung Kamera 1024 x 768 bei 45 Öffnungswinkel Motion Capturing m 3,5 m 30Hz Sensor 100Hz, Bluetooth-Abfrage aber nur 50 Hz 6 Zimmer 1000 Hz 6 Zimmer 1000 Hz Sony Playstation Move optisch (externe Kamera), Gyroskop, Neigungswinkelmesser Sulon Cortex 9DOF-IMU und Tiefensensor auf HMD scant Umgebung und referenziert in ihr Technical Ilusions CastAR kamera in Brille, die IR-LEDs in Umgebung trackt True Player Gear Totem 2 Kameras an der Frontseite des HMDs, die Umgebung referenzieren Valve Valve HMD 2 Kameras vorne und hinten auf HMD zur Umgebungs-/ Mustererkennung 640 x 60 Hz 320 x 120 Hz bei Öffn.-Winkel 6 5 m 60 Hz oder 120 Hz je nach Auflösung 6 Zimmer optisch: 50 Hz 6 Zimmer ka 6 Zimmer ka 6 Zimmer ka

22 & - Einsatz und Systeme : Eye Nutzen für: Usability-Untersuchungen Design-Entscheidungen Aufmerksamkeitsanalysen HMD-integrierte Eye--Lösungen: 2011: Google-Patent für Eye in Google Glass Lösungen: - FOVE VR Headset - SensoMotoric Instruments (SMI) für Oculus - Arrington Research für HMDs von Sony, Oculus, Sensics, CyberMind, Virtual Realities Bild: Arrington Research Bild: Arrington Research Getracktes Auge Hardware-technischer Aufbau Bild: Arrington Research Heat Map, erzeugt über Eye

23 & - Einsatz und Systeme : Einschätzungen der Markt für HMDs und für systeme wird sich in den kommenden 5 Jahren sehr stark verändern Markets and Markets: - globaler HMD-Markt bei $12,28 Milliarden im Jahr jährliche Wachstumsrate : 57% Einsatzmöglichkeiten guter HMDs enorm (v.a. Innenraum-Begehungen, Training) Einschränkungen der Fähigkeit zur Kooperation sind abstellbar

24 & - Einsatz und Systeme : Literatur Bayer, Michael M.: Introduction to Helmet Mounted Displays. In: Rash, Clarence E. (Ed.): Helmet-mounted displays : sensation, perception, and cognition issues, S , U.S. Army Aeromedical Research Laboratory, 2009 Bundesanstalt für Arbeitsschutz und Arbeitsmedizin: - Aktueller Stand von Forschung und Umsetzung sowie zukünftiger Entwicklungsrichtungen. Workshop vom 20. Juni 2011, Dortmund, 2011 Gross, Frank: für den professionellen Einsatz: Stand der aktuellen Produkte am Markt. In: Displaytrends Head Mounted Displays, & Co, Workshop am Virtual Dimension Center Fellbach, Fellbach, Li, Hua et. al.: Review and analysis of avionic helmet-mounted displays. In : Optical Engineering 52(11), , November 2013 N.N.: Head Mounted Display (HMD) Market by Products (Helmet Mounted, Wearable Glass), Components (Micro display, Camera, control unit, Tracker, Accessories), Applications (Defense, industrial, Video Gaming) & Geography - Global Analysis and Forecast to 2020, Markets and Markets, Mai 2014 N.N.: Global Head-mounted Display Market, TechNavio, Januar 2013 N.N.: Head Mounted Display (HMD) Market Analysis By Product (Helmet Mounted Display, Wearable Glass), By End-Use (Defense, Consumer), By Application (Imaging, Security,, Training & Simulation) And Segment Forecasts To 2020, Grand View Research, Oktober

25 & - Einsatz und Systeme : Links Bungert, Christoph: HMD/headset/VR-helmet Comparison Chart, abgerufen am Kovshenin, Konstantin: VR Brillen. Head Mounted Display Der nächste Quantensprung in Gaming und Film, abgerufen am Road to VR: HMD Comparison. Head Mounted Display (HMD) / VR Headset Comparison Chart, abgerufen am Runde, Christoph: &, abgerufen am Uthe, Nico, et al.: VR-Nerds a Virtual Reality Showcase:, abgerufen am

26 & - Einsatz und Systeme Mitglieder im Thema:

27 Sie interessieren sich für das Thema und benötigen einen kompetenten Ansprechpartner? Sprechen Sie gerne mit uns. Virtual Dimension Center (VDC) Fellbach Auberlenstr Fellbach Tel.: 0711 / info@vdc-fellbach.de Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. Virtual Dimension Center VDC