examen.press Weitere Bände in dieser Reihe

Transkript

1 examen.press Weitere Bände in dieser Reihe

2 examen.press ist eine Reihe, die Theorie und Praxis aus allen Bereichen der Informatik für die Hochschulausbildung vermittelt.

3 Ralf Dörner Wolfgang Broll Paul Grimm Bernhard Jung (Hrsg.) Virtual und Augmented Reality (VR/AR) Grundlagen und Methoden der Virtuellen und Augmentierten Realität

4 Herausgeber Prof. Dr. Ralf Dörner Fachbereich Design, Informatik, Medien Hochschule RheinMain Wiesbaden Deutschland Prof. Dr. Wolfgang Broll Fakultät für Informatik und Automatisierung/ Fakultät für Wirtschaftswissenschaften und Medien Technische Universität llmenau Ilmenau Deutschland Prof. Dr. Paul Grimm Fachbereich Angewandte Informatik Hochschule Fulda Fulda Deutschland Prof. Dr. Bernhard Jung Fakultät für Mathematik und Informatik TU Bergakademie Freiberg Freiberg Deutschland ISSN ISBN DOI / ISBN (ebook) Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über abrufbar. Springer vieweg Springer-Verlag Berlin Heidelberg 2013 Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung, die nicht ausdrücklich vom Urheberrechtsgesetz zugelassen ist, bedarf der vorherigen Zustimmung des Verlags. Das gilt insbesondere für Vervielfältigungen, Bearbeitungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Gedruckt auf säurefreiem und chlorfrei gebleichtem Papier Springer Vieweg ist eine Marke von Springer DE. Springer DE ist Teil der Fachverlagsgruppe Springer Science+Business Media

5 Geleitwort Virtual Reality ist eine Zukunftstechnologie, die zunehmend an Bedeutung in einer Vielzahl von Anwendungsgebieten in Forschung und Industrie gewinnt. Durch die rasante Entwicklung von Displayhardware, neuen Interaktionsgeräten und Trackingsystemen, werden heute Virtual Reality Anwendungen entwickelt, die vor wenigen Jahren ausschließlich in großen Forschungslaboren realisierbar gewesen wären. Diese Technologierichtung wird in besonderem Maße durch deutsche Forschungs- und Entwicklungseinrichtungen geprägt. Aus diesem Grund besteht ein Bedarf an einem deutschsprachigen Lehrbuch zur Ausbildung der nächsten Generation von Virtual Reality Spezialisten. Das vorliegende Buch Virtual Reality und Augmented Reality (VR/AR) Grundlagen und Methoden der Virtuellen und Augmentierten Realität entstand aus einer Initiative von international führenden Experten der Fachgruppe Virtuelle Realität und Augmented Reality der Gesellschaft für Informatik (GI). Die Fachgruppe unterstützt neben der Etablierung von neuen Forschungsrichtungen auch die Förderung des Nachwuchses, indem sie sich mit fachdidaktischen Fragestellungen beschäftigt. Umfragen innerhalb der Fachgruppe haben nicht nur den Inhalt dieses Buches beeinflusst, auch viele der Autoren sind aktiv in der Fachgruppe engagiert. Neben technischen Themen geht das Buch auch auf Aspekte der Wahrnehmung, der Mensch Computer Interaktion und auf mathematische Grundlagen ein. Es schließt eine Lücke im deutschsprachigen Raum, indem es den aktuellen Stand der Forschung durch Grundlagen und anwendungsorientierte Beispiele fachdidaktisch aufbereitet. Ich bin davon überzeugt, dass dieses Buch bei einer breiten Leserschaft großes Interesse wecken wird. Der Inhalt des Buches ist von hoher technischer Qualität und wird einen wichtigen Beitrag zur zukünftigen Entwicklung dieser Disziplin leisten. September 2013 V Prof. Dr. Oliver Staadt Universität Rostock Sprecher der GI-Fachgruppe virtuelle Realität und Augmented Reality V

6 Inhaltsverzeichnis 1 Einleitung Ralf Dörner, Bernhard Jung, Paul Grimm, Wolfgang Broll und Martin Göbel 1.1 Worum geht es bei VR/AR? Die perfekte Virtuelle Realität Die Simulation der Welt Suspension of Disbelief Motivation Was ist VR? Technologieorientierte Charakterisierungen der VR VR als innovative Form der Mensch-Maschine Interaktion Mentale Aspekte der VR-Erfahrung Historische Entwicklung der VR VR/AR Systeme Benutzung des Buches Aufbau des Buches Benutzungsanleitung Zielgruppen des Buches Lehrende im Bereich VR/AR Studierende Anwender oder solche, die es werden wollen Technologieaffine Zusammenfassung und Fragen Literaturempfehlungen Literatur Wahrnehmungsaspekte von VR Ralf Dörner und Frank Steinicke 2.1 Menschliche Informationsverarbeitung Visuelle Wahrnehmung Stereosehen Raumwahrnehmung VII

7 VIII Inhaltsverzeichnis 2.3 Multisensorische Wahrnehmung Auditive Wahrnehmung Haptische Wahrnehmung Propriozeption und Kinästhesie Bewegungswahrnehmung Präsenz und Immersion Phänomene, Probleme, Lösungen Abweichende Betrachtungsparameter Doppelbilder Frame Cancellation Vergence-Focus-Konflikt Diskrepanzen in der Raumwahrnehmung Diskrepanzen in der Bewegungswahrnehmung Cybersickness Nutzung von Wahrnehmungsaspekten Salienz Nutzerführung Zusammenfassung und Fragen Literaturempfehlungen Literatur Virtuelle Welten Bernhard Jung und Arnd Vitzthum 3.1 Einführung vorüberlegung: Anforderungen an Virtuelle Welten Erstellen der 3D-Objekte Aufbereitung der 3D-Objekte für VR/AR Integration der 3D-Objekte in VR/AR-Laufzeitumgebungen Szenengraphen D Objekte Oberflächenmodelle Polygonbasierte Repräsentationen Polygone Polygonnetze (Polygon Meshes) Triangle Strips Festkörpermodelle Boundary Representations (B-Reps) Primitive Instancing Erscheinungsbild Materialien Texturen Shader

8 Inhaltsverzeichnis IX Optimierungstechniken für 3D-Objekte Vereinfachung von Polygonnetzen Darstellung unterschiedlicher Detailgrade Texture Baking Billboards Animation und Objektverhalten Keyframe-Animation Physikbasierte Animation starrer Körper Objektverhalten verhalten und Animation in Szenengraphen Beleuchtung, Sound und Hintergründe Beleuchtung Sound Hintergründe Spezialsysteme virtuelle Menschen Partikelsysteme Gelände vegetation Zusammenfassung und Fragen Literaturempfehlungen Literatur VR-Eingabegeräte Paul Grimm, Rigo Herold, Johannes Hummel und Wolfgang Broll 4.1 Grundlagen Anzahl der Freiheitsgrade pro verfolgtem Körper Anzahl der gleichzeitig verfolgten Körper Größe der überwachten Fläche bzw. des überwachten Volumens Genauigkeit Wiederholrate Latenz Drift Empfindlichkeit gegenüber äußeren Rahmenbedingungen Kalibrierung Usability Optisches Tracking Markenbasierte Verfahren Markenlose Verfahren Outside-In-Verfahren Inside-Out-Verfahren vergleich der optischen Tracking-Systeme

9 X Inhaltsverzeichnis 4.3 Weitere Eingabegeräte D-Mouse Mechanische Eingabegeräte Akustisches Tracking Elektromagnetisches Tracking Inertial-Tracker Bewegungsplattformen Finger-Tracking Eye-Tracking Bewegungsabläufe des Auges verfahren Funktionsweise eines Eye-Trackers Kalibrierung Eye-Tracking in Head-Mounted Displays Remote-Eyetracker Zusammenfassung und Fragen Literaturempfehlungen Literatur VR-Ausgabegeräte Paul Grimm, Rigo Herold, Dirk Reiners und Carolina Cruz-Neira 5.1 visuelle Ausgabe verwendete Technologien Räumliche Darstellung Aufbau von Displaysystemen mit mehreren Displays Ausgabe über Tiled Displays Geometrische Kalibration Helligkeitsuniformität Farbuniformität Hard- und Software für die Bilderzeugung Fazit Head-Mounted Displays Allgemeine Kenngrößen und Eigenschaften Direktsicht-HMDs video-hmds See-Through-HMDs Interaktive HMDs Akustische Ausgabegeräte Haptische Ausgabegeräte Zusammenfassung und Fragen Literaturempfehlungen Literatur

10 Inhaltsverzeichnis XI 6 Interaktionen in Virtuellen Welten Ralf Dörner, Christian Geiger, Leif Oppermann und Volker Paelke 6.1 Grundlagen aus der Mensch-Computer-Interaktion Selektion Zeigen in Virtuellen Welten Interaktionsgestaltung Beispiele für Selektionstechniken Manipulation von Objekten Navigation Steuerungstechniken zur Bewegungskontrolle Walking als Technik zur Bewegungskontrolle Leaning-Based Interfaces zur Bewegungskontrolle Routenplan- und zielbasierte Bewegungstechniken Entwurfskriterien für Navigationstechniken Systemsteuerung Prozesse für Design und Realisierung von VR-Interaktion Besonderheiten von VR-Benutzungsschnittstellen Nutzerorientierte Entwicklung von VR-Interaktionen Nutzertests Zusammenfassung und Fragen Literaturempfehlungen Literatur Echtzeitaspekte von VR-Systemen Mathias Buhr, Thies Pfeiffer, Dirk Reiners, Carolina Cruz-Neira und Bernhard Jung 7.1 Latenz in VR-Systemen Welche Anforderungen an Latenz gibt es? Wo entstehen eigentlich Latenzen? Ist die Latenz in einem VR-System konstant? Welche Ansätze zur Latenzbestimmung gibt es? Latenzbestimmung durch Berechnung Bestimmung der Latenz von Tracking-Systemen Bestimmung der Ende-zu-Ende-Latenz Zusammenfassung Latenz Effiziente Kollisionserkennung in Virtuellen Welten Hüllkörper Axis-Aligned Bounding Box (AABB) Bounding Spheres Oriented Bounding Boxes (OBBs) Discrete-Oriented Polytope (k-dops)

11 XII Inhaltsverzeichnis Techniken zur Strukturbildung Bounding Volume Hierarchies Raumzerlegung und Binary Space-Partitioning-Trees Kollisionserkennung für große Umgebungen Broad Phase Collision Detection Narrow Phase Collision Detection Zusammenfassung und weitergehende Techniken Echtzeit-Rendering Virtueller Welten Algorithmische Strategien view Volume Culling Hierarchical View Volume Culling Occlusion Culling Backface Culling Small Feature Culling Portal Culling Level of Detail Hardwarebezogene Strategien Objektgröße Indizierung Caching Stripping Minimierung von Zustandswechseln Softwaresysteme für die Darstellung Virtueller Welten Szenengraphen Zusammenfassung und Fragen Literaturempfehlungen Literatur Augmentierte Realität Wolfgang Broll 8.1 Einführung Übersicht videoaufnahme Tracking Registrierung Darstellung Ausgabe Definition Grundlegende Ausprägungen von AR video See-Through-AR Optisches See-Through-AR Projektionsbasierte AR vergleich der unterschiedlichen Ausprägungen von AR

12 Inhaltsverzeichnis XIII 8.2 Tracking Mobiles Positions-Tracking Sensorbasiertes mobiles Orientierungs-Tracking Kamerabasiertes Tracking mit Marken Einsatz des Marken-Trackings Grundlegende Funktionsweise Intrinsische und extrinsische Kameraparameter Merkmalsbasierte Tracking-Verfahren Geometriebasiertes Tracking Weitere merkmalsbasierte Tracking-Verfahren Hybride Tracking-Techniken Registrierung Geometrische Registrierung Photometrische Registrierung visuelle Ausgabe Handheld-Geräte video-see-through-displays Optische See-Through-Displays Optische See-Through-Displays mit semi-transparenten Spiegeln Prismenbasierte optische See-Through-Displays Retinale Datenbrillen See-Through-Displays mit integrierten optischen Elementen Auswirkungen unterschiedlicher Bauweisen Auswirkungen unterschiedlicher Displaykonfigurationen auf die Tiefenwahrnehmung Projektionsbasierte Ausgabe Spezielle AR-Techniken Head-Up-Inhalte verdeckungen und Phantomobjekte Überblenden von Marken virtuelle Löcher Spezielle AR-Interaktionstechniken Interaktion durch Navigation Selektion durch Blickrichtung Tangible User Interfaces Applikationen Training und Wartung Fernsehübertragungen Militärische Applikationen Lehre, (Aus-) Bildung und Museen Architektur und Städteplanung Medizin Information, Navigation und Tourismus

13 XIV Inhaltsverzeichnis Archäologie und Geschichte Spiele und Unterhaltung Zusammenfassung und Fragen Magic Lens Tracking Registrierung Displays Tangible Interfaces Phantomobjekte Literaturempfehlungen Literatur Fallbeispiele für VR/AR Ralf Dörner, Geert Matthys, Manfred Bogen, Stefan Rilling, Andreas Gerndt, Janki Dodiya, Katharina Hertkorn, Thomas Hulin, Johannes Hummel, Mikel Sagardia, Robin Wolff, Tom Kühnert, Guido Brunnett, Hagen Buchholz, Lisa Blum, Christoffer Menk, Christian Bade, Werner Schreiber, Matthias Greiner, Thomas Alexander, Michael Kleiber, Gerd Bruder und Frank Steinicke 9.1 Einführung und Übersicht Die aixcave an der RWTH Aachen University virtuelle Realität in der Öl- und Gasindustrie virtuelle Satellitenreparatur im Orbit virtual Prototyping von Schuhen und Stiefeln Augmentierte Realität zum Anfassen Augmentierte Realität unter Wasser Einsatz von Spatial Augmented Reality in der Automobilindustrie Einsatz von Augmented Reality in der Fertigungsplanung Augmentierte Realität und Print Benutzerzentrierte Gestaltung eines AR-basierten Systems zur Telemaintenance Effekte von Rendering-Parametern auf die Wahrnehmung von Größen und Distanzen Literatur Mathematische Grundlagen von VR/AR Ralf Dörner 10.1 vektorräume Geometrie und Vektorräume Der affine Raum Der euklidische Raum Analytische Geometrie im R

14 Inhaltsverzeichnis XV 10.6 Matrizen Affine Abbildungen und Wechsel von Koordinatensystemen Bestimmung von Transformationsmatrizen Über die Autoren Sachverzeichnis