3D-Modellierung und virtuelle Präsenz Ein- und Ausgabegeräte

Transkript

1 3D-Modellierung und virtuelle Präsenz Ein- und Ausgabegeräte Stefan Does Universität Ulm Institut für Verteilte Systeme 2007

2 Inhaltsverzeichnis 1. Einleitung Eingabesysteme Tracking Eye-Tracking Datenhandschuh /-anzug D-Maus (Spacemouse) Haptische Eingabesysteme Spracheingabesysteme Gedankeneingabesysteme Ausgabesysteme Räumliche Wahrnehmung Curved Displays Shutterbrille Head-mounted Displays Virtual Retinal Displays D-Monitore Holographische Bildwiedergabe Hybridsysteme Locomotion Interfaces Fahrrad Laufband Sphere CirculaFloor CAVE Cave Automatic Virtual Environment Ausblick Quellen Bildernachweis

3 1. Einleitung Im Bereich der 3D-Modellierung und der Interaktion in virtuellen, dreidimensionalen Welten reicht es häufig nicht aus, die Ein- und Ausgabe lediglich mit normalem Monitor, sowie gewöhnlicher Tastatur und Maus abzuwickeln. Diesen Geräten fehlt es an der Möglichkeit, dreidimensionale Objekte auch dreidimensional darzustellen, beziehungsweise Eingaben in allen drei Dimensionen zu erkennen. Im Folgenden werden aktuelle Produkte und Entwicklungen im Bereich der 3D-Ein- und Ausgabe betrachtet. Hierbei werden die Systeme selbst, sowie auch ihre technische Funktion vorgestellt. Auch die zum Verständnis der Arbeitsweise der Geräte nötige Grundlagen im Bereich der menschlichen Physiologie werden geschaffen. Zum Schluss wird auf Systeme eingegangen, die Ein- und Ausgabesysteme miteinander kombinieren, sogenannte Hybride. 2. Eingabesysteme Zunächst soll geklärt werden, was unter dem Begriff Tracking verstanden wird. Danach wird erläutert, welche Tracking-Verfahren existieren und wie deren Arbeit im Allgemeinen funktioniert. Im Anschluss werden einige Eingabesysteme vorgestellt und hierbei wird erläutert, welcher Trackingverfahren sich diese bedienen. Ganz allgemein werden einige Anforderungen an Eingabesysteme für die 3D-Modellierung und den Einsatz in virtuellen Welten gestellt. So sollen sie eine möglichst natürliche, intuitive Benutzung ermöglichen und zugleich jegliche Bewegung, sowohl Verschiebungen als auch Drehungen, in allen drei Dimensionen erfassen. Um die Erfassung dieser Bewegungen zu ermöglichen, müssen entsprechende Eingabegeräte also sechs Freiheitsgrade unterstützen. 2.1 Tracking Tracking, zu deutsch Nachführung oder Verfolgung, beschreibt die Verfolgung eines oder mehrerer Objekte im zwei- oder dreidimensionalen Raum. Mit Hilfe des Trackings kann bestimmt werden, wo sich ein Objekt zu welchem Zeitpunkt befindet, welchen Weg es dorthin nahm und mit welcher Geschwindigkeit es sich bewegte. Auch können Position, Geschwindigkeit oder Beschleunigung eines Objektes vorhergesagt werden. Die prinzipielle Arbeitsweise aller Tracking-Methoden ist identisch. So existieren die drei Schritte Prädikation, Assoziation und Innovation. Es finden jedoch nicht immer zwingend alle drei Schritte Verwendung, wobei ihre Kombination in manchen Situationen Vorteile bringen kann. Bei der Prädikation wird anhand zuvor erhaltener Messdaten und diverser Gesetzmäßigkeiten rechnerisch vorhergesagt, welche Bewegungen das betrachtete Objekt in welcher Geschwindigkeit in Zukunft ausführen wird. Diese Vorhersage wird dann als Hypothese bezeichnet. Meist werden mehrere solcher Hypothesen aufgestellt, wodurch auch komplizierte Bewegungsabläufe erfasst werden können. Wie diese Verfahren im Genauen arbeiten ist leider nicht zu erfahren, da sie zum größten Teil beim Militär und der Industrie Verwendung finden und diese aus Sicherheitsgründen keine genaueren Auskünfte erteilen. Die Assoziation ist nur im sogenannten Multi-Target-Tracking, also der Verfolgung mehrerer Objekte innerhalb eines betrachteten Bereiches, nötig. Sie ordnet aktuell erhaltene Messdaten dem zugehörigen Objekt zu, indem die Daten mit bereits vorhandenen Daten verglichen werden. Alternativ ist auch eine Zuordnung der Objekte zu ihren Messdaten durch entsprechend definierte Messzyklen möglich, dies ist jedoch nicht immer praktikabel. Im Rahmen der Innovation werden nun die durch Prädikation und aktuelle Messungen erhaltenen Daten gewichtet zusammengeführt. Mit Hilfe der Gewichtung, welche sowohl dynamisch als auch statisch erfolgen kann, ist es möglich zu steuern, wie auf akut eintretende Veränderungen reagiert werden - 3 -

4 soll: eine stärkere Gewichtung der durch Prädikation gewonnenen Daten zieht eine Glättung nach sich, wohingegen durch eine stärkere Gewichtung in Richtung der aktuellen Messdaten eine höhere Reaktionsgeschwindigkeit bei spontan auftretenden Veränderungen erfolgt. ([21]) 2.2 Eye-Tracking Eye-Tracking ist die Bezeichnung für das Aufzeichnen und Auswerten der Blickbewegungen eines Benutzers. Unter Blickbewegungen sind hier nicht nur Bewegungen des Augapfels selbst zu verstehen, sondern auch Bewegungen der Augenlider. So kann beispielsweise ein Blinzeln als Mausklick gewertet werden. Seit den 70er Jahren des vergangenen Jahrhunderts gibt es Möglichkeiten, diese Bewegungen so zu erfassen, dass keine für den Probanden unangenehme Apparaturen ins Auge eingebracht bzw. an den Kopf montiert werden müssen. Es kristallisierten sich folgende Verfahren als die bevorzugten heraus ([22]): Retinal-Nachbilder: Bei diesem Verfahren werden durch starke Lichtreize auf der Retina entstehende Nachbilder zum Tracking verwendet. Im Auge geschieht hier das selbe, was auch beim Fotografieren mit Blitz passiert. Für den Probanden ist ein gewisser Bereich so durch das Licht beeinflusst, dass hier Farben wahrgenommen werden, die in der Realität nicht vorhanden sind. Diese Überreizung der Lichtrezeptoren im Auge ist auch von außen mess- und erkennbar. Die Position des Nachbildes kann nun verfolgt werden, um Daten zur Stellung und zu den Bewegungen des Auges zu erlangen. Elektrookulogramme: Hierbei macht man sich zu Nutze, dass zwischen Retina und Hornhaut eine elektrische Spannung besteht. Diese befindet sich beim Blick geradeaus im Gleichgewicht. Bei Bewegungen des Auges verändert sich die Spannung je nach Bewegungsrichtung hin zum positiven (Hornhaut) oder zum negativen Pol (Netzhaut). Da die Veränderung der Spannung ungefähr proportional zum Blickwinkel des Probanden ist, lässt dieser sich hierdurch berechnen. Kontaktlinsen: Das Eye-Tracking kann auch mit Hilfe von Kontaktlinsen erfolgen. Hierbei gibt es zwei Varianten: Zum Einen der Einsatz verspiegelter Kontaktlinsen. Dadurch wird das eintreffende Licht zum Teil von der Kontaktlinse reflektiert, anstatt ins Augeninnere zu gelangen. Dieses reflektierte Licht wird mit Hilfe einer Kamera aufgenommen und von einem entsprechenden System ausgewertet. Zum Anderen finden Kontaktlinsen mit integrierten Metallspulen Verwendung. Befindet sich der Benutzer nun in einem Magnetfeld, so entsteht in den Spulen eine induktive Spannung, welche gemessen wird. Bei Bewegungen der Augen verändert sich diese Spannung, so dass durch die Spannungsveränderungen die Augenbewegungen errechnet werden können. Diese Methode wird auch als search coil bezeichnet. Cornea Reflex: Hier wird das Auge mit Infrarotlicht bestrahlt. Die Reflexion des Lichtes auf der Hornhaut wird im Verhältnis zur Pupillenposition betrachtet, wodurch dann der Blickwinkel errechnet werden kann. Die Aufnahme erfolgt hierbei mit einer Infrarotkamera. Für den Probanden ist dieses Verfahren am angenehmsten, da sein wahrgenommenes Bild keinerlei Beeinträchtigungen unterliegt und nichts in das Auge eingebracht werden muss. Dieses Vorgehensweise ist auch als video based eye tracking bekannt. Grundsätzlich kann zwischen Remote Eye Tracking und Head-mounted Eye Tracking unterschieden werden. Bei Head-mounted Eye Trackern befindet sich die gesamte Hardware zur Aufzeichnung der Augenbewegungen direkt am Kopf des Benutzers. Dies hat den Vorteil, dass die verwendeten Kame

5 ras sämtliche Kopfbewegungen automatisch mitmachen, also keine Techniken zum Ausgleich der Bewegungen eingesetzt werden müssen. Üblicherweise wird bei dieser Technik auch das aktuelle Sichtfeld des Benutzers aufgezeichnet. In diese Aufzeichnungen wird dann zur späteren Auswertung die Blickrichtung des Probanden eingeblendet. Im Gegensatz hierzu sind Remote Eye Tracker stationär, beispielsweise am Computermonitor, montiert. Dies hat zur Folge, dass alle Bewegungen des beobachteten Kopfes ausgeglichen werden müssen. Um dieses Ziel zu erreichen werden drei verschiedene Ansätze verwendet ([22]): Das am einfachsten zu realisierende System verwendet eine fest montierte Kamera und gleicht Kopfbewegungen nur durch Software aus. Diese wird als fixed-camera System bezeichnet. Alternativ hierzu gibt es auch die Möglichkeit, die Kamera beweglich zu montieren und allen Bewegungen des Probanden nachzuführen. Dieses Verfahren heißt Pan-Tilt System. Das Tilting Mirror Systeme das dritte System im Bunde verwendet servogetriebene Spiegel und eine fest montierte Kamera. Hierbei sieht die Kamera die Augen des Benutzers durch Spiegel, welche durch ihre Bewegungen Positionsveränderungen des Kopfes ausgleichen. 2.3 Datenhandschuh /-anzug Da Datenhandschuh und Datenanzug sich lediglich in der Größe unterscheiden, wird im Folgenden nur auf den Datenhandschuh eingegangen. Alle hierfür gemachten Aussagen gelten in gleichem Maße auch für Datenanzüge. Unter einem Datenhandschuh kann man sich wie der Name schon vermuten lässt einen Handschuh mit integrierter Datenverarbeitungstechnik vorstellen. In ihm befindet sich sowohl Hardware zur Messung von Bewegungen als auch Force-Feedback-Technik. In den Anfängen dieser Technik wurden Bewegungen der Hand mit Biegesensoren gemessen. Abbildung 1 zeigt einen solchen Datenhandschuh. Abbildung 1: Datenhandschuh mit Biegesensoren, [a] Wie auf dem Bild zu erkennen ist, sind an allen Fingerspitzen die Enden von Drähten angebracht, welche über Gelenke hinweg am Unterarm zusammenlaufen. Nun erfolgte eine Messung, wie weit die Drähte nach vorne gezogen sind. Je mehr ein Finger abgeknickt ist, umso mehr ist der entsprechende Draht nach vorne gezogen. Heutzutage werden die Fingerbewegungen über faseroptische oder elektrische Kabel gemessen. Hierbei wird Licht oder elektrischer Strom über das Kabel gesendet, welches durch Biegung seinen Widerstand verändert. Eine Messung des noch ankommenden Lichts bzw. Stroms in den Kabelenden ermöglicht eine Berechnung, in welchem Winkel die Finger abgeknickt sind. Hierbei erhält jeder Finger ein oder mehrere Kabel, wobei im Idealfall jedes Gelenk einen eigenen Sensor erhält, so dass jede Be

6 wegung hoch aufgelöst ausgewertet werden kann. Bei neueren Handschuhen sind auch der Handrücken und die Handfläche mit Sensoren ausgestattet. Durch diese Technik sind sehr viel kleinere und leichtere Handschuhe möglich, als dies mit den Biegesensoren zu verwirklichen gewesen wäre. So brachte beispielsweise 2004 die Firma Immersion einen per Bluetooth angebundenen Datenhandschuh auf den Markt, welcher kaum größer als ein normaler Handschuh ohne technische Zusätze ist. Abbildung 2 zeigt das neueste Modell eines Datenhandschuhs der Firma Immersion. Der Vergleich mit Abbildung 1 macht deutlich, um wie viel die Technik hier bei besser werdender Leistung eingeschrumpft ist. Abbildung 2: Immersion CyberGlove II, [b] Der CyberGlove II besitzt 18 bis 22 Sensoren, wovon jeder von ihnen eine Auflösung kleiner einem Grad besitzt und 90 Messungen pro Sekunde vornimmt. An einer Basisstation können zeitgleich bis zu zwei Handschuhe betrieben werden, so dass eine zweihändige Bedienung möglich wird. Durch die eingesetzte Force-Feedback-Technik wird es möglich, virtuelle Objekte mit Hilfe des Handschuhs richtiggehend zu erfühlen und durch Berührung zu verändern. ([1], [10], [14]) 2.4 3D-Maus (Spacemouse) 3D-Mäuse, auch Spacemouses genannt, wurden ursprünglich zur Steuerung des Roboterarmes der Space Shuttles von der ESA entwickelt. Um den Arm möglichst genau positionieren zu können, mussten sie eine Steuerung in sechs Freiheitsgraden ermöglichen: Bewegungen sowie Drehungen in allen drei Dimensionen. Im Laufe der Zeit hielten die 3D-Mäuse auch Einzug in die Welt der 3D-CAD-Bedienung. Die Möglichkeit, in allen drei Dimensionen navigieren zu können, ohne hierzu spezielle Tastenkombinationen zu benötigen oder die Bewegungsrichtung umschalten zu müssen, erleichtert die Arbeit hier sehr. Auch zur Navigation in Google Earth werden 3D-Mäuse zunehmend eingesetzt. In Abbildung 3 wird eine solche 3D-Maus dargestellt. Abbildung 3: Logitech Space Mouse, 1992, [c] - 6 -

7 2.5 Haptische Eingabesysteme Haptische Eingabegeräte bedienen sich in ihrer Funktionsweise des menschlichen Tastsinns. Sie bieten die Möglichkeit, virtuelle Objekte durch Anfassen zu verändern und zu untersuchen. Um dies zu ermöglichen, ist in allen haptischen Systemen die Force-Feedback-Technologie integriert. Prinzipiell gibt es zwei unterschiedliche Anwendungsbereiche, in denen Haptik zum Einsatz kommt ([1]): Zum Einen gibt es Systeme, welche die Bearbeitung und Untersuchung virtueller Objekte ermöglichen. So kann beispielsweise aus einem Würfel eine Skulptur herausgearbeitet werden, ähnlich wie dies in der Realität in der Bildhauerei geschieht. Hierzu erzeugt die Force-Feedback-Technologie bei Berührungen mit dem virtuellen Objekt einen an die Beschaffenheit und die Aufprallgeschwindigkeit angepassten Widerstand. Diese Technik wird unter anderem zur Steuerung von Operationsrobotern eingesetzt. Der operierende Arzt kann somit fühlen, welchen Widerstand der Operationsroboter am Patienten erfährt und kann entsprechend handeln. Im Gegensatz hierzu gibt es Systeme, welche die Force-Feedback-Technologie einsetzen, um virtuell Vorgänge und Objekte auf den aufzubringenden Kraftaufwand und den auftretenden Widerstand hin untersuchen zu können. ([1], Seite 7). Zum Beispiel ist es so möglich, ein neu entwickeltes Fahrzeuggetriebe auf das Verhalten beim Schalten zu überprüfen, ohne es jedoch hierzu wirklich bauen zu müssen. 2.6 Spracheingabesysteme Immer häufiger wird auch das Prinzip der Sprachsteuerung eingesetzt. Waren Spracherkennungssysteme zum Beginn ihrer Entwicklung für praktischen Einsatz noch sehr ungeeignet, so nimmt ihre Qualität immer mehr zu. Bis noch vor einigen Jahren waren lediglich sprecherabhängige Systeme erhältlich, welche intensives Training mit ihrem Benutzer erforderten. Gegenüber sprecherunabhängigen Systemen, welche immer mehr Verbreitung finden, bieten sie den Vorteil, dass sie einen deutlich größeren Wortschatz besitzen. Dies wird jedoch aufgrund der umfangreichen Trainingsmaßnahmen getrübt, wodurch ein Einsatz in Szenarien mit häufig wechselnden Benutzern nicht praktikabel ist. Hier bietet sich im Gegensatz der Einsatz sprecherunabhängiger Systeme an, welche jedoch im Allgemeinen einen deutlich geringeren Wortschatz bieten und bei denen deutlich mehr Aufwand für die Spracherkennung nötig ist. Beiden Ansätzen gleich sind die Faktoren, welche die Erkennungsleistung beeinflussen. Hierbei kommt es bedeutend auf die Qualität der Sprachaufnahme an. Je höher diese durch ein Grundrauschen oder andere Nebengeräusche gestört ist, desto geringer wird die Erkennungsrate sein. Auch die Größe des eingesetzten Wortschatzes beeinflusst die Erkennungsleistung. So wird bei sehr beschränktem Wortschatz in der Regel eine Trefferquote von nahezu 100% erreicht. Ist jedoch keine Begrenzung des Wortschatzes mehr vorgesehen, so fällt die Trefferquote auf unter 95% ab, was ein ständiges Nachbessern zur Folge hat. Um die Erkennungsleistung sämtlicher Systeme zu verbessern wird derzeit versucht, die Spracherkennung mit dem Lippenlesen zu kombinieren. Hierbei erfolgt ein Tracking der Lippen des Sprechers. Kombiniert man nun die Ergebnisse aus Spracherkennung und Lippentracking, werden Störungen durch schlechte Aufnahmen deutlich verringert. Die Herausforderung der Spracherkennungssysteme liegt darin, die Sprache des Menschen in ihrer natürlichen Form zu verstehen. Während es für das Verständnis der Sprache für die Technik angenehmer wäre, wenn der Mensch sehr langsam und unterbrochen, also die sogenannte diskrete Sprache, sprechen würde, spricht der Mensch jedoch fließend, die sogenannte kontinuierliche Sprache. Abbildung 4 verdeutlicht dies: es ist zu erkennen, dass der Abstand zwischen den einzelnen Worten im unteren Diagramm deutlich größer ist, als im oberen. Dies erleichtert die Erkennung der einzelnen Worte durch das Computersystem erheblich

8 Abbildung 4 (aus [2]): oben: kontinuierliche Sprache, unten: diskrete Aussprache Des Weiteren existieren in den meisten Sprachen Wörter, welche gleich ausgesprochen, je nach Kontext jedoch unterschiedliche Bedeutungen haben, sogenannte Homophone. Beispielsweise werden die Worte Meer und mehr gleich ausgesprochen, bedeuten jedoch grundlegend verschiedenes. Dies hat zur Folge, dass Spracherkennungssysteme sich nicht darauf beschränken dürfen, Wort für Wort zu interpretieren, sondern dass sie jedes Wort in seinem Zusammenhang sehen müssen. Auch sogenannte Phoneme bereiten der Spracherkennung Schwierigkeiten. Phoneme sind Laute, welche auf Grund ihrer Frequenzanteile in der Sprache nur sehr schwierig zu erkennen sind. So ist der Konsonant p beispielsweise nur durch den etwas verzögerten und nicht 100% waagerechten Übergang der benachbarten Laute zu erkennen. Dies wird in Abbildung 5 illustriert, wobei im unteren Teil das p entfernt wurde. Es ist kaum ein Unterschied zu der oberen Grafik erkennbar. Dies erschwert die automatische Worterkennung deutlich. Abbildung 5 (aus [2]): oben: "sprechen", unten: "srechen" Auf die genaue Realisierung der Spracherkennung wird hier nicht näher eingegangen werden, hierzu empfiehlt sich die Lektüre von [2]. 2.7 Gedankeneingabesysteme Die Technik der Gedankeneingabe ist eine immer weiter voranschreitende Technologie. Bereits heute ist es möglich, sich per Gedanken in einer virtuellen Welt zu bewegen oder Roboter nur durch Gedankenkraft zu steuern. Dies bedarf jedoch eines sehr intensiven Trainings. Generell können drei verschiedene Verfahren zur Gedankeneingabe unterschieden werden ([11]): Beim nicht-invasiven EEG wird mittels eines normalen Elektroenzephalographens die elektrische Tätigkeit des menschlichen Gehirns gemessen. Durch intensives Training wird es möglich, die elektrische Tätigkeit des Gehirns gezielt in bestimmten Regionen anzuregen, so dass eine Steuerung eines Gerätes möglich wird. Dieses Verfahren bietet die Vorteile, dass es für - 8 -

9 die Versuchspersonen ungefährliche und nicht belastende Technik einsetzt und die Gehirntätigkeit mit einer sehr hohen zeitlichen Auflösung erfassen kann. Leider ist jedoch die räumliche Auflösung des EEG sehr begrenzt, was die Nutzung des EEG zur Gedankensteuerung sehr erschwert. Ebenfalls nicht-invasiv ist die sogenannte funktionelle Magnetresonanztomographie, kurz fmrt (engl.: fmri). Hierbei wird die Sauerstoffkonzentration im Gehirn gemessen. Dadurch erkennt man, welche Bereiche des Gehirnes besonders aktiv sind. Mit Hilfe dieser Methode gelang es vor einiger Zeit einem Forschungsteam in Kioto die Handbewegungen einer Person im Gehirn zu erkennen und somit fast in Echtzeit eine Roboterhand zu steuern. Das fmrt erreicht eine recht hohe räumliche Auflösung, da hier das gesamte Gehirn gleichzeitig überwacht werden kann. Auf Grund biologischer und technischer Voraussetzungen kann es jedoch zeitliche Veränderungen, deren Dauer unter einigen Sekunden liegt, nicht erkennen. Im Gegensatz zu den beiden vorgenannten Verfahren gibt es das sogenannte invasive EEG. Hierbeit werden die Hirnströme direkt auf der Gehirnoberfläche oder gar in der tieferen Großhirnrinde gemessen. Dies wird als Elektrocorticografie (EcoG) bezeichnet. Hierzu ist es nötig, Elektroden direkt in das Gehirn einzubringen, was verständlicherweise sehr große gesundheitliche Risiken für den Probanden in sich birgt, zudem gelingt so nur die Vermessung eines recht kleinen Ausschnittes des Gehirns. Von Vorteil ist hier jedoch, dass EcoG-Signale eine deutlich höhere Präzision aufweisen als jene des nicht-invasiven EEGs. Insgesamt hat die Gedankeneingabe noch damit zu kämpfen, dass egal bei welcher eingesetzten Technik großer technischer Aufwand betrieben werden muss und sie nicht ohne größere Anlagen funktioniert. Dass die Gedankensteuerung jedoch schon recht gut funktioniert zeigt [3]. Hier wird in einigen Videos demonstriert, wie sich Personen rein durch Gedankenkraft durch eine virtuelle Welt bewegen und wie ein Behinderter durch Gedankenkraft eine Armprothese kontrolliert. Auch die Lektüre von [7] und [11] wird empfohlen. 3. Ausgabesysteme Im Folgenden wird geklärt, welche Voraussetzungen erfüllt sein müssen, damit ein Mensch etwas visuell und optisch räumlich wahrnehmen kann und wie eine solche räumliche Wahrnehmung künstlich erzeugt werden kann. Hierauf aufbauend werden dann einige 3D-Ausgabesysteme vorgestellt, die auf dem Markt erhältlich sind oder an denen intensiv geforscht wird. 3.1 Räumliche Wahrnehmung Um die Realität dreidimensional wahrnehmen zu können, bedient sich das Gehirn einiger recht simpler, aber dennoch genialer Tricks. Visuell behilft sich das Gehirn der beiden Augen, welche leicht versetzte Bilder liefern. Durch Überlagerung dieser beiden Bilder kann eine ungefähre Entfernungsabschätzung erfolgen. Dies funktioniert jedoch nur bis zu einer Entfernung von maximal 10 Metern. Bei größeren Entfernungen behilft sich das Gehirn des Effekts der stürzenden Linien. Stürzende Linien sind Linien und Geraden, welche in der Realität parallel verlaufen, sich jedoch in einiger Entfernung in einem Punkt zu vereinigen scheinen. An Abbildung 6 ist dieser Effekt sehr gut zu erkennen, wenn man dem Straßenverlauf folgt. Durch das Wissen, dass in diesem Beispiel die Ränder einer Straße immer mehr oder weniger parallel verlaufen erkennt das Gehirn, dass sich die Straße je mehr entfernt, desto mehr sich die Ränder annähern zu scheinen. Ist dem Gehirn die Größe eines Objektes bekannt, beispielsweise eines Autos, so kann auf Grund der wahrgenommenen, relativen Größe auch geschätzt werden, wie weit dieses Objekt entfernt sein muss. Zusätzlich werden noch Licht- und Schatten sowie die Texturen der Objekte dazu verwendet, ihre Po

10 sition im Raum und ihre räumliche Form erkennen zu können. Abbildung 6: Effekt der stürzenden Linien, [d] Die akustische Lokalisation im Raum erfolgt ähnlich. Durch die unterschiedliche Position der beiden Ohren erreichen die Schallwellen leicht zeitlich versetzt das Trommelfell, wodurch eine Lokalisation der Geräuschquelle vorgenommen werden kann. Anhand der Lautstärke der empfangenen Schallwellen wird die Entfernung zur Geräuschquelle geschätzt. Um dem Gehirn nun eine virtuelle Welt als real vorgaukeln zu können, müssen also diese Eigenschaften der räumlichen Wahrnehmung geschickt ausgenutzt werden. ([23], [24]) 3.2 Curved Displays In gewissem Maße kann ein räumlicher Eindruck erweckt werden, indem das Sichtfeld des Benutzers mit einem großen, gebogenen Bildschirm ausgekleidet wird. Diese Technik nennt sich Curved Display. In der Regel wird hierzu eine gebogene Leinwand verwendet, auf welche mit handelsüblichen Projektoren das gewünschte Bild projiziert wird. Um jedoch die gesamte Leinwand abdecken zu können, werden mehrere Projektoren benötigt. Würden deren Bilder nun Kante an Kante abschließen, entstünden Verzerrungen und harte Kanten zwischen den Bildern. Deshalb werden die Projektoren leicht überlappend eingestellt, so dass diese Effekte nicht mehr entstehen. Abbildung 6 zeigt ein solches Curved Display, welches mit zwei Projektoren arbeitet und ein Testbild anzeigt, auf dem gut die mittige Überschneidung zu erkennen ist. Abbildung 7: Curved Display mit zwei Projektoren, [e]

11 Ein Einsatz solcher Systeme ist beispielsweise in Flug- oder Autosimulatoren möglich. Eine wirklich realistische dreidimensionale Darstellung ist jedoch ohne Hilfsmittel mit dieser Technik nicht möglich. Um eine wirklich räumliche Darstellung zu erhalten, muss zum Beispiel die Shutterbrille zum Einsatz kommen, auf welche im folgenden eingegangen wird. ([8]) 3.3 Shutterbrille Eine Shutterbrille ist eine Brille, deren Gläser aus LCD-Anzeigen bestehen, welche vollständig lichtdurchlässig oder lichtundurchlässig sein können. Somit besteht die Möglichkeit, jeweils die Sicht eines Auges zu verdunkeln. Hierdurch wird es möglich, jedem Auge ein eigenes Bild auf einem Standardbildschirm anzuzeigen. Dazu wird auf dem Monitor abwechselnd immer ein Bild für das rechte und das linke Auge angezeigt, während die Brille immer dem Auge die Sicht verwehrt, für welches das Bild nicht bestimmt ist. Dies hat jedoch zur Folge, dass die maximal zu erzielende Bildwiederholrate der Hälfte der des Monitors entspricht. Diese ist bei aktuellen Flachbildschirmen 60 Hz, was 30 Hz pro Auge entspricht. Hierdurch nimmt der Benutzer ein massive störendes Flimmern wahr. 3.4 Head-mounted Displays Einen ähnlichen Ansatz verfolgen die Head-mounted Displays. Hierbei werden jedoch zwei kleine Monitore verwendet, welche direkt vor den Augen montiert sind. Durch die Nähe der Displays zu den Augen wirken die Bildflächen sehr viel größer als die von freistehenden Bildschirmen. Zumeist decken diese Bildschirme sogar das gesamte Sichtfeld des Trägers ab. Da Head-mounted Displays direkt am Kopf befestigt sind, die Bildschirme also allen Bewegungen des Benutzers folgen, bekommt dieser den Eindruck, sich direkt in der virtuellen Umgebung zu bewegen. Bei vielen dieser Geräten wird der Träger von der Realität abgeschirmt. So taucht der Benutzer komplett in die virtuelle Welt ein, wodurch Head-mounted Displays prädestiniert sind für den Einsatz zu Ausbildungszwecken von Piloten und Medizinern oder in 3D-Computerspielen. Auch als Bildschirmersatz zur Betrachtung und Bearbeitung von Grafiken und Videos mit extrem großen Ausmaßen bieten sich Head-mounted Displays an. ([8], [12], [16]) Abbildung 8: Head-mounted Display, [f] 3.5 Virtual Retinal Displays Virtual Retinal Displays (VRTs) projizieren ein Rasterbild direkt auf die Netzhaut des Auges. Das projizierte Bild erscheint so in der Luft schwebend direkt vor dem Benutzer. Hierzu werden Niedrigenergielaser oder sehr helle LEDs verwendet. Das dargestellte Bild besitzt eine exzellente Farbdarstellung und Helligkeit, die Qualität ist bei weitem besser als die besten, derzeit erhältlichen Bildschirme. Große Vorteile ergeben sich auch durch die Größe der VRTs: sie sind sehr klein und

12 leicht, was die Akzeptanz unter den Benutzern sehr fördert. Mit Hilfe der VRTs ist es möglich, dem Benutzer Informationen in sein Blickfeld einzublenden. Dies wird beispielsweise im Militär zur Freund-/Feinderkennung oder zur Unterstützung von Piloten eingesetzt. Auch in der Medizin findet diese Technik Verwendung: hier werden im Laufe von Operationen dem operierenden Arzt Zusatzinformationen zu Gefäßverläufen und ähnlichem eingeblendet. Für die Zukunft ist es angedacht, immer mehr Monitore durch VRTs zu ersetzen. Dies soll sowohl am Schreibtisch als auch bei mobilen Geräten, wie zum Beispiel bei Handys, geschehen. Um die Position der Augen des Benutzers zu erfassen, werden hierbei kombiniert Tracking- und Gesichtserkennungsmethoden eingesetzt. Abbildung 9 illustriert den prinzipiellen Aufbau eines VRT; Abbildung 10 das Eyetap, ein auf dem Markt erhältliches Gerät. ([17], [22], [23]) Abbildung 9: prinzipieller Aufbau deines VRT, [g] Abbildung 10: Eyetap, [h] 3.6 3D-Monitore 3D-Monitore, auch autostereoskopische Displays genannt, sind Bildschirme, welche für den Menschen dreidimensional erscheinende Bilder anzeigen können. Um dies zu erreichen, werden hier zwei Bilder gleichzeitig dargestellt, welche mit Hilfe eines Rastersystems auf die beiden Augen aufgeteilt werden. Auflösung und realistische Darstellung dieser Monitore sind jedoch noch nicht so gut, wie es zu Forschungszwecken oder in der Industrie benötigt wird. Somit kann ein Einsatz hier nicht erfolgen. Damit die 3D-Darstellung korrekt funktionieren kann, muss dem System jedoch bekannt sein, in welcher Position sich der Kopf des Benutzers befindet. Deshalb wird hier zwingend ein Tracking-System benötigt. Auch ist es leider nicht möglich, dass das System von mehreren Personen gleichzeitig genutzt wird. Mehrere Personen im Bereich des Tracking-Systems führen zur Irritation des Systems und somit zu falscher 3D-Darstellung. Für den Benutzer stellen diese Monitore die selbe Schwierigkeit

13 dar, wie es Stereobilder tun: das Auge muss auf die Entfernung zum Monitor scharfgestellt werden, während das Gehirn jedoch auf die abgebildete Tiefe scharfstellen möchte. Sogenannte Multiview-Systeme beheben unter anderem das Problem des reinen Einbenutzerbetriebes, indem sie mehr als zwei Bilder projizieren. In der Regel verwenden sie zwischen acht und zwanzig dieser leicht unterschiedlichen Bilder. Die hier verwendete Technik ist vergleichbar mit der, die bei 3D-Postkarten eingesetzt wird. Es werden Linsenraster oder schräggestellte Streifenmasken verwendet, um das Licht jedes einzelnen Pixels in eine bestimmte Richtung vor dem Bildschirm abzulenken. Hierdurch wird es möglich, dass mehrere Personen gleichzeitig das dargestellte Bild betrachten können. Außerdem wird es in gewissen Grenzen möglich, Objekte ähnlich wie bei Hologrammen von verschiedenen Seiten zu betrachten und nicht nur frontal. Bei Multiview-Systemen ist jedoch nur eine noch geringere Auflösung erreichbar, was die Qualität der dargestellten Bilder weiter mindert. Im Bereich der Werbung oder für Vorführungen im öffentlichen Bereich ist die Qualität jedoch ausreichend, die Technik wird hier sehr gerne eingesetzt. ([8], [13]) 3.7 Holographische Bildwiedergabe Zur holographischen Bildwiedergabe, wie diese aus dem Holodeck in StarTrek bekannt ist, benötigt man mehrere Projektoren oder Mikrodisplays und ein sogenanntes holographisches Display. Das von den Projektoren bzw. Mikrodisplays erzeugte Licht wird mit Hilfe des holographischen Displays so gebrochen, dass ein vor dem Display in der Luft schwebendes Bild erscheint und die Augen leicht unterschiedliche Bilder zu sehen bekommen. Bei Einsatz von mehreren Projektoren/Mikrodisplays ist eine Betrachtung des Bildes von fast allen Seiten möglich, während beim Einsatz von nur zwei Projektoren/Mikrodisplays lediglich ein fest definierter Blickwinkel möglich ist. Als holographisches Display können unterschiedlichste Materialen eingesetzt werden. So ist es möglich, zum Beispiel Glas, Wasser oder auch Nebel einzusetzen. Abbildung 11: holographische Bildwiedergabe, Funktionsweise [i]

14 Eingesetzt werden holographische Displays beispielsweise in der Automobilindustrie. Es wird so möglich, Objekte bereits während der Planungsphase durch Ansehen, in Kombination mit einem Datenhandschuh auch durch Betasten, genauestens zu untersuchen, ohne sie jedoch hierzu herstellen zu müssen. In Abbildung 11 wird die generelle Funktionsweise der holographischen Bildwiedergabe illustriert. Im obereren Bereich wird der Aufbau eines solchen Gerätes gezeigt, im unteren Bereich sieht man ein abfotografiertes Hologramm sowie die starke Vergrößerung der Hologrammstruktur. ([15]) 4. Hybridsysteme Unter Hybridsystemen werden Systeme verstanden, welche Ein- und Ausgabegeräte in einem System kombinieren, bzw. wo nur der der kombinierte Einsatz sinnvoll ist. Im Folgenden wird auf einige solche Systeme eingegangen. 4.1 Locomotion Interfaces Locomotion Interfaces, auch Fortbewegungssysteme genannt, sind Systeme, welche die Fortbewegung in einer virtuellen Welt durch Fortbewegung in der realen Welt realisieren. In der Regel wird dies so umgesetzt, dass der Benutzer sich wie in der Realität gewohnt fortbewegt. Durch die zugrunde liegende Technik werden diese Bewegungen jedoch so ausgeglichen, dass der Benutzer sich in der Realität nicht von seiner Position entfernt. Im Folgenden wird auf auf einem Fahrrad und einem Laufband basierende Technik, sowie auf die sogenannte Sphere und den CirculaFloor eingegangen Fahrrad Basierend auf einem handelsüblichen Hometrainer wird hier die Fortbewegung durch virtuelle Welten ermöglicht. Das System erkennt Trittgeschwindigkeit und Fahrtrichtung automatisch, lediglich für das Fahren von Kurven müssen zusätzliche Steuermöglichkeiten geschaffen werden. Hier sind Verfahren wie die Erkennung von Gewichtsverlagerungen, flexibel angebrachte Lenker oder die Steuerung via althergebrachter Eingabegeräte wie Joystick oder Tastatur denkbar. Über die Ausgabe von Bild und Ton kann hier recht frei entschieden werden, jedes der vorgestellten Systeme kann Verwendung finden Laufband Im Prinzip sehr ähnlich dem Ansatz mit Fahrrädern ist es auch möglich, die Fortbewegung mit einem gewöhnlichen Laufband zu realisieren. Auch hier ist es jedoch nicht möglich, Kurven in der virtuellen Welt zu laufen, es müssen wiederum andere Möglichkeiten gefunden werden. Auch über die Ausgabe von Bild und Ton kann wieder frei entschieden werden Sphere Bei der Sphere befindet sich der Benutzer in einer großen, beweglich gelagerten Kugel. Innerhalb dieser kann er in alle Richtungen laufen, ohne sich in Wirklichkeit von der Stelle zu bewegen. Es ist jedoch auf die Größe der Kugel zu achten, damit für den Benutzer nicht der Eindruck entsteht, er laufe permanent bergauf. Ein weiterer Punkt, der Beachtung finden sollte, ist, dass die Bild- und Tonwiedergabe mit einem per Funk angebundenen Datenhelm erfolgen muss, da die Einführung von Kabeln in die Sphere aus denkbaren Gründen nicht möglich ist. Auch der Einsatz eines außerhalb der Sphere angebrachten Monitors ist nicht sehr zweckdienlich

15 Abbildung 12 zeigt eine solche Sphere. ([25]) Abbildung 12: Sphere, [j] CirculaFloor CirculaFloor besteht aus vier beweglichen Platten, welche eine Laufbewegung in alle Richtungen ermöglichen. Der Benutzer erhält die Möglichkeit, sich völlig frei in einer virtuellen Welt fortzubewegen, ohne sich jedoch in der Realität vom Fleck zu bewegen. Mit Hilfe von Trackingverfahren erkennt das System, in welche Richtung der Benutzer momentan läuft. Das System funktioniert nach dem Prinzip eines Laufbandes, jedoch kann sich der Benutzer nicht nur in eine Richtung bewegen. So bewegen sich die Platten immer so, dass sie entgegen der Laufrichtung des Benutzers unter ihm hindurch fahren und dann vor ihm wieder anschließen. Verdeutlicht wird dieses Prinzip in einem Video, welches der Hersteller neben weiteren Informationen über das Projekt unter [8] im Internet anbietet. Wie im Video zu erkennen ist, ist der Einsatz dieses Systems auf Grund der Geschwindigkeit, mit der sich die Platten fortbewegen, derzeit nicht denkbar. In der Regel erfolgt die Bildwiedergabe hierbei über einen Datenhelm. ([5]) 4.2 CAVE Cave Automatic Virtual Environment CAVE bezeichnet einen Raum, in welchem eine dreidimensionale, virtuelle Welt simuliert werden kann. Das aus StarTrek bekannte Holodeck diente hier als Vorbild. In der Regel besteht das CAVE aus 6 Projektionswänden, welche in Form eines Quaders angeordnet sind. Der Boden wird in der Regel als von unten angestrahlte Glasfläche realisiert. Zur Audioausgabe werden meistens 8-Kanal-Audiosysteme eingesetzt. Um eine räumliche Sicht zu ermöglichen, kommen in der Regel Shutterbrillen zum Einsatz. Die Navigation durch die dargestellte virtuelle Welt erfolgt zumeist mit Hilfe eines Joysticks. Durch eingesetzte Tracking-Verfahren wird es möglich, dargestellte Objekte auch von hinten zu betrachten, da diese dann bei Bedarf vom System gedreht werden. ([6], [9])

16 5. Ausblick Die vorgestellten Systeme bieten noch reichlich Potential zur Weiterentwicklung. So soll es in Zukunft möglich sein, Hologramme ohne das bisher benötigte holographische Display erstellen zu können. Auch soll es Realität werden, virtuelle Bildschirhapme mitten im Raum zu erzeugen. Auch im Bereich der Spracheingabe macht die Forschung große Fortschritte: der benutzbare Wortschatz wird immer größer und die Erkennungsrate ohne vorhergehendes Training nimmt deutlich zu

17 Quellen [ 1] Mark Poguntke: Eingabegeräte für virtuelle Präsenz, Proseminar Virtuelle Präsenz, SS 2006 [ 2] [ 3] [ 4] c't 18/2006, S. 88: Brain Computer Interfaces: Hans-Arthur Marsiske, Angela Meyer: Digitale Telepathie [ 5] [ 6] [ 7] [ 8] [ 9] [10] [11] [12] [13] [14] [15] Tibor Balogh, Tamás Forgács, Olivier Balet, Eric Bouvier: A Scalable Holographic Display for Interactive Graphics Applications [16] Oliver Hoffmann: 3D Ausgabegeräte, Proseminar Virtuelle Präsenz, SS 2005 [17] Marek Doniec: Funktionsweise und Einsatzmöglichkeiten von Virtual Retinal Displays [18] Thorsten Habel: Moderne VR-Techniken, Proseminar Simulation und VR in der Medizin, WS 2004 [19] [20] [21] [22] [23] [24] [25] Bildernachweis [a] [b] [c] [d] [e] [f] [g] [h] [i] [j]