Mixed-Reality-Interfaces im virtuellen Studio

Mixed-Reality-Interfaces im virtuellen Studio Diplomarbeit im Fachbereich Photoingenieurwesen an der Fachhochschule Köln vorgelegt von Leonhard Geiger aus Köln Matrikel-Nr. 11009535 Referent: Prof. Dr.-Ing. Franz Stollenwerk Koreferent: Dipl.-Inform. Oliver Bunsen, Kunsthochschule für Medien Köln Köln, im Januar 2000

Mein besonderer Dank gilt Herrn Stollenwerk und Herrn Bunsen für die Betreuung dieser Diplomarbeit, allen Mitarbeitern der KHM, die mich bei der Realisierung der Arbeit unterstützt haben, Wolfgang von Olfen und Arnfried Griesert von der GMD Sankt Augustin, sowie Frank Buß, Markus Schlickeiser, Achim Peek, Annika Fritsche und Heinz Wilhelm Stöter.

Inhaltsverzeichnis Inhaltsverzeichnis 1. Einleitung... 1 2. Mixed-Reality... 4 2.1 Allgemeines... 4 2.2 Erscheinungsformen von Mixed-Reality...6 2.3 Mixed-Reality bei Film und Fernsehen... 8 3. Das virtuelle Studio Eine Mixed-Reality-Anwendung... 9 3.1 Grundlagen... 9 3.2 Verschiedene Verfahren des Kameratracking... 12 3.2.1 Encoderbasiertes Kameratracking... 12 3.2.2 Bildsignalbasiertes Kameratracking... 12 3.2.3 Hybride Tracking-Systeme... 13 4. Interfacetheorie... 14 4.1 Das Kommunikationsmodell nach Shannon...14 4.2 Das Kommunikations- und Interfacemodell nach Bricken... 16 4.3 Die Mixed-Reality-Grenze... 18 4.3.1 Beschreibung der Mixed-Reality-Grenze... 18 4.3.2 Die Mixed-Reality-Grenze im virtuellen Studio... 21 4.4 Theorie der Mixed-Reality-Interfaces... 22 4.4.1 Aufbau und Wirkungsweise von Mixed-Reality-Interfaces... 22 4.4.2 Unterteilung von Mixed-Reality-Interfaces...24 5. Interface-Hardware... 25 5.1 Eingabegeräte... 26 5.1.1 Data Gloves / Data Suits... 27 5.1.2 Isometrische Eingabegeräte... 28 5.1.3 Wands... 28 5.1.4 Spezielle Keyboards... 29 5.1.5 Devices zur Navigation in virtuellen Welten...30 5.1.6 Spracheingabe... 32

Inhaltsverzeichnis 5.2 Ausgabegeräte... 33 5.2.1 Visuelle Interfaces... 33 5.2.1.1 Stationäre Systeme... 34 5.2.1.2 Mobile Systeme... 36 5.2.2 Akustische Interfaces... 38 5.2.2.1 Physiologische und physikalische Grundlagen...38 5.2.2.2 Technische Umsetzung... 41 5.2.3 Haptische / Kinästhetische Interfaces... 44 5.2.4 Olfaktorische Interfaces... 48 6. Mixed-Reality-Interfaces im virtuellen Studio... 49 6.1 Simulierte Interfaces...49 6.2 Interfaces zur Erweiterung des Bildraumes...50 6.3 Visuelle Interfaces im virtuellen Studio... 54 6.4 Akustische Interfaces im virtuellen Studio...54 6.5 Motion-Capture-Systeme...55 6.6 Haptische Interfaces...57 6.7 Integration von Interfaces in bestehende Software...57 7. Praktische Umsetzung eines Mixed-Reality-Interfaces für die Produktion Ich sehe was, was Du nicht siehst auf der Internationalen Funkausstellung 1999 in Berlin... 58 7.1 Interaktive TV-Kinderspielshow im virtuellen Studio... 58 7.1.1 Die Produktion Ich sehe was, was Du nicht siehst... 58 7.1.2 Spielidee... 58 7.2 Konzeption des Interfaces... 60 7.3 Realisierung... 61 7.3.1 Gummihüpfball...61 7.3.2 Mechanische Befestigung und Aufhängung... 62 7.3.3 Sensorik... 63 7.3.4 Exkurs: Optische Winkelkodierer...64 7.3.5 Elektronik... 66 7.3.6 Treiber-Software... 72 7.3.7 Sockel... 76 7.4 Einsatz des Interfaces... 77 7.5 Ausbau- und Erweiterungsmöglichkeiten...78

Inhaltsverzeichnis 8. Zusammenfassung... 80 9. Ausblick... 82 Anhang... I 1. Vollständiger Sourcecode der Treibersoftware... I 2. Technische Details...VII 2.1 Eingesetzte elektronische Bauelemente...VII 2.2 Datenblätter der verwendeten ICs... VIII 2.2.1 MICROCHIP PIC16F84 Microcontroller... VIII 2.2.2 MAXIM MAX232 Devicetreiber-IC... IX 3. Technisches Setup bei der Produktion auf der IFA 1999...IX Literatur- und Quellenangaben... XI

1. Einführung 1 1. Einführung Seit im Herbst 1994 das erste virtuelle Studiosystem auf der IBC in Amsterdam vorgestellt wurde [FKT1-2/95], setzt sich weltweit der Einsatz von virtueller Studiotechnik immer mehr durch. Mit der virtuellen Technik ist es möglich geworden, herkömmliche reale Studio-Sets durch computergenerierte Sets zu ersetzen und somit sowohl kostengünstiger und zeitökonomischer zu arbeiten - im Gegensatz zu realen Studioaufbauten fallen für virtuelle Sets keine Materialund Lagerkosten an [Som95] - als auch in Realausführung gar nicht oder nur schwer realisierbare Sets zu verwirklichen, da die physikalischen Grenzen aufgehoben werden können. Desweiteren können Daten und Informationen anschaulich im Set visualisiert werden. Die technische Entwicklung der letzten Jahre - gerade im Bereich der Computertechnik - ermöglichte auch bei den virtuellen Studios erhebliche Fortschritte. Die gesteigerte Rechenleistung der Computersysteme und spezielle Grafikhardware ermöglichen es, komplexere Sets zu konstruieren und sie in Echtzeit zu animieren, sogenannte Partikelsysteme erwecken den Eindruck von z.b. Regen oder Schnee, und neue Arten von Trackingsystemen erlauben es, freibewegliche Handkameras zu benutzen. Der eindeutige Trend der Entwicklung ist es also, reale Sets immer besser im Computer nachzuahmen (naturalistischer Ansatz) und die Arbeitsweise bei einer virtuellen Produktion der im herkömmlichen Studio anzugleichen. Jedoch existieren das virtuelle Set und die reale Welt weitestgehend unabhängig und getrennt voneinander. Eine Interaktion zwischen der realen Welt, sprich den realen Darstellern oder Gegenständen, und der virtuellen Welt, also dem virtuellen Set und den darin befindlichen virtuellen Objekten, ist bislang gar nicht oder nur ansatzweise realisiert. Ein passendes Zitat findet sich in einem Fachmagazin für Computergrafik:...people have to work in the sterile, all-blue (or green) rooms, interacting with nothing [Rob95]. Folge davon ist es, daß es eines erheblichen Aufwandes seitens der Akteure bedarf, sich im Set zurechtzufinden und sich die Positionen der Objekte zu merken oder anhand von Markierungen auf dem Studioboden abzulesen, um nicht etwa mit virtuellen Objekten zu kollidieren [Kan96]. Eine regelrechte Choreographie ist hier vonnöten. Mit der Schaffung von Schnittstellen stellt man eine Verbindung zwischen der realen und der virtuellen Welt her. Dies eröffnet Möglichkeiten, mit der Computerwelt zu interagieren, d.h. eine Interaktion vom Blauraum in das virtuelle Set hinein, bzw. gestattet ein Hineinwirken vom virtuellen Set in den Blauraum. Virtuelle Objekte oder Ereignisse im virtuellen Set könnten so im Blauraum wahrgenommen werden. Auf diesem Wege bietet man dem Akteur zum einen bessere Orientierungsmöglichkeiten im Set, zum anderen wird es

1. Einführung 2 möglich, virtuelle Objekte zu manipulieren. Somit wird der Grad der Immersion 1 deutlich erhöht [Hen97]. Der Begriff Immersion spiegelt im Kontext des virtuellen Studios den Grad der Überzeugung beim Zuschauer wider, der die Synthese des realen Darstellers mit einer virtuellen Umgebung erlebt. Das virtuelle Studio wird dadurch noch mehr zu einem Mixed-Reality-System als es von seinem Grundgedanken her schon ist. Unter Schnittstelle oder Interface soll hier nicht eine konkrete spezifische elektrische Verbindung zwischen Hardwarekomponenten verstanden werden, sondern zunächst ein abstraktes Konstrukt, das die Verbindung und den Austausch zwischen mindestens zwei Systemen ermöglicht, also eine Art Kanal. Nach [Hoc97] ist eine Schnittstelle in Bezug auf eine Interaktion zwischen Mensch und Maschine der Ort, an dem die Koppelung zwischen den unterschiedlichen Systemen Mensch und Computer organisiert wird und stattfindet. Wie eine solche Schnittstelle theoretisch beschrieben werden kann, wird in Kapitel 4 näher untersucht. Für den Anwendungsbereich Virtual-Reality und für diverse Mixed-Reality- Anwendungen sind in den letzten Jahren viele verschiedene Interfaces entwickelt worden und auf dem Markt erhältlich. Kapitel 5 gibt eine Übersicht über eine Reihe von verfügbaren Interfaces und beschreibt deren Aufbau sowie die technischen Grundlagen. In Kapitel 6 werden einige, teils fiktive Szenarien aufgezeigt, die Möglichkeiten des Einsatzes von Mixed-Reality-Interfaces bei Produktionen im virtuellen Studio verdeutlichen sollen. Völlig neue Möglichkeiten ergeben sich, wenn man die klassischen Sende- Formate im virtuellen Studio aufbricht. Neue Sendekonzepte mit anderen Anforderungen und Schwerpunkten können Spielraum schaffen für den Einsatz von Mixed-Reality-Interfaces bei virtuellen Produktionen. Die experimentelle Kinder-Spielshow Ich sehe was, was Du nicht siehst, die auf der Internationalen Funkausstellung 1999 in Berlin zum ersten Mal vorgestellt wurde, zeigt solche neuen Ansätze: Der Akteur (hier: der Spieler) wird mit einem Head- Mounted-Display ausgestattet, um ihn in die virtuelle Spielewelt, in der er agieren muß, zu integrieren und so einen Immersionseindruck auch ihm zu vermitteln. Die Tatsache, daß die Person nun ein Gerät auf dem Kopf trägt, stört im Rahmen einer Kinder-Spielshow den Bildeindruck nicht, für die Moderation eines Wirtschaftsmagazins käme ein solches Interface dagegen wohl nicht in Betracht. 1 Immersion = Das Gefühl, sich in einem simulierten Raum zu befinden [Rhe92]

1. Einführung 3 Die sich bietenden Freiheiten bei solchen experimentellen Sende-Formaten erlauben es, neue Arten von Interfaces einzusetzen. Bei der Konzeption der Spielshow ergab sich der Bedarf an einem Interface, das es dem Spieler ermöglicht, sich in der virtuellen Welt fortzubewegen. Daraufhin wurde ein solches konstruiert und gebaut. Kapitel 7 beschreibt die Anforderungen, die Komponenten und die Funktionsweise dieses Interfaces im Detail. Die Idee zu der vorliegenden Diplomarbeit entstand während der Mitarbeit an der Produktion Ich sehe was, was Du nicht siehst an der Kunsthochschule für Medien in Köln.

2. Mixed-Reality 4 2. Mixed-Reality 2.1 Allgemeines Der Begriff Mixed-Reality beschreibt im allgemeinen die Synthese von realen und künstlich erzeugten Bildern zu einer gemeinsamen visuellen Wiedergabe. Eingeordnet werden kann diese Form der Darstellung einer Szene in ein Konzept des Virtualitäts-Realitäts-Kontinuum (RV-Kontinuum), siehe Abbildung 2.1. Dieses beschreibt eine bestimmte Darstellungssituation in Bezug auf die Zusammensetzung aus realen und virtuellen Objekten [Mil95]. Genau genommen muß bei der Klassifizierung nicht nur der visuelle Eindruck untersucht werden, sondern auch die Eigenschaften der anderen perzeptiven Kanäle, wie z.b. die auditive und haptische Wahrnehmung [Mil94], vorwiegend wird jedoch das Augenmerk auf die visuelle Übermittlung gelegt. Mixed Reality (MR) Real Environment Augmented R eality (AR ) Augmented V ir tuality (AV ) Virtual Environment Reality-Virtuality (RV) Continuum Abbildung 2.1: Realitäts-Virtualitäts-Kontinuum An dem einem Ende des Kontinuums befinden sich reale Umgebungen 1, am anderen Ende die virtuellen. Vollkommen reale Umgebungen setzen sich ausschließlich aus realen, physisch vorhandenen Gegenständen zusammen, wie sie z.b. bei direkter Betrachtung einer Szene mit dem Auge wahrgenommen werden. Bei einem komplett virtuellen Umfeld umgeben den Betrachter nur künstlich generierte Objekte. Anwendungen, die man typischerweise dem Komplex Virtual Reality zuordnet, finden sich demnach eindeutig auf der rechten Seite des Kontinuums. Der Teilnehmer erlebt die mehr oder weniger vollständige Immersion in einer synthetischen Welt, die entweder einer realen Welt nachempfunden oder auch 1 Die Begriffe Umgebung und Umfeld werden hier für den engl. Begriff environment benutzt.

2. Mixed-Reality 5 fiktiv sein kann. In beiden Fällen nimmt der Beobachter ausschließlich Computergrafiken wahr. Bei der Gestaltung von virtuellen Welten eröffnen sich Möglichkeiten, physikalische Gesetze oder Materialeigenschaften so zu verändern, daß sie den gewünschten Eindruck erzeugen. Entsprechende Interfaces zur Vermittlung der Wahrnehmungen stehen in verschiedensten Ausführungen zur Verfügung. Zwischen den beiden Extrema an den Rändern des Kontinuums, also der völligen Virtualität und der Realität, befindet sich der Bereich, den man der Mixed- Reality zuordnet. Bei dieser Darstellungsweise werden sowohl reale wie virtuelle Elemente simultan dem Betrachter angeboten. Je nachdem, wie das Verhältnis zwischen realen und künstlichen Objekten ist, unterteilt man den Bereich Mixed Reality zusätzlich in Augmented 1 Reality und Augmented Virtuality. Im ersten Fall wird ein vornehmlich realer Seheindruck überlagert von einzelnen künstlichen Elementen, die im Regelfall bestimmte Aufgaben erfüllen, wie z.b. bei sogenannten Head-up-Displays (HUDs) in Kampfflugzeugen. Dort werden Daten etwa über die Flughöhe direkt in das Sehfeld des Piloten eingeblendet [Hen97]. Im zweiten Fall liegt der Schwerpunkt bei den computergenerierten Objekten, die mit einzelnen realen Eindrücken gemischt werden. Essentiell bei der Idee der Mixed-Reality ist, daß sowohl zeitlich wie auch räumlich zwischen der realen und der virtuellen Welt eine Synchronisation stattfinden muß. Das bedeutet: Die Vorgänge in der virtuellen Welt müssen im Zeitbereich mit den real erlebten übereinstimmen. Es muß einen festen Zusammenhang zwischen den räumlichen Aspekten von Realität und Virtualität geben. Die Perspektive von direkt betrachteten (physischen) Objekten und simulierten muß untereinander stimmig sein. Die Erfüllung beider Kriterien stellt hohe Anforderungen an die Rechenleistung der verwendeten Computer, Unzulänglichkeiten führen zu höheren Latenzzeiten mit den entsprechenden Auswirkungen (vgl. Kapitel 5). Da, wie anfangs bemerkt, dem visuellen Kanal bei Mixed-Reality-Umgebungen die größte Bedeutung zukommt, lassen sich über die Art des verwendeten Bildwiedergabesystems die im folgenden Unterkapitel aufgeführten Arten von Mixed-Reality-Konfigurationen unterscheiden [Mil94b]. 1 augmented (engl.) = erweitert, vergrößert

2. Mixed-Reality 6 2.2 Erscheinungsformen von Mixed-Reality Monitorbasierte Systeme: Bei diesem Wiedergabeverfahren werden die realen und virtuellen Bilder analog oder digital überlagert und auf einem Monitor wiedergegeben (z.b. beim Chroma-Keying 1 im virtuellen Studio). Video-Displays ähnlich den monitorbasierten Systemen, jedoch in der Ausführung als Head-Mounted-Displays (HMDs) HMDs mit halbdurchlässigen Spiegeln: Die reale Umgebung wird unmittelbar beobachtet und die künstlich generierten Elemente über halbtransparente Spiegel überlagert. Das direkte Betrachten der Umgebung wird auch als unmediated reality bezeichnet. HMDs ähnlich denen auf halbdurchlässigen Spiegeln basierenden, jedoch als Video see-through -System ausgeführt: Hier wird das reale Umfeld nicht direkt betrachtet, sondern über ein Videosystem erfaßt. Problematisch hierbei ist, daß die Position der Kamera exakt der Augenposition entsprechen muß [Mil94]. Vollkommen grafisch generierte (voll- oder teilimmersive) Display- Umgebungen (z.b. CAVE), die künstliche Welten mit eingeknüpften Realkomponenten (in der Regel über Video) darstellen Abbildung 2.2: CAVE (Cave Automatic Virtual Environment) 1 Chroma-Keying (auch Blaustanze ) = Technisches Verfahren, das es gestattet, in einem elektronisch vorliegenden Bild Bereiche mit bestimmter Farbe durch andere Bildelemente zu ersetzen

2. Mixed-Reality 7 Vollkommen grafisch generierte, teilimmersive Display-Situationen, bei denen physisch vorhandene reale Gegenstände interaktiv in die virtuelle Szene miteingebunden werden: Die Hand des Benutzers, die er als real wahrnimmt, könnte hier z.b. nach virtuellen Objekten greifen. Denkbar ist in diesem Zusammenhang die Darstellung über eine großformatige Leinwand [Mil94]. Ein Beispiel für diese Mixed-Reality-Darstellungsweise ist das in [Hoc97] beschriebene Projekt, bei dem ein Benutzer mit einem realen Zeigestab virtuelle Objekte auf einem Schirm auswählen und verschieben kann. Hier kommt ein optisches Trackingsystem zum Einsatz, das die Position des Zeigestabes erfaßt. Eine alternative Trackingmethode bei Leinwandprojektion stellt das in [Phi98] angedeutete Verfahren dar: Mit einer Laserscanning-Einheit wird eine zweidimensionale Ebene vor die eigentliche Leinwand projiziert. Tritt ein Gegenstand (etwa eine Hand oder ein Stab) in diese Fläche ein, so kann dessen Position und Orientierung ermittelt werden (siehe Abbildung 2.3). Abbildung 2.3: Videowall-Tracking-System Aktuelle Forschungsprojekte zeigen, daß auch die Kombination von verschiedenen Bildwiedergabe-Verfahren bei Mixed-Reality-Anwendungen sinnvoll sein kann. Beim metadesk -Projekt des MIT 1 zum Beispiel kommen ein Projektionsystem und ein Bildschirm simultan zum Einsatz. Über eine Rückprojektion wird auf einer horizontalen Arbeitsplatte eine zweidimensionale Szene (Grundriss) abgebildet, die über Sensorik mit realen Gegenständen, die auf der Arbeitsplatte abgestellt werden, korreliert ist. Gleichzeitig kann über ein schwenkbares Display eine dreidimensionale 1 MIT = Abk. für Massachusetts Institute of Technology

2. Mixed-Reality 8 Ansicht der Szene abgerufen werden. Man erhält so den Eindruck, durch ein Fenster auf die Szene schauen zu können [Ish97]. 2.3 Mixed-Reality bei Film und Fernsehen Bei der Verwendung von Mixed-Reality im Einsatzgebiet Film- und Fernsehproduktion kommt in der Regel von den oben aufgeführten Darstellungsmethoden nur die zuerst genannte monitorbasierte oder die Projektion auf eine Leinwand zum Tragen, da diese (bisher) die gängigen Darbietungsarten für diesen Medientyp sind. Herkömmlich produzierte Filme (d.h. ohne anschließende Manipulation durch Mittel der Post-Production) ordnet man auf der linken Seite des RV-Kontinuums an, Filme, die ausschließlich computeranimiert sind, dagegen auf der rechten Seite. Zwischen den beiden Extrema finden sich auch hier Mischformen. [Tro99] Grundsätzlich läßt sich dabei unterscheiden in: a) das Einbetten von virtuellen Objekten in Realaufnahmen. b) das Einbetten von Realaufnahmen in computergenerierte Kulissen oder Hintergründe. Beide Verfahren sind aus der modernen Medienproduktion kaum noch wegzudenken und finden zunehmend Verwendung. Gerade bei aktuellen Kinofilmproduktionen wird ausgiebig Gebrauch von Special-Effects gemacht, indem dem Film durch Compositing 1 künstlich erzeugte Bildbestandteile hinzugefügt werden. Bei George Lucas Film STAR WARS Episode I wurden sogar rund 95% des Filmmaterials digital überarbeitet und mit künstlichen Elementen versehen [DiP3-99]. Ein Haupteinsatzgebiet der künstlichen Kulissen ist neben der Verwendung bei Filmproduktionen das virtuelle Studio. Nach der Klassifizierung zu Beginn dieses Kapitels wäre der erste Fall (a) konsequenterweise als Augmented Reality zu bezeichnen, der zweite (b) als Augmented Virtuality. Diese Einteilung erscheint jedoch in diesem Kontext als wenig sinnvoll, da hier meist offline, also nicht mit einer Echtzeit-Korrelation, gearbeitet wird (vom virtuellen Studio abgesehen, bei dem sowohl online wie auch offline gearbeitet werden kann, je nach Leistung der Grafikhardware). 1 Compositing = Das Zusammenfügen von verschiedenen Elementen einer Szene zu einem Gesamtbild [Per87]

3. Das virtuelle Studio Eine Mixed-Reality-Anwendung 9 3. Das virtuelle Studio Eine Mixed-Reality-Anwendung Dieses Kapitel soll dem Leser die wichtigsten technischen Grundlagen der virtuellen Studiotechnik vermitteln und so den Zusammenhang zum Themenkomplex Mixed-Reality herstellen. Auf eine ausführliche Beschreibung der technischen Details wird an dieser Stelle bewußt verzichtet, da diese in mehreren vorangegangenen Arbeiten bereits dargelegt wurden. Da die technische Entwicklung auf dem Gebiet der virtuellen Studiotechnik jedoch rasant voranschreitet, sind in letzter Zeit einige Neuerungen auf den Markt gekommen, die hier ebenfalls aufgenommen wurden, um gleichzeitig den derzeitigen technologischen Stand zu umreißen. 3.1 Grundlagen Schon seit vielen Jahren nutzt man in der Fernsehtechnik das Blue-Screen- Verfahren, um einen realen Vordergrund mit einem als elektronisches Signal vorliegenden Hintergrund zu kombinieren. Dieser Hintergrund kann seinerseits entweder die Aufnahme einer Real-Szene oder eine Computergrafik sein. Grundlage dieses Stanzens ist die Technik des Chroma-Keying, die es erlaubt, eine beliebige Farbe im Vordergrundbild durch ein anderes Bild zu ersetzen. Zu diesem Zweck bewegt sich der reale Darsteller in einem normalerweise leeren Studio mit einfarbigen blauen oder grünen Wänden und Boden. Ein anderes Verfahren benutzt statt blau eingefärbter Wände eine retroreflektierende Folie, die Licht von an der Kamera montierten blauen Lichtquellen zurückwirft [BBC99]. Das Kamera(vordergrund)signal wird mit einem Chroma-Keyer mit dem Hintergrundsignal gemischt, und es entsteht der Eindruck, der Akteur befände sich vor einem realen Hintergrund. Der Nachteil dieser Technik ist, daß weder Kamerastandort noch Brennweite (Zoom) verändert werden dürfen, da sich das Vordergrundbild in seiner Größe, Perspektive oder Position ändert, das eingestanzte Hintergrundbild jedoch nicht, und somit die Illusion zunichte gemacht wird. Aufgrund der fehlenden räumlichen Korrelation zwischen Vorderund Hintergrundbild kann hier genau genommen noch nicht von einem Mixed- Reality-System gesprochen werden.

3. Das virtuelle Studio Eine Mixed-Reality-Anwendung 10 Abbildungen 3.1,3.2: Stanzeffekt Realaufnahme und gemischtes Bild Die Idee des virtuellen Studios ist nun, die Perspektive des eingestanzten Hintergrundes simultan zu den Veränderungen der Kameraparameter anzugleichen, so daß die Kohärenz zwischen Vorder- und Hintergrundbild erhalten bleibt. Dient als Hintergrundbildquelle eine 3D-Animationssoftware, so eröffnet sich die Möglichkeit, ein komplettes Studioset mitsamt Aufbauten und Dekorationen im Computer zu erzeugen. Wird der Darsteller in dieses Set hineingestanzt, gewinnt der Zuschauer idealerweise den Eindruck (mehr oder weniger, je nach Qualität und Realitätsnähe der Computergrafik), der Darsteller bewege sich in einer physisch existenten Studiokulisse. Abbildung 3.3: Schema des Signalflusses im virtuellen Studios

3. Das virtuelle Studio Eine Mixed-Reality-Anwendung 11 Inzwischen existiert eine Alternative zum Chroma-Keying, bei der die Separation von Vorder und Hintergrund durch die Tiefeninformation realisiert wird. Ein Zusatz zur normalen Studio-Farb-TV-Kamera versieht die aufzunehmende Szene mit einer speziellen, pulsierenden Beleuchtung, die im Wellenlängenbereich von 800-900 nm arbeitet, und somit vom aufnehmenden CCD-Chip der Kamera nicht erfaßt wird. Für jedes Pixel des Bildes liefert die Kamera zusätzlich zu den RGB- Werten einen Z-Wert (den Abstand zur Kamera). Der Entfernungswert wird aus der Zeitdifferenz zwischen dem Aussenden und dem Eintreffen des reflektierten Beleuchtungs-Impulses errechnet. Einerseits kann mit solch einem Gerät ein 3D- Bild der Szene erfaßt werden, ähnlich einem 3D-Scanner, andererseits eignet es sich aber auch zum Separieren von Vorder- und Hintergrund-Objekten in Echtzeit. Somit kann das Einstanzen eines künstlichen Hintergrundes auch ohne Blue- oder Green-Screen-Aufbau erfolgen, darüberhinaus werden sogar Außenaufnahmen möglich [Zca99]. Sämtliche Kamerabewegungen der realen Kamera werden auf die virtuelle Kamera 1 der 3D-Software übertragen, wodurch die Perspektive der Realaufnahmen und des virtuellen Sets untereinander stimmig bleiben. Zu diesem Zweck müssen die folgenden Parameter der realen Kamera kontinuierlich erfaßt und an den Grafikcomputer übermittelt werden: Position (x,y,z-koordinaten) Tilt Pan Roll (in dieser Achse findet jedoch selten bewußt eine Bewegung statt) Brennweite (Zoom) (Fokus) (Blende) Tilt Pan Roll Abbildung 3.4: Kamera mit eingezeichneten Bewegungsachsen 1 Diese definiert den Standort des Betrachters und somit die Perspektive, aus der die 3D-Umgebung gerendert (grafisch ausgegeben) wird.

3. Das virtuelle Studio Eine Mixed-Reality-Anwendung 12 Bei der Erfassung dieser Meßwerte ( Tracking ) liegen die Unterschiede, die die momentan auf dem Markt befindlichen Systeme aufweisen. Man findet im wesentlichen zwei Arten der Parameter-Erfassung: Entweder werden die Kamerabewegungen über Sensoren erfaßt, die am Stativ bzw. Support-System und am Objektiv der Kamera angebracht sind (encoderbasierte Systeme), oder die Meßwerte werden direkt aus dem Bildsignal der Kamera gewonnen bzw. durch separate Kameras ermittelt (bildsignalbasierte Systeme). 3.2 Verschiedene Verfahren des Kameratracking 3.2.1 Encoderbasiertes Kameratracking Bei diesem Verfahren des Kameratracking befinden sich an den beweglichen Achsen des Kamera-Support-Systems sowie am Objektiv Sensoren in Form von Winkelkodierern, die die ausgeführten Bewegungen der Kamera registrieren. Die Vorteile eines solchen Systems sind im wesentlichen: hohe Genauigkeit kurze Verzögerungszeit Andererseits ergeben sich jedoch auch Nachteile: Die Kamera ist an ein entsprechend ausgerüstetes Support-System gebunden, d.h. die Verwendung einer Freihandkamera ist nicht möglich. Für jede einzelne Kamera wird ein weiterer Satz Sensoren benötigt. 3.2.2 Bildsignalbasiertes Kameratracking Ordnet man auf einer Bildvorlage definierte Strukturen oder Bildelemente mit vorgegebener Geometrie an, so läßt sich aus einer Kameraaufnahme dieser Vorlage die Position und Orientierung der Kamera durch Mittel der elektronischen Bildverarbeitung errechnen. Beim virtuellen Studio wird dieses Verfahren in verschiedenen Varianten verwendet. Zum einen gibt es die Möglichkeit, auf der Wand des Blauraums regelmäßige Strukturen aufzubringen und das Signal der Fernsehkamera auszuwerten. Zum anderen ist es ebenso möglich, separate Überwachungskameras zu benutzen, die z.b. auf die eigentliche Kamera aufgesetzt werden und spezielle Strukturen an der Studiodecke aufnehmen [Zwe97] [Sto99].

3. Das virtuelle Studio Eine Mixed-Reality-Anwendung 13 Für dieses Verfahren spricht: Es ist mitunter nicht erforderlich, die vorhandenen Studiokameras umzurüsten. Die Verwendung von Freihandkameras wird möglich. Bei vorhandener Grundausstattung sind beliebig viele Kameras einsetzbar. Demgegenüber stehen einige Nachteile: Ein Mindestanteil der Strukturen muß im Bild sichtbar sein, dadurch verbieten sich Großaufnahmen z.b. von Moderatoren. Durch die nachgeschaltete Bildverarbeitung entsteht ein erhebliches Delay. Die Qualität der Blaustanze leidet unter dem erweiterten Key-Bereich. 3.2.3 Hybride Tracking-Systeme Analysiert man die beiden vorgestellten Trackingmethoden, so ist die logische Konsequenz, beide Verfahren zu kombinieren, um von den Vorteilen beider Systeme zu profitieren. So existieren mehrere hybride Systeme, die die Parameter für Position und Orientierung der Kamera bildbasiert über Infrarotlichtquellen und entsprechende Überwachungskameras gewinnen, die Werte für Zoom, Fokus und Blende jedoch über Sensoren ermitteln. [Mik99] Abbildungen 3.5, 3.6: verschiedene Infrarot-Tracking-Systeme

4. Interfacetheorie 14 4. Interfacetheorie Beschäftigt man sich mit dem Thema Interfaces, so geht es immer um Kommunikation. Ein Interface stellt eine Verbindung her, über die zwei oder mehr Systeme, die ihrerseits beliebig beschaffen und strukturiert sein können, kommunizieren und Informationen austauschen. Daher liegt es nahe, zunächst einmal den Vorgang der Kommunikation genauer auf theoretischer Basis zu betrachten. Zu diesem Zweck werden verschiedene Kommunikationsmodelle vorgestellt und beschrieben. Die besonderen Aspekte, die sich bei einer Betrachtung der Kommunikation über Interfaces in einem Mixed-Reality-Umfeld ergeben, werden im Anschluß ausgeführt. 4.1 Das Kommunikationsmodell nach Shannon Im Jahre 1948 veröffentlichte Shannon im Bell Technical Journal seine Arbeit Mathematical Theory of Communication. Danach finden sich bei jeder Art von Kommunikation fünf wesentliche Grundelemente wieder: (1) Nachrichtenquelle (Information Source) (2) Sender (Transmitter) (3) Kanal mit Störungsquelle(n) (Noise Source) (4) Empfänger (Receiver) (5) Nachrichten- oder Datensenke (Destination) zu (1): Die Nachrichtenquelle ist Ausgangspunkt einer Nachricht oder einer Folge von Nachrichten. Dabei spielt es keine Rolle, ob diese Nachricht beim Empfänger einen Sinn ergibt oder überhaupt von ihm interpretiert werden kann. Man trennt hier die Begriffe Information und Daten. zu (2): Der Sender kodiert die von der Nachrichtenquelle stammende Nachricht in ein Format, das vom Übertragungskanal übermittelt werden kann. zu (3): Der Kanal stellt das Medium der Übertragung dar. Im technische Sinne könnte dies z.b. ein Kabel oder elektromagnetische Wellen sein. Jeder Übertragungsweg weist in der Regel mindestens eine Störquelle auf, die das zu übermittelnde Signal verfälscht.

4. Interfacetheorie 15 zu (4): Im Empfänger wird das kodierte Nachrichtensignal wieder dekodiert und somit in ein vom Ziel der Nachricht interpretierbares Format überführt. zu (5): Die Nachrichten- oder Datensenke stellt als Gegenstück zur Nachrichtenquelle das Ende der Kommunikationskette dar, sie ist der Bestimmungsort der kommunizierten Information. Information Source Transmitter Receiver Destination Message Signal Received Signal Message Noise Source Abbildung 4.1: Kommunikationsmodell nach Shannon Das empfangene Signal E ist eine Funktion des senderseitig ausgehenden Signals S und der Störquellen N (Noise), also E = f(s,n) (Gl. 4.1) In Shannons Kommunikationstheorie ist ebenfalls ein erweitertes Kommunikationsmodell implementiert, das eine Fehlerkorrektur der eingehenden Signale beinhaltet. Dabei existiert ein dem Kommunikationssystem übergeordneter Beobachter, der sowohl das gesendete wie auch das empfangene Signal analysiert und Korrekturdaten ermittelt, die mit dem empfangenen Signal M zur ursprünglichen, fehlerfreien Nachricht M verarbeitet werden [Sha48].

4. Interfacetheorie 16 Correction Data Observer M M M Source Transmitter Receiver Correcting Device Abbildung 4.2: Fehlerkorrektursystem nach Shannon 4.2 Das Kommunikations- und Interfacemodell nach Bricken Shannons Kommunikationsmodell ist unidirektional angelegt, der Sender der Nachricht erhält keine Rückmeldung seitens des Empfängers, es sei denn, der Empfänger sendet seinerseits eine explizite Nachricht zurück (indirekte Rückkoppelung). Das Manko dieser fehlenden Rückkoppelung läßt sich leicht an einem Beispiel verdeutlichen: Ein Benutzer kommuniziert über ein Interface mit einer Maschine und bekommt keinerlei Bestätigungen, ob seine Anweisungen ankommen oder richtig interpretiert werden können. Bricken implementierte in sein Modell für beide Seiten der Kommunikation einen Rückkoppelungskanal und kombinierte darüberhinaus sowohl Informationsquelle und Sender als auch Empfänger und Nachrichtensenke zu sogenannten Agenten. Dieses modifizierte Modell ermöglicht nun direkte und indirekte Rückkoppelung in beide Richtungen (Abbildung 4.3). Feedback Agent A Nachrichten Agent B Feedback Abbildung 4.3: Modell einer direkt rückgekoppelten Kommunikation nach Bricken

4. Interfacetheorie 17 Zu einer weiteren Modifikation (Abb. 4.4) kommt Bricken, indem er das Augenmerk auf die Verbindung der beiden Agenten (nämlich das Interface) legt. In diesem Fall läßt sich die Distanz zwischen den Interaktionspartnern modellhaft auf eine schmale Verbindungs-Grenze, die Interface-Grenze, reduzieren. Geht man davon aus, daß eine gesendete Nachricht und die darauf erfolgende Rückkoppelung eine Veränderung des Zustandes oder der Struktur beider Interaktionspartner hervorruft, so deckt dieses Modell ebenfalls das direkte Feedback auf eine Nachricht ab: Sowohl Nachricht wie auch Antwort lösen bei beiden involvierten Systemen simultan eine Zustandsveränderung aus [Hal94]. A B Interface-Grenze A Nachricht B A Antwort B Abbildung 4.4: Interaktives Interface Wie wichtig das Feedback auf eine Aktion des Benutzers eines technisches Interfaces ist, zeigt das folgende Beispiel des Telefon-Interfaces. Der Benutzer bekommt durch verschiedene akustische Signale eine Bestätigung der gerade erfolgten Aktion, und erhält somit Informationen zum derzeitigen Zustand des Systems (Abbildung 4.5) [Pre94].

4. Interfacetheorie 18 Abbildung 4.5: Feedback beim Benutzer-Interface eines Telefons 4.3 Die Mixed-Reality-Grenze 4.3.1 Beschreibung der Mixed-Reality-Grenze Bei der Zusammenführung eines realen und eines virtuellen Raumes (also der Schaffung einer Mixed-Reality-Umgebung), ist das einzige Bindeglied eine Art Grenze, die beide, für sich gesehen, abgeschlossene, Systeme miteinander verbindet. Die Beschaffenheit dieser Mixed-Reality-Grenze (nach dem

4. Interfacetheorie 19 englischen Begriff Mixed-Reality-Boundary [Kol98]) bestimmt das Zusammenwirken beider Systeme und legt die Wahrnehmung des jeweils gegenüberliegenden Raumes sowie die Interaktionsmöglichkeiten über die Grenze hinweg fest. Um eine Mixed-Reality-Grenze zu beschreiben, bietet sich die Klassifizierung anhand verschiedener Eigenschaften dieser Grenze an [Kol98]: (1) Sichtbarkeit oder Durchlässigkeit für optische Signale (2) Hörbarkeit oder Durchlässigkeit für akustische Signale (3) Beweglichkeit (4) Interaktivität (5) Räumlicher Zusammenhang (6) Permeabilität (7) Lebensdauer (8) Permanenz (9) Asymmetrie (Da die deutsche Übersetzung der englischen Begriffe nicht immer treffend zu sein scheint, sind an dieser Stelle ebenfalls noch einmal die Originalbegriffe angeführt: Visibility, Audibility, Mobility, Interactivity, Spacial Consistency, Permeability, Life Span, Permanence, Boundary Asymmetry) zu (1): Die Sichtbarkeit beschreibt das Maß an visuellen Informationen, die über die Mixed-Reality-Grenze übermittelt werden, d.h. inwieweit ein Teilnehmer auf der einen Seite der Grenze das System auf der anderen Seite optisch wahrnehmen kann. zu (2): Analog zur Sichtbarkeit läßt sich auch die Hörbarkeit anhand der übertragenen akustischen Informationen von der jeweils anderen Seite der Mixed-Reality- Grenze bewerten. zu (3): Die Eigenschaft der Beweglichkeit weist eine Mixed-Reality-Grenze dann auf, wenn sich deren örtliche Lage von einem Teilnehmer verändern läßt. Folge dieser Veränderung könnte z.b. die Verschiebung des Bildausschnittes sein, den dieser Teilnehmer über die Mixed-Reality-Grenze wahrnimmt.

4. Interfacetheorie 20 zu (4): Können Objekte im jeweils anderen System durch die Mixed-Reality-Grenze hindurch manipuliert werden, so ordnet man der Grenze die Interaktivitäts- Eigenschaft zu. Mixed-Reality-Grenzen, die die Eigenschaft tragen, Objekte auf der realen Seite der Grenze manipulieren zu können, finden sich vor allem im Teleroboting-Bereich. zu (5): Die Eigenschaft des räumlichen Zusammenhangs drückt aus, ob die beiden durch die Mixed-Reality-Grenze verbundenen Systeme räumlich in einem festen Verhältnis zueinander stehen. Dies ist dann der Fall, wenn sich die Koordinaten von Objekten in einem System eindeutig in Koordinaten des anderen Systems transformieren lassen. zu (6): Permeabilität faßt die bisher beschriebenen Eigenschaften zusammen. Gute visuelle sowie auditive Anbindung der virtuellen Welt, Interaktivität sowie ein eindeutiger räumlicher Zusammenhang vermitteln einen ausgeprägten Permeabilitätseindruck. zu (7): Lebensdauer gibt die Zeitspanne an, während der die Mixed-Reality-Grenze existiert. zu (8): Permanenz oder Dauerhaftigkeit drückt aus, ob sich die Eigenschaften der Mixed-Reality-Grenze während der Einsatzdauer durch die Teilnehmer verändern lassen oder für den gesamten Einsatz fest vorgegeben sind. zu (9): Eine Mixed-Reality-Grenze kann für beide ihrer Seiten unterschiedliche Eigenschaften aufweisen. So ist es beispielsweise möglich, daß akustische Eindrücke aus der virtuellen Welt in der realen Welt wahrgenommen werden können, aber akustische Ereignisse im realen Raum nicht in das virtuelle System übermittelt werden. Dieser Zusammenhang wird unter dem Begriff Asymmetrie zusammengefaßt. Die Beschaffenheit und die Eigenschaften einer Mixed-Reality-Grenze werden bestimmt durch die Gesamtheit der eingesetzen Interface-Typen. Je nach beabsichtigter Anwendung und der sich daraus ergebenden Struktur der Mixed- Reality-Grenze müssen somit die Interface-Hardware-Komponenten ausgewählt und zusammengestellt werden.

4. Interfacetheorie 21 4.3.2 Die Mixed-Reality-Grenze im virtuellen Studio Anmerkung: Die in Kapitel 4.3.1 vorgeschlagene Klassifizierung von Mixed-Reality-Grenzen nach [Kol98] anhand ihrer Eigenschaften bezieht sich ursprünglich auf eine konkrete Mixed-Reality-Konfiguration während einer Live-Performance: Einem realen Publikum wird über eine Leinwandprojektion die Performance eines virtuellen Charakters präsentiert. Ein Teilnehmer steuert über ein Motion- Capture System den virtuellen Charakter auf der Leinwand und bekommt gleichzeitig über ein getracktes HMD einen Blick in den Zuschauerraum, so wie ihn der virtuelle Darsteller auf der Bühne wahrnehmen würde, eingespielt. Zusätzlich werden über Mikrofone und Lautsprecherboxen die beiden getrennten Systeme akustisch miteinander verbunden. Selbstverständlich lassen sich demnach nicht alle oben aufgeführten Eigenschaften von Mixed-Reality-Grenzen allgemein auf alle Mixed-Reality- Anwendungen und speziell auf die Situation im virtuellen Studio anwenden. Dennoch finden sich unter ihnen Eigenschaften, wie z.b. akustische und optische Durchlässigkeit, deren Betrachtung auch beim virtuellen Studio durchaus Sinn macht. Bezüglich der in Kapitel 4.3.1 aufgeführten Eigenschaften stellt sich die Mixed- Reality-Grenze im virtuellen Studio (in einer Standardkonfiguration, so wie sie heute weitverbreitet verwendet wird) wie folgt dar: Sichtbarkeit Hörbarkeit Beweglichkeit Interaktivität Der Teilnehmer bzw. Darsteller nimmt die virtuelle Umgebung visuell nur über Kontrollmonitoren wahr. Geräuschereignisse im virtuellen Raum (falls überhaupt verwendet) werden in den Blauraum über Monitorboxen eingespielt. Die Perspektive und der Bildausschnitt werden durch die Kamerabewegungen und position bestimmt. Eine Manipulation von Objekten im virtuellen Raum seitens eines Darstellers im Blauraum ist ohne zusätzliche Interfaces nicht möglich.

4. Interfacetheorie 22 Räumlicher Zusammenhang Asymmetrie Zwischen realem und virtuellem Raum besteht eine feste räumliche Kohärenz. Dies ist eine Grundvoraussetzung dafür, daß die Verschmelzung der Bildbestandteile glaubhaft erscheint. Im virtuellen Studio liegt in der Regel eine unidirektionale Mixed-Reality-Grenze vor, d.h. Ereignisse im virtuellen Raum werden in den realen Raum übermittelt, andersherum jedoch nicht. Die Untersuchung der Asymmetrieeigenschaft der Mixed-Reality- Grenze im virtuellen Studio macht nur dann Sinn, wenn im virtuellen Raum ein Teilnehmer existiert, der seinerseits Informationen aus dem realen Raum benötigt, zu denen er mittels geeigneter Interfaces Zugriff erhält. Dies könnte z.b. dann der Fall sein, wenn eine zu interviewende Person als Videotextur verwendet wird, mit der sich der Moderator im Blauraum unterhält. Auf die Untersuchung der Eigenschaften wie Lebensdauer und Permanenz einer Mixed-Reality-Grenze wird hier im Kontext des virtuellen Studios verzichtet, da ein Zusammenhang nur schwer hergestellt werden kann. Wie die obige Bewertung zeigt, sind die Möglichkeiten in Bezug auf optische wie akustische Wahrnehmung und Interaktivität im virtuellen Studio offensichtlich recht beschränkt. Mit dem Einsatz von Interfacehardware läßt sich jedoch eine Erweiterung der gegebenen Möglichkeiten erzielen (Siehe dazu Kapitel 6). 4.4 Theorie der Mixed-Reality-Interfaces 4.4.1 Aufbau und Wirkungsweise von Mixed-Reality-Interfaces Die durch die Mixed-Reality-Grenze voneinander getrennten Systeme - physische und virtuelle Welt - haben die Möglichkeit, miteinander über geeignete Mixed- Reality-Interfaces zu kommunizieren. Zu diesem Zweck müssen jedoch in beiden Systemen Ein- sowie Ausgabekanäle zum Datenaustausch zur Verfügung stehen. In der Regel werden die Informationsformate beider Systeme nicht

4. Interfacetheorie 23 übereinstimmen, so daß das Mixed-Reality-Interface zugleich die Funktion eines Adapters übernimmt [Hal94]. Virtuelle Welt M ess en Input Sensoren Physikalische Welt Umgebung Steu ern Output Effektoren Grenze Abbildung 4.6: Verknüpfung von realer und virtueller Welt mittels Mixed-Reality-Interfaces Um Informationen aus einer realen, physischen Umgebung zu gewinnen (z.b. Bewegungsinformationen eines Darstellers im Blauraum), bedarf es Sensoren, die die physikalischen Gegebenheiten in ein vom Computer (in dem die virtuelle Welt existiert ) zu verarbeitende Signale umwandeln und ihm diese über eine elektrische Eingabeschnittstelle zuführen. Wichtige Kenngrößen von Sensoren sind [Hei99]: Empfindlichkeit Dynamik-Bereich Antwortzeit Genauigkeit In der entgegengesetzten Richtung werden über Ausgabeschnittstellen am Computer Ereignisse in der virtuellen Welt mittels Effektoren in der realen Umgebung wahrnehmbar gemacht. Die Effektoren wandeln dabei die vom Computer stammenden elektrische Signale in Vorgänge um, die von den Sinnesorganen eines sich im realen Raum befindenden Menschen wahrgenommen werden können.

4. Interfacetheorie 24 Bei den Effektoren spielen vor allem eine Rolle [Hei99]: Geschwindigkeit Präzision [Hei99] 4.4.2 Unterteilung von Mixed-Reality-Interfaces Bei der Analyse virtueller Umgebungen bietet es sich an, selbige in 3 Bestandteile zu unterteilen [McD94]: (1) Der virtuelle Raum selbst (2) Virtuelle Objekte, die sich im Raum befinden (3) Virtuelle Charaktere, die sich im Raum aufhalten Mit allen 3 Komponenten der virtuellen Umgebung ist über Mixed-Reality- Interfaces eine Interaktion möglich, womit man verschiedene Mixed-Reality- Interfaces und die sich ergebenden Interaktionsmöglichkeiten ebenso in drei Kategorien einteilen kann: zu (1): Interaktion mit dem Raum selbst liegt dann vor, wenn man sich mittels eines Interfaces im Raum bewegen kann, man also im Raum navigiert. Ein solches Interface ist auch das in Kapitel 7 beschriebene Hüpfball-Interface. zu (2): Die Interaktion mit virtuellen Objekten kann sich sehr vielgestaltig darstellen. Die Möglichkeiten reichen vom Bewegen dieser Objekte bis zum Auslösen von vorgegebenen Funktionen. Allgemein gesprochen lassen sich virtuelle Objekte manipulieren. zu (3): Durch den Einsatz entsprechender Interfacetechnologien lassen sich ähnliche Interaktionsmöglichkeiten mit virtuellen Charakteren schaffen wie mit realen (verbale Kommunikation oder Kommunikation über Gesten).

5. Interface-Hardware 25 5. Interface-Hardware Um bei einer Mixed-Reality-Anwendung die virtuelle und reale Welt miteinander in Beziehung zu setzen, bedarf es entsprechender Hardware-Komponenten. Diese unterteilen sich, wie im letzten Kapitel ausgeführt, in Sensoren und Effektoren, oder anders ausgedrückt: in Eingabegeräte und Ausgabegeräte. Durch die Sensoren oder Eingabehardware werden Vorgänge im physikalischen Raum erfaßt und für den Computer verwertbar aufgearbeitet, um eine korrespondierende Reaktion in der computergenerierten Welt oder Szene auszulösen. Auf der entgegengesetzten Ausgabeseite sorgen Effektoren dafür, daß Ereignisse im virtuellen Raum für den Teilnehmer mit seinen Sinneswahrnehmungen erlebt werden können. Dementsprechend ist die Beschreibung der Ausgabeinterfaces gemäß den menschlichen Sinnesorganen unterteilt nach: Visuellen Interfaces Akustischen Interfaces Haptischen 1 / Kinästhetischen 2 Interfaces (Olfaktorischen 3 / Gustatorischen 4 Interfaces) Als Eingabe- wie Ausgabeinterfaces für Mixed-Reality-Anwendungen können im wesentlichen Hardware-Komponenten dienen, die sich auf dem Markt für den Virtual-Reality-Bereich finden. Dieses Kapitel soll einen Überblick über die wichtigsten erhältlichen Interface-Typen und die technischen Methoden verschaffen. Generell ist es bei der Konzeption und dem Einsatz von Interfaces wichtig, die sogenannte Latenzzeit möglichst klein zu halten. Dies ist die Zeit zwischen einer Dateneingabe oder Aktion des Benutzers und der Datenausgabe, d.h. der Reaktion des Computersystems. Als Grenzwert werden hier 100 ms angenommen. Übersteigt die Latenzzeit des Systems diesen Wert, so ist ein genaues Agieren im virtuellen Raum nur eingeschränkt möglich, bzw. es kann sogar zur sogenannten Simulatorkrankheit 5 kommen. 1 Haptik (gr.) = Die Lehre vom Tastsinn 2 Kinästhesie (gr.) = Die Fähigkeit des Körpers, die Stellung der Gliedmaßen sowie die Lage im Raum wahrzunehmen 3 Olfaktisch (lat.) = Den Geruchssinn betreffend 4 Gustatorisch (lat.) = Den Geschmackssinn betreffend 5 Der Simulatorschwindel oder die Simulatorkrankheit beruht darauf, daß ein Widerspruch zwischen dem visuell Erlebten und der Bewegungswahrnehmung über den Gleichgewichtssinn im Mittelohr auftritt. Symptome sind Schwindelgefühl bis Übelkeit [Isd99].

5. Interface-Hardware 26 Zur Berechnung der Latenzzeiten für ein Ein- und Ausgabesystem dienen die folgenden Formeln: Eingabeseite C *1000 L = P (Gl. 5.1) L : Latenzzeit [ms] P : Leistung der Rendering-Pipeline [Polygone/s] C : Komplexität der Szene [Polygone] Ausgabeseite (hier für die visuelle Ausgabe) L = 1000 F (Gl. 5.2) L : Latenzzeit [ms] F : Bildwiederholfrequenz [Hz] Die Latenzzeiten für Ein- und Ausgabe werden addiert. Benötigt z.b. ein optisches Trackingsystem 65 ms pro Abfragezyklus und die Darstellung auf einem Display (bei einer Bildwiederholfrequenz von 50 Hz) 20 ms, so beträgt die Gesamtlatenzzeit 85 ms, was noch unter dem Schwellenwert von 100 ms liegt. Falls jedoch noch ein weiteres Subsystem Rechenzeit benötigt (wie etwa für eine Audioberechnung), so wird der Schwellenwert schnell überschritten [Hen97]. 5.1 Eingabegeräte Die Geräte zur Erfassung von physikalischen Vorgängen (bzw. Eingabe von Daten) lassen sich prinzipiell in zwei Gruppen unterteilen [Hen97]: (1) Hardware zur Erfassung der Positionen und Ausrichtungen von Objekten oder Personen und deren Bewegungen. Man spricht in diesem Zusammenhang von Trackern oder Motion-Tracking. Die Erfassung kann auf mechanischem, elektromagnetischem, akustischem, optischem oder kinematischem Wege erfolgen, wobei jedes Verfahren seine spezifischen Vor- und Nachteile aufweist.

5. Interface-Hardware 27 (2) Interfaces zur Eingabe konkreter Anweisungen, wie z.b. Manipulation von Objekten oder Navigation im virtuellen Raum zu (1): Auf eine genaue Darlegung der einzelnen technischen Verfahren wird an dieser Stelle bewußt verzichtet, der interessierte Leser findet jedoch bei [Koc97] detaillierte Informationen zu den verschiedenen Verfahren. zu (2): Zum Zwecke des Absetzens von Befehlen an die virtuelle Umgebung gibt es recht vielfältige Möglichkeiten, wie die folgenden Abschnitte zeigen. 5.1.1 Data Gloves / Data Suits (Datenhandschuhe / Datenanzüge) Handschuhe bzw. Ganzkörperanzüge mit eingearbeiteten Sensoren, die die Stellung der Fingergelenke bzw. Gliedmaßen registrieren, werden als Datagloves bzw. Datasuits bezeichnet. Im Fall der Gloves lassen sich so durch bestimmte Fingerpositionen festgelegte Aktionen abrufen [Ham93]. Ebenfalls in [Koc97] finden sich genauere Darlegungen dieser Eingabegeräte. Abbildung 5.1: Dataglove

5. Interface-Hardware 28 5.1.2 Isometrische Eingabegeräte Dies sind 3-dimensionale Äquivalente zur (2-dimensionalen) Computermaus. Mit ihnen läßt sich unmittelbar auf alle 6 Freiheitsgrade eines virtuellen Objektes (Translation in x,y,z-richtung und Rotation um die 3 Raumachsen) zugreifen und dieses somit drehen, verschieben oder anderweitig manipulieren. Ebenfalls eignen sich solche Geräte zur Navigation im Raum [Hen97]. Ein Beispiel ist die Spacemouse, sie besitzt zusätzlich noch bis zu 11 Tasten. Laut Hersteller kann man sich selbst als fliegender Beobachter durch virtuelle Welten steuern [Log99]. Problematisch ist jedoch bei dieser Art Eingabegerät, daß die Bedienung nicht der menschlichen Gestik entspricht [Bor94] und dewegen bei der Benutzung im Mixed-Reality-Kontext eine Interaktion nicht sonderlich glaubwürdig erscheinen wird. Abbildung 5.2: Spacemouse 5.1.3 Wands Die sogenannten Wands 1 sind meist einfache Gegenstände (wie etwa ein Stab), die mit einzelnen Trackingsensoren und einem oder mehreren Buttons ausgestattet sind. Dadurch, daß sich die Position der Wands tracken läßt, wird es möglich, mit ihnen Gegenstände im virtuellen Raum unmittelbar anzufassen und zu verschieben oder zu manipulieren. Zu dieser Gruppe der Eingabegeräte zählt man auch Abwandlungen wie Poolball (in Form einer Billardkugel), Flying 1 Wand (engl.) = Stab, Zauberstab

5. Interface-Hardware 29 Joystick (ein frei im Raum beweglicher Joystick), Flying Mouse (analog zum Flying Joystick) [Ham93] oder Fingerpick (ein Eingabegerät, das wie ein Ring um den Finger getragen wird). Abbildung 5.3: Poolball 5.1.4 Spezielle Keyboards Für den VR-Bereich sind zur Eingabe von komplexeren Befehlen spezielle Varianten alphanumerischer Tastaturen entwickelt worden, die unauffällig in einer Hand gehalten und mit allen 5 Fingern bedient werden können [Hal97][Bor94]. Abbildung 5.4: Einhand-Keyboard

5. Interface-Hardware 30 5.1.5 Devices zur Navigation in virtuellen Welten Möchte man sich in einem virtuellen Umfeld weiträumiger bewegen als dies die Abmessungen der Räumlichkeiten zulassen, ist man auf den Einsatz spezieller Navigations- (oder Bewegungs-) Hardware angewiesen. Oftmals wird ein Gerät verwendet, das die Form eines Laufbandes hat. Dieses wird beim Ausführen eines Schrittes motorisch weiterbewegt, die Bewegung des Bandes wird über Sensoren erfaßt und an einen Rechner übermittelt. Die Szene wird dann entsprechend mitverschoben. Nachteilhaft ist jedoch die fehlende Möglichkeit des Richtungswechsels. Für eine Bewegung in vertikaler Richtung, z.b. Treppensteigen, existieren ebenfalls (wohl eher versuchsweise) Äquivalente zu den Laufbändern [Kru91]. Der Benutzer läuft auf diesen Bändern, als wollte er sich normal fortbewegen. Ein richtungsunabhängiges Device zur Fortbewegung in virtuellen Räumen ist der Virtual Motion Controller, der am HIT-Lab 1 der Universität Washington entwickelt worden ist. Das Interface besteht aus einer Scheibe mit einer konkaven Oberfläche und einem Durchmesser von ca. 1,20 m, in die 4 Kraftsensoren eingelassen sind. Der Benutzer steht auf dieser Scheibe und kann durch kleine Schritte zum Rand hin die Bewegung auslösen. Die Geschwindigkeit wird über den Abstand zum Rand der Scheibe bestimmt: Je größer der Benutzer seinen Schritt wählt, desto schneller bewegt er sich vorwärts [Hod98]. Abbildung 5.5: Virtual Motion Controller 1 HIT-Lab = Abk. für Human-Interface-Technology-Laboratory

5. Interface-Hardware 31 In seinem interaktiven Kunstwerk The Legible City Die lesbare Stadt benutzte der Künstler Jeffrey Shaw ebenfalls ein Interface, dem eine menschliche Fortbewegungsweise mit natürlichem Bewegungsablauf zugrunde liegt: das Fahrradfahren. Die Installation besteht aus einer 3 x 4 Meter großen Leinwand vor der der Betrachter auf einem umfunktionierten Fahrrad sitzt. Ein angeschlossener Grafikcomputer erzeugt eine virtuelle Welt in Form des Grundrisses von Manhattan, mit dem Unterschied, daß die Häuser durch dreidimensionale Buchstaben ersetzt werden. Die subjektive Sicht in diese Welt wird per Videoprojektor auf die Leinwand projiziert. Mit dem Fahrrad kann der Betrachter durch die Stadt navigieren, wodurch sich die einzelnen Buchstaben zu ganzen Wörtern und Sätzen ergänzen. Geschwindigkeit und Richtung der Fahrt bestimmt der Betrachter durch sein Tritt-Tempo und die Stellung der Lenkstange [Sha90]. Abbildung 5.6: Shaws Installation The Legible City Diese Bewegungseingabemethoden, die auf der natürlichen menschlichen Gestik basieren, haben den großen Vorteil, daß sich der Benutzer nicht erst an eine neue, eventuell nicht sonderlich naheliegende Art der Navigation gewöhnen muß. Außerdem wird durch die bekannten Bewegungsabläufe eine Art natürliches Feedback geliefert, was die Orientierung im Raum vereinfacht [Hod98].

5. Interface-Hardware 32 5.1.6 Spracheingabe Seit etwa 20 Jahren existieren Verfahren, die es ermöglichen, mit Computersystemen eine natürlichsprachliche Kommunikation zu führen. Durch diese Automatische Spracherkennung (ASE) oder Automatic Speech Recognition (ASR) eröffnet sich ein weiterer Interfacekanal, über den Befehle an einen Rechner übermittelt werden können. Mittlerweile sind die Techniken auf diesem Gebiet so weit ausgereift, daß die Erkennung von gesprochener Sprache mit relativ hoher Genauigkeit erfolgt und konkrete Anwendungen umgesetzt werden können. Am Anfang steht die Digitalisierung des analog eintreffenden akustischen Sprachsignals. Aus diesem kontinuierlichen Datenfluß wird nun versucht, spektrale Merkmale im Klangbild zu extrahieren, die bestimmten Lauten zugeordnet werden können. Dazu werden aus dem Signal etwa alle 10 ms Fragmente mit einer Länge von 20-40 ms entnommen und diese auf 30-50 solcher spektralen Merkmale hin mittels einer Fourieranalyse untersucht. Die Fragmente überlappen sich dabei. Das Ergebnis ist ein sogenannter Merkmalsvektor, von denen mehrere zu Vektorketten zusammengefaßt, und mit gespeicherten Referenzmustern verglichen werden. Als erkanntes Sprachmuster wird das Referenzmuster mit den meisten Übereinstimmungen angenommen (siehe Abbildung 5.7). Abbildung 5.7: Referenzmustervergleich bei der Spracherkennung

5. Interface-Hardware 33 Aufgrund des hohen Aufwandes an Rechenleistung und Speicherbedarf ließen sich erst in den letzten Jahren verläßliche, schnell arbeitende Systeme realisieren. Noch immer aber existieren Schwierigkeiten bei der eindeutigen automatischen Spracherkennung: Das Vorhandensein von Störgeräuschen oder anderen, nicht zur eigentlichen Sprache gehörenden Elementen erschwert die Erkennung, da der Computer diese zunächst nicht vom inhalttragenden Signal unterscheiden kann. Verschiedene Sprecher erzeugen unterschiedliche Lautmuster (abhängig von Anatomie, Dialekt etc.). Der gleiche Sprecher kann je nach Stimmung, Gesundheitszustand oder Sprechsituation (Befehl, Frage etc.) verschiedene Lautmuster erzeugen. Die Sprechgeschwindigkeit variiert. Der Algorithmus hat Probleme Ende und Anfang eines Wortes auszumachen, da in der gesprochenen Sprache Laute mitunter verbunden werden [Sus99]. Wie ein Laut akustisch realisiert wird, hängt von den vorangegangenen und nachfolgenden Lauten ab. Man nennt dies Koartikulation [Hab98]. Um diese Probleme zu minimieren und eine möglichst genaue Spracherkennung zu gewährleisten, besteht die Möglichkeit, das Spracherkennungssystem auf einen Sprecher zu trainieren. Dazu werden vorgegebene Texte vom Sprecher vorgelesen und im Anschluß eventuelle Fehler manuell korrigiert. Auf diesem Wege paßt sich das System langsam dem Sprecher an [Mal98]. Oftmals ist es jedoch erforderlich, das System benutzerunabhängig zu halten. Dann wird es notwendig, die Toleranzgrenze beim Referenzmustervergleich nach oben zu setzen, womit die Gefahr der Fehlinterpretation steigt [Sus99]. 5.2 Ausgabegeräte 5.2.1 Visuelle Interfaces Der wichtigste Kanal, über den ein Teilnehmer eine virtuelle Umgebung wahrnehmen kann, ist der visuelle Kanal. Mit Hilfe eines geeigneten

5. Interface-Hardware 34 Bildwiedergabesystems sieht der Benutzer die virtuelle Welt, die ihn umgibt. Ohne diesen visuellen Zugang ist eine Orientierung nur schwer möglich, Interaktionen mit virtuellen Objekten lassen sich ohne Sichtkontakt kaum vorstellen. Damit ein Eindruck von einer virtuellen Realität entsteht und die Augen des Betrachters nicht unnötig belastet werden, muß das verwendete Bildwiedergabesystem bestimmten Qualitätsanforderungen genügen. Die wichtigsten Qualitätsparameter eines Bildwiedergabesystems sind [Sto97]: Helligkeit, Kontrast Detailauflösung, Bildschärfe, Geometrie Bewegungsauflösung Farbwiedergabe (Farbton, Farbsättigung) Die verwendeten visuellen Interfaces bzw. Bildwiedergabesysteme unterscheiden sich abgesehen von der Bildqualität in der Art der Bilderzeugung sowie in deren Anwendungsweise. 5.2.1.1 Stationäre Systeme Unter diese Kategorie fallen alle Arten von Displays, die in ihrer Lage während der Verwendung nicht verändert werden, oder aufgrund ihres Gewichtes oder der äußeren Abmessungen nicht verändert werden können. Insbesondere zählen hierzu Monitoren oder Projektionsleinwände. Der große Nachteil dieser Verfahren ist die Einschränkung der Bewegungsfreiheit des Betrachters. Er muß den Blick und somit den Kopf stets in Richtung des Displays richten, ein Umherschauen in der virtuellen Umgebung ist nicht möglich. Dies erklärt, warum diese Anzeigesysteme bei Virtual-Reality- oder immersiven Mixed- Reality-Anwendungen selten Einsatz finden. Im Kontext von Projektionsleinwänden läßt sich diese Einschränkung relativieren, wenn die Leinwand in der Größe und Form so angelegt ist, daß sie den Betrachter ganz oder teilweise umschließt. Man spricht dann von einem SID (Spatially Immersive Display). Zu dieser Gruppe von Displays zählt auch die in Kapitel 2 angesprochene CAVE [Hel97].

5. Interface-Hardware 35 Oftmals werden in Kombination mit stationären Systemen Erweiterungen zum stereoskopischen Sehen eingesetzt. Dazu dienen Shutter- oder Polarisationsbrillen, die dafür sorgen, daß jedem Auge ein seperates Bild mit entsprechender Perspektive angeboten wird [Bor94]. Dies bedingt natürlich, daß sich der Rechenaufwand bei der Grafikausgabe verdoppelt: Beide Bilder müssen getrennt mit voller Bildrate gerendert werden. Davon ausgehend muß man sich bei der Konzeption eines Gesamtsystems die Frage stellen, ob eine stereoskopische Bildwiedergabe für den gegebenen Einsatzzweck überhaupt notwendig ist, da die räumliche Wahrnehmung von Objekten nur bis zu einer Objektentfernung bis etwa 10 m ausgeprägt ist [Kru91]. Räumliches Sehen ohne externe Hilfsmittel wie Shutterbrillen wird bei autostereoskopischen Displays erreicht. Dabei werden die zwei Einzelbilder spaltenweise ineinander verschachtelt auf dem Monitor dargestellt. Dünne, auf den Schirm aufgebrachte Zylinderlinsen, welche ein Linsenraster bilden, sorgen dafür, daß etwa für das rechte Auge nur die Bildpixel der geraden Spalten sichtbar sind, für das linke Auge entsprechend die ungeraden. Der Betrachter muß sich um die Darstellung dreidimensional wahrzunehmen in der sogenannten Stereozone befinden, in der die beiden Teilbilder exakt in die Augen abgebildet werden. Damit der Benutzer seine Position vor dem Display verändern kann, wird die Position der Augen optisch getrackt und die Lage der Stereozone dynamisch angepaßt. Dies geschieht über ein mechanisches Verschieben des Linsenrasters. Ein lateraler Winkel von über 120 Grad wird auf diesem Wege abgedeckt [HHI99]. Abbildungen 5.8, 5.9: Autostereoskopische Displays mit Linsenraster Aufgrund der Tatsache, daß der räumliche Eindruck von der örtlichen Lage des Kopfes abhängt, werden derartige autostereoskopischen Systeme auch als Head- Coupled-Displays (HCDs) bezeichnet.

5. Interface-Hardware 36 Neben der Verwendung von Linsenrastern zur Trennung der beiden Einzelbilder werden ebenso Prismenmasken, Streifenmasken, halbdurchlässige Spiegel und holographische Elemente eingesetzt [Saa99]. 5.2.1.2 Mobile Systeme Die wohl gängigste Art des mobilen Displays ist das Head-Mounted-Display (HMD), das auch Bildschirmbrille genannt wird. Dabei trägt der Betrachter eine Art überdimensionale Brille auf dem Kopf, in die ein bilderzeugendes System integriert ist. Oftmals wird die Position und Ausrichtung des HMDs getrackt, um die Perspektive der dargestellten Grafik der Kopfstellung anzupassen. Der Betrachter kann die Blickrichtung somit frei bestimmen. Auch hier wird durch die Verwendung von zwei unterschiedlichen perspektivischen Einzelbildern ein stereoskopisches Erleben der virtuellen Umgebung möglich. Da das menschliche Auge auf die kurze Entfernung, in der sich das Display befindet, nicht akkomodieren kann, werden Linsen oder Linsensysteme integriert, die das Display als virtuelles Bild in eine größere Entfernung abbilden (nach unendlich oder fast unendlich) und so dem Auge ein entspanntes Betrachten ermöglichen [Kal93]. Abbildung 5.10: HMD Ein weiterer wichtiger Parameter bei HMDs ist der Bildwinkel (Field of View, FOV). Typische Werte sind hier 60 horizontal und 45 vertikal [Vin98].

5. Interface-Hardware 37 Zur Bilderzeugung kommen momentan hauptsächlich LCD 1 - sowie CRT 2 - Displays zum Einsatz. Der Vorteil der LCD-Technologie liegt in dem geringeren Gewicht und Kostenaufwand, jedoch erreichen LCDs noch nicht die hohe örtliche Auflösung und den Dynamikumfang von CRTs. Neuerdings existieren ebenfalls HMDs, deren Bilderzeugung auf LEDs 3 basiert. Dabei erzeugt eine LED-Zeile die Bildpunkte für eine einzelne Bildzeile. Durch einen schnell oszillierenden Spiegel werden nacheinander alle Bildzeilen geschrieben. Durch seine Trägheit setzt das Auge die Zeilen zu einem Gesamtbild zusammen. Auch dieses System ist im Vergleich zum CRT-Display kostengünstiger und erreicht problemlos Auflösungen von bis zu 1000 Zeilen [Hen97]. Noch in der Entwicklungsphase steckt die Virtual-Retinal-Display (VRD)- Technologie. Dabei wird das zu erzeugende Bild unmittelbar mit einem (bzw. bei Farbdarstellung drei) Laser auf die Netzhaut des Betrachters projiziert. Der Strahl erfährt dabei sowohl eine horizontale wie eine vertikale Ablenkung, ähnlich den Elektronenröhren. Es wird damit gerechnet, daß VRD-Systeme bezüglich Gewicht und Abmessungen mit herkömmlichen optischen Brillen vergleichbar werden [Mic99]. Laut [Hen97] existiert bereits ein Prototyp mit einer Auflösung von 640 * 480 Pixeln. In fernerer Zukunft dürfte die in [Bor94] angesprochene elektronische Kontaktlinse liegen. Abbildung 5.11: Retinaprojektor beim VRD-System In einigen Fällen ließen sich ursprünglich als stationäre Systeme konzipierte Displays ebenso beweglich einsetzen. Ähnlich wie beim in Kapitel 2 1 LCD = Abk. für Liquid Crystal Display = Flüssigkristallanzeige 2 CRT = Abk. für Cathod-Ray-Tube = Kathodenstrahlröhre 3 LED = Abk. für Light Emitting Diode = Leuchtdiode

5. Interface-Hardware 38 angesprochenen metadesk-projekt wurde etwa von Mercedes-Benz auf der Automobilausstellung 1997 in Frankfurt ein flaches Display mittels einer teleskopartigen Konstruktion so aufgehangen und dessen Ausrichtung sensorisch erfaßt, daß ein Betrachter durch Bewegen des Schirms einen Rundgang um ein virtuelles Fahrzeug vollführen konnte [Dai98]. Ein ähnliches Konzept wurde schon früher in dem Medienkunstwerk Golden Calf von Jeffrey Shaw verwirklicht [Sha94]. 5.2.2 Akustische Interfaces Um der Person in einem virtuellen Umfeld ihre Umgebung nahezubringen und sie diese erfahren zu lassen, kann außer dem visuellen Eindruck auch die wohl zweitwichtigste Sinneswahrnehmung des Menschen - das Gehör - dienen. Durch die spezielle Anatomie des auralen Systems (zwei separate Schallsensoren, die jeweils um etwa 100 von der Vorausrichtung angeordnet sind [Asc64] und zudem eine ausgeprägte Form besitzen) ist es dem Menschen möglich, wahrgenommene Schallereignisse räumlich einzuordnen. Er kann also einschätzen, ob sich eine Schallquelle vor, hinter, neben, über oder unter ihm befindet. 5.2.2.1 Physiologische und physikalische Grundlagen Die räumliche Wahrnehmung eines Schallereignisses ist die Bewertung desselben bezüglich: Richtung Entfernung Zur Beschreibung der Richtung bietet es sich an, ein sogenanntes kopfbezogenes Koordinatensystem zu verwenden, das sich aus einer Horizontalebene, einer Median-(oder Vertikal-)ebene und einer Frontalebene zusammensetzt.

5. Interface-Hardware 39 Abbildung 5.12: Kopfbezogenes Koordinatensystem In der Horizontalebene lokalisiert das Gehör Schallereignisse zum einen über Laufzeitunterschiede, zum anderen aufgrund von Pegeldifferenzen, die sich zwischen den Ohren je nach Richtung der Schallquelle ergeben. Den größten Einfluß auf die Lokalisation haben die interauralen Laufzeitunterschiede, die sich nach t = 0,5*sinα (Gl. 5.3) berechnen lassen. t [ms] : interauraler Laufzeitunterschied α [Grad] : Winkel des Schallereignisses, von der Flächennormalen der Frontalebene gemessen Reine Sinustöne lassen sich jedoch so nur bis zu einer Maximalfrequenz von 1600 Hz lokalisieren, für höhere Frequenzen ist ein perkussiver Charakter sowie ein breitbandiges Schallereigniss hilfreich. Weniger eindeutig ist die Richtungswahrnehmung aufgrund von interauralen Pegeldifferenzen, welche durch Abschattungen des Kopfes und die Beschaffenheit der Ohrmuscheln verursacht werden. Dieses Phänomen zeigt eine ausgeprägte spektrale Abhängigkeit, so daß die Ortung eines Schallereignisses ausschließlich durch Pegelunterschiede nur bei breitbandigen Signalen gelingt. In der Praxis erfolgt die Schallortung über beide Mechanismen zusammen. Es resultiert eine Richtungsauflösung von maximal 2-3, die jedoch zur Seite hin auf etwa 4,5 anwächst.

5. Interface-Hardware 40 In der Medianebene ergeben sich keine interauralen Unterschiede. Vielmehr ordnet ein Hörer einem Schallereignis aufgrund seiner Klangfarbe eine Richtung zu. Durch die Form der Ohrmuschel werden - je nach Einfallsrichtung - bestimmte Spektralanteile verstärkt; diese nennt man richtungsbestimmende Frequenzbänder. Auch hier wirken sich eine gewisse Kenntnis des Signals sowie ein breites Spektrum für die Lokalisation vorteilhaft aus. Weißes Rauschen läßt sich beispielsweise auch mit einer Genaugkeit von 4 orten, bei anderen Schallereignissen nimmt dieser Wert schnell auf etwa 17 zu. Abbildung 5.13: Richtungsbestimmende Frequenzbänder Zur Bestimmung der Entfernung einer Schallquelle macht sich das menschliche Gehör die Abnahme der Lautstärke bei zunehmender Distanz sowie die Veränderung des Spektrums (Klangfarbe) zunutze. Letzteres beruht einerseits darauf, daß sich der Lautstärkepegel bei Verdoppelung der Entfernung um 6 db vermindert, andererseits aber auch auf der Richtcharakteristik der Geräuschquelle. Grundsätzlich werden tiefe Frequenzen von einem Schallerzeuger eher ungerichtet abgestrahlt, was zur Folge hat, daß die tiefen Anteile im Spektrum bei größerer Entfernung gedämpft werden. Zusätzlich sinkt die Empfindlichkeit des Gehörs für diese tiefen Anteile mit abnehmendem Schallpegel. Die Möglichkeit, die Entfernung einer Schallquelle aufgrund dieser klanglichen Veränderungen abschätzen zu können, setzt ein hohes Maß an Hörerfahrung, d.h. die Bekanntheit der Schallquelle, voraus [Dic97]. Zusätzlich zur Ortung von Schallquellen vermag der menschliche Gehörsinn anhand klanglicher Merkmale Rückschlüsse auf die Räumlichkeit des Umfeldes zu ziehen. Die Wellenfront eines Schallereignisses in einem geschlossenen Raum (Direktschall) wird an den Wänden und Gegenständen mehrfach reflektiert, so daß sich nach einiger Zeit ein diffuses Schallfeld ausbildet. Anhand des zeitlichen Verlaufes dieses diffusen Schallfeldes (Anhall, Nachhall) kann der Hörer Informationen über die Dimensionen und die materielle Beschaffenheit des ihn umgebenden Raumes gewinnen. Außerdem ist das Verhältnis zwischen direktem und diffusem Schallfeld ein Maß für die Entfernung des Schallereignisses, da die

5. Interface-Hardware 41 Schallintensität des Direktschalls mit zunehmender Entfernung abnimmt, der Diffusschallanteil jedoch konstant bleibt (siehe Abbildung 5.15) [Asc64]. Abbildung 5.14: Zeitlicher Verlauf der Energiedichte in einem geschlossenen Raum (lineare Einteilung der Zeitachse in die Bereiche Anhall, Mithall, Nachhall) Abbildung 5.15: Abhängigkeit des Direkt- und Diffusschalls von der Entfernung zur Schallquelle (I D =Intensität des Direktschalls, I r =Intensität des Diffusschalls, N=Abgestrahlte Schalleistung, A=Äquivalente Schallschluckfläche) 5.2.2.2 Technische Umsetzung Technische Verfahren, die eine freie Positionierung von Schallquellen im dreidimensionalen Raum ermöglichen, bezeichnet man als Ortho-Surround -, Orthophonie -, oder 3D Audio -Verfahren. Sie unterscheiden sich von den herkömmlichen Stereo- oder Surround-Systemen dadurch, daß auch der Raum über- und unterhalb der Horizontalebene abgedeckt werden kann. Zudem besteht

5. Interface-Hardware 42 nicht die Einschränkung, daß sich der Hörer innerhalb einer festgelegten, meist recht kleinen, Hörzone befinden muß. Abbildung 5.16: Mögliche Positionen der reproduzierten Schallquelle bei unterschiedlichen Raumklang -Verfahren Die Abdeckung des gesamten den Hörer umgebenden Raumes wurde schon Ende der sechziger Jahre mit der Kunstkopfstereophonie erreicht. Dabei wird ein zweikanaliges Signal mit zwei Mikrofonen aufgenommen, die sich im Innern der Gehörgänge eines nachgebildeten menschlichen Kopfes befinden. Bei der Wiedergabe erscheint die Schallquelle an der Stelle, an der sie sich auch während der Aufnahme befand. Die Position des Hörers ist aber dadurch festgelegt und darf nicht verändert werden. Bei neueren, computergestützten Verfahren wird die gleiche Vorgehensweise mit Hilfe eines Rechners umgesetzt: Die Raumakustik und der Einfluß der Gehöranatomie werden simuliert. Auf diesem Wege wird auch die Stellung des Kopfes variabel, denn durch ein Tracken der Kopfposition kann die Sound-Simulation dynamisch angepaßt werden [Ste96]. Die Simulation eines virtuellen akustischen Raumes ( Auralisation ) unterteilt sich in vier Schritte [The98]: (1) Die räumliche und zeitliche Schall-Information am Ort des Empfängers wird simuliert (Schallfeldsimulation). (2) Mit Hilfe der HRTF (Head-Related-Transfer-Function = Außenohrübertragungsfunktion) wird die binaurale Impulsantwort ermittelt. (3) Die binaurale Impulsantwort wird mit den ursprünglichen Schallsignalen gefaltet. (4) Das Resultat wird über Kopfhörer oder Lautsprecher wiedergegeben.

5. Interface-Hardware 43 zu (1): Als Grundlage für die Schallfeldsimulation dient das 3D-Computermodell der Umgebung mit seinen Wänden und Objekten. Da jedoch die Wellenlänge der Schallwellen gegenüber der der Lichtwellen relativ groß ist, genügt ein weniger detailliertes Modell. Zur Nachbildung der Schallausbreitung in diesem 3D-Raum werden Berechnungsmethoden wie das Cone-Tracing oder das Particle-Tracing eingesetzt. Beim Cone-Tracing (auch Spiegelschallquellenmethode genannt) geht man davon aus, daß bei der Reflexion einer Schallwelle an einer Oberfläche diese Reflexion auch durch eine virtuelle Schallquelle in der rückwärtigen Verlängerung des reflektierten Strahls ersetzt werden kann. Man erhält also einen Satz von virtuellen Schallquellen, deren Direktschall, je nach Materialeigenschaft in Spektrum und Intensität unterschiedlich gewichtet, zu einem Gesamtschallfeld beiträgt. Vorteilhaft ist hierbei, daß nur diejenigen Schallkegel (Cones) in die Berechnung miteinfließen müssen, die die Position des Hörers schneiden. Andererseits wächst die Zahl der zu berechnenden virtuellen Schallquellen mit steigender Reflexionsordnung schnell an. Das Particle-Tracing arbeitet mit fiktiven Schallteilchen, die von der Schallquelle ausgesendet und von den Objekten und Wänden nach dem Reflexionsgesetz reflektiert werden. Dabei wird jedem Teilchen ein bestimmter spektraler Bereich zugeordnet. Je nach Absorptionsgrad der Objekte und zurückgelegter Wegstrecke verringert sich der Anfangsimpuls des Teilchens. Im gesamten Raum kann auf diesem Wege für jede Position des Hörers die Schallenergieverteilung ermittelt werden. Beide Verfahren sind noch immer sehr rechenaufwendig, was zur Folge hat, daß eine Echtzeitanwendung nur mit vereinfachenden Näherungen operieren kann. Dadurch ist die Ordnung der Reflexionen beim Cone-Tracing sowie beim Particle-Tracing die Zahl der Schallteilchen noch sehr begrenzt [Hen97]. zu (2): Die HRTF stellt die mathematische Umsetzung der Schallübertragung über das Außenohr dar und hängt dementsprechend auch von der relativen räumlichen Ausrichtung des Hörers ab. Diese muß mit entsprechender Tracking-Technologie erfaßt und daraufhin eine passende HRTF aus einer Datenbank zugeordnet werden. Gerade geringfügige Bewegungen des Kopfes spielen bei der Lokalisation von Schallquellen eine wichtige Rolle. Auch hier sind bezüglich der Rechenleistung derzeitiger Systeme noch Grenzen gesetzt, wodurch die HRTF ebenso nur mit Näherungen angewendet werden kann.

5. Interface-Hardware 44 zu (3): Das resultierende Signal wird nun dadurch gebildet, daß die Raumsimulation sowie die Simulation des Außenohres auf das ursprüngliche Schallsignal angewendet werden. Dabei ist es wichtig, etwa alle 20 ms eine Echtzeitberechung des Signals durchführen zu können. zu (4): Zur Wiedergabe sind bei 3D-Soundsystemen in der Regel Kopfhörer vorgesehen, jedoch ist eine Darbietung über Lautsprecher ebenso möglich. Im letzteren Fall kommen sogenannte Transauralisationsverfahren zum Einsatz, bei denen eine inverse HRTF angewendet wird, da der Einfluß des Außenohres wieder in Natura vorliegt und aus dem Signal herausgerechnet werden muß. Die Qualität der Lautsprecherwiedergabe liegt dabei aber nicht zuletzt durch störende Nebengeräusche qualitativ unterhalb der Wiedergabe über Kopfhörer [The98]. In jedem Fall ist beim Einsatz von rechenaufwendigen Auralisationsverfahren darauf zu achten, genügend Prozessorleistung zur Verfügung zu haben. Denn anders als beim Rendern von Bildern, bei dem sich eine Verlangsamung der Berechnung durch das Sinken der Framerate bemerkbar macht, kommt es bei der Soundwiedergabe zu hörbaren Frequenzverschiebungen oder - im schlimmsten Falle - sogar zu Dropouts. Deswegen empfiehlt sich ein eigenes Audio- Subsystem oder eine eigenständige Sound-Hardware [Hen97]. 5.2.3 Haptische / Kinästhetische Interfaces Bei der Interaktion mit virtuellen Objekten tritt ein wesentliches Problem auf: Der Zeitpunkt, zu dem man mit der Hand einen Gegenstand berührt, kann nur unzureichend über visuelle oder akustische Signale vermittelt werden. So kann es leicht passieren, daß man durch Gegenstände hindurchgreift. Viel intuitiver ist die Anwendung, wenn man etwa beim Erreichen einer Wand eine echte Kraftrückkopplung auf den Körper erfährt. Beim Fassen eines virtuellen Objektes bedeutet dies etwa, daß die Finger ab einem bestimmten Punkt nicht weiter zusammengebracht werden können, oder darüberhinaus sogar die Oberflächenstruktur dieses Objektes erfühlt werden kann. Um den Tastsinn des Menschen über eine Computeranwendung anzusprechen, wurde verschiedenste Interface-Hardware entwickelt. Zumeist ist diese in Handschuhen integriert, so daß speziell der Tastsinn der Hände involviert ist. Beim TELETACT Tactile Feedback Glove dienen einzeln aufblasbare Luftkammern dazu, an verschiedenen Regionen der Hand selektiv Druckempfindungen auszulösen. Jedoch ist die örtliche Auflösung dieses Handschuhs sehr grob [Kal93].

5. Interface-Hardware 45 Idealerweise sollte ein taktiles Interface eine örtliche Auflösung von 1 Aktuator/mm aufweisen, um den physiologischen Gegebenheiten gerecht zu werden [Phi97]. Im Zeitbereich kann die Ertastung von feinen Oberflächenstrukturen im Extremfall Frequenzen von 5-10 KHz erforderlich machen [Bur96]. Abbildungen 5.17, 5.18: TELETACT Tactile Feedback Glove Alternativ zum Einsatz von Luftkissen zur Reizung des Tastsinns werden in anderen Produkten Piezokristalle verwendet, die bei Anlegen einer Spannung in Vibration geraten, oder Memorymetalle, die sich bei Wärmezufuhr verformen und damit Druck auf die Haut ausüben [Bor94]. Ebenso kommen magnetisch ansteuerbare Drahtstäbchen, die eine Art Array bilden, in Frage [Hod98b]. Die Realisierung einer Kraftrückkopplung auf die Muskulatur und die Gliedmaßen gestaltet sich technisch etwas schwieriger. Meist werden dazu Exoskelettkonstruktionen verwendet, die über der Hand, dem Arm oder gar dem ganzen Körper getragen werden, und den Bewegungen des Anwenders im Bedarfsfall mechanischen Widerstand leisten. Dabei ist naheliegend, daß der Tragekomfort solcher Gerätschaften nicht gerade hoch ist [Hal97]. Zudem ist das Gefährdungspotential bei der Anwendung nicht zu vernachlässigen, da bei Fehlfunktionen des Gerätes Verletzungen nicht auszuschließen sind (Kräfte im Bereich von 10 Newton müßte ein solches Gerät erzeugen können) [Kal93]. Um etwa das Greifen von virtuellen Objekten realistisch wirken zu lassen, wird aber auch hier ein recht hoher Rechenaufwand benötigt. Die Kollisionsabfrage sollte etwa 1000 Mal pro Sekunde durchgeführt werden [Phi99]. Ebenfalls problematisch ist die hohe Bandbreite der möglichen auftretenden Kräfte: Die Fingerspitze ist in der Lage, ein minimales Gewicht von 80 µg (= 8 * 10-7 N)

5. Interface-Hardware 46 wahrzunehmen [Phi97], am anderen Ende des Spektrums steht eine Maximalkraft von 400 N (bei Männern) bzw. 228 N (bei Frauen), die der Mensch mit seiner Hand aufbringen kann [Bur96]. Je größer die vom Anwender ausgeübte Kraft ist, desto stärker muß die erzeugte Gegenkraft der Force-Feedback-Apparatur sein. Abbildung 5.19: Der CyberGrasp Force-Feedback-Handschuh Eine weitaus einfachere Methode der Kraftrückkopplung erhält man, wenn spezielle Eingabegeräte verwendet werden. Bormann beschreibt in [Bor94] einen Aufbau, bei dem ein Ergometer (Trimmdichfahrrad) als Eingabegerät für die Bewegung diente (vgl. auch S. 31). Eine computergesteuerte Bremse regelte den Kraftaufwand beim Treten, je nach der Steigung der gerade befahrenen Strecke. Ebenso haben Joysticks, Lenkräder und Mäuse mit Force-Feedback-Funktion gerade im Bereich der Computerspiele Verbreitung gefunden. Für grafische Anwendungen stehen Stift-Interfaces zur Verfügung, mit denen ein realistisches Pinselgefühl durch entgegengebrachten Widerstand erzeugt werden kann [Hod98b]. Die als Kinästhesie bekannte Fähigkeit des Menschen, unter anderem die räumliche Lage seines Körpers im Raum wahrzunehmen, bedingt es oftmals, daß beim Navigieren in virtuellen Umgebungen, je nach Eingabeverfahren der Bewegung, die Bewegung, die im virtuellen Raum vollführt wird, nicht auf den Körper übertragen wird. Dies kann, wie schon erwähnt, im Extremfall zum Simulatorschwindel führen. Um eine Übereinstimmung in gewissen Grenzen

5. Interface-Hardware 47 herzustellen, lassen sich sogenannte Motion-Platforms verwenden, um Bewegungen und Beschleunigungskräfte zu simulieren. Solche Installationen bestehen in der Regel aus einem Aufbau, in dem sich der Benutzer befindet und der über bewegliche Elemente in seiner Lage und Position (meist in allen 6 Freiheitsgraden: Heave, sway, surge, yaw, pitch, roll) verändert werden kann. Geschieht die Lageveränderung ausreichend schnell, so erfährt die Person kurzzeitig eine reale Beschleunigungskraft [Vin95]. Die Ansteuerung ist hydraulisch, pneumatisch oder servo-elektrisch realisiert. Im Bereich der Flug- oder Fahrsimulation sind derartige Systeme schon recht lange im Einsatz. Diese Simulatoren sind jedoch sehr kosten- und platzaufwendig, seit den letzten Jahren sind aber auch verschiedene preisgünstigere Modelle erhältlich [Bur96]. Abbildungen 5.20: Motion-Platform der NASA, 5.21: Einfache Ausführung Eine innovative Methode zur Erzeugung eines Bewegungseindruckes basiert auf der direkten Beeinflussung des Innenohres des Benutzers. Die 1998 vorgestellte Technologie ist in einem kleinen, leichten Headset integriert und reizt mit elektrischen Signalen unmittelbar das Gleichgewichtszentrum. Eine angeschlossene Computeranwendung kann die Illusion erzeugen, der Anwender vollführe eine Bewegung, obwohl er in Realität stillsteht. Wird die Bewegung parallel noch visuell über ein Display ausgegeben, wird der Eindruck noch wesentlich unterstützt [Hod98c].

5. Interface-Hardware 48 Abbildung 5.22: Motionware Headset 5.2.4 Olfaktorische Interfaces Olfaktorische bzw. gustatorische Interfaces sind bisher nur unzureichend realisiert und spielen keine nennenswerte Rolle, da der Mechanismus der Geschmacks- und Geruchswahrnehmung noch nicht vollständig aufgeklärt ist, und ein Einsatz solcher Interfaces erhebliche Probleme mit sich bringt [Bor94]. Inzwischen ist jedoch auch hier die Forschung fortgeschritten, so daß Interfaces auf dem Markt erhältlich oder in Planung sind. Ein erhältliches Gerät gestattet es, gezielt lokal Gerüche freizusetzen. Dabei handelt es sich aber nicht um ein Device, das am Körper getragen werden kann, sondern um ein stationäres Gerät. Ebenso ist es nicht möglich, beliebige Gerüche aus Grundstoffen zu synthetisieren, sondern es wird lediglich ein vorgegebenes Repertoire an Düften bei Bedarf abgesondert. Demnach eignet sich dieses Gerät nicht für Anwendungen, die eine virtuelle Umgebung simulieren sollen, sondern eher für Kaufhäuser oder Parfümerien [Aer99]. Einen anderen Ansatz verfolgt eine weitere Firma: Ihr Produkt soll bis zu 128 50 Gerüche aus 128 Grundsubstanzen synthetisieren können. Der Prototyp arbeitet bisher schon recht zuverlässig mit 30 Grundbausteinen [Pla99].

6. Mixed-Reality-Interfaces im virtuellen Studio 49 6. Mixed-Reality-Interfaces im virtuellen Studio Bisher wurden technische Hilfsmittel zur Herstellung einer Korrelation zwischen den realen und virtuellen Bestandteilen einer Produktion im virtuellen Studio wenn überhaupt, dann recht spärlich eingesetzt (abgesehen vom Kameratracking). Diese können jedoch zur Vereinfachung von Produktionsbedingungen oder zur Erweiterung der kreativen Möglichkeiten im virtuellen Studio genutzt werden. Auf visueller und dramaturgischer Ebene kann der Zuschauer dadurch einen Zugewinn erfahren. 6.1 Simulierte Interfaces Die einfachste Möglichkeit besteht natürlich darin, ein in Hardware ausgeführtes Interface vorzutäuschen. Der Akteur in der Blue-Box imitiert die Interaktion mit dem Set, indem er z.b. mit der Hand in Richtung eines virtuellen Objektes im Set greift. Hinter den Kulissen löst der Operator der 3D-Studiosoftware ein Makro 1 aus, das etwa dieses Objekt verschiebt oder es sich in Luft auflösen läßt. Dem erheblichen Vorteil, daß die Hardwarekosten bei dieser Art der Umsetzung quasi gleich Null sind, steht der Nachteil gegenüber, daß in vielen Fällen die Treffsicherheit nicht sehr groß ist, gerade wenn es sich um die Manipulation von Objekten handelt, welche der Akteur ja nicht sehen kann. Eine andere Variante der Umsetzung ohne dezidierte Interface-Hardware zeigt die folgende Abbildung. Von der Studiodecke hängende Schnüre lösen beim Herabziehen verschiedene Aktionen im Set aus. Bei diesem Spiel mußte eine virtuelle Anziehpuppe richtig angekleidet werden. Durch Ziehen an den Leinen konnten virtuelle Kleidungsstücke ein- oder ausgeblendet werden. Die Animationen werden auch hier wieder manuell an der Bedienkonsole der 3D- Software getriggert. In diesem Fall wäre eine Interface-Anbindung aber auch ohne großen technischen Aufwand über Hardware möglich. 1 Makro = vordefinierte Aktion in der 3D-Software (z.b. Animation eines Objektes)

6. Mixed-Reality-Interfaces im virtuellen Studio 50 Abbildung 6.1: Szene aus den Stellproben zu Ich sehe was, was Du nicht siehst 6.2 Interfaces zur Erweiterung des Bildraumes Beim Einsatz von Interface-Hardware im virtuellen Studio gilt es grundsätzlich zu bedenken, daß sichtbare Hardware-Komponenten für die Aufrechterhaltung der Illusion einer realen Kulisse nicht gerade förderlich sind. Aus diesem Grund sollte man möglichst unauffällige Interfaces einsetzen, die nur dort für den Zuschauer wahrzunehmen sind, wo es Sinn macht (und gegebenenfalls je nach Verwendungszweck und Sende-Format nötig ist) oder nicht vermieden werden kann. Recht gut lassen sich solche Interfaces einsetzen, die - gemäß der Klassifikation von Interfaces in Kapitel 4 - der Navigation in virtuellen Umgebungen dienen können. Aber auch hier gelten Einschränkungen: Zeigt etwa der Akteur mit einem Zeigegerät (vgl. Kapitel 5: Wands ) in eine Richtung und das Set verschiebt sich, so wirkt dies mitunter nicht glaubwürdig auf den Zuschauer. Vorzuziehen sind hier demnach solche Interfaces, bei denen die Aktionen des Akteurs eine Entsprechung in der natürlichen Fortbewegung des Menschen finden.

6. Mixed-Reality-Interfaces im virtuellen Studio 51 Beispiele für diese Kategorie sind etwa: Laufbänder Die Translations-Bewegung des Laufbandes wird auf das virtuelle Set übertragen. Fahrzeuge in verschiedensten Ausführungen (z.b. Fahrräder oder Wagen, in die man einsteigen kann) Die Drehung der Räder wird ebenfalls an das Set weitergegeben und dieses somit synchronisiert. Problematisch ist jedoch die Realisierung eines Richtungswechsels, meist bedarf es dafür einer Drehscheibenkonstruktion. Hüpfball (siehe Kapitel 7) Dadurch, daß der Darsteller im Blauraum auf ein und derselben Stelle verharrt, das Set jedoch bewegt wird, entsteht beim Zuschauer der Eindruck, der Darsteller bewege sich viel weiträumiger durch die Kulisse, als es die begrenzten Abmessungen des Blauraumstudios erlauben würden. Die folgenden Aufnahmen, bei denen eine Laufbandkonstruktion im Blauraum eingesetzt wurde, sollen diesen Effekt verdeutlichen.

6. Mixed-Reality-Interfaces im virtuellen Studio 52 Abbildungen 6.2-6.7: Vergrößerung des Bildraums durch ein Laufband-Interface Die Bewegung wird jedoch in diesem Falle nicht durch die Darstellerin ausgelöst, sondern ist vorgegeben. Über Motoren setzt sich das Laufband in Bewegung, die Person muß der Bewegung folgen. Dies ist sicher nicht die praktikabelste Lösung, da sie immer noch das Einstudieren der Bewegungsabfolge voraussetzt. Möchte man die Verhältnisse umdrehen, also die Person wirklich auf dem Band laufen lassen und das Set entsprechend bewegen, bestehen die Schwierigkeiten darin, den Anfangswiderstand des Laufbandes zu überwinden ohne den Körper der Person mit einer Halterung fixieren zu müssen. Dadurch, daß zusätzlich das Laufband in eine Drehscheibe integriert wurde, konnte bei einer anderen Produktion im virtuellen Studio (bei der die selbe Laufband-/ Drehscheibenkonstruktion verwendet wurde) eine Kamerafahrt um den Darsteller herum verwirklicht bzw. vorgetäuscht werden. Der Akteur steht in der Mitte der Drehscheibe während sich die Scheibe mitsamt der virtuellen Kulisse im Computer dreht. Auf diesem Wege erreicht man ein den Akteur vollkommen umgebendes Set, welches mit vielen herkömmlichen Methoden

6. Mixed-Reality-Interfaces im virtuellen Studio 53 nicht umzusetzen wäre, da ja mindestens eine Seite des Blauraumes nicht mit einer blauen Wand versehen ist, und demnach dort kein Set eingestanzt werden kann 1. Darüberhinaus sind in der Regel bei schienengebundenen Trackingsystemen Schienen für eine solche Kamerafahrt nicht vorgesehen. Abbildungen 6.8, 6.9: Realisierung von Kamerafahrten mittels einer Drehscheibe 1 Inzwischen existieren zwar Verfahren, die die Verlängerung des Sets über die Grenzen der blauen Wände hinaus ermöglichen, ein Einstanzen von realen Objekten ist dann jedoch nicht durchführbar.

6. Mixed-Reality-Interfaces im virtuellen Studio 54 Die hier beschriebene Laufband-/ Drehscheibenkonstruktion ist ein Prototyp einer spanischen Firma für 3D-Studio-Software und wurde z.b auf der IBC 1998 in Amsterdam eingesetzt [Cut99]. Derartige Konstruktionen finden jedoch schon länger Verwendung für Motion-Control 1 -Anwendungen im Visual-Effects- Bereich. Auch für verschiedene andere Arten von Interfaces lassen sich potentielle Anwendungen vorstellen. Gerade hier mangelt es jedoch an konkreten Umsetzungen. 6.3 Visuelle Interfaces im virtuellen Studio Bezüglich der visuellen Interfaces stellt das virtuelle Studio wenig Spielraum zur Verfügung, da primär die Bildwiedergabe über Monitoren im Studio oder das Fernsehgerät zuhause vorgesehen ist. Es ist jedoch einleuchtend, daß die Möglichkeit, die Komposition aus realen Komponenten und virtueller Kulisse für den Darsteller sichtbar zu machen, von großem Vorteil für seine Orientierung ist. Die Benutzung eines Head-Mounted-Displays wird bei dem Großteil der Anwendungen des virtuellen Studios nicht in Frage kommen, wobei es natürlich auch hier Ausnahmen geben kann (siehe Kapitel 7). Eine sehr interessante Lösung war von der Firma THOMA vorgesehen. Über ein Laserprojektionssystem sollte die virtuelle Kulisse in den Blauraum projiziert werden. Dieses geschieht pulsweise in der vertikalen Austastlücke der aufnehmenden Kameras, so daß die Projektion zwar für einen menschlichen Bertrachter wahrnehmbar ist, von den Kameras aber nicht erfaßt wird. Aufgrund geringer Nachfrage wurde die Weiterentwicklung des Projektes jedoch abgebrochen [Tho99]. 6.4 Akustische Interfaces im virtuellen Studio Auch der Einsatz eines 3D-Soundsystems im virtuellen Studio ist vorstellbar. Förderlich könnte dies sein zur Ortung von Schallereignissen im virtuellen Set, auf die der Darsteller reagieren muß. Denkbar sind hier Geräusche, die mit Objekten im Set in Verbindung stehen (etwa beim Erscheinen oder Verschwinden dieser) oder eine Interview-Situation, bei der der Gesprächspartner auf einem virtuellen Bildschirm (Videotextur auf einem Objekt) im Set erscheint. Um hier 1 Motion-Control = Verfahren zur genauen örtlichen und zeitlichen Rekonstruktion von Kamerafahrten [Cin96]

6. Mixed-Reality-Interfaces im virtuellen Studio 55 in die exakte Richtung des Interviewpartners blicken zu können, wäre eine akustische Orientierung hilfreich. Die beiden Arten der Anwendung - über Kopfhörer oder Lautsprecher (siehe Kapitel 5) - werfen beide spezifische Probleme auf. Für den Betrieb über Kopfhörer müßten genügend kleine Ohrhörer (möglichst mit Funkübertragung) existieren, die dem Zuschauer nicht auffallen. Bei den Lautsprechern bleibt zu überprüfen, ob die Geometrie des Blauraumstudios eine ideale Positionierung der Lautsprecherboxen erlaubt, ohne daß diese im Bild zu sehen sind. In beiden Fällen muß aber für ein Tracking der Kopfposition des Akteurs gesorgt werden, was eventuell wieder sichtbare Hardwarekomponenten bedingt. Eine Spracherkennungssoftware könnte in virtuellen Studios etwa dazu dienen, Makros im virtuellen Set an festgelegten Punkten der Moderation auszulösen. Bei Wahlsendungen aus dem virtuellen Studio wird häufig der Effekt eingesetzt, daß sich die Wahlergebnisse in Säulenform aus dem Studioboden erheben oder sich die aktuelle Mandatsverteilung im Hintergrund grafisch aufbaut. Statt diese Animationen per Knopfdruck abzufahren, könnten sie durch vorher festgelegte Stichworte gestartet werden (...kommen wir jetzt zur aktuellen Sitzverteilung ). 6.5 Motion-Capture-Systeme Für einige Situationen bei virtuellen Produktionen kann es sinnvoll sein, die exakte Position des Darstellers oder eines seiner Körperteile zu kennen. Besonders dann, wenn eine Interaktion mit Objekten im virtuellen Raum stattfinden soll, ist es für einen stimmigen Eindruck wichtig, daß der Akteur den Gegenstand auch wirklich berührt, die Aktion also erst dann ausgelöst wird, wenn die räumlichen Positionen seiner Hand (beispielsweise) und die des Gegenstandes übereinstimmen. Der Erfüllung dieser Bedingung kann man sich mit der Verwendung von elektromagnetischen Positionssensoren nähern, die man an der Hand anbringt. Da inzwischen auch drahtlose Systeme auf dem Markt erhältlich sind, lassen sich diese Hilfsmittel auch recht unauffällig am Körper tragen. Optische Trackingverfahren bedürfen noch immer auffälliger Bildmerkmale oder Reflexionspunkte und kommer daher für diesen Zweck wohl weniger in Frage. Voraussetzung für solche Möglichkeiten ist natürlich die Verwendung eines 3D- Studio-Systems (im Gegensatz zu preiswerteren und weniger rechenaufwendigeren 2D-Systemen).

6. Mixed-Reality-Interfaces im virtuellen Studio 56 Abbildung 6.10: Mit einem Tracking-Sensor ausgestattet könnte der Moderator z.b. das Tableau auch anfassen und in der Position verändern Schon länger im Einsatz im virtuellen Studio sind Motion-Capture-Systeme zur Performance-Animation von virtuellen Charakteren, die mit in das virtuelle Set integriert werden (z.b. Fernsehshow Hugo [Som96]). Dabei befindet sich im Normalfall der Puppenspieler in einem separaten Raum. Daß ein MotionCapture-System aber auch direkt im Blauraum angewendet werden kann, zeigt die Spielshow Secrets of the Cryptkeeper s haunted house, die für die CBS produziert wurde. Dabei treten reale Darsteller gegen virtuelle Charaktere in verschiedenen Spielen an, z.b. in einem Schwertkampf. Zu diesem Zweck wurde ein Puppenspieler mit einer kompletten Ganzkörper-Motion-Capture-Montur ausgestattet und dann in grüne Kleidung (samt Gesichtsmaske) gehüllt, um ihn später herauszustanzen. Im Studio kämpften somit zwei reale Darsteller gegeneinander, nach dem Keying wurde der eine Darsteller durch ein virtuelles Skelett ersetzt [Phi97b]. Abbildungen 6.11, 6.12: Szene aus Cryptkeeper