Mixed-Reality-Interfaces im virtuellen Studio

Größe: px
Ab Seite anzeigen:

Download "Mixed-Reality-Interfaces im virtuellen Studio"

Transkript

1 Mixed-Reality-Interfaces im virtuellen Studio Diplomarbeit im Fachbereich Photoingenieurwesen an der Fachhochschule Köln vorgelegt von Leonhard Geiger aus Köln Matrikel-Nr Referent: Prof. Dr.-Ing. Franz Stollenwerk Koreferent: Dipl.-Inform. Oliver Bunsen, Kunsthochschule für Medien Köln Köln, im Januar 2000

2 Mein besonderer Dank gilt Herrn Stollenwerk und Herrn Bunsen für die Betreuung dieser Diplomarbeit, allen Mitarbeitern der KHM, die mich bei der Realisierung der Arbeit unterstützt haben, Wolfgang von Olfen und Arnfried Griesert von der GMD Sankt Augustin, sowie Frank Buß, Markus Schlickeiser, Achim Peek, Annika Fritsche und Heinz Wilhelm Stöter.

3 Inhaltsverzeichnis Inhaltsverzeichnis 1. Einleitung Mixed-Reality Allgemeines Erscheinungsformen von Mixed-Reality Mixed-Reality bei Film und Fernsehen Das virtuelle Studio Eine Mixed-Reality-Anwendung Grundlagen Verschiedene Verfahren des Kameratracking Encoderbasiertes Kameratracking Bildsignalbasiertes Kameratracking Hybride Tracking-Systeme Interfacetheorie Das Kommunikationsmodell nach Shannon Das Kommunikations- und Interfacemodell nach Bricken Die Mixed-Reality-Grenze Beschreibung der Mixed-Reality-Grenze Die Mixed-Reality-Grenze im virtuellen Studio Theorie der Mixed-Reality-Interfaces Aufbau und Wirkungsweise von Mixed-Reality-Interfaces Unterteilung von Mixed-Reality-Interfaces Interface-Hardware Eingabegeräte Data Gloves / Data Suits Isometrische Eingabegeräte Wands Spezielle Keyboards Devices zur Navigation in virtuellen Welten Spracheingabe... 32

4 Inhaltsverzeichnis 5.2 Ausgabegeräte Visuelle Interfaces Stationäre Systeme Mobile Systeme Akustische Interfaces Physiologische und physikalische Grundlagen Technische Umsetzung Haptische / Kinästhetische Interfaces Olfaktorische Interfaces Mixed-Reality-Interfaces im virtuellen Studio Simulierte Interfaces Interfaces zur Erweiterung des Bildraumes Visuelle Interfaces im virtuellen Studio Akustische Interfaces im virtuellen Studio Motion-Capture-Systeme Haptische Interfaces Integration von Interfaces in bestehende Software Praktische Umsetzung eines Mixed-Reality-Interfaces für die Produktion Ich sehe was, was Du nicht siehst auf der Internationalen Funkausstellung 1999 in Berlin Interaktive TV-Kinderspielshow im virtuellen Studio Die Produktion Ich sehe was, was Du nicht siehst Spielidee Konzeption des Interfaces Realisierung Gummihüpfball Mechanische Befestigung und Aufhängung Sensorik Exkurs: Optische Winkelkodierer Elektronik Treiber-Software Sockel Einsatz des Interfaces Ausbau- und Erweiterungsmöglichkeiten...78

5 Inhaltsverzeichnis 8. Zusammenfassung Ausblick Anhang... I 1. Vollständiger Sourcecode der Treibersoftware... I 2. Technische Details...VII 2.1 Eingesetzte elektronische Bauelemente...VII 2.2 Datenblätter der verwendeten ICs... VIII MICROCHIP PIC16F84 Microcontroller... VIII MAXIM MAX232 Devicetreiber-IC... IX 3. Technisches Setup bei der Produktion auf der IFA IX Literatur- und Quellenangaben... XI

6 1. Einführung 1 1. Einführung Seit im Herbst 1994 das erste virtuelle Studiosystem auf der IBC in Amsterdam vorgestellt wurde [FKT1-2/95], setzt sich weltweit der Einsatz von virtueller Studiotechnik immer mehr durch. Mit der virtuellen Technik ist es möglich geworden, herkömmliche reale Studio-Sets durch computergenerierte Sets zu ersetzen und somit sowohl kostengünstiger und zeitökonomischer zu arbeiten - im Gegensatz zu realen Studioaufbauten fallen für virtuelle Sets keine Materialund Lagerkosten an [Som95] - als auch in Realausführung gar nicht oder nur schwer realisierbare Sets zu verwirklichen, da die physikalischen Grenzen aufgehoben werden können. Desweiteren können Daten und Informationen anschaulich im Set visualisiert werden. Die technische Entwicklung der letzten Jahre - gerade im Bereich der Computertechnik - ermöglichte auch bei den virtuellen Studios erhebliche Fortschritte. Die gesteigerte Rechenleistung der Computersysteme und spezielle Grafikhardware ermöglichen es, komplexere Sets zu konstruieren und sie in Echtzeit zu animieren, sogenannte Partikelsysteme erwecken den Eindruck von z.b. Regen oder Schnee, und neue Arten von Trackingsystemen erlauben es, freibewegliche Handkameras zu benutzen. Der eindeutige Trend der Entwicklung ist es also, reale Sets immer besser im Computer nachzuahmen (naturalistischer Ansatz) und die Arbeitsweise bei einer virtuellen Produktion der im herkömmlichen Studio anzugleichen. Jedoch existieren das virtuelle Set und die reale Welt weitestgehend unabhängig und getrennt voneinander. Eine Interaktion zwischen der realen Welt, sprich den realen Darstellern oder Gegenständen, und der virtuellen Welt, also dem virtuellen Set und den darin befindlichen virtuellen Objekten, ist bislang gar nicht oder nur ansatzweise realisiert. Ein passendes Zitat findet sich in einem Fachmagazin für Computergrafik:...people have to work in the sterile, all-blue (or green) rooms, interacting with nothing [Rob95]. Folge davon ist es, daß es eines erheblichen Aufwandes seitens der Akteure bedarf, sich im Set zurechtzufinden und sich die Positionen der Objekte zu merken oder anhand von Markierungen auf dem Studioboden abzulesen, um nicht etwa mit virtuellen Objekten zu kollidieren [Kan96]. Eine regelrechte Choreographie ist hier vonnöten. Mit der Schaffung von Schnittstellen stellt man eine Verbindung zwischen der realen und der virtuellen Welt her. Dies eröffnet Möglichkeiten, mit der Computerwelt zu interagieren, d.h. eine Interaktion vom Blauraum in das virtuelle Set hinein, bzw. gestattet ein Hineinwirken vom virtuellen Set in den Blauraum. Virtuelle Objekte oder Ereignisse im virtuellen Set könnten so im Blauraum wahrgenommen werden. Auf diesem Wege bietet man dem Akteur zum einen bessere Orientierungsmöglichkeiten im Set, zum anderen wird es

7 1. Einführung 2 möglich, virtuelle Objekte zu manipulieren. Somit wird der Grad der Immersion 1 deutlich erhöht [Hen97]. Der Begriff Immersion spiegelt im Kontext des virtuellen Studios den Grad der Überzeugung beim Zuschauer wider, der die Synthese des realen Darstellers mit einer virtuellen Umgebung erlebt. Das virtuelle Studio wird dadurch noch mehr zu einem Mixed-Reality-System als es von seinem Grundgedanken her schon ist. Unter Schnittstelle oder Interface soll hier nicht eine konkrete spezifische elektrische Verbindung zwischen Hardwarekomponenten verstanden werden, sondern zunächst ein abstraktes Konstrukt, das die Verbindung und den Austausch zwischen mindestens zwei Systemen ermöglicht, also eine Art Kanal. Nach [Hoc97] ist eine Schnittstelle in Bezug auf eine Interaktion zwischen Mensch und Maschine der Ort, an dem die Koppelung zwischen den unterschiedlichen Systemen Mensch und Computer organisiert wird und stattfindet. Wie eine solche Schnittstelle theoretisch beschrieben werden kann, wird in Kapitel 4 näher untersucht. Für den Anwendungsbereich Virtual-Reality und für diverse Mixed-Reality- Anwendungen sind in den letzten Jahren viele verschiedene Interfaces entwickelt worden und auf dem Markt erhältlich. Kapitel 5 gibt eine Übersicht über eine Reihe von verfügbaren Interfaces und beschreibt deren Aufbau sowie die technischen Grundlagen. In Kapitel 6 werden einige, teils fiktive Szenarien aufgezeigt, die Möglichkeiten des Einsatzes von Mixed-Reality-Interfaces bei Produktionen im virtuellen Studio verdeutlichen sollen. Völlig neue Möglichkeiten ergeben sich, wenn man die klassischen Sende- Formate im virtuellen Studio aufbricht. Neue Sendekonzepte mit anderen Anforderungen und Schwerpunkten können Spielraum schaffen für den Einsatz von Mixed-Reality-Interfaces bei virtuellen Produktionen. Die experimentelle Kinder-Spielshow Ich sehe was, was Du nicht siehst, die auf der Internationalen Funkausstellung 1999 in Berlin zum ersten Mal vorgestellt wurde, zeigt solche neuen Ansätze: Der Akteur (hier: der Spieler) wird mit einem Head- Mounted-Display ausgestattet, um ihn in die virtuelle Spielewelt, in der er agieren muß, zu integrieren und so einen Immersionseindruck auch ihm zu vermitteln. Die Tatsache, daß die Person nun ein Gerät auf dem Kopf trägt, stört im Rahmen einer Kinder-Spielshow den Bildeindruck nicht, für die Moderation eines Wirtschaftsmagazins käme ein solches Interface dagegen wohl nicht in Betracht. 1 Immersion = Das Gefühl, sich in einem simulierten Raum zu befinden [Rhe92]

8 1. Einführung 3 Die sich bietenden Freiheiten bei solchen experimentellen Sende-Formaten erlauben es, neue Arten von Interfaces einzusetzen. Bei der Konzeption der Spielshow ergab sich der Bedarf an einem Interface, das es dem Spieler ermöglicht, sich in der virtuellen Welt fortzubewegen. Daraufhin wurde ein solches konstruiert und gebaut. Kapitel 7 beschreibt die Anforderungen, die Komponenten und die Funktionsweise dieses Interfaces im Detail. Die Idee zu der vorliegenden Diplomarbeit entstand während der Mitarbeit an der Produktion Ich sehe was, was Du nicht siehst an der Kunsthochschule für Medien in Köln.

9 2. Mixed-Reality 4 2. Mixed-Reality 2.1 Allgemeines Der Begriff Mixed-Reality beschreibt im allgemeinen die Synthese von realen und künstlich erzeugten Bildern zu einer gemeinsamen visuellen Wiedergabe. Eingeordnet werden kann diese Form der Darstellung einer Szene in ein Konzept des Virtualitäts-Realitäts-Kontinuum (RV-Kontinuum), siehe Abbildung 2.1. Dieses beschreibt eine bestimmte Darstellungssituation in Bezug auf die Zusammensetzung aus realen und virtuellen Objekten [Mil95]. Genau genommen muß bei der Klassifizierung nicht nur der visuelle Eindruck untersucht werden, sondern auch die Eigenschaften der anderen perzeptiven Kanäle, wie z.b. die auditive und haptische Wahrnehmung [Mil94], vorwiegend wird jedoch das Augenmerk auf die visuelle Übermittlung gelegt. Mixed Reality (MR) Real Environment Augmented R eality (AR ) Augmented V ir tuality (AV ) Virtual Environment Reality-Virtuality (RV) Continuum Abbildung 2.1: Realitäts-Virtualitäts-Kontinuum An dem einem Ende des Kontinuums befinden sich reale Umgebungen 1, am anderen Ende die virtuellen. Vollkommen reale Umgebungen setzen sich ausschließlich aus realen, physisch vorhandenen Gegenständen zusammen, wie sie z.b. bei direkter Betrachtung einer Szene mit dem Auge wahrgenommen werden. Bei einem komplett virtuellen Umfeld umgeben den Betrachter nur künstlich generierte Objekte. Anwendungen, die man typischerweise dem Komplex Virtual Reality zuordnet, finden sich demnach eindeutig auf der rechten Seite des Kontinuums. Der Teilnehmer erlebt die mehr oder weniger vollständige Immersion in einer synthetischen Welt, die entweder einer realen Welt nachempfunden oder auch 1 Die Begriffe Umgebung und Umfeld werden hier für den engl. Begriff environment benutzt.

10 2. Mixed-Reality 5 fiktiv sein kann. In beiden Fällen nimmt der Beobachter ausschließlich Computergrafiken wahr. Bei der Gestaltung von virtuellen Welten eröffnen sich Möglichkeiten, physikalische Gesetze oder Materialeigenschaften so zu verändern, daß sie den gewünschten Eindruck erzeugen. Entsprechende Interfaces zur Vermittlung der Wahrnehmungen stehen in verschiedensten Ausführungen zur Verfügung. Zwischen den beiden Extrema an den Rändern des Kontinuums, also der völligen Virtualität und der Realität, befindet sich der Bereich, den man der Mixed- Reality zuordnet. Bei dieser Darstellungsweise werden sowohl reale wie virtuelle Elemente simultan dem Betrachter angeboten. Je nachdem, wie das Verhältnis zwischen realen und künstlichen Objekten ist, unterteilt man den Bereich Mixed Reality zusätzlich in Augmented 1 Reality und Augmented Virtuality. Im ersten Fall wird ein vornehmlich realer Seheindruck überlagert von einzelnen künstlichen Elementen, die im Regelfall bestimmte Aufgaben erfüllen, wie z.b. bei sogenannten Head-up-Displays (HUDs) in Kampfflugzeugen. Dort werden Daten etwa über die Flughöhe direkt in das Sehfeld des Piloten eingeblendet [Hen97]. Im zweiten Fall liegt der Schwerpunkt bei den computergenerierten Objekten, die mit einzelnen realen Eindrücken gemischt werden. Essentiell bei der Idee der Mixed-Reality ist, daß sowohl zeitlich wie auch räumlich zwischen der realen und der virtuellen Welt eine Synchronisation stattfinden muß. Das bedeutet: Die Vorgänge in der virtuellen Welt müssen im Zeitbereich mit den real erlebten übereinstimmen. Es muß einen festen Zusammenhang zwischen den räumlichen Aspekten von Realität und Virtualität geben. Die Perspektive von direkt betrachteten (physischen) Objekten und simulierten muß untereinander stimmig sein. Die Erfüllung beider Kriterien stellt hohe Anforderungen an die Rechenleistung der verwendeten Computer, Unzulänglichkeiten führen zu höheren Latenzzeiten mit den entsprechenden Auswirkungen (vgl. Kapitel 5). Da, wie anfangs bemerkt, dem visuellen Kanal bei Mixed-Reality-Umgebungen die größte Bedeutung zukommt, lassen sich über die Art des verwendeten Bildwiedergabesystems die im folgenden Unterkapitel aufgeführten Arten von Mixed-Reality-Konfigurationen unterscheiden [Mil94b]. 1 augmented (engl.) = erweitert, vergrößert

11 2. Mixed-Reality Erscheinungsformen von Mixed-Reality Monitorbasierte Systeme: Bei diesem Wiedergabeverfahren werden die realen und virtuellen Bilder analog oder digital überlagert und auf einem Monitor wiedergegeben (z.b. beim Chroma-Keying 1 im virtuellen Studio). Video-Displays ähnlich den monitorbasierten Systemen, jedoch in der Ausführung als Head-Mounted-Displays (HMDs) HMDs mit halbdurchlässigen Spiegeln: Die reale Umgebung wird unmittelbar beobachtet und die künstlich generierten Elemente über halbtransparente Spiegel überlagert. Das direkte Betrachten der Umgebung wird auch als unmediated reality bezeichnet. HMDs ähnlich denen auf halbdurchlässigen Spiegeln basierenden, jedoch als Video see-through -System ausgeführt: Hier wird das reale Umfeld nicht direkt betrachtet, sondern über ein Videosystem erfaßt. Problematisch hierbei ist, daß die Position der Kamera exakt der Augenposition entsprechen muß [Mil94]. Vollkommen grafisch generierte (voll- oder teilimmersive) Display- Umgebungen (z.b. CAVE), die künstliche Welten mit eingeknüpften Realkomponenten (in der Regel über Video) darstellen Abbildung 2.2: CAVE (Cave Automatic Virtual Environment) 1 Chroma-Keying (auch Blaustanze ) = Technisches Verfahren, das es gestattet, in einem elektronisch vorliegenden Bild Bereiche mit bestimmter Farbe durch andere Bildelemente zu ersetzen

12 2. Mixed-Reality 7 Vollkommen grafisch generierte, teilimmersive Display-Situationen, bei denen physisch vorhandene reale Gegenstände interaktiv in die virtuelle Szene miteingebunden werden: Die Hand des Benutzers, die er als real wahrnimmt, könnte hier z.b. nach virtuellen Objekten greifen. Denkbar ist in diesem Zusammenhang die Darstellung über eine großformatige Leinwand [Mil94]. Ein Beispiel für diese Mixed-Reality-Darstellungsweise ist das in [Hoc97] beschriebene Projekt, bei dem ein Benutzer mit einem realen Zeigestab virtuelle Objekte auf einem Schirm auswählen und verschieben kann. Hier kommt ein optisches Trackingsystem zum Einsatz, das die Position des Zeigestabes erfaßt. Eine alternative Trackingmethode bei Leinwandprojektion stellt das in [Phi98] angedeutete Verfahren dar: Mit einer Laserscanning-Einheit wird eine zweidimensionale Ebene vor die eigentliche Leinwand projiziert. Tritt ein Gegenstand (etwa eine Hand oder ein Stab) in diese Fläche ein, so kann dessen Position und Orientierung ermittelt werden (siehe Abbildung 2.3). Abbildung 2.3: Videowall-Tracking-System Aktuelle Forschungsprojekte zeigen, daß auch die Kombination von verschiedenen Bildwiedergabe-Verfahren bei Mixed-Reality-Anwendungen sinnvoll sein kann. Beim metadesk -Projekt des MIT 1 zum Beispiel kommen ein Projektionsystem und ein Bildschirm simultan zum Einsatz. Über eine Rückprojektion wird auf einer horizontalen Arbeitsplatte eine zweidimensionale Szene (Grundriss) abgebildet, die über Sensorik mit realen Gegenständen, die auf der Arbeitsplatte abgestellt werden, korreliert ist. Gleichzeitig kann über ein schwenkbares Display eine dreidimensionale 1 MIT = Abk. für Massachusetts Institute of Technology

13 2. Mixed-Reality 8 Ansicht der Szene abgerufen werden. Man erhält so den Eindruck, durch ein Fenster auf die Szene schauen zu können [Ish97]. 2.3 Mixed-Reality bei Film und Fernsehen Bei der Verwendung von Mixed-Reality im Einsatzgebiet Film- und Fernsehproduktion kommt in der Regel von den oben aufgeführten Darstellungsmethoden nur die zuerst genannte monitorbasierte oder die Projektion auf eine Leinwand zum Tragen, da diese (bisher) die gängigen Darbietungsarten für diesen Medientyp sind. Herkömmlich produzierte Filme (d.h. ohne anschließende Manipulation durch Mittel der Post-Production) ordnet man auf der linken Seite des RV-Kontinuums an, Filme, die ausschließlich computeranimiert sind, dagegen auf der rechten Seite. Zwischen den beiden Extrema finden sich auch hier Mischformen. [Tro99] Grundsätzlich läßt sich dabei unterscheiden in: a) das Einbetten von virtuellen Objekten in Realaufnahmen. b) das Einbetten von Realaufnahmen in computergenerierte Kulissen oder Hintergründe. Beide Verfahren sind aus der modernen Medienproduktion kaum noch wegzudenken und finden zunehmend Verwendung. Gerade bei aktuellen Kinofilmproduktionen wird ausgiebig Gebrauch von Special-Effects gemacht, indem dem Film durch Compositing 1 künstlich erzeugte Bildbestandteile hinzugefügt werden. Bei George Lucas Film STAR WARS Episode I wurden sogar rund 95% des Filmmaterials digital überarbeitet und mit künstlichen Elementen versehen [DiP3-99]. Ein Haupteinsatzgebiet der künstlichen Kulissen ist neben der Verwendung bei Filmproduktionen das virtuelle Studio. Nach der Klassifizierung zu Beginn dieses Kapitels wäre der erste Fall (a) konsequenterweise als Augmented Reality zu bezeichnen, der zweite (b) als Augmented Virtuality. Diese Einteilung erscheint jedoch in diesem Kontext als wenig sinnvoll, da hier meist offline, also nicht mit einer Echtzeit-Korrelation, gearbeitet wird (vom virtuellen Studio abgesehen, bei dem sowohl online wie auch offline gearbeitet werden kann, je nach Leistung der Grafikhardware). 1 Compositing = Das Zusammenfügen von verschiedenen Elementen einer Szene zu einem Gesamtbild [Per87]

14 3. Das virtuelle Studio Eine Mixed-Reality-Anwendung 9 3. Das virtuelle Studio Eine Mixed-Reality-Anwendung Dieses Kapitel soll dem Leser die wichtigsten technischen Grundlagen der virtuellen Studiotechnik vermitteln und so den Zusammenhang zum Themenkomplex Mixed-Reality herstellen. Auf eine ausführliche Beschreibung der technischen Details wird an dieser Stelle bewußt verzichtet, da diese in mehreren vorangegangenen Arbeiten bereits dargelegt wurden. Da die technische Entwicklung auf dem Gebiet der virtuellen Studiotechnik jedoch rasant voranschreitet, sind in letzter Zeit einige Neuerungen auf den Markt gekommen, die hier ebenfalls aufgenommen wurden, um gleichzeitig den derzeitigen technologischen Stand zu umreißen. 3.1 Grundlagen Schon seit vielen Jahren nutzt man in der Fernsehtechnik das Blue-Screen- Verfahren, um einen realen Vordergrund mit einem als elektronisches Signal vorliegenden Hintergrund zu kombinieren. Dieser Hintergrund kann seinerseits entweder die Aufnahme einer Real-Szene oder eine Computergrafik sein. Grundlage dieses Stanzens ist die Technik des Chroma-Keying, die es erlaubt, eine beliebige Farbe im Vordergrundbild durch ein anderes Bild zu ersetzen. Zu diesem Zweck bewegt sich der reale Darsteller in einem normalerweise leeren Studio mit einfarbigen blauen oder grünen Wänden und Boden. Ein anderes Verfahren benutzt statt blau eingefärbter Wände eine retroreflektierende Folie, die Licht von an der Kamera montierten blauen Lichtquellen zurückwirft [BBC99]. Das Kamera(vordergrund)signal wird mit einem Chroma-Keyer mit dem Hintergrundsignal gemischt, und es entsteht der Eindruck, der Akteur befände sich vor einem realen Hintergrund. Der Nachteil dieser Technik ist, daß weder Kamerastandort noch Brennweite (Zoom) verändert werden dürfen, da sich das Vordergrundbild in seiner Größe, Perspektive oder Position ändert, das eingestanzte Hintergrundbild jedoch nicht, und somit die Illusion zunichte gemacht wird. Aufgrund der fehlenden räumlichen Korrelation zwischen Vorderund Hintergrundbild kann hier genau genommen noch nicht von einem Mixed- Reality-System gesprochen werden.

15 3. Das virtuelle Studio Eine Mixed-Reality-Anwendung 10 Abbildungen 3.1,3.2: Stanzeffekt Realaufnahme und gemischtes Bild Die Idee des virtuellen Studios ist nun, die Perspektive des eingestanzten Hintergrundes simultan zu den Veränderungen der Kameraparameter anzugleichen, so daß die Kohärenz zwischen Vorder- und Hintergrundbild erhalten bleibt. Dient als Hintergrundbildquelle eine 3D-Animationssoftware, so eröffnet sich die Möglichkeit, ein komplettes Studioset mitsamt Aufbauten und Dekorationen im Computer zu erzeugen. Wird der Darsteller in dieses Set hineingestanzt, gewinnt der Zuschauer idealerweise den Eindruck (mehr oder weniger, je nach Qualität und Realitätsnähe der Computergrafik), der Darsteller bewege sich in einer physisch existenten Studiokulisse. Abbildung 3.3: Schema des Signalflusses im virtuellen Studios

16 3. Das virtuelle Studio Eine Mixed-Reality-Anwendung 11 Inzwischen existiert eine Alternative zum Chroma-Keying, bei der die Separation von Vorder und Hintergrund durch die Tiefeninformation realisiert wird. Ein Zusatz zur normalen Studio-Farb-TV-Kamera versieht die aufzunehmende Szene mit einer speziellen, pulsierenden Beleuchtung, die im Wellenlängenbereich von nm arbeitet, und somit vom aufnehmenden CCD-Chip der Kamera nicht erfaßt wird. Für jedes Pixel des Bildes liefert die Kamera zusätzlich zu den RGB- Werten einen Z-Wert (den Abstand zur Kamera). Der Entfernungswert wird aus der Zeitdifferenz zwischen dem Aussenden und dem Eintreffen des reflektierten Beleuchtungs-Impulses errechnet. Einerseits kann mit solch einem Gerät ein 3D- Bild der Szene erfaßt werden, ähnlich einem 3D-Scanner, andererseits eignet es sich aber auch zum Separieren von Vorder- und Hintergrund-Objekten in Echtzeit. Somit kann das Einstanzen eines künstlichen Hintergrundes auch ohne Blue- oder Green-Screen-Aufbau erfolgen, darüberhinaus werden sogar Außenaufnahmen möglich [Zca99]. Sämtliche Kamerabewegungen der realen Kamera werden auf die virtuelle Kamera 1 der 3D-Software übertragen, wodurch die Perspektive der Realaufnahmen und des virtuellen Sets untereinander stimmig bleiben. Zu diesem Zweck müssen die folgenden Parameter der realen Kamera kontinuierlich erfaßt und an den Grafikcomputer übermittelt werden: Position (x,y,z-koordinaten) Tilt Pan Roll (in dieser Achse findet jedoch selten bewußt eine Bewegung statt) Brennweite (Zoom) (Fokus) (Blende) Tilt Pan Roll Abbildung 3.4: Kamera mit eingezeichneten Bewegungsachsen 1 Diese definiert den Standort des Betrachters und somit die Perspektive, aus der die 3D-Umgebung gerendert (grafisch ausgegeben) wird.

17 3. Das virtuelle Studio Eine Mixed-Reality-Anwendung 12 Bei der Erfassung dieser Meßwerte ( Tracking ) liegen die Unterschiede, die die momentan auf dem Markt befindlichen Systeme aufweisen. Man findet im wesentlichen zwei Arten der Parameter-Erfassung: Entweder werden die Kamerabewegungen über Sensoren erfaßt, die am Stativ bzw. Support-System und am Objektiv der Kamera angebracht sind (encoderbasierte Systeme), oder die Meßwerte werden direkt aus dem Bildsignal der Kamera gewonnen bzw. durch separate Kameras ermittelt (bildsignalbasierte Systeme). 3.2 Verschiedene Verfahren des Kameratracking Encoderbasiertes Kameratracking Bei diesem Verfahren des Kameratracking befinden sich an den beweglichen Achsen des Kamera-Support-Systems sowie am Objektiv Sensoren in Form von Winkelkodierern, die die ausgeführten Bewegungen der Kamera registrieren. Die Vorteile eines solchen Systems sind im wesentlichen: hohe Genauigkeit kurze Verzögerungszeit Andererseits ergeben sich jedoch auch Nachteile: Die Kamera ist an ein entsprechend ausgerüstetes Support-System gebunden, d.h. die Verwendung einer Freihandkamera ist nicht möglich. Für jede einzelne Kamera wird ein weiterer Satz Sensoren benötigt Bildsignalbasiertes Kameratracking Ordnet man auf einer Bildvorlage definierte Strukturen oder Bildelemente mit vorgegebener Geometrie an, so läßt sich aus einer Kameraaufnahme dieser Vorlage die Position und Orientierung der Kamera durch Mittel der elektronischen Bildverarbeitung errechnen. Beim virtuellen Studio wird dieses Verfahren in verschiedenen Varianten verwendet. Zum einen gibt es die Möglichkeit, auf der Wand des Blauraums regelmäßige Strukturen aufzubringen und das Signal der Fernsehkamera auszuwerten. Zum anderen ist es ebenso möglich, separate Überwachungskameras zu benutzen, die z.b. auf die eigentliche Kamera aufgesetzt werden und spezielle Strukturen an der Studiodecke aufnehmen [Zwe97] [Sto99].

18 3. Das virtuelle Studio Eine Mixed-Reality-Anwendung 13 Für dieses Verfahren spricht: Es ist mitunter nicht erforderlich, die vorhandenen Studiokameras umzurüsten. Die Verwendung von Freihandkameras wird möglich. Bei vorhandener Grundausstattung sind beliebig viele Kameras einsetzbar. Demgegenüber stehen einige Nachteile: Ein Mindestanteil der Strukturen muß im Bild sichtbar sein, dadurch verbieten sich Großaufnahmen z.b. von Moderatoren. Durch die nachgeschaltete Bildverarbeitung entsteht ein erhebliches Delay. Die Qualität der Blaustanze leidet unter dem erweiterten Key-Bereich Hybride Tracking-Systeme Analysiert man die beiden vorgestellten Trackingmethoden, so ist die logische Konsequenz, beide Verfahren zu kombinieren, um von den Vorteilen beider Systeme zu profitieren. So existieren mehrere hybride Systeme, die die Parameter für Position und Orientierung der Kamera bildbasiert über Infrarotlichtquellen und entsprechende Überwachungskameras gewinnen, die Werte für Zoom, Fokus und Blende jedoch über Sensoren ermitteln. [Mik99] Abbildungen 3.5, 3.6: verschiedene Infrarot-Tracking-Systeme

19 4. Interfacetheorie Interfacetheorie Beschäftigt man sich mit dem Thema Interfaces, so geht es immer um Kommunikation. Ein Interface stellt eine Verbindung her, über die zwei oder mehr Systeme, die ihrerseits beliebig beschaffen und strukturiert sein können, kommunizieren und Informationen austauschen. Daher liegt es nahe, zunächst einmal den Vorgang der Kommunikation genauer auf theoretischer Basis zu betrachten. Zu diesem Zweck werden verschiedene Kommunikationsmodelle vorgestellt und beschrieben. Die besonderen Aspekte, die sich bei einer Betrachtung der Kommunikation über Interfaces in einem Mixed-Reality-Umfeld ergeben, werden im Anschluß ausgeführt. 4.1 Das Kommunikationsmodell nach Shannon Im Jahre 1948 veröffentlichte Shannon im Bell Technical Journal seine Arbeit Mathematical Theory of Communication. Danach finden sich bei jeder Art von Kommunikation fünf wesentliche Grundelemente wieder: (1) Nachrichtenquelle (Information Source) (2) Sender (Transmitter) (3) Kanal mit Störungsquelle(n) (Noise Source) (4) Empfänger (Receiver) (5) Nachrichten- oder Datensenke (Destination) zu (1): Die Nachrichtenquelle ist Ausgangspunkt einer Nachricht oder einer Folge von Nachrichten. Dabei spielt es keine Rolle, ob diese Nachricht beim Empfänger einen Sinn ergibt oder überhaupt von ihm interpretiert werden kann. Man trennt hier die Begriffe Information und Daten. zu (2): Der Sender kodiert die von der Nachrichtenquelle stammende Nachricht in ein Format, das vom Übertragungskanal übermittelt werden kann. zu (3): Der Kanal stellt das Medium der Übertragung dar. Im technische Sinne könnte dies z.b. ein Kabel oder elektromagnetische Wellen sein. Jeder Übertragungsweg weist in der Regel mindestens eine Störquelle auf, die das zu übermittelnde Signal verfälscht.

20 4. Interfacetheorie 15 zu (4): Im Empfänger wird das kodierte Nachrichtensignal wieder dekodiert und somit in ein vom Ziel der Nachricht interpretierbares Format überführt. zu (5): Die Nachrichten- oder Datensenke stellt als Gegenstück zur Nachrichtenquelle das Ende der Kommunikationskette dar, sie ist der Bestimmungsort der kommunizierten Information. Information Source Transmitter Receiver Destination Message Signal Received Signal Message Noise Source Abbildung 4.1: Kommunikationsmodell nach Shannon Das empfangene Signal E ist eine Funktion des senderseitig ausgehenden Signals S und der Störquellen N (Noise), also E = f(s,n) (Gl. 4.1) In Shannons Kommunikationstheorie ist ebenfalls ein erweitertes Kommunikationsmodell implementiert, das eine Fehlerkorrektur der eingehenden Signale beinhaltet. Dabei existiert ein dem Kommunikationssystem übergeordneter Beobachter, der sowohl das gesendete wie auch das empfangene Signal analysiert und Korrekturdaten ermittelt, die mit dem empfangenen Signal M zur ursprünglichen, fehlerfreien Nachricht M verarbeitet werden [Sha48].

21 4. Interfacetheorie 16 Correction Data Observer M M M Source Transmitter Receiver Correcting Device Abbildung 4.2: Fehlerkorrektursystem nach Shannon 4.2 Das Kommunikations- und Interfacemodell nach Bricken Shannons Kommunikationsmodell ist unidirektional angelegt, der Sender der Nachricht erhält keine Rückmeldung seitens des Empfängers, es sei denn, der Empfänger sendet seinerseits eine explizite Nachricht zurück (indirekte Rückkoppelung). Das Manko dieser fehlenden Rückkoppelung läßt sich leicht an einem Beispiel verdeutlichen: Ein Benutzer kommuniziert über ein Interface mit einer Maschine und bekommt keinerlei Bestätigungen, ob seine Anweisungen ankommen oder richtig interpretiert werden können. Bricken implementierte in sein Modell für beide Seiten der Kommunikation einen Rückkoppelungskanal und kombinierte darüberhinaus sowohl Informationsquelle und Sender als auch Empfänger und Nachrichtensenke zu sogenannten Agenten. Dieses modifizierte Modell ermöglicht nun direkte und indirekte Rückkoppelung in beide Richtungen (Abbildung 4.3). Feedback Agent A Nachrichten Agent B Feedback Abbildung 4.3: Modell einer direkt rückgekoppelten Kommunikation nach Bricken

22 4. Interfacetheorie 17 Zu einer weiteren Modifikation (Abb. 4.4) kommt Bricken, indem er das Augenmerk auf die Verbindung der beiden Agenten (nämlich das Interface) legt. In diesem Fall läßt sich die Distanz zwischen den Interaktionspartnern modellhaft auf eine schmale Verbindungs-Grenze, die Interface-Grenze, reduzieren. Geht man davon aus, daß eine gesendete Nachricht und die darauf erfolgende Rückkoppelung eine Veränderung des Zustandes oder der Struktur beider Interaktionspartner hervorruft, so deckt dieses Modell ebenfalls das direkte Feedback auf eine Nachricht ab: Sowohl Nachricht wie auch Antwort lösen bei beiden involvierten Systemen simultan eine Zustandsveränderung aus [Hal94]. A B Interface-Grenze A Nachricht B A Antwort B Abbildung 4.4: Interaktives Interface Wie wichtig das Feedback auf eine Aktion des Benutzers eines technisches Interfaces ist, zeigt das folgende Beispiel des Telefon-Interfaces. Der Benutzer bekommt durch verschiedene akustische Signale eine Bestätigung der gerade erfolgten Aktion, und erhält somit Informationen zum derzeitigen Zustand des Systems (Abbildung 4.5) [Pre94].

23 4. Interfacetheorie 18 Abbildung 4.5: Feedback beim Benutzer-Interface eines Telefons 4.3 Die Mixed-Reality-Grenze Beschreibung der Mixed-Reality-Grenze Bei der Zusammenführung eines realen und eines virtuellen Raumes (also der Schaffung einer Mixed-Reality-Umgebung), ist das einzige Bindeglied eine Art Grenze, die beide, für sich gesehen, abgeschlossene, Systeme miteinander verbindet. Die Beschaffenheit dieser Mixed-Reality-Grenze (nach dem

24 4. Interfacetheorie 19 englischen Begriff Mixed-Reality-Boundary [Kol98]) bestimmt das Zusammenwirken beider Systeme und legt die Wahrnehmung des jeweils gegenüberliegenden Raumes sowie die Interaktionsmöglichkeiten über die Grenze hinweg fest. Um eine Mixed-Reality-Grenze zu beschreiben, bietet sich die Klassifizierung anhand verschiedener Eigenschaften dieser Grenze an [Kol98]: (1) Sichtbarkeit oder Durchlässigkeit für optische Signale (2) Hörbarkeit oder Durchlässigkeit für akustische Signale (3) Beweglichkeit (4) Interaktivität (5) Räumlicher Zusammenhang (6) Permeabilität (7) Lebensdauer (8) Permanenz (9) Asymmetrie (Da die deutsche Übersetzung der englischen Begriffe nicht immer treffend zu sein scheint, sind an dieser Stelle ebenfalls noch einmal die Originalbegriffe angeführt: Visibility, Audibility, Mobility, Interactivity, Spacial Consistency, Permeability, Life Span, Permanence, Boundary Asymmetry) zu (1): Die Sichtbarkeit beschreibt das Maß an visuellen Informationen, die über die Mixed-Reality-Grenze übermittelt werden, d.h. inwieweit ein Teilnehmer auf der einen Seite der Grenze das System auf der anderen Seite optisch wahrnehmen kann. zu (2): Analog zur Sichtbarkeit läßt sich auch die Hörbarkeit anhand der übertragenen akustischen Informationen von der jeweils anderen Seite der Mixed-Reality- Grenze bewerten. zu (3): Die Eigenschaft der Beweglichkeit weist eine Mixed-Reality-Grenze dann auf, wenn sich deren örtliche Lage von einem Teilnehmer verändern läßt. Folge dieser Veränderung könnte z.b. die Verschiebung des Bildausschnittes sein, den dieser Teilnehmer über die Mixed-Reality-Grenze wahrnimmt.

25 4. Interfacetheorie 20 zu (4): Können Objekte im jeweils anderen System durch die Mixed-Reality-Grenze hindurch manipuliert werden, so ordnet man der Grenze die Interaktivitäts- Eigenschaft zu. Mixed-Reality-Grenzen, die die Eigenschaft tragen, Objekte auf der realen Seite der Grenze manipulieren zu können, finden sich vor allem im Teleroboting-Bereich. zu (5): Die Eigenschaft des räumlichen Zusammenhangs drückt aus, ob die beiden durch die Mixed-Reality-Grenze verbundenen Systeme räumlich in einem festen Verhältnis zueinander stehen. Dies ist dann der Fall, wenn sich die Koordinaten von Objekten in einem System eindeutig in Koordinaten des anderen Systems transformieren lassen. zu (6): Permeabilität faßt die bisher beschriebenen Eigenschaften zusammen. Gute visuelle sowie auditive Anbindung der virtuellen Welt, Interaktivität sowie ein eindeutiger räumlicher Zusammenhang vermitteln einen ausgeprägten Permeabilitätseindruck. zu (7): Lebensdauer gibt die Zeitspanne an, während der die Mixed-Reality-Grenze existiert. zu (8): Permanenz oder Dauerhaftigkeit drückt aus, ob sich die Eigenschaften der Mixed-Reality-Grenze während der Einsatzdauer durch die Teilnehmer verändern lassen oder für den gesamten Einsatz fest vorgegeben sind. zu (9): Eine Mixed-Reality-Grenze kann für beide ihrer Seiten unterschiedliche Eigenschaften aufweisen. So ist es beispielsweise möglich, daß akustische Eindrücke aus der virtuellen Welt in der realen Welt wahrgenommen werden können, aber akustische Ereignisse im realen Raum nicht in das virtuelle System übermittelt werden. Dieser Zusammenhang wird unter dem Begriff Asymmetrie zusammengefaßt. Die Beschaffenheit und die Eigenschaften einer Mixed-Reality-Grenze werden bestimmt durch die Gesamtheit der eingesetzen Interface-Typen. Je nach beabsichtigter Anwendung und der sich daraus ergebenden Struktur der Mixed- Reality-Grenze müssen somit die Interface-Hardware-Komponenten ausgewählt und zusammengestellt werden.

26 4. Interfacetheorie Die Mixed-Reality-Grenze im virtuellen Studio Anmerkung: Die in Kapitel vorgeschlagene Klassifizierung von Mixed-Reality-Grenzen nach [Kol98] anhand ihrer Eigenschaften bezieht sich ursprünglich auf eine konkrete Mixed-Reality-Konfiguration während einer Live-Performance: Einem realen Publikum wird über eine Leinwandprojektion die Performance eines virtuellen Charakters präsentiert. Ein Teilnehmer steuert über ein Motion- Capture System den virtuellen Charakter auf der Leinwand und bekommt gleichzeitig über ein getracktes HMD einen Blick in den Zuschauerraum, so wie ihn der virtuelle Darsteller auf der Bühne wahrnehmen würde, eingespielt. Zusätzlich werden über Mikrofone und Lautsprecherboxen die beiden getrennten Systeme akustisch miteinander verbunden. Selbstverständlich lassen sich demnach nicht alle oben aufgeführten Eigenschaften von Mixed-Reality-Grenzen allgemein auf alle Mixed-Reality- Anwendungen und speziell auf die Situation im virtuellen Studio anwenden. Dennoch finden sich unter ihnen Eigenschaften, wie z.b. akustische und optische Durchlässigkeit, deren Betrachtung auch beim virtuellen Studio durchaus Sinn macht. Bezüglich der in Kapitel aufgeführten Eigenschaften stellt sich die Mixed- Reality-Grenze im virtuellen Studio (in einer Standardkonfiguration, so wie sie heute weitverbreitet verwendet wird) wie folgt dar: Sichtbarkeit Hörbarkeit Beweglichkeit Interaktivität Der Teilnehmer bzw. Darsteller nimmt die virtuelle Umgebung visuell nur über Kontrollmonitoren wahr. Geräuschereignisse im virtuellen Raum (falls überhaupt verwendet) werden in den Blauraum über Monitorboxen eingespielt. Die Perspektive und der Bildausschnitt werden durch die Kamerabewegungen und position bestimmt. Eine Manipulation von Objekten im virtuellen Raum seitens eines Darstellers im Blauraum ist ohne zusätzliche Interfaces nicht möglich.

27 4. Interfacetheorie 22 Räumlicher Zusammenhang Asymmetrie Zwischen realem und virtuellem Raum besteht eine feste räumliche Kohärenz. Dies ist eine Grundvoraussetzung dafür, daß die Verschmelzung der Bildbestandteile glaubhaft erscheint. Im virtuellen Studio liegt in der Regel eine unidirektionale Mixed-Reality-Grenze vor, d.h. Ereignisse im virtuellen Raum werden in den realen Raum übermittelt, andersherum jedoch nicht. Die Untersuchung der Asymmetrieeigenschaft der Mixed-Reality- Grenze im virtuellen Studio macht nur dann Sinn, wenn im virtuellen Raum ein Teilnehmer existiert, der seinerseits Informationen aus dem realen Raum benötigt, zu denen er mittels geeigneter Interfaces Zugriff erhält. Dies könnte z.b. dann der Fall sein, wenn eine zu interviewende Person als Videotextur verwendet wird, mit der sich der Moderator im Blauraum unterhält. Auf die Untersuchung der Eigenschaften wie Lebensdauer und Permanenz einer Mixed-Reality-Grenze wird hier im Kontext des virtuellen Studios verzichtet, da ein Zusammenhang nur schwer hergestellt werden kann. Wie die obige Bewertung zeigt, sind die Möglichkeiten in Bezug auf optische wie akustische Wahrnehmung und Interaktivität im virtuellen Studio offensichtlich recht beschränkt. Mit dem Einsatz von Interfacehardware läßt sich jedoch eine Erweiterung der gegebenen Möglichkeiten erzielen (Siehe dazu Kapitel 6). 4.4 Theorie der Mixed-Reality-Interfaces Aufbau und Wirkungsweise von Mixed-Reality-Interfaces Die durch die Mixed-Reality-Grenze voneinander getrennten Systeme - physische und virtuelle Welt - haben die Möglichkeit, miteinander über geeignete Mixed- Reality-Interfaces zu kommunizieren. Zu diesem Zweck müssen jedoch in beiden Systemen Ein- sowie Ausgabekanäle zum Datenaustausch zur Verfügung stehen. In der Regel werden die Informationsformate beider Systeme nicht

28 4. Interfacetheorie 23 übereinstimmen, so daß das Mixed-Reality-Interface zugleich die Funktion eines Adapters übernimmt [Hal94]. Virtuelle Welt M ess en Input Sensoren Physikalische Welt Umgebung Steu ern Output Effektoren Grenze Abbildung 4.6: Verknüpfung von realer und virtueller Welt mittels Mixed-Reality-Interfaces Um Informationen aus einer realen, physischen Umgebung zu gewinnen (z.b. Bewegungsinformationen eines Darstellers im Blauraum), bedarf es Sensoren, die die physikalischen Gegebenheiten in ein vom Computer (in dem die virtuelle Welt existiert ) zu verarbeitende Signale umwandeln und ihm diese über eine elektrische Eingabeschnittstelle zuführen. Wichtige Kenngrößen von Sensoren sind [Hei99]: Empfindlichkeit Dynamik-Bereich Antwortzeit Genauigkeit In der entgegengesetzten Richtung werden über Ausgabeschnittstellen am Computer Ereignisse in der virtuellen Welt mittels Effektoren in der realen Umgebung wahrnehmbar gemacht. Die Effektoren wandeln dabei die vom Computer stammenden elektrische Signale in Vorgänge um, die von den Sinnesorganen eines sich im realen Raum befindenden Menschen wahrgenommen werden können.

29 4. Interfacetheorie 24 Bei den Effektoren spielen vor allem eine Rolle [Hei99]: Geschwindigkeit Präzision [Hei99] Unterteilung von Mixed-Reality-Interfaces Bei der Analyse virtueller Umgebungen bietet es sich an, selbige in 3 Bestandteile zu unterteilen [McD94]: (1) Der virtuelle Raum selbst (2) Virtuelle Objekte, die sich im Raum befinden (3) Virtuelle Charaktere, die sich im Raum aufhalten Mit allen 3 Komponenten der virtuellen Umgebung ist über Mixed-Reality- Interfaces eine Interaktion möglich, womit man verschiedene Mixed-Reality- Interfaces und die sich ergebenden Interaktionsmöglichkeiten ebenso in drei Kategorien einteilen kann: zu (1): Interaktion mit dem Raum selbst liegt dann vor, wenn man sich mittels eines Interfaces im Raum bewegen kann, man also im Raum navigiert. Ein solches Interface ist auch das in Kapitel 7 beschriebene Hüpfball-Interface. zu (2): Die Interaktion mit virtuellen Objekten kann sich sehr vielgestaltig darstellen. Die Möglichkeiten reichen vom Bewegen dieser Objekte bis zum Auslösen von vorgegebenen Funktionen. Allgemein gesprochen lassen sich virtuelle Objekte manipulieren. zu (3): Durch den Einsatz entsprechender Interfacetechnologien lassen sich ähnliche Interaktionsmöglichkeiten mit virtuellen Charakteren schaffen wie mit realen (verbale Kommunikation oder Kommunikation über Gesten).

30 5. Interface-Hardware Interface-Hardware Um bei einer Mixed-Reality-Anwendung die virtuelle und reale Welt miteinander in Beziehung zu setzen, bedarf es entsprechender Hardware-Komponenten. Diese unterteilen sich, wie im letzten Kapitel ausgeführt, in Sensoren und Effektoren, oder anders ausgedrückt: in Eingabegeräte und Ausgabegeräte. Durch die Sensoren oder Eingabehardware werden Vorgänge im physikalischen Raum erfaßt und für den Computer verwertbar aufgearbeitet, um eine korrespondierende Reaktion in der computergenerierten Welt oder Szene auszulösen. Auf der entgegengesetzten Ausgabeseite sorgen Effektoren dafür, daß Ereignisse im virtuellen Raum für den Teilnehmer mit seinen Sinneswahrnehmungen erlebt werden können. Dementsprechend ist die Beschreibung der Ausgabeinterfaces gemäß den menschlichen Sinnesorganen unterteilt nach: Visuellen Interfaces Akustischen Interfaces Haptischen 1 / Kinästhetischen 2 Interfaces (Olfaktorischen 3 / Gustatorischen 4 Interfaces) Als Eingabe- wie Ausgabeinterfaces für Mixed-Reality-Anwendungen können im wesentlichen Hardware-Komponenten dienen, die sich auf dem Markt für den Virtual-Reality-Bereich finden. Dieses Kapitel soll einen Überblick über die wichtigsten erhältlichen Interface-Typen und die technischen Methoden verschaffen. Generell ist es bei der Konzeption und dem Einsatz von Interfaces wichtig, die sogenannte Latenzzeit möglichst klein zu halten. Dies ist die Zeit zwischen einer Dateneingabe oder Aktion des Benutzers und der Datenausgabe, d.h. der Reaktion des Computersystems. Als Grenzwert werden hier 100 ms angenommen. Übersteigt die Latenzzeit des Systems diesen Wert, so ist ein genaues Agieren im virtuellen Raum nur eingeschränkt möglich, bzw. es kann sogar zur sogenannten Simulatorkrankheit 5 kommen. 1 Haptik (gr.) = Die Lehre vom Tastsinn 2 Kinästhesie (gr.) = Die Fähigkeit des Körpers, die Stellung der Gliedmaßen sowie die Lage im Raum wahrzunehmen 3 Olfaktisch (lat.) = Den Geruchssinn betreffend 4 Gustatorisch (lat.) = Den Geschmackssinn betreffend 5 Der Simulatorschwindel oder die Simulatorkrankheit beruht darauf, daß ein Widerspruch zwischen dem visuell Erlebten und der Bewegungswahrnehmung über den Gleichgewichtssinn im Mittelohr auftritt. Symptome sind Schwindelgefühl bis Übelkeit [Isd99].

31 5. Interface-Hardware 26 Zur Berechnung der Latenzzeiten für ein Ein- und Ausgabesystem dienen die folgenden Formeln: Eingabeseite C *1000 L = P (Gl. 5.1) L : Latenzzeit [ms] P : Leistung der Rendering-Pipeline [Polygone/s] C : Komplexität der Szene [Polygone] Ausgabeseite (hier für die visuelle Ausgabe) L = 1000 F (Gl. 5.2) L : Latenzzeit [ms] F : Bildwiederholfrequenz [Hz] Die Latenzzeiten für Ein- und Ausgabe werden addiert. Benötigt z.b. ein optisches Trackingsystem 65 ms pro Abfragezyklus und die Darstellung auf einem Display (bei einer Bildwiederholfrequenz von 50 Hz) 20 ms, so beträgt die Gesamtlatenzzeit 85 ms, was noch unter dem Schwellenwert von 100 ms liegt. Falls jedoch noch ein weiteres Subsystem Rechenzeit benötigt (wie etwa für eine Audioberechnung), so wird der Schwellenwert schnell überschritten [Hen97]. 5.1 Eingabegeräte Die Geräte zur Erfassung von physikalischen Vorgängen (bzw. Eingabe von Daten) lassen sich prinzipiell in zwei Gruppen unterteilen [Hen97]: (1) Hardware zur Erfassung der Positionen und Ausrichtungen von Objekten oder Personen und deren Bewegungen. Man spricht in diesem Zusammenhang von Trackern oder Motion-Tracking. Die Erfassung kann auf mechanischem, elektromagnetischem, akustischem, optischem oder kinematischem Wege erfolgen, wobei jedes Verfahren seine spezifischen Vor- und Nachteile aufweist.

32 5. Interface-Hardware 27 (2) Interfaces zur Eingabe konkreter Anweisungen, wie z.b. Manipulation von Objekten oder Navigation im virtuellen Raum zu (1): Auf eine genaue Darlegung der einzelnen technischen Verfahren wird an dieser Stelle bewußt verzichtet, der interessierte Leser findet jedoch bei [Koc97] detaillierte Informationen zu den verschiedenen Verfahren. zu (2): Zum Zwecke des Absetzens von Befehlen an die virtuelle Umgebung gibt es recht vielfältige Möglichkeiten, wie die folgenden Abschnitte zeigen Data Gloves / Data Suits (Datenhandschuhe / Datenanzüge) Handschuhe bzw. Ganzkörperanzüge mit eingearbeiteten Sensoren, die die Stellung der Fingergelenke bzw. Gliedmaßen registrieren, werden als Datagloves bzw. Datasuits bezeichnet. Im Fall der Gloves lassen sich so durch bestimmte Fingerpositionen festgelegte Aktionen abrufen [Ham93]. Ebenfalls in [Koc97] finden sich genauere Darlegungen dieser Eingabegeräte. Abbildung 5.1: Dataglove

33 5. Interface-Hardware Isometrische Eingabegeräte Dies sind 3-dimensionale Äquivalente zur (2-dimensionalen) Computermaus. Mit ihnen läßt sich unmittelbar auf alle 6 Freiheitsgrade eines virtuellen Objektes (Translation in x,y,z-richtung und Rotation um die 3 Raumachsen) zugreifen und dieses somit drehen, verschieben oder anderweitig manipulieren. Ebenfalls eignen sich solche Geräte zur Navigation im Raum [Hen97]. Ein Beispiel ist die Spacemouse, sie besitzt zusätzlich noch bis zu 11 Tasten. Laut Hersteller kann man sich selbst als fliegender Beobachter durch virtuelle Welten steuern [Log99]. Problematisch ist jedoch bei dieser Art Eingabegerät, daß die Bedienung nicht der menschlichen Gestik entspricht [Bor94] und dewegen bei der Benutzung im Mixed-Reality-Kontext eine Interaktion nicht sonderlich glaubwürdig erscheinen wird. Abbildung 5.2: Spacemouse Wands Die sogenannten Wands 1 sind meist einfache Gegenstände (wie etwa ein Stab), die mit einzelnen Trackingsensoren und einem oder mehreren Buttons ausgestattet sind. Dadurch, daß sich die Position der Wands tracken läßt, wird es möglich, mit ihnen Gegenstände im virtuellen Raum unmittelbar anzufassen und zu verschieben oder zu manipulieren. Zu dieser Gruppe der Eingabegeräte zählt man auch Abwandlungen wie Poolball (in Form einer Billardkugel), Flying 1 Wand (engl.) = Stab, Zauberstab

34 5. Interface-Hardware 29 Joystick (ein frei im Raum beweglicher Joystick), Flying Mouse (analog zum Flying Joystick) [Ham93] oder Fingerpick (ein Eingabegerät, das wie ein Ring um den Finger getragen wird). Abbildung 5.3: Poolball Spezielle Keyboards Für den VR-Bereich sind zur Eingabe von komplexeren Befehlen spezielle Varianten alphanumerischer Tastaturen entwickelt worden, die unauffällig in einer Hand gehalten und mit allen 5 Fingern bedient werden können [Hal97][Bor94]. Abbildung 5.4: Einhand-Keyboard

35 5. Interface-Hardware Devices zur Navigation in virtuellen Welten Möchte man sich in einem virtuellen Umfeld weiträumiger bewegen als dies die Abmessungen der Räumlichkeiten zulassen, ist man auf den Einsatz spezieller Navigations- (oder Bewegungs-) Hardware angewiesen. Oftmals wird ein Gerät verwendet, das die Form eines Laufbandes hat. Dieses wird beim Ausführen eines Schrittes motorisch weiterbewegt, die Bewegung des Bandes wird über Sensoren erfaßt und an einen Rechner übermittelt. Die Szene wird dann entsprechend mitverschoben. Nachteilhaft ist jedoch die fehlende Möglichkeit des Richtungswechsels. Für eine Bewegung in vertikaler Richtung, z.b. Treppensteigen, existieren ebenfalls (wohl eher versuchsweise) Äquivalente zu den Laufbändern [Kru91]. Der Benutzer läuft auf diesen Bändern, als wollte er sich normal fortbewegen. Ein richtungsunabhängiges Device zur Fortbewegung in virtuellen Räumen ist der Virtual Motion Controller, der am HIT-Lab 1 der Universität Washington entwickelt worden ist. Das Interface besteht aus einer Scheibe mit einer konkaven Oberfläche und einem Durchmesser von ca. 1,20 m, in die 4 Kraftsensoren eingelassen sind. Der Benutzer steht auf dieser Scheibe und kann durch kleine Schritte zum Rand hin die Bewegung auslösen. Die Geschwindigkeit wird über den Abstand zum Rand der Scheibe bestimmt: Je größer der Benutzer seinen Schritt wählt, desto schneller bewegt er sich vorwärts [Hod98]. Abbildung 5.5: Virtual Motion Controller 1 HIT-Lab = Abk. für Human-Interface-Technology-Laboratory

36 5. Interface-Hardware 31 In seinem interaktiven Kunstwerk The Legible City Die lesbare Stadt benutzte der Künstler Jeffrey Shaw ebenfalls ein Interface, dem eine menschliche Fortbewegungsweise mit natürlichem Bewegungsablauf zugrunde liegt: das Fahrradfahren. Die Installation besteht aus einer 3 x 4 Meter großen Leinwand vor der der Betrachter auf einem umfunktionierten Fahrrad sitzt. Ein angeschlossener Grafikcomputer erzeugt eine virtuelle Welt in Form des Grundrisses von Manhattan, mit dem Unterschied, daß die Häuser durch dreidimensionale Buchstaben ersetzt werden. Die subjektive Sicht in diese Welt wird per Videoprojektor auf die Leinwand projiziert. Mit dem Fahrrad kann der Betrachter durch die Stadt navigieren, wodurch sich die einzelnen Buchstaben zu ganzen Wörtern und Sätzen ergänzen. Geschwindigkeit und Richtung der Fahrt bestimmt der Betrachter durch sein Tritt-Tempo und die Stellung der Lenkstange [Sha90]. Abbildung 5.6: Shaws Installation The Legible City Diese Bewegungseingabemethoden, die auf der natürlichen menschlichen Gestik basieren, haben den großen Vorteil, daß sich der Benutzer nicht erst an eine neue, eventuell nicht sonderlich naheliegende Art der Navigation gewöhnen muß. Außerdem wird durch die bekannten Bewegungsabläufe eine Art natürliches Feedback geliefert, was die Orientierung im Raum vereinfacht [Hod98].

37 5. Interface-Hardware Spracheingabe Seit etwa 20 Jahren existieren Verfahren, die es ermöglichen, mit Computersystemen eine natürlichsprachliche Kommunikation zu führen. Durch diese Automatische Spracherkennung (ASE) oder Automatic Speech Recognition (ASR) eröffnet sich ein weiterer Interfacekanal, über den Befehle an einen Rechner übermittelt werden können. Mittlerweile sind die Techniken auf diesem Gebiet so weit ausgereift, daß die Erkennung von gesprochener Sprache mit relativ hoher Genauigkeit erfolgt und konkrete Anwendungen umgesetzt werden können. Am Anfang steht die Digitalisierung des analog eintreffenden akustischen Sprachsignals. Aus diesem kontinuierlichen Datenfluß wird nun versucht, spektrale Merkmale im Klangbild zu extrahieren, die bestimmten Lauten zugeordnet werden können. Dazu werden aus dem Signal etwa alle 10 ms Fragmente mit einer Länge von ms entnommen und diese auf solcher spektralen Merkmale hin mittels einer Fourieranalyse untersucht. Die Fragmente überlappen sich dabei. Das Ergebnis ist ein sogenannter Merkmalsvektor, von denen mehrere zu Vektorketten zusammengefaßt, und mit gespeicherten Referenzmustern verglichen werden. Als erkanntes Sprachmuster wird das Referenzmuster mit den meisten Übereinstimmungen angenommen (siehe Abbildung 5.7). Abbildung 5.7: Referenzmustervergleich bei der Spracherkennung

38 5. Interface-Hardware 33 Aufgrund des hohen Aufwandes an Rechenleistung und Speicherbedarf ließen sich erst in den letzten Jahren verläßliche, schnell arbeitende Systeme realisieren. Noch immer aber existieren Schwierigkeiten bei der eindeutigen automatischen Spracherkennung: Das Vorhandensein von Störgeräuschen oder anderen, nicht zur eigentlichen Sprache gehörenden Elementen erschwert die Erkennung, da der Computer diese zunächst nicht vom inhalttragenden Signal unterscheiden kann. Verschiedene Sprecher erzeugen unterschiedliche Lautmuster (abhängig von Anatomie, Dialekt etc.). Der gleiche Sprecher kann je nach Stimmung, Gesundheitszustand oder Sprechsituation (Befehl, Frage etc.) verschiedene Lautmuster erzeugen. Die Sprechgeschwindigkeit variiert. Der Algorithmus hat Probleme Ende und Anfang eines Wortes auszumachen, da in der gesprochenen Sprache Laute mitunter verbunden werden [Sus99]. Wie ein Laut akustisch realisiert wird, hängt von den vorangegangenen und nachfolgenden Lauten ab. Man nennt dies Koartikulation [Hab98]. Um diese Probleme zu minimieren und eine möglichst genaue Spracherkennung zu gewährleisten, besteht die Möglichkeit, das Spracherkennungssystem auf einen Sprecher zu trainieren. Dazu werden vorgegebene Texte vom Sprecher vorgelesen und im Anschluß eventuelle Fehler manuell korrigiert. Auf diesem Wege paßt sich das System langsam dem Sprecher an [Mal98]. Oftmals ist es jedoch erforderlich, das System benutzerunabhängig zu halten. Dann wird es notwendig, die Toleranzgrenze beim Referenzmustervergleich nach oben zu setzen, womit die Gefahr der Fehlinterpretation steigt [Sus99]. 5.2 Ausgabegeräte Visuelle Interfaces Der wichtigste Kanal, über den ein Teilnehmer eine virtuelle Umgebung wahrnehmen kann, ist der visuelle Kanal. Mit Hilfe eines geeigneten

39 5. Interface-Hardware 34 Bildwiedergabesystems sieht der Benutzer die virtuelle Welt, die ihn umgibt. Ohne diesen visuellen Zugang ist eine Orientierung nur schwer möglich, Interaktionen mit virtuellen Objekten lassen sich ohne Sichtkontakt kaum vorstellen. Damit ein Eindruck von einer virtuellen Realität entsteht und die Augen des Betrachters nicht unnötig belastet werden, muß das verwendete Bildwiedergabesystem bestimmten Qualitätsanforderungen genügen. Die wichtigsten Qualitätsparameter eines Bildwiedergabesystems sind [Sto97]: Helligkeit, Kontrast Detailauflösung, Bildschärfe, Geometrie Bewegungsauflösung Farbwiedergabe (Farbton, Farbsättigung) Die verwendeten visuellen Interfaces bzw. Bildwiedergabesysteme unterscheiden sich abgesehen von der Bildqualität in der Art der Bilderzeugung sowie in deren Anwendungsweise Stationäre Systeme Unter diese Kategorie fallen alle Arten von Displays, die in ihrer Lage während der Verwendung nicht verändert werden, oder aufgrund ihres Gewichtes oder der äußeren Abmessungen nicht verändert werden können. Insbesondere zählen hierzu Monitoren oder Projektionsleinwände. Der große Nachteil dieser Verfahren ist die Einschränkung der Bewegungsfreiheit des Betrachters. Er muß den Blick und somit den Kopf stets in Richtung des Displays richten, ein Umherschauen in der virtuellen Umgebung ist nicht möglich. Dies erklärt, warum diese Anzeigesysteme bei Virtual-Reality- oder immersiven Mixed- Reality-Anwendungen selten Einsatz finden. Im Kontext von Projektionsleinwänden läßt sich diese Einschränkung relativieren, wenn die Leinwand in der Größe und Form so angelegt ist, daß sie den Betrachter ganz oder teilweise umschließt. Man spricht dann von einem SID (Spatially Immersive Display). Zu dieser Gruppe von Displays zählt auch die in Kapitel 2 angesprochene CAVE [Hel97].

40 5. Interface-Hardware 35 Oftmals werden in Kombination mit stationären Systemen Erweiterungen zum stereoskopischen Sehen eingesetzt. Dazu dienen Shutter- oder Polarisationsbrillen, die dafür sorgen, daß jedem Auge ein seperates Bild mit entsprechender Perspektive angeboten wird [Bor94]. Dies bedingt natürlich, daß sich der Rechenaufwand bei der Grafikausgabe verdoppelt: Beide Bilder müssen getrennt mit voller Bildrate gerendert werden. Davon ausgehend muß man sich bei der Konzeption eines Gesamtsystems die Frage stellen, ob eine stereoskopische Bildwiedergabe für den gegebenen Einsatzzweck überhaupt notwendig ist, da die räumliche Wahrnehmung von Objekten nur bis zu einer Objektentfernung bis etwa 10 m ausgeprägt ist [Kru91]. Räumliches Sehen ohne externe Hilfsmittel wie Shutterbrillen wird bei autostereoskopischen Displays erreicht. Dabei werden die zwei Einzelbilder spaltenweise ineinander verschachtelt auf dem Monitor dargestellt. Dünne, auf den Schirm aufgebrachte Zylinderlinsen, welche ein Linsenraster bilden, sorgen dafür, daß etwa für das rechte Auge nur die Bildpixel der geraden Spalten sichtbar sind, für das linke Auge entsprechend die ungeraden. Der Betrachter muß sich um die Darstellung dreidimensional wahrzunehmen in der sogenannten Stereozone befinden, in der die beiden Teilbilder exakt in die Augen abgebildet werden. Damit der Benutzer seine Position vor dem Display verändern kann, wird die Position der Augen optisch getrackt und die Lage der Stereozone dynamisch angepaßt. Dies geschieht über ein mechanisches Verschieben des Linsenrasters. Ein lateraler Winkel von über 120 Grad wird auf diesem Wege abgedeckt [HHI99]. Abbildungen 5.8, 5.9: Autostereoskopische Displays mit Linsenraster Aufgrund der Tatsache, daß der räumliche Eindruck von der örtlichen Lage des Kopfes abhängt, werden derartige autostereoskopischen Systeme auch als Head- Coupled-Displays (HCDs) bezeichnet.

41 5. Interface-Hardware 36 Neben der Verwendung von Linsenrastern zur Trennung der beiden Einzelbilder werden ebenso Prismenmasken, Streifenmasken, halbdurchlässige Spiegel und holographische Elemente eingesetzt [Saa99] Mobile Systeme Die wohl gängigste Art des mobilen Displays ist das Head-Mounted-Display (HMD), das auch Bildschirmbrille genannt wird. Dabei trägt der Betrachter eine Art überdimensionale Brille auf dem Kopf, in die ein bilderzeugendes System integriert ist. Oftmals wird die Position und Ausrichtung des HMDs getrackt, um die Perspektive der dargestellten Grafik der Kopfstellung anzupassen. Der Betrachter kann die Blickrichtung somit frei bestimmen. Auch hier wird durch die Verwendung von zwei unterschiedlichen perspektivischen Einzelbildern ein stereoskopisches Erleben der virtuellen Umgebung möglich. Da das menschliche Auge auf die kurze Entfernung, in der sich das Display befindet, nicht akkomodieren kann, werden Linsen oder Linsensysteme integriert, die das Display als virtuelles Bild in eine größere Entfernung abbilden (nach unendlich oder fast unendlich) und so dem Auge ein entspanntes Betrachten ermöglichen [Kal93]. Abbildung 5.10: HMD Ein weiterer wichtiger Parameter bei HMDs ist der Bildwinkel (Field of View, FOV). Typische Werte sind hier 60 horizontal und 45 vertikal [Vin98].

42 5. Interface-Hardware 37 Zur Bilderzeugung kommen momentan hauptsächlich LCD 1 - sowie CRT 2 - Displays zum Einsatz. Der Vorteil der LCD-Technologie liegt in dem geringeren Gewicht und Kostenaufwand, jedoch erreichen LCDs noch nicht die hohe örtliche Auflösung und den Dynamikumfang von CRTs. Neuerdings existieren ebenfalls HMDs, deren Bilderzeugung auf LEDs 3 basiert. Dabei erzeugt eine LED-Zeile die Bildpunkte für eine einzelne Bildzeile. Durch einen schnell oszillierenden Spiegel werden nacheinander alle Bildzeilen geschrieben. Durch seine Trägheit setzt das Auge die Zeilen zu einem Gesamtbild zusammen. Auch dieses System ist im Vergleich zum CRT-Display kostengünstiger und erreicht problemlos Auflösungen von bis zu 1000 Zeilen [Hen97]. Noch in der Entwicklungsphase steckt die Virtual-Retinal-Display (VRD)- Technologie. Dabei wird das zu erzeugende Bild unmittelbar mit einem (bzw. bei Farbdarstellung drei) Laser auf die Netzhaut des Betrachters projiziert. Der Strahl erfährt dabei sowohl eine horizontale wie eine vertikale Ablenkung, ähnlich den Elektronenröhren. Es wird damit gerechnet, daß VRD-Systeme bezüglich Gewicht und Abmessungen mit herkömmlichen optischen Brillen vergleichbar werden [Mic99]. Laut [Hen97] existiert bereits ein Prototyp mit einer Auflösung von 640 * 480 Pixeln. In fernerer Zukunft dürfte die in [Bor94] angesprochene elektronische Kontaktlinse liegen. Abbildung 5.11: Retinaprojektor beim VRD-System In einigen Fällen ließen sich ursprünglich als stationäre Systeme konzipierte Displays ebenso beweglich einsetzen. Ähnlich wie beim in Kapitel 2 1 LCD = Abk. für Liquid Crystal Display = Flüssigkristallanzeige 2 CRT = Abk. für Cathod-Ray-Tube = Kathodenstrahlröhre 3 LED = Abk. für Light Emitting Diode = Leuchtdiode

43 5. Interface-Hardware 38 angesprochenen metadesk-projekt wurde etwa von Mercedes-Benz auf der Automobilausstellung 1997 in Frankfurt ein flaches Display mittels einer teleskopartigen Konstruktion so aufgehangen und dessen Ausrichtung sensorisch erfaßt, daß ein Betrachter durch Bewegen des Schirms einen Rundgang um ein virtuelles Fahrzeug vollführen konnte [Dai98]. Ein ähnliches Konzept wurde schon früher in dem Medienkunstwerk Golden Calf von Jeffrey Shaw verwirklicht [Sha94] Akustische Interfaces Um der Person in einem virtuellen Umfeld ihre Umgebung nahezubringen und sie diese erfahren zu lassen, kann außer dem visuellen Eindruck auch die wohl zweitwichtigste Sinneswahrnehmung des Menschen - das Gehör - dienen. Durch die spezielle Anatomie des auralen Systems (zwei separate Schallsensoren, die jeweils um etwa 100 von der Vorausrichtung angeordnet sind [Asc64] und zudem eine ausgeprägte Form besitzen) ist es dem Menschen möglich, wahrgenommene Schallereignisse räumlich einzuordnen. Er kann also einschätzen, ob sich eine Schallquelle vor, hinter, neben, über oder unter ihm befindet Physiologische und physikalische Grundlagen Die räumliche Wahrnehmung eines Schallereignisses ist die Bewertung desselben bezüglich: Richtung Entfernung Zur Beschreibung der Richtung bietet es sich an, ein sogenanntes kopfbezogenes Koordinatensystem zu verwenden, das sich aus einer Horizontalebene, einer Median-(oder Vertikal-)ebene und einer Frontalebene zusammensetzt.

44 5. Interface-Hardware 39 Abbildung 5.12: Kopfbezogenes Koordinatensystem In der Horizontalebene lokalisiert das Gehör Schallereignisse zum einen über Laufzeitunterschiede, zum anderen aufgrund von Pegeldifferenzen, die sich zwischen den Ohren je nach Richtung der Schallquelle ergeben. Den größten Einfluß auf die Lokalisation haben die interauralen Laufzeitunterschiede, die sich nach t = 0,5*sinα (Gl. 5.3) berechnen lassen. t [ms] : interauraler Laufzeitunterschied α [Grad] : Winkel des Schallereignisses, von der Flächennormalen der Frontalebene gemessen Reine Sinustöne lassen sich jedoch so nur bis zu einer Maximalfrequenz von 1600 Hz lokalisieren, für höhere Frequenzen ist ein perkussiver Charakter sowie ein breitbandiges Schallereigniss hilfreich. Weniger eindeutig ist die Richtungswahrnehmung aufgrund von interauralen Pegeldifferenzen, welche durch Abschattungen des Kopfes und die Beschaffenheit der Ohrmuscheln verursacht werden. Dieses Phänomen zeigt eine ausgeprägte spektrale Abhängigkeit, so daß die Ortung eines Schallereignisses ausschließlich durch Pegelunterschiede nur bei breitbandigen Signalen gelingt. In der Praxis erfolgt die Schallortung über beide Mechanismen zusammen. Es resultiert eine Richtungsauflösung von maximal 2-3, die jedoch zur Seite hin auf etwa 4,5 anwächst.

45 5. Interface-Hardware 40 In der Medianebene ergeben sich keine interauralen Unterschiede. Vielmehr ordnet ein Hörer einem Schallereignis aufgrund seiner Klangfarbe eine Richtung zu. Durch die Form der Ohrmuschel werden - je nach Einfallsrichtung - bestimmte Spektralanteile verstärkt; diese nennt man richtungsbestimmende Frequenzbänder. Auch hier wirken sich eine gewisse Kenntnis des Signals sowie ein breites Spektrum für die Lokalisation vorteilhaft aus. Weißes Rauschen läßt sich beispielsweise auch mit einer Genaugkeit von 4 orten, bei anderen Schallereignissen nimmt dieser Wert schnell auf etwa 17 zu. Abbildung 5.13: Richtungsbestimmende Frequenzbänder Zur Bestimmung der Entfernung einer Schallquelle macht sich das menschliche Gehör die Abnahme der Lautstärke bei zunehmender Distanz sowie die Veränderung des Spektrums (Klangfarbe) zunutze. Letzteres beruht einerseits darauf, daß sich der Lautstärkepegel bei Verdoppelung der Entfernung um 6 db vermindert, andererseits aber auch auf der Richtcharakteristik der Geräuschquelle. Grundsätzlich werden tiefe Frequenzen von einem Schallerzeuger eher ungerichtet abgestrahlt, was zur Folge hat, daß die tiefen Anteile im Spektrum bei größerer Entfernung gedämpft werden. Zusätzlich sinkt die Empfindlichkeit des Gehörs für diese tiefen Anteile mit abnehmendem Schallpegel. Die Möglichkeit, die Entfernung einer Schallquelle aufgrund dieser klanglichen Veränderungen abschätzen zu können, setzt ein hohes Maß an Hörerfahrung, d.h. die Bekanntheit der Schallquelle, voraus [Dic97]. Zusätzlich zur Ortung von Schallquellen vermag der menschliche Gehörsinn anhand klanglicher Merkmale Rückschlüsse auf die Räumlichkeit des Umfeldes zu ziehen. Die Wellenfront eines Schallereignisses in einem geschlossenen Raum (Direktschall) wird an den Wänden und Gegenständen mehrfach reflektiert, so daß sich nach einiger Zeit ein diffuses Schallfeld ausbildet. Anhand des zeitlichen Verlaufes dieses diffusen Schallfeldes (Anhall, Nachhall) kann der Hörer Informationen über die Dimensionen und die materielle Beschaffenheit des ihn umgebenden Raumes gewinnen. Außerdem ist das Verhältnis zwischen direktem und diffusem Schallfeld ein Maß für die Entfernung des Schallereignisses, da die

46 5. Interface-Hardware 41 Schallintensität des Direktschalls mit zunehmender Entfernung abnimmt, der Diffusschallanteil jedoch konstant bleibt (siehe Abbildung 5.15) [Asc64]. Abbildung 5.14: Zeitlicher Verlauf der Energiedichte in einem geschlossenen Raum (lineare Einteilung der Zeitachse in die Bereiche Anhall, Mithall, Nachhall) Abbildung 5.15: Abhängigkeit des Direkt- und Diffusschalls von der Entfernung zur Schallquelle (I D =Intensität des Direktschalls, I r =Intensität des Diffusschalls, N=Abgestrahlte Schalleistung, A=Äquivalente Schallschluckfläche) Technische Umsetzung Technische Verfahren, die eine freie Positionierung von Schallquellen im dreidimensionalen Raum ermöglichen, bezeichnet man als Ortho-Surround -, Orthophonie -, oder 3D Audio -Verfahren. Sie unterscheiden sich von den herkömmlichen Stereo- oder Surround-Systemen dadurch, daß auch der Raum über- und unterhalb der Horizontalebene abgedeckt werden kann. Zudem besteht

47 5. Interface-Hardware 42 nicht die Einschränkung, daß sich der Hörer innerhalb einer festgelegten, meist recht kleinen, Hörzone befinden muß. Abbildung 5.16: Mögliche Positionen der reproduzierten Schallquelle bei unterschiedlichen Raumklang -Verfahren Die Abdeckung des gesamten den Hörer umgebenden Raumes wurde schon Ende der sechziger Jahre mit der Kunstkopfstereophonie erreicht. Dabei wird ein zweikanaliges Signal mit zwei Mikrofonen aufgenommen, die sich im Innern der Gehörgänge eines nachgebildeten menschlichen Kopfes befinden. Bei der Wiedergabe erscheint die Schallquelle an der Stelle, an der sie sich auch während der Aufnahme befand. Die Position des Hörers ist aber dadurch festgelegt und darf nicht verändert werden. Bei neueren, computergestützten Verfahren wird die gleiche Vorgehensweise mit Hilfe eines Rechners umgesetzt: Die Raumakustik und der Einfluß der Gehöranatomie werden simuliert. Auf diesem Wege wird auch die Stellung des Kopfes variabel, denn durch ein Tracken der Kopfposition kann die Sound-Simulation dynamisch angepaßt werden [Ste96]. Die Simulation eines virtuellen akustischen Raumes ( Auralisation ) unterteilt sich in vier Schritte [The98]: (1) Die räumliche und zeitliche Schall-Information am Ort des Empfängers wird simuliert (Schallfeldsimulation). (2) Mit Hilfe der HRTF (Head-Related-Transfer-Function = Außenohrübertragungsfunktion) wird die binaurale Impulsantwort ermittelt. (3) Die binaurale Impulsantwort wird mit den ursprünglichen Schallsignalen gefaltet. (4) Das Resultat wird über Kopfhörer oder Lautsprecher wiedergegeben.

48 5. Interface-Hardware 43 zu (1): Als Grundlage für die Schallfeldsimulation dient das 3D-Computermodell der Umgebung mit seinen Wänden und Objekten. Da jedoch die Wellenlänge der Schallwellen gegenüber der der Lichtwellen relativ groß ist, genügt ein weniger detailliertes Modell. Zur Nachbildung der Schallausbreitung in diesem 3D-Raum werden Berechnungsmethoden wie das Cone-Tracing oder das Particle-Tracing eingesetzt. Beim Cone-Tracing (auch Spiegelschallquellenmethode genannt) geht man davon aus, daß bei der Reflexion einer Schallwelle an einer Oberfläche diese Reflexion auch durch eine virtuelle Schallquelle in der rückwärtigen Verlängerung des reflektierten Strahls ersetzt werden kann. Man erhält also einen Satz von virtuellen Schallquellen, deren Direktschall, je nach Materialeigenschaft in Spektrum und Intensität unterschiedlich gewichtet, zu einem Gesamtschallfeld beiträgt. Vorteilhaft ist hierbei, daß nur diejenigen Schallkegel (Cones) in die Berechnung miteinfließen müssen, die die Position des Hörers schneiden. Andererseits wächst die Zahl der zu berechnenden virtuellen Schallquellen mit steigender Reflexionsordnung schnell an. Das Particle-Tracing arbeitet mit fiktiven Schallteilchen, die von der Schallquelle ausgesendet und von den Objekten und Wänden nach dem Reflexionsgesetz reflektiert werden. Dabei wird jedem Teilchen ein bestimmter spektraler Bereich zugeordnet. Je nach Absorptionsgrad der Objekte und zurückgelegter Wegstrecke verringert sich der Anfangsimpuls des Teilchens. Im gesamten Raum kann auf diesem Wege für jede Position des Hörers die Schallenergieverteilung ermittelt werden. Beide Verfahren sind noch immer sehr rechenaufwendig, was zur Folge hat, daß eine Echtzeitanwendung nur mit vereinfachenden Näherungen operieren kann. Dadurch ist die Ordnung der Reflexionen beim Cone-Tracing sowie beim Particle-Tracing die Zahl der Schallteilchen noch sehr begrenzt [Hen97]. zu (2): Die HRTF stellt die mathematische Umsetzung der Schallübertragung über das Außenohr dar und hängt dementsprechend auch von der relativen räumlichen Ausrichtung des Hörers ab. Diese muß mit entsprechender Tracking-Technologie erfaßt und daraufhin eine passende HRTF aus einer Datenbank zugeordnet werden. Gerade geringfügige Bewegungen des Kopfes spielen bei der Lokalisation von Schallquellen eine wichtige Rolle. Auch hier sind bezüglich der Rechenleistung derzeitiger Systeme noch Grenzen gesetzt, wodurch die HRTF ebenso nur mit Näherungen angewendet werden kann.

49 5. Interface-Hardware 44 zu (3): Das resultierende Signal wird nun dadurch gebildet, daß die Raumsimulation sowie die Simulation des Außenohres auf das ursprüngliche Schallsignal angewendet werden. Dabei ist es wichtig, etwa alle 20 ms eine Echtzeitberechung des Signals durchführen zu können. zu (4): Zur Wiedergabe sind bei 3D-Soundsystemen in der Regel Kopfhörer vorgesehen, jedoch ist eine Darbietung über Lautsprecher ebenso möglich. Im letzteren Fall kommen sogenannte Transauralisationsverfahren zum Einsatz, bei denen eine inverse HRTF angewendet wird, da der Einfluß des Außenohres wieder in Natura vorliegt und aus dem Signal herausgerechnet werden muß. Die Qualität der Lautsprecherwiedergabe liegt dabei aber nicht zuletzt durch störende Nebengeräusche qualitativ unterhalb der Wiedergabe über Kopfhörer [The98]. In jedem Fall ist beim Einsatz von rechenaufwendigen Auralisationsverfahren darauf zu achten, genügend Prozessorleistung zur Verfügung zu haben. Denn anders als beim Rendern von Bildern, bei dem sich eine Verlangsamung der Berechnung durch das Sinken der Framerate bemerkbar macht, kommt es bei der Soundwiedergabe zu hörbaren Frequenzverschiebungen oder - im schlimmsten Falle - sogar zu Dropouts. Deswegen empfiehlt sich ein eigenes Audio- Subsystem oder eine eigenständige Sound-Hardware [Hen97] Haptische / Kinästhetische Interfaces Bei der Interaktion mit virtuellen Objekten tritt ein wesentliches Problem auf: Der Zeitpunkt, zu dem man mit der Hand einen Gegenstand berührt, kann nur unzureichend über visuelle oder akustische Signale vermittelt werden. So kann es leicht passieren, daß man durch Gegenstände hindurchgreift. Viel intuitiver ist die Anwendung, wenn man etwa beim Erreichen einer Wand eine echte Kraftrückkopplung auf den Körper erfährt. Beim Fassen eines virtuellen Objektes bedeutet dies etwa, daß die Finger ab einem bestimmten Punkt nicht weiter zusammengebracht werden können, oder darüberhinaus sogar die Oberflächenstruktur dieses Objektes erfühlt werden kann. Um den Tastsinn des Menschen über eine Computeranwendung anzusprechen, wurde verschiedenste Interface-Hardware entwickelt. Zumeist ist diese in Handschuhen integriert, so daß speziell der Tastsinn der Hände involviert ist. Beim TELETACT Tactile Feedback Glove dienen einzeln aufblasbare Luftkammern dazu, an verschiedenen Regionen der Hand selektiv Druckempfindungen auszulösen. Jedoch ist die örtliche Auflösung dieses Handschuhs sehr grob [Kal93].

50 5. Interface-Hardware 45 Idealerweise sollte ein taktiles Interface eine örtliche Auflösung von 1 Aktuator/mm aufweisen, um den physiologischen Gegebenheiten gerecht zu werden [Phi97]. Im Zeitbereich kann die Ertastung von feinen Oberflächenstrukturen im Extremfall Frequenzen von 5-10 KHz erforderlich machen [Bur96]. Abbildungen 5.17, 5.18: TELETACT Tactile Feedback Glove Alternativ zum Einsatz von Luftkissen zur Reizung des Tastsinns werden in anderen Produkten Piezokristalle verwendet, die bei Anlegen einer Spannung in Vibration geraten, oder Memorymetalle, die sich bei Wärmezufuhr verformen und damit Druck auf die Haut ausüben [Bor94]. Ebenso kommen magnetisch ansteuerbare Drahtstäbchen, die eine Art Array bilden, in Frage [Hod98b]. Die Realisierung einer Kraftrückkopplung auf die Muskulatur und die Gliedmaßen gestaltet sich technisch etwas schwieriger. Meist werden dazu Exoskelettkonstruktionen verwendet, die über der Hand, dem Arm oder gar dem ganzen Körper getragen werden, und den Bewegungen des Anwenders im Bedarfsfall mechanischen Widerstand leisten. Dabei ist naheliegend, daß der Tragekomfort solcher Gerätschaften nicht gerade hoch ist [Hal97]. Zudem ist das Gefährdungspotential bei der Anwendung nicht zu vernachlässigen, da bei Fehlfunktionen des Gerätes Verletzungen nicht auszuschließen sind (Kräfte im Bereich von 10 Newton müßte ein solches Gerät erzeugen können) [Kal93]. Um etwa das Greifen von virtuellen Objekten realistisch wirken zu lassen, wird aber auch hier ein recht hoher Rechenaufwand benötigt. Die Kollisionsabfrage sollte etwa 1000 Mal pro Sekunde durchgeführt werden [Phi99]. Ebenfalls problematisch ist die hohe Bandbreite der möglichen auftretenden Kräfte: Die Fingerspitze ist in der Lage, ein minimales Gewicht von 80 µg (= 8 * 10-7 N)

51 5. Interface-Hardware 46 wahrzunehmen [Phi97], am anderen Ende des Spektrums steht eine Maximalkraft von 400 N (bei Männern) bzw. 228 N (bei Frauen), die der Mensch mit seiner Hand aufbringen kann [Bur96]. Je größer die vom Anwender ausgeübte Kraft ist, desto stärker muß die erzeugte Gegenkraft der Force-Feedback-Apparatur sein. Abbildung 5.19: Der CyberGrasp Force-Feedback-Handschuh Eine weitaus einfachere Methode der Kraftrückkopplung erhält man, wenn spezielle Eingabegeräte verwendet werden. Bormann beschreibt in [Bor94] einen Aufbau, bei dem ein Ergometer (Trimmdichfahrrad) als Eingabegerät für die Bewegung diente (vgl. auch S. 31). Eine computergesteuerte Bremse regelte den Kraftaufwand beim Treten, je nach der Steigung der gerade befahrenen Strecke. Ebenso haben Joysticks, Lenkräder und Mäuse mit Force-Feedback-Funktion gerade im Bereich der Computerspiele Verbreitung gefunden. Für grafische Anwendungen stehen Stift-Interfaces zur Verfügung, mit denen ein realistisches Pinselgefühl durch entgegengebrachten Widerstand erzeugt werden kann [Hod98b]. Die als Kinästhesie bekannte Fähigkeit des Menschen, unter anderem die räumliche Lage seines Körpers im Raum wahrzunehmen, bedingt es oftmals, daß beim Navigieren in virtuellen Umgebungen, je nach Eingabeverfahren der Bewegung, die Bewegung, die im virtuellen Raum vollführt wird, nicht auf den Körper übertragen wird. Dies kann, wie schon erwähnt, im Extremfall zum Simulatorschwindel führen. Um eine Übereinstimmung in gewissen Grenzen

52 5. Interface-Hardware 47 herzustellen, lassen sich sogenannte Motion-Platforms verwenden, um Bewegungen und Beschleunigungskräfte zu simulieren. Solche Installationen bestehen in der Regel aus einem Aufbau, in dem sich der Benutzer befindet und der über bewegliche Elemente in seiner Lage und Position (meist in allen 6 Freiheitsgraden: Heave, sway, surge, yaw, pitch, roll) verändert werden kann. Geschieht die Lageveränderung ausreichend schnell, so erfährt die Person kurzzeitig eine reale Beschleunigungskraft [Vin95]. Die Ansteuerung ist hydraulisch, pneumatisch oder servo-elektrisch realisiert. Im Bereich der Flug- oder Fahrsimulation sind derartige Systeme schon recht lange im Einsatz. Diese Simulatoren sind jedoch sehr kosten- und platzaufwendig, seit den letzten Jahren sind aber auch verschiedene preisgünstigere Modelle erhältlich [Bur96]. Abbildungen 5.20: Motion-Platform der NASA, 5.21: Einfache Ausführung Eine innovative Methode zur Erzeugung eines Bewegungseindruckes basiert auf der direkten Beeinflussung des Innenohres des Benutzers. Die 1998 vorgestellte Technologie ist in einem kleinen, leichten Headset integriert und reizt mit elektrischen Signalen unmittelbar das Gleichgewichtszentrum. Eine angeschlossene Computeranwendung kann die Illusion erzeugen, der Anwender vollführe eine Bewegung, obwohl er in Realität stillsteht. Wird die Bewegung parallel noch visuell über ein Display ausgegeben, wird der Eindruck noch wesentlich unterstützt [Hod98c].

53 5. Interface-Hardware 48 Abbildung 5.22: Motionware Headset Olfaktorische Interfaces Olfaktorische bzw. gustatorische Interfaces sind bisher nur unzureichend realisiert und spielen keine nennenswerte Rolle, da der Mechanismus der Geschmacks- und Geruchswahrnehmung noch nicht vollständig aufgeklärt ist, und ein Einsatz solcher Interfaces erhebliche Probleme mit sich bringt [Bor94]. Inzwischen ist jedoch auch hier die Forschung fortgeschritten, so daß Interfaces auf dem Markt erhältlich oder in Planung sind. Ein erhältliches Gerät gestattet es, gezielt lokal Gerüche freizusetzen. Dabei handelt es sich aber nicht um ein Device, das am Körper getragen werden kann, sondern um ein stationäres Gerät. Ebenso ist es nicht möglich, beliebige Gerüche aus Grundstoffen zu synthetisieren, sondern es wird lediglich ein vorgegebenes Repertoire an Düften bei Bedarf abgesondert. Demnach eignet sich dieses Gerät nicht für Anwendungen, die eine virtuelle Umgebung simulieren sollen, sondern eher für Kaufhäuser oder Parfümerien [Aer99]. Einen anderen Ansatz verfolgt eine weitere Firma: Ihr Produkt soll bis zu Gerüche aus 128 Grundsubstanzen synthetisieren können. Der Prototyp arbeitet bisher schon recht zuverlässig mit 30 Grundbausteinen [Pla99].

54 6. Mixed-Reality-Interfaces im virtuellen Studio Mixed-Reality-Interfaces im virtuellen Studio Bisher wurden technische Hilfsmittel zur Herstellung einer Korrelation zwischen den realen und virtuellen Bestandteilen einer Produktion im virtuellen Studio wenn überhaupt, dann recht spärlich eingesetzt (abgesehen vom Kameratracking). Diese können jedoch zur Vereinfachung von Produktionsbedingungen oder zur Erweiterung der kreativen Möglichkeiten im virtuellen Studio genutzt werden. Auf visueller und dramaturgischer Ebene kann der Zuschauer dadurch einen Zugewinn erfahren. 6.1 Simulierte Interfaces Die einfachste Möglichkeit besteht natürlich darin, ein in Hardware ausgeführtes Interface vorzutäuschen. Der Akteur in der Blue-Box imitiert die Interaktion mit dem Set, indem er z.b. mit der Hand in Richtung eines virtuellen Objektes im Set greift. Hinter den Kulissen löst der Operator der 3D-Studiosoftware ein Makro 1 aus, das etwa dieses Objekt verschiebt oder es sich in Luft auflösen läßt. Dem erheblichen Vorteil, daß die Hardwarekosten bei dieser Art der Umsetzung quasi gleich Null sind, steht der Nachteil gegenüber, daß in vielen Fällen die Treffsicherheit nicht sehr groß ist, gerade wenn es sich um die Manipulation von Objekten handelt, welche der Akteur ja nicht sehen kann. Eine andere Variante der Umsetzung ohne dezidierte Interface-Hardware zeigt die folgende Abbildung. Von der Studiodecke hängende Schnüre lösen beim Herabziehen verschiedene Aktionen im Set aus. Bei diesem Spiel mußte eine virtuelle Anziehpuppe richtig angekleidet werden. Durch Ziehen an den Leinen konnten virtuelle Kleidungsstücke ein- oder ausgeblendet werden. Die Animationen werden auch hier wieder manuell an der Bedienkonsole der 3D- Software getriggert. In diesem Fall wäre eine Interface-Anbindung aber auch ohne großen technischen Aufwand über Hardware möglich. 1 Makro = vordefinierte Aktion in der 3D-Software (z.b. Animation eines Objektes)

55 6. Mixed-Reality-Interfaces im virtuellen Studio 50 Abbildung 6.1: Szene aus den Stellproben zu Ich sehe was, was Du nicht siehst 6.2 Interfaces zur Erweiterung des Bildraumes Beim Einsatz von Interface-Hardware im virtuellen Studio gilt es grundsätzlich zu bedenken, daß sichtbare Hardware-Komponenten für die Aufrechterhaltung der Illusion einer realen Kulisse nicht gerade förderlich sind. Aus diesem Grund sollte man möglichst unauffällige Interfaces einsetzen, die nur dort für den Zuschauer wahrzunehmen sind, wo es Sinn macht (und gegebenenfalls je nach Verwendungszweck und Sende-Format nötig ist) oder nicht vermieden werden kann. Recht gut lassen sich solche Interfaces einsetzen, die - gemäß der Klassifikation von Interfaces in Kapitel 4 - der Navigation in virtuellen Umgebungen dienen können. Aber auch hier gelten Einschränkungen: Zeigt etwa der Akteur mit einem Zeigegerät (vgl. Kapitel 5: Wands ) in eine Richtung und das Set verschiebt sich, so wirkt dies mitunter nicht glaubwürdig auf den Zuschauer. Vorzuziehen sind hier demnach solche Interfaces, bei denen die Aktionen des Akteurs eine Entsprechung in der natürlichen Fortbewegung des Menschen finden.

56 6. Mixed-Reality-Interfaces im virtuellen Studio 51 Beispiele für diese Kategorie sind etwa: Laufbänder Die Translations-Bewegung des Laufbandes wird auf das virtuelle Set übertragen. Fahrzeuge in verschiedensten Ausführungen (z.b. Fahrräder oder Wagen, in die man einsteigen kann) Die Drehung der Räder wird ebenfalls an das Set weitergegeben und dieses somit synchronisiert. Problematisch ist jedoch die Realisierung eines Richtungswechsels, meist bedarf es dafür einer Drehscheibenkonstruktion. Hüpfball (siehe Kapitel 7) Dadurch, daß der Darsteller im Blauraum auf ein und derselben Stelle verharrt, das Set jedoch bewegt wird, entsteht beim Zuschauer der Eindruck, der Darsteller bewege sich viel weiträumiger durch die Kulisse, als es die begrenzten Abmessungen des Blauraumstudios erlauben würden. Die folgenden Aufnahmen, bei denen eine Laufbandkonstruktion im Blauraum eingesetzt wurde, sollen diesen Effekt verdeutlichen.

57 6. Mixed-Reality-Interfaces im virtuellen Studio 52 Abbildungen : Vergrößerung des Bildraums durch ein Laufband-Interface Die Bewegung wird jedoch in diesem Falle nicht durch die Darstellerin ausgelöst, sondern ist vorgegeben. Über Motoren setzt sich das Laufband in Bewegung, die Person muß der Bewegung folgen. Dies ist sicher nicht die praktikabelste Lösung, da sie immer noch das Einstudieren der Bewegungsabfolge voraussetzt. Möchte man die Verhältnisse umdrehen, also die Person wirklich auf dem Band laufen lassen und das Set entsprechend bewegen, bestehen die Schwierigkeiten darin, den Anfangswiderstand des Laufbandes zu überwinden ohne den Körper der Person mit einer Halterung fixieren zu müssen. Dadurch, daß zusätzlich das Laufband in eine Drehscheibe integriert wurde, konnte bei einer anderen Produktion im virtuellen Studio (bei der die selbe Laufband-/ Drehscheibenkonstruktion verwendet wurde) eine Kamerafahrt um den Darsteller herum verwirklicht bzw. vorgetäuscht werden. Der Akteur steht in der Mitte der Drehscheibe während sich die Scheibe mitsamt der virtuellen Kulisse im Computer dreht. Auf diesem Wege erreicht man ein den Akteur vollkommen umgebendes Set, welches mit vielen herkömmlichen Methoden

58 6. Mixed-Reality-Interfaces im virtuellen Studio 53 nicht umzusetzen wäre, da ja mindestens eine Seite des Blauraumes nicht mit einer blauen Wand versehen ist, und demnach dort kein Set eingestanzt werden kann 1. Darüberhinaus sind in der Regel bei schienengebundenen Trackingsystemen Schienen für eine solche Kamerafahrt nicht vorgesehen. Abbildungen 6.8, 6.9: Realisierung von Kamerafahrten mittels einer Drehscheibe 1 Inzwischen existieren zwar Verfahren, die die Verlängerung des Sets über die Grenzen der blauen Wände hinaus ermöglichen, ein Einstanzen von realen Objekten ist dann jedoch nicht durchführbar.

59 6. Mixed-Reality-Interfaces im virtuellen Studio 54 Die hier beschriebene Laufband-/ Drehscheibenkonstruktion ist ein Prototyp einer spanischen Firma für 3D-Studio-Software und wurde z.b auf der IBC 1998 in Amsterdam eingesetzt [Cut99]. Derartige Konstruktionen finden jedoch schon länger Verwendung für Motion-Control 1 -Anwendungen im Visual-Effects- Bereich. Auch für verschiedene andere Arten von Interfaces lassen sich potentielle Anwendungen vorstellen. Gerade hier mangelt es jedoch an konkreten Umsetzungen. 6.3 Visuelle Interfaces im virtuellen Studio Bezüglich der visuellen Interfaces stellt das virtuelle Studio wenig Spielraum zur Verfügung, da primär die Bildwiedergabe über Monitoren im Studio oder das Fernsehgerät zuhause vorgesehen ist. Es ist jedoch einleuchtend, daß die Möglichkeit, die Komposition aus realen Komponenten und virtueller Kulisse für den Darsteller sichtbar zu machen, von großem Vorteil für seine Orientierung ist. Die Benutzung eines Head-Mounted-Displays wird bei dem Großteil der Anwendungen des virtuellen Studios nicht in Frage kommen, wobei es natürlich auch hier Ausnahmen geben kann (siehe Kapitel 7). Eine sehr interessante Lösung war von der Firma THOMA vorgesehen. Über ein Laserprojektionssystem sollte die virtuelle Kulisse in den Blauraum projiziert werden. Dieses geschieht pulsweise in der vertikalen Austastlücke der aufnehmenden Kameras, so daß die Projektion zwar für einen menschlichen Bertrachter wahrnehmbar ist, von den Kameras aber nicht erfaßt wird. Aufgrund geringer Nachfrage wurde die Weiterentwicklung des Projektes jedoch abgebrochen [Tho99]. 6.4 Akustische Interfaces im virtuellen Studio Auch der Einsatz eines 3D-Soundsystems im virtuellen Studio ist vorstellbar. Förderlich könnte dies sein zur Ortung von Schallereignissen im virtuellen Set, auf die der Darsteller reagieren muß. Denkbar sind hier Geräusche, die mit Objekten im Set in Verbindung stehen (etwa beim Erscheinen oder Verschwinden dieser) oder eine Interview-Situation, bei der der Gesprächspartner auf einem virtuellen Bildschirm (Videotextur auf einem Objekt) im Set erscheint. Um hier 1 Motion-Control = Verfahren zur genauen örtlichen und zeitlichen Rekonstruktion von Kamerafahrten [Cin96]

60 6. Mixed-Reality-Interfaces im virtuellen Studio 55 in die exakte Richtung des Interviewpartners blicken zu können, wäre eine akustische Orientierung hilfreich. Die beiden Arten der Anwendung - über Kopfhörer oder Lautsprecher (siehe Kapitel 5) - werfen beide spezifische Probleme auf. Für den Betrieb über Kopfhörer müßten genügend kleine Ohrhörer (möglichst mit Funkübertragung) existieren, die dem Zuschauer nicht auffallen. Bei den Lautsprechern bleibt zu überprüfen, ob die Geometrie des Blauraumstudios eine ideale Positionierung der Lautsprecherboxen erlaubt, ohne daß diese im Bild zu sehen sind. In beiden Fällen muß aber für ein Tracking der Kopfposition des Akteurs gesorgt werden, was eventuell wieder sichtbare Hardwarekomponenten bedingt. Eine Spracherkennungssoftware könnte in virtuellen Studios etwa dazu dienen, Makros im virtuellen Set an festgelegten Punkten der Moderation auszulösen. Bei Wahlsendungen aus dem virtuellen Studio wird häufig der Effekt eingesetzt, daß sich die Wahlergebnisse in Säulenform aus dem Studioboden erheben oder sich die aktuelle Mandatsverteilung im Hintergrund grafisch aufbaut. Statt diese Animationen per Knopfdruck abzufahren, könnten sie durch vorher festgelegte Stichworte gestartet werden (...kommen wir jetzt zur aktuellen Sitzverteilung ). 6.5 Motion-Capture-Systeme Für einige Situationen bei virtuellen Produktionen kann es sinnvoll sein, die exakte Position des Darstellers oder eines seiner Körperteile zu kennen. Besonders dann, wenn eine Interaktion mit Objekten im virtuellen Raum stattfinden soll, ist es für einen stimmigen Eindruck wichtig, daß der Akteur den Gegenstand auch wirklich berührt, die Aktion also erst dann ausgelöst wird, wenn die räumlichen Positionen seiner Hand (beispielsweise) und die des Gegenstandes übereinstimmen. Der Erfüllung dieser Bedingung kann man sich mit der Verwendung von elektromagnetischen Positionssensoren nähern, die man an der Hand anbringt. Da inzwischen auch drahtlose Systeme auf dem Markt erhältlich sind, lassen sich diese Hilfsmittel auch recht unauffällig am Körper tragen. Optische Trackingverfahren bedürfen noch immer auffälliger Bildmerkmale oder Reflexionspunkte und kommer daher für diesen Zweck wohl weniger in Frage. Voraussetzung für solche Möglichkeiten ist natürlich die Verwendung eines 3D- Studio-Systems (im Gegensatz zu preiswerteren und weniger rechenaufwendigeren 2D-Systemen).

61 6. Mixed-Reality-Interfaces im virtuellen Studio 56 Abbildung 6.10: Mit einem Tracking-Sensor ausgestattet könnte der Moderator z.b. das Tableau auch anfassen und in der Position verändern Schon länger im Einsatz im virtuellen Studio sind Motion-Capture-Systeme zur Performance-Animation von virtuellen Charakteren, die mit in das virtuelle Set integriert werden (z.b. Fernsehshow Hugo [Som96]). Dabei befindet sich im Normalfall der Puppenspieler in einem separaten Raum. Daß ein MotionCapture-System aber auch direkt im Blauraum angewendet werden kann, zeigt die Spielshow Secrets of the Cryptkeeper s haunted house, die für die CBS produziert wurde. Dabei treten reale Darsteller gegen virtuelle Charaktere in verschiedenen Spielen an, z.b. in einem Schwertkampf. Zu diesem Zweck wurde ein Puppenspieler mit einer kompletten Ganzkörper-Motion-Capture-Montur ausgestattet und dann in grüne Kleidung (samt Gesichtsmaske) gehüllt, um ihn später herauszustanzen. Im Studio kämpften somit zwei reale Darsteller gegeneinander, nach dem Keying wurde der eine Darsteller durch ein virtuelles Skelett ersetzt [Phi97b]. Abbildungen 6.11, 6.12: Szene aus Cryptkeeper

Einsatz der Virtuellen Realität in der Fabrikplanung

Einsatz der Virtuellen Realität in der Fabrikplanung Virtuelle Fabrik Einsatz der Virtuellen Realität in der Fabrikplanung Begriffserläuterung Geschichte der VR-Technologie VR-Technik VR-Systeme Anwendungsgebiete der VR Einsatz der VR in der Fabrikplanung

Mehr

Bank für Schallversuche Best.- Nr. 2004611. Für Versuche zum Schall, Wellenausbreitung, Wellenlänge, Schallgeschwindigkeit.

Bank für Schallversuche Best.- Nr. 2004611. Für Versuche zum Schall, Wellenausbreitung, Wellenlänge, Schallgeschwindigkeit. Bank für Schallversuche Best.- Nr. 2004611 Für Versuche zum Schall, Wellenausbreitung, Wellenlänge, Schallgeschwindigkeit. Dieses Gerät besteht aus 1 Lautsprecher (Ø 50 mm, Leistung 2 W, Impedanz 8 Ω)

Mehr

Thema: Interaktionstechniken und - metaphern für AR, Tangible User Interfaces und AR

Thema: Interaktionstechniken und - metaphern für AR, Tangible User Interfaces und AR Hauptseminar Virtual and Augmented Reality SS 2004 Thema: Interaktionstechniken und - metaphern für AR, Tangible User Interfaces und AR Akos Regi Hauptseminarvortrag am 7. Juni 2004 Geschichte der Interaktion

Mehr

Linear Workflow. Linear Workflow. Version 1.0-2011-10-11

Linear Workflow. Linear Workflow. Version 1.0-2011-10-11 Version 1.0-2011-10-11 Verfahren, Bilder unter Rücksichtnahme ihres Farbprofils und der des Ausgabegeräts zu berechnen (3D), bzw. zu bearbeiten (Compositing), um eine mathematisch und physikalisch korrekte

Mehr

Digitale Bildverarbeitung Einheit 12 3D-Rekonstruktion

Digitale Bildverarbeitung Einheit 12 3D-Rekonstruktion Digitale Bildverarbeitung Einheit 12 3D-Rekonstruktion Lehrauftrag SS 2008 Fachbereich M+I der FH-Offenburg Dr. Bernard Haasdonk Albert-Ludwigs-Universität Freiburg Ziele der Einheit Einen Eindruck davon

Mehr

Kinect Nils Röder, Björn Frömmer

Kinect Nils Röder, Björn Frömmer Kinect Nils Röder, Björn Frömmer Agenda Einleitung Hardware Funktionsweise der Kamera Algorithmus (Pose Recognition, Tracking) Einleitung Was ist Kinect? Eingabegerät (Human Computer Interface) Optisches

Mehr

3.2 Spiegelungen an zwei Spiegeln

3.2 Spiegelungen an zwei Spiegeln 3 Die Theorie des Spiegelbuches 45 sehen, wenn die Person uns direkt gegenüber steht. Denn dann hat sie eine Drehung um die senkrechte Achse gemacht und dabei links und rechts vertauscht. 3.2 Spiegelungen

Mehr

beziehung kommunikation im raum / dreidimensionale kommunikation interaction design

beziehung kommunikation im raum / dreidimensionale kommunikation interaction design beziehung kommunikation im raum / dreidimensionale kommunikation interaction design mensch - objekt - kontext gestaltung bedeutet kontextualisierung von informationen. statisch und dynamisch statisch designgebote

Mehr

Computer Augmented Reality

Computer Augmented Reality Computer Augmented Reality Eine Zusammenfassung von Joachim Steinmetz Vorwort: Die folgenden Seiten sollen einen Überblick über den jetzigen Stand im Bereich CAR (Computer Augmented Reality) wiedergeben.

Mehr

1. Vorüberlegungen zu visueller und auditiver Eigenwahrnehmung. 2. Auditive Eigenwahrnehmung/ Eigenwahrnehmung der Stimme

1. Vorüberlegungen zu visueller und auditiver Eigenwahrnehmung. 2. Auditive Eigenwahrnehmung/ Eigenwahrnehmung der Stimme Gliederung: 1. Vorüberlegungen zu visueller und auditiver Eigenwahrnehmung 2. Auditive Eigenwahrnehmung/ Eigenwahrnehmung der Stimme 2.1 Relevanz für Kommunikation 2.2 Eigenschaften der EdS: Kanäle 2.3

Mehr

Einsatz der Mehrkörpersimulation in Verbindung mit Computertomographie in der Produktentwicklung

Einsatz der Mehrkörpersimulation in Verbindung mit Computertomographie in der Produktentwicklung Einsatz der Mehrkörpersimulation in Verbindung mit Computertomographie in der Produktentwicklung Hintergrund Bei komplexen Baugruppen ergeben sich sehr hohe Anforderungen an die Tolerierung der einzelnen

Mehr

Dokumentation zum Projekt Mail-Adapter in SAP PI. 17.01.2011 Sinkwitz, Sven 519707 Theel, Thomas 519696

Dokumentation zum Projekt Mail-Adapter in SAP PI. 17.01.2011 Sinkwitz, Sven 519707 Theel, Thomas 519696 Dokumentation zum Projekt Mail-Adapter in SAP PI 17.01.2011 Sinkwitz, Sven 519707 Theel, Thomas 519696 Inhalt 1. Einleitung... 2 2. Vorgehen... 3 1. Datentyp für die Mail einrichten... 3 2. Message Typen

Mehr

Thema. Aufgabenstellung. Fachpraktikum Visualisierung und interaktive Systeme WS 2011. Aufgabe 5: 3D-Tetris. 3D - Tetris.

Thema. Aufgabenstellung. Fachpraktikum Visualisierung und interaktive Systeme WS 2011. Aufgabe 5: 3D-Tetris. 3D - Tetris. Fachpraktikum Visualisierung und interaktive Systeme WS 2011 Aufgabe 5: 3D-Tetris Thema 3D - Tetris. Aufgabenstellung Die Aufgabe ist, ein Drei-Dimensionales Tetrisspiel zu konstruieren. Es werden zufällig

Mehr

Gestengesteuerte Visualisierung digitaler Bestandsdaten

Gestengesteuerte Visualisierung digitaler Bestandsdaten Verteidigung der Masterarbeit Gestengesteuerte Visualisierung digitaler Bestandsdaten Mo, 11 NOV 2013 (SLUB Dresden, R0.46) In Kooperation mit der Sächsischen Landes- und Universitätsbibliothek (SLUB)

Mehr

Textverarbeitung mit diversen Gesten und der virtuellen Tastatur

Textverarbeitung mit diversen Gesten und der virtuellen Tastatur Textverarbeitung mit diversen Gesten und der virtuellen Tastatur Die Virtuelle Tastatur Die zwei Eingabemodi von VoiceOver Bearbeiten von Text mit VoiceOver Die virtuelle Tastatur Mit Hilfe der virtuellen

Mehr

Der Rechner. Grundbegriffe. Aufbau. Funktionsweise. Betriebssystem. Kategorisierung. PC-Komponenten. Prof. Dr. Aris Christidis

Der Rechner. Grundbegriffe. Aufbau. Funktionsweise. Betriebssystem. Kategorisierung. PC-Komponenten. Prof. Dr. Aris Christidis Der Rechner Grundbegriffe Aufbau Funktionsweise Betriebssystem Kategorisierung PC-Komponenten Auf der Grundlage eines Programms kann ein Computer Daten mit seiner Umgebung austauschen, mathematische und

Mehr

Computer-System (PC = Personal Computer)

Computer-System (PC = Personal Computer) Computer-System (PC = Personal Computer) Ein Computer besteht aus mehreren Komponenten, die miteinander arbeiten und verschiedene Funktionen im Computer übernehmen. Jeder Computer hat andere Komponenten,

Mehr

Parallele und funktionale Programmierung Wintersemester 2013/14. 8. Übung Abgabe bis 20.12.2013, 16:00 Uhr

Parallele und funktionale Programmierung Wintersemester 2013/14. 8. Übung Abgabe bis 20.12.2013, 16:00 Uhr 8. Übung Abgabe bis 20.12.2013, 16:00 Uhr Aufgabe 8.1: Zeigerverdopplung Ermitteln Sie an folgendem Beispiel den Rang für jedes Listenelement sequentiell und mit dem in der Vorlesung vorgestellten parallelen

Mehr

Personenschutz durch optische Raumerfassung

Personenschutz durch optische Raumerfassung Personenschutz durch optische Raumerfassung Für gefährliche Arbeitsumgebungen im klinischen Alltag wie Strahlenschutzbereiche in der Radiologie muss sichergestellt werden, dass das Bedien- und Wartungspersonal

Mehr

X PAD für Android Das Erste, das Fortschrittlichste.

X PAD für Android Das Erste, das Fortschrittlichste. Designed und entwickelt von X PAD für Android eröffnet eine neue Welt auf der Android Plattform. Auf dieser für mobile Geräte am weitesten entwickelten und technologisch fortschrittlichsten Plattform haben

Mehr

Über dieses Buch. Kapitel 1. 1.1 Einleitung

Über dieses Buch. Kapitel 1. 1.1 Einleitung Kapitel 1 Über dieses Buch 1.1 Einleitung Dieses Buch behandelt das Vorgehensmodell Kanban und seinen Einsatz in Softwareentwicklungsprojekten. Kanban ist ein Vorgehensmodell der schlanken Softwareentwicklung

Mehr

2. DFG- Workshop 3.1. Erfassung/Bewertung/Transfer. Beitrag von Peter Küsters. Spiegelung. Archiv. Bild 1: Unterschied zwischen FTP und Spiegelung

2. DFG- Workshop 3.1. Erfassung/Bewertung/Transfer. Beitrag von Peter Küsters. Spiegelung. Archiv. Bild 1: Unterschied zwischen FTP und Spiegelung 2. DFG- Workshop 3.1. Erfassung/Bewertung/Transfer Beitrag von Peter Küsters Formen des Datentransfers bei der Erfassung von Websites Im folgenden werden Methoden und Software zur Erfassung vorgestellt.

Mehr

Erste Schritte mit AmphIdent

Erste Schritte mit AmphIdent Erste Schritte mit AmphIdent Maximilian Matthe Dieses Dokument bietet eine einfache Gewöhnung an die Arbeit mit AmphIdent. Für eine tiefergehende Dokumentation lesen Sie das Handbuch zu AmphIdent. Inhaltsverzeichnis

Mehr

Computer Graphik I (3D) Dateneingabe

Computer Graphik I (3D) Dateneingabe Computer Graphik I (3D) Dateneingabe 1 3D Graphik- Pipeline Anwendung 3D Dateneingabe Repräsenta

Mehr

Bilder im Internet. Hans Magnus Enzensberger

Bilder im Internet. Hans Magnus Enzensberger Kapitel 4 Alle reden von Kommunikation, aber die wenigsten haben sich etwas mitzuteilen. Hans Magnus Enzensberger Bilder im Internet Nach der etwas umfangreichen vorangehenden Lektion zum Ausklang der

Mehr

Agilo [1] ist ein auf Trac [2] basierendes Scrum [3] Tool. Im Folgenden soll eine kurze Überischt gegeben werden, wie Agilo benutzt wird.

Agilo [1] ist ein auf Trac [2] basierendes Scrum [3] Tool. Im Folgenden soll eine kurze Überischt gegeben werden, wie Agilo benutzt wird. AGILO HOWTO Agilo [1] ist ein auf Trac [2] basierendes Scrum [3] Tool. Im Folgenden soll eine kurze Überischt gegeben werden, wie Agilo benutzt wird. ROLLEN IM TEAM In Scrum hat jedes Teammitglied eine

Mehr

SigV-80H Visualizer Handbuch

SigV-80H Visualizer Handbuch SigV-80H Visualizer Handbuch Ein Visualizer (auch Dokumentenkamera) ist eine Videokamera (Webcam) zur Aufnahme eines von einer Lichtquelle beleuchteten Dokumentes oder Gegenstandes zur Präsentation. Er

Mehr

White Paper. Embedded Treiberframework. Einführung

White Paper. Embedded Treiberframework. Einführung Embedded Treiberframework Einführung White Paper Dieses White Paper beschreibt die Architektur einer Laufzeitumgebung für Gerätetreiber im embedded Umfeld. Dieses Treiberframework ist dabei auf jede embedded

Mehr

03/ DISKUS Erweiterungen 2003

03/ DISKUS Erweiterungen 2003 03/ DISKUS Erweiterungen 2003 03/ 1. Diverses a) Größe der Markier-Pfeile ist konfigurierbar Für Nutzer hochauflösender Kameras, stehen bei dem größeren Bild auch größere Pfeile zum einstanzen zur Verfügung.

Mehr

"getiban.exe" wird als selbstentpackende Archivdatei "getiban.exe" ausgeliefert.

getiban.exe wird als selbstentpackende Archivdatei getiban.exe ausgeliefert. Allgemeine Beschreibung von GETIBAN.EXE "getiban.exe" ist ein Windows Kommandozeilen Programm zur Berechnung von IBANs aus vorhandenen Kontonummern und Bankleitzahlen für die derzeit in SEPA teilnehmenden

Mehr

Eckehard Steinbach Fachgebiet Medientechnik. Technische Universität München. EIKON e.v. Jahresversammlung

Eckehard Steinbach Fachgebiet Medientechnik. Technische Universität München. EIKON e.v. Jahresversammlung Bildbasierte 3D Welten Eckehard Steinbach Fachgebiet Medientechnik Lehrstuhl für Kommunikationsnetze Technische Universität München EIKON e.v. Jahresversammlung 10.02.200902 2009 Traditionell: Geometrische

Mehr

1 Einleitung. 1.1 Caching von Webanwendungen. 1.1.1 Clientseites Caching

1 Einleitung. 1.1 Caching von Webanwendungen. 1.1.1 Clientseites Caching 1.1 Caching von Webanwendungen In den vergangenen Jahren hat sich das Webumfeld sehr verändert. Nicht nur eine zunehmend größere Zahl an Benutzern sondern auch die Anforderungen in Bezug auf dynamischere

Mehr

Erfahrungsbericht Live Streaming Peter Bagschik, VfL Oker (www.vfloker.de)

Erfahrungsbericht Live Streaming Peter Bagschik, VfL Oker (www.vfloker.de) Erfahrungsbericht Live Streaming Peter Bagschik, VfL Oker (www.vfloker.de) Für eine Sportveranstaltung im Kunstturnen sollte für interessierte Zuschauer ein Live Video im Internet übertragen werden. Da

Mehr

3.9 Grundelemente einer Benutzeroberfläche

3.9 Grundelemente einer Benutzeroberfläche 92 3 Grundlagen einer ios-anwendung 3.8.4 Target-Actions Einer der häufigsten Anwendungsfälle bei einer Oberfläche ist das Betätigen einer Schaltfläche durch einen Anwender, woraufhin eine bestimmte Aktion

Mehr

Universität Ulm Fakultät für Informatik. Proseminar Virtuelle Präsenz Sommersemester 2005. Ausarbeitung von

Universität Ulm Fakultät für Informatik. Proseminar Virtuelle Präsenz Sommersemester 2005. Ausarbeitung von Universität Ulm Fakultät für Informatik Proseminar Virtuelle Präsenz Sommersemester 2005 Eingabegeräte für virtuelle Präsenz Ausarbeitung von Mark Poguntke mark.poguntke@informatik.uni-ulm.de Betreuer:

Mehr

Thema: Virtueller 3D Desktop. augmented reality

Thema: Virtueller 3D Desktop. augmented reality Thema: Virtueller 3D Desktop Problemstellung Dritte Dimension wird immer bedeutender im IT-Bereich Maus- und Tastatur- Konzept basiert auf zweidimensionaler Ein- und Ausgabe Ein neues, intuitives und natürliches

Mehr

Multimedia. Seminar an der RFH-Köln von Bernd Schmitz Block VR / AR

Multimedia. Seminar an der RFH-Köln von Bernd Schmitz Block VR / AR Multimedia Seminar an der RFH-Köln von Bernd Schmitz Block VR / AR Inhaltsüberblick Wahl des Multimedia-Produzenten Exkurs: AR/VR mit Filmbeispiele (ca. 45 min.) Multimedia in der Kunst Multimedia Event

Mehr

Anleitung DONATSCH WebShare V02

Anleitung DONATSCH WebShare V02 Anleitung DONATSCH WebShare V02 1. Einleitung Ihr von uns gescanntes Objekt kann auf Wunsch via Webbrowser abgerufen werden. Sämtliche Scans sind einsehbar und es können Messungen darin durchgeführt werden.

Mehr

Thomas Alt. Augmented Reality in der Produktion. Herbert Utz Verlag Wissenschaft München

Thomas Alt. Augmented Reality in der Produktion. Herbert Utz Verlag Wissenschaft München Thomas Alt Augmented Reality in der Produktion Herbert Utz Verlag Wissenschaft München Bibliografische Information Der Deutschen Bibliothek Die Deutsche Bibliothek verzeichnet diese Publikation in der

Mehr

Aktions- und Gesundheitstage sowie Messen bieten so einen idealen Einsatzort für die Wii Fit.

Aktions- und Gesundheitstage sowie Messen bieten so einen idealen Einsatzort für die Wii Fit. Wii Fit Muskeln kräftigen und für Bewegungsausgleich sorgen dies sind zwei wichtige Bausteine auf dem Weg zu einem gesunden Rücken. Die Wii Fit bietet auf unterhaltsame Art einen Anreiz zu mehr Fitness

Mehr

KompetenzManager http://www.kompetenzmanager.ch/mah Manual für die Benutzung der Website

KompetenzManager http://www.kompetenzmanager.ch/mah Manual für die Benutzung der Website KompetenzManager http://www.kompetenzmanager.ch/mah Manual für die Benutzung der Website Inhalt Inhalt... 1 1. Anmelden beim Kompetenzmanager... 3 2. Erstellen eines neuen Kompetenzprofils... 4 2.1. Wizard

Mehr

PREMIS Aktuelle Entwicklungen und Perspektiven

PREMIS Aktuelle Entwicklungen und Perspektiven PREMIS Aktuelle Entwicklungen und Perspektiven Olaf Brandt Gliederung Hintergrundinformationen zu PREMIS Aktivitäten Welchen Stand haben wir erreicht? Wohin geht die Entwicklung? Was ist PREMIS? Das Akronym

Mehr

HMD Gerät zur Visualisierung von Bildern besteht aus zwei kleinen Bildschirmen (in einer Art Helm benutzt) liefern die Bilder getrennt für jedes Auge

HMD Gerät zur Visualisierung von Bildern besteht aus zwei kleinen Bildschirmen (in einer Art Helm benutzt) liefern die Bilder getrennt für jedes Auge Bildschirmbrille Stereoskopisches Visualisierungsgerät, mit dem man synthetische Bilder betrachten kann. Es ist mit einem Messfühler ausgestattet, der die Bewegung des Kopfes registriert. Auf diese Weise

Mehr

Selbstständigkeit und Selbstbestimmung sind nicht unmöglich, auch wenn Sie von einer Tetra- oder Paraplegie betroffen sind.

Selbstständigkeit und Selbstbestimmung sind nicht unmöglich, auch wenn Sie von einer Tetra- oder Paraplegie betroffen sind. elektronische hilfsmittel für menschen mit einer behinderung www.activecommunication.ch ELEKTRONISCHE HILFSMITTEL FÜR MENSCHEN MIT PARA- ODER TETRAPLEGIE Selbstständigkeit und Selbstbestimmung sind nicht

Mehr

Collaborative Virtual Environments

Collaborative Virtual Environments Collaborative Virtual Environments Stefan Lücking Projektgruppe Kreativität und Technik AG Domik WS 02/03 09.01.2003 1/35 Was sind CVE? Versuch einer Definition : Ein CVE ist ein Programm, das eine virtuelle

Mehr

Einführung von VR- Systemen

Einführung von VR- Systemen 1 Einführung von VR- Systemen Angrenzende Themen und Problemstellen 23.04.2015, Christian Neth 2 Inhalt Allgemeines Prozesse Hardware Software Change Management 3 Allgemeines 4 Kurze Vorstellung Person

Mehr

1.3 Begriff. Interaktives System. 1.2.11 Warum virtuelle Welten?

1.3 Begriff. Interaktives System. 1.2.11 Warum virtuelle Welten? 1.2.11 Warum virtuelle Welten? 1. Weil die virtuelle Welt Information ist und wir in ihr navigieren können. Wenn man Informationen in der gleichen Art und Weise manipulieren kann, wie man dies im realen

Mehr

Die hier präsentierten Arbeitsblätter und Übungen sind in verschiedenen Klassen erprobt worden.

Die hier präsentierten Arbeitsblätter und Übungen sind in verschiedenen Klassen erprobt worden. Wichtige Hinweise Computer-Grundlagen Die hier präsentierten Arbeitsblätter und Übungen sind in verschiedenen Klassen erprobt worden. Lernziele Die Lernziele richten sich nach dem neuen ECDL Base Syllabus

Mehr

Animation der Montage von CATIA-Bauteilen

Animation der Montage von CATIA-Bauteilen Animation der Montage von CATIA-Bauteilen KONZEPTION UND PROTOTYP PRÄSENTATION ZUM PRAXISPROJEKT SS 2007 VON TIM HERMANN BETREUER: PROF. DR. HORST STENZEL Motivation Voraussetzungen Ziele Datenkonvertierung

Mehr

Best Practice. Organisation und Ablage von Kundenaufträgen im DMS von UpToNet

Best Practice. Organisation und Ablage von Kundenaufträgen im DMS von UpToNet Best Practice Organisation und Ablage von Kundenaufträgen im DMS von UpToNet Lösung Nummer 1: DMS Lösung Nummer 1: DMS Organisation und Ablage von Kundenaufträgen im DMS UpToNet unterstützt den Anwender

Mehr

Ute Kalff Windows7 www.utekalff.de. Zusammenfassung aus Windows-Hilfe

Ute Kalff Windows7 www.utekalff.de. Zusammenfassung aus Windows-Hilfe Zusammenfassung aus Windows-Hilfe Anmerkung: Peek, Shake und Desktophintergrund-Diashow sind nicht in Windows 7 Home Basic oder Windows 7 Starter enthalten. Öffnen Sie in der Systemsteuerung den Eintrag

Mehr

Analyse alt- und mittelpaläolithischer Steinartefaktinventare mittels Parallelkoordinatenplots

Analyse alt- und mittelpaläolithischer Steinartefaktinventare mittels Parallelkoordinatenplots Einleitung Analyse alt- und mittelpaläolithischer Steinartefaktinventare mittels Parallelkoordinatenplots von Irmela Herzog Im Rahmen der Herbsttagung der AG DANK (Datenanalyse und Numerische Klassifikation)

Mehr

Chancen und Möglichkeiten der Nutzung von Augmented Reality Technologien im Industrie 4.0 Umfeld Vortrag auf dem Karlsruher Entwicklertag 2015

Chancen und Möglichkeiten der Nutzung von Augmented Reality Technologien im Industrie 4.0 Umfeld Vortrag auf dem Karlsruher Entwicklertag 2015 Karlsruhe Technology Consulting www.karlsruhe-technology.de Chancen und Möglichkeiten der Nutzung von Augmented Reality Technologien im Industrie 4.0 Umfeld Vortrag auf dem Karlsruher Entwicklertag 2015

Mehr

Codierung. H.-G. Hopf

Codierung. H.-G. Hopf Codierung H.-G. Hopf Inhalt Informationsübermittlung Codierung von Zeichen GDI: Codierung / 2 Inhalt Informationsübermittlung Codierung von Zeichen GDI: Codierung / 3 Ideale Kommunikation Übertragungskanal

Mehr

Videos die Videokamera

Videos die Videokamera Videos die Videokamera Steffen Schwientek Kurzvortrag zum Videokurs Themen heute Kurze Einführung in die Videotechnik Drehen eines kurzen Dokumentarfilmes Fernsehtechnik Kameratechnik (Kleine) Kaufberatung

Mehr

TechnikBasteln. Informations- und Kommunikationstechnologien (IKT) zum Anfassen und BeGreifen für Kinder im Volksschulalter

TechnikBasteln. Informations- und Kommunikationstechnologien (IKT) zum Anfassen und BeGreifen für Kinder im Volksschulalter Informations- und Kommunikationstechnologien (IKT) zum Anfassen und BeGreifen für Kinder im Volksschulalter Das Projekt ist ein innovatives und interdisziplinäres Projekt, in dem Kinder die Hauptakteure

Mehr

Virtuelle Fotografie (CGI)

Virtuelle Fotografie (CGI) (CGI) Vorteile und Beispiele Das ist (k)ein Foto. Diese Abbildung ist nicht mit einer Kamera erstellt worden. Was Sie sehen basiert auf CAD-Daten unserer Kunden. Wir erzeugen damit Bilder ausschließlich

Mehr

Online-Bewerbung mit Screenreader Software. Anleitung

Online-Bewerbung mit Screenreader Software. Anleitung Online-Bewerbung mit Screenreader Software Anleitung Hinweise für Bewerber/-innen mit Screenreader Software 1.1 Einleitung Zur Unterstützung des Bewerbermanagements der Berliner Wasserbetriebe kommt die

Mehr

Auflösung von Displays und Pixelbildern. Unterlagen für den Workshop Designing Interactions in XS Stand März 2012

Auflösung von Displays und Pixelbildern. Unterlagen für den Workshop Designing Interactions in XS Stand März 2012 Unterlagen für den Workshop Designing Interactions in XS Stand März 2012 Nutzungsumfeld und -situationen Kategorisierung von Geräten Eingabe für mobile Geräte Displaytechnologien Auflösung von Displays

Mehr

Das Handbuch zu Systemeinstellungen. Richard A. Johnson Übersetzung: Burkhard Lück

Das Handbuch zu Systemeinstellungen. Richard A. Johnson Übersetzung: Burkhard Lück Das Handbuch zu Systemeinstellungen Richard A. Johnson Übersetzung: Burkhard Lück 2 Inhaltsverzeichnis 1 Einführung 5 2 Systemeinstellungen verwenden 6 2.1 Starten der Systemeinstellungen.............................

Mehr

Anwendungsbeschreibung des ReNoStar-Druckers

Anwendungsbeschreibung des ReNoStar-Druckers Anwendungsbeschreibung des ReNoStar-Druckers Stand September 2007 Inhalt Inhalt... 2 Anforderung aus der Praxis... 3 Die ReNoStar Drucker-Leiste... 3 Erstellen einer Vorlage... 3 Reihenfolge der Vorlagen

Mehr

1. Einleitung. 1.1. Ausgangssituation

1. Einleitung. 1.1. Ausgangssituation 1. Einleitung In der vorliegenden Arbeit wird untersucht, welche Faktoren den erfolgreichen Ausgang eines Supply-Chain-Projektes zwischen zwei Projektpartnern beeinflussen. Dazu werden zum einen mögliche

Mehr

Autodesk AutoCAD 2013. 3D-Konstruktion. Martin Harbauer. 1. Ausgabe, August 2012 AUC20133D

Autodesk AutoCAD 2013. 3D-Konstruktion. Martin Harbauer. 1. Ausgabe, August 2012 AUC20133D Autodesk AutoCAD 2013 Martin Harbauer 3D-Konstruktion 1. Ausgabe, August 2012 AUC20133D Rendern 14 14.5 Material Eine der wichtigsten und umfangreichsten Variationsmöglichkeiten beim Rendern liegt in der

Mehr

Das Studiengangsinformationssystem (SGIS)

Das Studiengangsinformationssystem (SGIS) Das Studiengangsinformationssystem (SGIS) Manual für Typo3-Redakteure Version 1.a Mai 2015 Kontakt: Referat 1.4 - Allgemeine Studienberatung und Career Service Christian Birringer, christian.birringer@uni-rostock.de

Mehr

PADS 3.0 Viewer - Konfigurationen

PADS 3.0 Viewer - Konfigurationen PADS 3.0 Viewer - Konfigurationen Net Display Systems (Deutschland) GmbH - Am Neuenhof 4-40629 Düsseldorf Telefon: +49 211 9293915 - Telefax: +49 211 9293916 www.fids.de - email: info@fids.de Übersicht

Mehr

Reality, only better The Economist, Dezember 2007

Reality, only better The Economist, Dezember 2007 Augmented Reality Technik, Systeme, Potenziale, Funktionen, Einsatzgebiete Virtual Dimension Center (VDC) Auberlenstr. 13 70736 Fellbach Augmented Reality Prinzipien und Chancen Reality, only better The

Mehr

Text Bild Relation. David Manikowski Jacques Sauvaget

Text Bild Relation. David Manikowski Jacques Sauvaget Text Bild Relation David Manikowski Jacques Sauvaget Inhalt Arten von Abbildern Kognitive Bildverarbeitung Eindeutige alphanumerische Ergänzungen Beziehungen zwischen Bild und Text Abbilder (Definition)

Mehr

Stop Motion. Stop-Motion-Trickfilme. mit Linux

Stop Motion. Stop-Motion-Trickfilme. mit Linux Stop Motion Stop-Motion-Trickfilme mit Linux Einführung Mit Computer und Digitalkamera ist es heute sehr einfach, Animationsfilme herzustellen. Ziel ist die Erstellung einfacher Animationsfilme. Als Beispiel

Mehr

Überwacht laufend verschiedene Alarmwege

Überwacht laufend verschiedene Alarmwege Testalarm-Generator Überwacht laufend verschiedene Alarmwege Status: Freigegeben Dieses Dokument ist geistiges Eigentum der Accellence Technologies GmbH und darf nur mit unserer ausdrücklichen Zustimmung

Mehr

SNF-7010 und SmartViewer Dewarping Optionen

SNF-7010 und SmartViewer Dewarping Optionen SNF-7010 und SmartViewer Dewarping Optionen Rüdiger Palm Tech Manager DACH 16.03.2015 Einleitung Diese Präsentation ist aus den Anfragen der Support-Telefonate entstanden. Ihre Fragen bezüglich des Dewarping

Mehr

Färben, texturieren und rendern in Solid Edge

Färben, texturieren und rendern in Solid Edge Färben, texturieren und rendern in Solid Edge Man kann den Objekten in Solid Edge Farben geben, transparent oder opak und Texturen. Das sind Bilder die auf die Oberflächen aufgelegt werden. Dabei bekommt

Mehr

GESTALT-THEORIE HERKUNFT GRUNDGEDANKE GESTALTQUALITÄTEN

GESTALT-THEORIE HERKUNFT GRUNDGEDANKE GESTALTQUALITÄTEN - Juliane Bragulla - GESTALT-THEORIE - unter der Bezeichnung Gestaltpsychologie bekannt - ist überdisziplinäre Theorie, die die menschliche Organisation der Wahrnehmung zum Gegenstand hat - versucht zu

Mehr

Mittels X11 Anwendungen auf anderen Rechnern ausführen. Das Display Konzept. LinuxFocus article number 222 http://linuxfocus.org

Mittels X11 Anwendungen auf anderen Rechnern ausführen. Das Display Konzept. LinuxFocus article number 222 http://linuxfocus.org LinuxFocus article number 222 http://linuxfocus.org Mittels X11 Anwendungen auf anderen Rechnern ausführen by Guido Socher (homepage) About the author: Guido mag Linux nicht nur, weil es interessant ist,

Mehr

1.2.1 Gestaltpsychologie

1.2.1 Gestaltpsychologie 1.2 Gestaltgesetze 1.2.1 Gestaltpsychologie... 40 1.2.2 Gesetz von der einfachen Gestalt... 41 1.2.3 Gesetz der Nähe... 42 1.2.4 Gesetz der Gleichheit... 43 1.2.5 Gesetz der Geschlossenheit... 44 1.2.6

Mehr

Vereinfachen Sie komplexe Vorgänge durch vielfältige intuitive und professionelle Diagrammwerkzeuge.

Vereinfachen Sie komplexe Vorgänge durch vielfältige intuitive und professionelle Diagrammwerkzeuge. Versionsvergleich Vergleichen Sie die Hauptfunktionalitäten der Microsoft -Version zur Diagrammerstellung mit ihren Vorgängerversionen und überzeugen Sie sich, wie Sie und Ihr Geschäft von einem Upgrade

Mehr

Windows das erste Mal

Windows das erste Mal Windows das erste Mal Ist der Computer betriebsbereit? Dann ist es jetzt an der Zeit, sich mit der Bedienung des Betriebssystems Windows vertraut zu machen. Haben Sie noch gar keine oder nur wenig Erfahrung

Mehr

AuReGa (Augmented Reality Game)

AuReGa (Augmented Reality Game) (Augmented Reality Game) Eine Präsentation im Rahmen von NOP Night of Projects Master-Projekt Angewandte Informatik 26.11.2010 Vorstellung des Projektes Beamer projiziert das Spielfeld Personen interagieren

Mehr

SOFTWARE FÜR PRG-APPLIKATIONEN

SOFTWARE FÜR PRG-APPLIKATIONEN SOFTWARE FÜR PRG-APPLIKATIONEN Autor: Frank Bergmann Letzte Änderung: 04.12.2014 09:09 1 1 Inhaltsverzeichnis 1 Inhaltsverzeichnis... 2 2 Allgemeines... 3 3 Installation und Programmaufruf... 3 4 Einstellungen...

Mehr

Commitments of Traders

Commitments of Traders Commitments of Traders Profitable Insider-Strategien FLOYD UPPERMAN Aus dem Amerikanischen von Gaby Boutand FinanzBuch Verlag KAPITEL 1 Das Engagement der Trader: Der COT-Bericht Heutzutage haben Futures-Trader

Mehr

Gesellschaft für Multimedia-Kommunikation mbh. Speiseleit- und Informationssysteme

Gesellschaft für Multimedia-Kommunikation mbh. Speiseleit- und Informationssysteme Gesellschaft für Multimedia-Kommunikation mbh Speiseleit- und Informationssysteme Moderne Speiseleitund Informationssysteme für Gemeinschaftsverpflegung und gastronomische Großbetriebe Anzeigesysteme von

Mehr

Projekt für Systemprogrammierung WS 06/07

Projekt für Systemprogrammierung WS 06/07 Dienstag 30.01.2007 Projekt für Systemprogrammierung WS 06/07 Von: Hassan Bellamin E-Mail: h_bellamin@web.de Gliederung: 1. Geschichte und Definition 2. Was ist Virtualisierung? 3. Welche Virtualisierungssoftware

Mehr

Denkanstöße Lesen. Sacken lassen. Sprechen.. comessen

Denkanstöße Lesen. Sacken lassen. Sprechen.. comessen Denkanstöße Lesen. Sacken lassen. Sprechen. Image ist auch eine Frage der Technik Die Art der Visualisierung Ihrer Produkte beeinflusst Ihre Selbstdarstellung, die Image-Profilierung und nicht zuletzt

Mehr

DCS-3110 EVENT SETUP

DCS-3110 EVENT SETUP DCS-3110 EVENT SETUP Diese Anleitung erklärt die notwendigen Schritte für das Einstellen der Funktion Event Setup der IP-Kamera DCS-3110. Die Konfiguration erfolgt in vier Schritten: 1) Anmeldung an der

Mehr

1. Interface. Wireshark (Ehtereal)

1. Interface. Wireshark (Ehtereal) Wireshark (Ehtereal) Das Programm Wireshark Network Protocol Analyzer dient dazu, wie der Name schon sagt, ersichtlich zu machen, welche Datenpakete die Netzwerkkarte empfängt bzw. sendet. In Form von

Mehr

miromedia 3D fanatix BENUTZERHANDBUCH

miromedia 3D fanatix BENUTZERHANDBUCH miromedia 3D fanatix BENUTZERHANDBUCH miromedia 3D fanatix Benutzerhandbuch Version 1.0/D November 1996 700597 miro Computer Products AG 1996 Alle Rechte vorbehalten. Kein Teil dieses Handbuchs darf ohne

Mehr

TRANSMETRA. Datenerfassungs-Software für GSV2, 3-Messverstärker Datacapture-Software für GSV2, 3-Instruments. GSV Multi RS, USB.

TRANSMETRA. Datenerfassungs-Software für GSV2, 3-Messverstärker Datacapture-Software für GSV2, 3-Instruments. GSV Multi RS, USB. Beschreibung Die Software GSVMulti eignet sich zur Aufzeichnung von Messdaten mit GSV-2 und GSV-3 Messverstärkern. Es können bis zu 128 Kanäle verarbeitet werden. Die Messwerte werden grafisch dargestellt.

Mehr

Grundlagen verteilter Systeme

Grundlagen verteilter Systeme Universität Augsburg Insitut für Informatik Prof. Dr. Bernhard Bauer Wolf Fischer Christian Saad Wintersemester 08/09 Übungsblatt 5 26.11.08 Grundlagen verteilter Systeme Lösungsvorschlag Aufgabe 1: Erläutern

Mehr

Effizientes Änderungsmanagement in Outsourcing- Projekten

Effizientes Änderungsmanagement in Outsourcing- Projekten Effizientes Änderungsmanagement in Outsourcing- Projekten Dr. Henning Sternkicker Rational Software IBM Deutschland GmbH Sittarder Straße 31 52078 Aachen henning.sternkicker@de.ibm.com Abstract: Es werden

Mehr

Dokumentation UltraMixer MidiMap Editor

Dokumentation UltraMixer MidiMap Editor Dokumentation UltraMixer MidiMap Editor Inhaltsverzeichnis 1. Einführung...2 2. MIDI-Input-Mapping 2.1 Klick-Events...5 2.2 Drehregler/Schieberegler-Events mit Anfang und Ende...6 2.3 Drehregler-Events

Mehr

U POiNTER. Touch sc re e n-f unkt i o n e n für jeden Beamer und Großbildschirm

U POiNTER. Touch sc re e n-f unkt i o n e n für jeden Beamer und Großbildschirm U POiNTER touch!!jom tdeas Touch sc re e n-f unkt i o n e n für jeden Beamer und Großbildschirm touch!jour id.tml.g MOUSE- UND WHITEBOARD- FUNKTIONEN AN DER WAND ERGONOMISCH. Fast jedes Unternehmen hat

Mehr

Treckerverein Monschauer Land e.v.

Treckerverein Monschauer Land e.v. Der Mitgliederbereich Der Mitgliederbereich (TV-MON Intern) ist ein Teil der Webseiten des Treckervereins, der nicht öffentlich und für jedermann zugängig ist. Dieser Bereich steht ausschließlich Mitgliedern

Mehr

CompuLok Zentrale. Software Interface. Digitalzentrale für DCC und Motorola Format

CompuLok Zentrale. Software Interface. Digitalzentrale für DCC und Motorola Format CompuLok Zentrale Software Interface Digitalzentrale für DCC und Motorola Format Inhalt CompuLok Software Interface... 3 Das Software Interface... 3 Installation... 3 Treiber installieren.... 3 Hinweis

Mehr

Enterprise Computing Einführung in das Betriebssystem z/os. Prof. Dr. Martin Bogdan Prof. Dr.-Ing. Wilhelm G. Spruth WS2012/13

Enterprise Computing Einführung in das Betriebssystem z/os. Prof. Dr. Martin Bogdan Prof. Dr.-Ing. Wilhelm G. Spruth WS2012/13 UNIVERSITÄT LEIPZIG Enterprise Computing Einführung in das Betriebssystem z/os Prof. Dr. Martin Bogdan Prof. Dr.-Ing. Wilhelm G. Spruth WS2012/13 Verarbeitungsgrundlagen Teil 2 Virtual Storage el0100 copyright

Mehr

CUBE.460. Das System für die Automatisierung des Handlötbereichs

CUBE.460. Das System für die Automatisierung des Handlötbereichs CUBE.460 Das System für die Automatisierung des Handlötbereichs CUBE.460 Das neue Einstiegs-Selektivlötsystem 7 Die Fähigkeit den Lötwinkel programmgesteuert auf 0 und 7 einzustellen ermöglicht den Einsatz

Mehr

Die perfekte Kombination aus bewährter Factory Automation Software für die Automation nun sehr wirtschaftlich mit Embedded PC und GigE-Kameras

Die perfekte Kombination aus bewährter Factory Automation Software für die Automation nun sehr wirtschaftlich mit Embedded PC und GigE-Kameras So flexibel, modular und leistungsfähig kann Factory Automation sein. Die perfekte Kombination aus bewährter Factory Automation Software für die Automation nun sehr wirtschaftlich mit Embedded PC und GigE-Kameras

Mehr

Kann-Aussagen. Zum Beispiel:

Kann-Aussagen. Zum Beispiel: 1 Kann-Aussagen Hier finden Sie eine Anzahl Kann-Aussagen, Aussagen über Ihre Sprachkenntniss in Deutsch und Englisch. Ich bin daran interessiert, wie gut oder schlecht Sie Ihre eigene Sprachkenntnis in

Mehr

2 DAS BETRIEBSSYSTEM. 2.1 Wozu dient das Betriebssystem. 2.2 Die Bildschirmoberfläche (Desktop) Themen in diesem Kapitel: Das Betriebssystem

2 DAS BETRIEBSSYSTEM. 2.1 Wozu dient das Betriebssystem. 2.2 Die Bildschirmoberfläche (Desktop) Themen in diesem Kapitel: Das Betriebssystem 2 DAS BETRIEBSSYSTEM Themen in diesem Kapitel: Das Betriebssystem Die Windows-Oberfläche Elemente eines Fensters 2.1 Wozu dient das Betriebssystem Das Betriebssystem (engl.: operating system, kurz: OS)

Mehr

SANTEC Video Technologies Professionelle Lösungen für mehr Sicherheit

SANTEC Video Technologies Professionelle Lösungen für mehr Sicherheit 1 SANTEC Video Technologies Professionelle Lösungen für mehr Sicherheit Videoüberwachung Netzwerktechnik IR-Freilandsensorik Dienstleistungen NUUO Rekorder Ein Gesamtüberblick 2 Themenübersicht Allgemeines

Mehr

Stereo Vision. Projekt zur 3D Computer Vision Wintersemester 05/06

Stereo Vision. Projekt zur 3D Computer Vision Wintersemester 05/06 Stereo Vision Projekt zur 3D Computer Vision Wintersemester 05/06 Stereo Vision 3D Computer Vision: Rekonstruktion von Objektoberflächen aus Bildern Stereo Vision: Gleichzeitige Aufnahme eines Objekts

Mehr

Manual & Installation Guide

Manual & Installation Guide Manual & Installation Guide WIN&I PowerPoint Presenter für Kinect for Windows Evoluce AG Ludwigstr. 47 D-85399 Hallbergmoos www.evoluce.com www.win-and-i.com 1 Manual & Installation Guide WIN&I PowerPoint

Mehr