Von. Lino Sanfilippo. Zur Erlangung des akademischen Grades Diplom-Informatiker (FH)

Transkript

1 Einbinden von Eingabegeräten zur Manipulation visualisierter 2D- und 3D- Daten, sowie die Integration von Funktionen zum Austausch der Daten, in das OfuturO- Projekt Von Lino Sanfilippo Zur Erlangung des akademischen Grades Diplom-Informatiker (FH) Fachhochschule Köln University of Applied Sciences Cologne Abteilung Gummersbach Erstprüfer: Prof. Dr. Horst Stenzel Zweitprüfer: Dr. Gernot Goebbels Oktober 2003

2 Einführung Der praktische Teil dieser Diplomarbeit besteht in der Verwirklichung der Eingabeverarbeitung innerhalb der OfuturO-Umgebung. OfuturO stellt eine Realisierung des Office Of The Future-Konzeptes dar, bei der eine herkömmliche Büroumgebung mit virtuellen Komponenten angereichert wird. OfuturO ist somit ein Projekt aus dem Bereich der Mixed Reality. Das Ziel von OfuturO besteht darin, eine tischbasierte, multimediale Arbeitsumgebung zur Verfügung zu stellen, die als Plattform für verschiedene Konferenzszenarien dienen kann. Erreicht wird dies, indem während einer Konferenz virtuelle Komponenten in die Arbeitsumgebung integriert werden. Diese Komponenten werden mittels eines Visualisierungsservers verwaltet und können sowohl in zweidimensionaler, als auch in dreidimensionaler Form dargestellt werden. Zur Darstellung beider Formen kommt ein Projektionssystem zum Einsatz, das in den Arbeitstisch der OfuturO-Plattform integriert ist. Um die Projektionsfläche herum sind die Teilnehmer der Konferenz angeordnet. Die Teilnehmer schließen sich mit ihren Laptops, auf denen sie die in der Konferenz zu behandelnden Daten mitbringen, an das OfuturO-Netzwerk an. Über eine grafische Oberfläche haben sie die Möglichkeit, eigene Daten zu visualisieren. Durch spezielle Eingabegeräte, können sie die dargestellten Objekte manipulieren, indem sie diese in verschiedene Richtungen bewegen und, soweit es sich um räumlich dargestellte Daten handelt, um ihre Raumachsen drehen können. Die visualisierten Daten befinden sich dabei in einem als Shared Workspace bezeichneten Arbeitsbereich auf dem Visualisierungsserver. Da sowohl zwei- als auch dreidimensionale Daten über die Eingabegeräte manipuliert werden sollen, kommen zwei verschiedene Arten von Eingabegeräte zum Einsatz, die so genannte Spacemaus und ein herkömmliches Touchpad. Jeder Teilnehmer hat dabei die Kontrolle über ein solches Gerätepaar. Eine Spacemaus ist ein speziell zur Eingabeverarbeitung im Raum entwickeltes Eingabegerät, während ein Touchpad zur Eingabeverarbeitung in der Ebene 2

3 eingesetzt wird. Spacemaus und Touchpad werden in Kapitel 4 ausführlich vorgestellt. Neben der Möglichkeit die visualisierten Daten über die Eingabegeräte zu steuern, können die Teilnehmer die Daten auch über Gesten, die auf dem Touchpad ausgeführt werden, an anderen Konferenzteilnehmer verschicken. Die Aufgabestellung, die in dieser Diplomarbeit gelöst werden soll, lässt sich in drei Teilaufgaben unterteilen. 1. Teilaufgabe: Einbinden von Spacemaus und Touchpad zur Interaktion des Benutzers mit visualisierten 2D- und 3D-Daten sowie Fokussierung der Eingabemöglichkeit und Wechsel des Eingabefokus. Um den Benutzern die Möglichkeit zu geben mit den vom Visualisierungsserver dargestellten zweidimensionalen und dreidimensionalen Grafiken interagieren bzw. diese manipulieren zu können, müssen die Eingabegeräte, die allesamt am Visualisierungsserver angeschlossen werden sollen, softwaremäßig in die OfuturO-Umgebung integriert werden. Insgesamt handelt es sich dabei um sechs Geräte (je drei Spacemäuse und drei Touchpads), die über zwei 4-Port-USB- Hubs am USB-Port des Servers angeschlossen werden. Eingaben dürfen nicht von mehreren Benutzern gleichzeitig gemacht werden, sondern sind zu einer Zeit nur einem bestimmten Benutzer erlaubt. Die Eingabeverarbeitung erfolgt also über einen Eingabefokus. Der Fokus wird immer nur einem Konferenzteilnehmer zugewiesen und berechtigt diesen zur Steuerung der visualisierten Daten über Touchpad und Spacemaus. Durch einen Wechsel des Fokus wird die Steuerberechtigung auf einen anderen Konferenzteilnehmer übertragen. Dies macht Sinn, da die Perspektive für die räumlich dargestellten Objekte auch immer nur für einen Konferenzteilnehmer zu einem Zeitpunkt korrekt dargestellt werden kann. Die perspektivisch richtige Betrachtung 3-dimensionaler Objekte erfolgt also ebenfalls über einen Fokus, den Sichtfokus. Geplant ist, Eingabe- und Sichtfokus später einmal so zu synchronisieren, dass derjenige Konferenzteilnehmer, der den Sichtfokus besitzt, 3

4 auch automatisch den Eingabefokus besitzt. Dazu muss auch die Möglichkeit bestehen, den Eingabefokus an einen anderen Konferenzteilnehmer weiterzugeben. Eine Übergabe muss dabei explizit (durch eine Geste, Buttondruck etc.) von demjenigen Teilnehmer erfolgen, der momentan die Eingabeberechtigung hat. 2. Teilaufgabe: Implementieren von Funktionen zur Übertragung von Dateien die sich im Shared Workspace befinden, an die am OfuturO-Netzwerk angeschlossenen Workstations über eine geeignete Geste auf dem Touchpad. Die OfuturO-Umgebung soll den Teilnehmern einer Konferenz außer der Möglichkeit eine Reihe von Aktionen über die GUI der Workstationsoftware durchführen zu können, auch die Möglichkeit bieten, bestimmte Aktionen über Gesten auf den Touchpads auszuführen. Unter einer Geste wird eine nonverbale Ausdrucksform verstanden, mit der eine bestimmte Absicht angedeutet wird. Da die Touchpads in erster Linie zum Steuern von visualisierten Dokumenten auf der Projektionsfläche eingesetzt werden, sollen sich die mit der Gestenerkennung verbundenen Aktionen auch lediglich auf Datensätze beschränken, die sich im Shared Workspace befinden. Dazu sollen exemplarisch verschiedene Gesten und die damit verbundenen Aktionen implementiert werden. Die Gesten, die letztendlich in OfuturO eingesetzt werden, hängen von der jeweiligen Zielsetzung ab, die durch den Einsatz der OfuturO-Plattform erreicht werden soll. Aktionen, die über Gesten auf den Touchpads ausgeführt werden sollen sind: 1. Das Versenden von Datensätzen im Shared Workspace an den rechten Sitznachbarn 1. 1 Da die Konferenzteilnehmer am OfuturO Tisch nicht kreisförmig sondern hufeisenförmig angeordnet sind, hat genau genommen nur der mittlere Teilnehmer einen rechten und einen linken Nachbarn. Für die Funktion des Dokumentenversendens wird allerdings darüber hinweggesehen und eine kreisförmig Anordnung der Konferenzteilnehmer angenommen. 4

5 2. Das Versenden von Datensätzen im Shared Workspace an den linken Sitznachbarn. 3. Das Versenden von Daten im Shared Workspace an alle Konferenzteilnehmer. 3. Teilaufgabe: Implementieren einer Beispielapplikation an der die Funktionalität der Lösungen zu den obigen Aufgaben demonstriert wird. Da die OfuturO Softwareumgebung mit ihren Schnittstellen, die Voraussetzungen für die Lösungen der Aufgaben dieser Diplomarbeit darstellen, bis zum Fertigstellen der Diplomarbeit voraussichtlich noch nicht voll einsatzbereit sein wird, soll die Funktionalität der gefundenen Lösungen an einer Beispielapplikation gezeigt werden. Die Beispielapplikation soll dabei die Funktionalität der noch nicht implementierten Softwarekomponenten der OfuturO-Umgebung simulieren. Ein Problem, das bei der Realisierung der Teilaufgaben gelöst werden muss, besteht darin, dass die Eingabegeräte allesamt am Visualisierungsserver und nicht an den einzelnen Workstations der Konferenzteilnehmer angeschlossen sind. Die Eingabegeräte sind fester Bestandteil von OfuturO, während die Workstations beliebig an- und abgeschlossen werden können. Dadurch muss eine Möglichkeit gefunden werden, die Geräte den gerade vorhandenen Workstations zuzuordnen. Im folgenden Kapitel wird zunächst ein Überblick über das Gebiet der Mixed Reality und ihrer Beziehung zur Virtual Reality gegeben. Dabei werden sowohl die Hardwarekomponenten, die in der Mixed Reality zum Einsatz kommen, als auch Interaktionsmöglichkeiten, mit den virtuell dargestellten Objekten, beschrieben. Zum Schluss werden einige Anwendungsgebiete vorgestellt, in denen Projekte der Mixed Reality heute schon erfolgreich angewandt werden. 5

6 Dazu gehören auch das Office Of The Future Konzept, und das OfuturO-Projekt, als mögliche Realisierung dieses Konzeptes. Sowohl Office Of The Future, als auch OfuturO, werden in den darauf folgenden Kapiteln vorgestellt. Nachdem die theoretischen Grundlagen zum Verständnis der in dieser Diplomarbeit behandelten Problematik erarbeitet wurden, erfolgt eine genaue Analyse der Problemstellung, mit ersten Lösungsansätzen. Die zu den einzelnen Teilaufgaben gefundenen Lösungen, werden jeweils anschließend vorgestellt. Zum Schluss dieser Ausarbeitung wird schließlich ein kritischer Blick auf die Ergebnisse geworfen, um zu ermitteln, inwieweit die Lösungen den gestellten Anforderungen gerecht werden. 6

7 Inhaltverzeichnis Abbildungsverzeichnis Virtual Reality Einführung Arten von Virtual Reality Systemen Immersive Reality Mixed Reality Hardwarekomponenten eines Mixed Reality Systems Stereoprojektoren und Projektionsflächen Tracker Shutterbrillen und Polarisationsbrillen Eingabegeräte eines Mixed Reality Systems Interaktion in der Mixed Reality Anwendungsgebiete von Mixed Reality Systemen Office Of The Future Motivation Virtuelle Hilfsmittel Definition Arten Integrationsmethoden Projekte Roomware for Cooperative Buildings The Office of the Future Die OfuturO Plattform Vorstellung Aufbau Tisch Display Eingabegeräte Software Anwendungen

8 3.5 Der Mixed Reality Conferencing Prototyp Beschreibung eines Konferenzszenarios Entwicklungsstand Die Eingabegeräte Grundlagen Vorgaben Das Cirque USB Easy Cat Touchpad Die Magellan Spacemaus Plus Die Integration der Eingabegeräte in OfuturO Analyse der Problemstellung Der SMTP-Treiber als Realisierung der Lösung USB-Kerneltreiber unter Linux Die SMTP-Treiberroutinen Die Moduleeinsprungspunkte ModulInit und ModulExit Die USB-Gerätespezifischen Operationen Die File-Operationen Probleme bei der Implementierung Das Versenden visualisierter Daten durch Gesten Analyse der Aufgabenstellung zur Gestenerkennung Realisierung der Gestenerkennung Analyse der Aufgabenstellung zur Zuordnung von Eingabegeräten zu Workstations Realisierung der Zuordnung von Eingabegeräten zu Workstations Die Klassen fptouchpadnode und fpspacemousenode Ergebnis Die Beispielapplikation zur Demonstration der erzielten Ergebnisse Betrachtung der Lösung zum Einbinden der Eingabegeräte in OfuturO Betrachtung der Lösung zum Versenden visualisierter Daten über die Gesten Die Gestenerkennung auf den Touchpads Die Zuordnung der Workstations zu den Gerätepaaren Literaturverzeichnis Anhang Erklärung

9 Abbildungsverzeichnis 1.1 Milgram Diagramm aus [MC99] Cubic Mouse der GMD Space Ball Magellan Spacemaus Plus Office Of The Future Vision aus [RWC+98] Roomware Komponente CommChair aus [SGH98] OfuruO Tisch Konzeptionelle Skizze von OfururO Arbeitsplatz mit Laptop Display Vorrichtungen Eingabegeräte Avango Entwicklungsumgebung Vergleich von Konferenzszenarien Verbindung von Datenbankarchiven und Projektionssystem Vernetzung der Softwarekomponenten Visualisierung von Präsentationsinhalten Download von Präsentationsinhalten Direkter Transfer von Informationen Deskriptorhyrarchie [Lin03] Easy Cat Touchpad von Cirque Magellan Spacemaus Plus mit ihren 6 Freiheitsgraden Auszug aus /proc/bus/devices Schematische Darstellung der Race Conditions Problematik Schematische Darstellung der Race Conditions Problematik II Funktionsweise der GlidePoint Technologie Gestenausführung auf einem Touchpad Gestenverlauf innerhalb des Toleranzintervalls Vorzeichenwechsel bei einer Kreisgeste auf dem Touchpad Platznummernvergabe am OfuturO-Tisch 96 9

10 Kapitel 1 Virtual Reality 1.1 Einführung Da die Aufgabenstellung dieser Diplomarbeit Teil eines Projektes aus dem Bereich der Virtual Reality (genauer der Mixed Reality) ist, soll vorab erstmal eine Erläuterung dessen erfolgen, was im Folgenden als Virtual Reality (VR) bezeichnet wird und welche Teilgebiete von dem Thema der Virtual Reality abgedeckt werden. Insbesondere wird dabei auf den Bereich der Mixed Reality eingegangen, in dem das OfuturO Projekt anzusiedeln ist. Der Begriff Virtual Reality wurde 1989 von Jaron Lanier geprägt. Im Grunde genommen beinhaltet er zwei an sich gegensätzliche Bezeichnungen: Virtual bedeutet übersetzt soviel wie nicht real, nicht wirklich existent. Reality bezeichnet die uns umgebende Wirklichkeit. Zusammengesetzt bedeutet Virtual Reality also erst einmal nichts weiter als nicht real existente Wirklichkeit. Das untenstehende Diagramm nach Milgram (Abbildung 1.1) zeigt eine mögliche Definition der Virtual Reality und ihre Beziehung zur realen Welt auf. Abb.1.1: Beziehung zwischen wirklicher und virtueller Realität nach Milgram aus [MC99] In dieser Definition stehen sich die uns bekannte reale Wirklichkeit am linken Ende, sowie eine vollkommen nicht existente Wirklichkeit am rechten Ende, gegenüber. Die Umgebung der Realen Wirklichkeit (Real Environment) steht dabei für eine Umwelt, in der keinerlei Simulationen stattfinden. Sämtliche Sinneseindrücke werden von physikalisch real existierenden Gegebenheiten 10

11 erzeugt. Mit der Zunahme von virtuellen Komponenten die in die wirkliche Realität integriert werden, bewegt man sich in Richtung des rechten Endes auf dem Milgram Diagramm fort. Der Übergang zwischen den Extremformen an beiden Enden auf dem Milgram Diagramm wird als Mixed Reality bezeichnet. In der Mixed Reality befindet sich der Mensch in einer Umgebung in der beides existiert, sowohl reale, als auch nicht reale Komponenten. Je nach Anteil von Realem und Nichtrealem wird im Milgram Diagramm noch zwischen Augmented Reality (AR) und Augmented Virtuality (AV) unterschieden. In der Augmented Reality stellen simulierte Umgebungskomponenten Anreicherungen der Realen Welt dar. In der Augmented Virtuality wird eine simulierte Welt durch reale Komponenten angereichert. Denkbar sind auch Modelle in denen noch feinere Unterscheidungen gemacht werden. Am äußersten rechten Rand des Diagramms schließlich steht die virtuelle Umgebung (Virtual Environment). Sämtliche Sinneseindrücke sind hier Folgen von durch nicht real existierende Gegebenheiten ausgelösten Simulationen. Für eine solche Umgebung wurde in dem 1984 erschienen Roman Neuromancer von W.Gibson auch die Bezeichnung Cyberspace geprägt. Fälschlicherweise wird Cyberspace oft als Synonym für Virtuelle Realität benutzt. In Wirklichkeit stellt der Cyberspace aber nur den Sonderfall aller möglichen virtuellen Realitäten dar, die sich ausgenommen vom äußerst linken Ende über das gesamte Milgram Diagramm verteilen, nämlich eine vollkommen von der Außenwelt abgeschnittene, interaktionsfähige, frei begehbare, simulierte Wirklichkeit. Der Begriff Wirklichkeit steht dabei für das, was wir als real existent empfinden. Somit genügt es zum Erzeugen einer virtuellen Realität nicht, die reale Umgebung einfach mit virtuellen Elementen anzureichern. Vielmehr müssen diese Elemente auch vollkommen in die reale Umgebung integriert werden. Nur dadurch kann aus realen und virtuellen Elementen eine zur realen Wirklichkeit gleichwertige virtuelle Realität erzeugt werden. Um den Übergang von der wirklichen Welt in eine virtuelle Welt zu erleben ist ein bestimmter Vorgang notwendig, nämlich das subjektive Verlassen der realen und gleichzeitige Eintauchen in die virtuelle Welt. Dieser Vorgang wird auch als Immersion bezeichnet. Immersion kann genauso beim Ansehen eines spannenden Filmes erfolgen, wie auch beim Kontakt mit computergenerierten Welten durch Verwendung der verschiedenen Darstellungskomponenten in der 11

12 VR. Die Immersion ist ein Vorgang, der schleichend erfolgt und verschiedene Stärken aufweisen kann. Der Grad an Immersion der erreicht wird, hängt in hohem Maße von der Fähigkeit des verwendeten Systems ab, eine realistische Darstellung der künstlichen Wirklichkeit zu erzeugen. Auf dem Milgram Diagramm sind keine Informationen über den Grad einer Immersion zu entnehmen. Eine Immersion wird hier schon vorausgesetzt. Ziel eines Virtual Reality Systems ist es immer, ein möglichst hohes Maß an Immersion zu erreichen. Was aber erzeugt das Empfinden von Realität überhaupt? Der Mensch nimmt seine Umwelt über die fünf Sinne fühlen, hören, schmecken, sehen und riechen wahr. Aufgrund der Informationen, die über diese Sinne aufgenommen werden, generiert der Mensch ein inneres Abbild seiner Umgebung. Dieses Abbild stellt die ganz persönliche Realität dar. Um nun für den Menschen eine andere Realität zu erzeugen, sollte es genügen die Sinneseinflüsse entsprechend zu verändern. Diese an sich simple Bedingung bereitet in der Praxis jedoch gravierende Probleme. Grund dafür ist, dass die Informationen (Sinneseindrücke) einer virtuellen Welt in geeigneter Weise an die Sinne weitergeleitet werden müssen. Dazu sind spezielle Schnittstellen unerlässlich. Diese Hardwareschnittstellen werden weiter unten noch genauer betrachtet. Das Problem liegt nun darin diese Schnittstellen so zu konstruieren, dass die Übertragung der gewünschten Informationen als möglichst natürlich empfunden wird. Dazu müssen sie Funktionen bieten, die zum einen Informationen in geeigneter Weise wiedergeben und zum anderen ihren Einsatz möglichst nicht wahrnehmen lassen. Geeignete Voraussetzungen für eine im oben beschriebenen Sinne optimale Informationsübertragung zu schaffen ist jedoch nur eine von zwei Teilaufgaben der Darstellungskomponenten eines Virtual Reality Systems. Die andere besteht darin diese Informationen überhaupt erst zu erzeugen. Dazu muss es gelingen die zu übermittelnden Eindrücke so gut wie möglich nach dem Vorbild aus der realen Welt zu simulieren. Somit muss bei der Darstellung von Grafiken und Änderungen der Perspektive ein Bildaufbau immer in Echtzeit erfolgen, was bedeutet, dass Verzögerungszeiten immer in einem Bereich von weniger als einigen hundertstel Sekunden liegen. Fehlt diese Echtzeitfähigkeit, kommt es zu verzögertem Bildaufbau, der in Nichtsynchronität von Bewegung und Bildwiedergabe 12

13 resultiert. Das Echtzeitverhalten eines Systems für Virtual Reality nimmt mit der Zunahme an zu verarbeitenden Polygonen und somit der Prozessorlast ab. Derzeit können z.b. einige tausend Polygone noch verzögerungsfrei dargestellt werden, bei höheren Anzahlen kommt es dann aber bereits zu Bildauslassungen und anderen Qualitätseinbußen. Einige Darstellungskomponenten von heutigen Systemen für Virtual Reality werden im nächsten Abschnitt vorgestellt. Eine gewisse Immersion kann bereits durch das geeignete Darstellen und Übermitteln simulierter Sinneseindrücke erzielt werden, sie lässt sich jedoch durch eine Interaktionsfähigkeit des VR-Systems noch verstärken: In der Realität können wir unsere Umwelt nicht nur wahrnehmen, wir können auch mit ihr in Kontakt treten, indem wir sie manipulieren. Viele Systeme für Virtual Reality machen erst dadurch Sinn, dass sie Interaktionen zulassen. Die Interaktionsfähigkeit, sowie auch die Darstellungsfähigkeit eines Systems für Virtual Reality, werden immer durch den Einsatz von Computerhardware erreicht. Die theoretischen Grundlagen für den Einsatz von Datenverarbeitungstechnologien zur Erzeugung interaktiver virtueller Realitäten wurden 1965 von dem Wissenschaftler Ivan Sutherland unter dem Titel "The Ultimate Display" [Sut65] veröffentlicht. Bereits 1963 entwickelte Sutherland am Massachusetts Institute of Technique (MIT) ein Zeichenprogramm, das dem Benutzer ermöglichte mit Hilfe eines Fadenkreuzes auf dem Bildschirm Linien zu zeichnen und wieder zu löschen. Das Programm mit dem Namen Sketchpad erlaubte erstmals die direkte Interaktion des Benutzers mit dem Computer. Einen weiteren Meilenstein in der Entwicklungsgeschichte der Virtual Reality stellt das um 1970 ebenfalls von Sutherland entwickelte Head Mounted Display (HMD) 2 dar. Etwa zur selben Zeit arbeitete das Militär daran Flugverhalten und Steuerung von Flugzeugen mit Hilfe von Software zu simulieren. Die Flugsimulatoren bestanden aus einem frei gelagerten Cockpitnachbau, das auf Bewegungen des Steuerknüppels mit Kipp- und Drehbewegungen zur Seite, nach vorne oder nach hinten reagierte. Die Simulatoren sollten vor allem den auszubildenden Piloten ein Training ermöglichen, das billiger und gefahrloser war als das herkömmliche Flugtraining in echten Flugzeugen. Bevor Computergrafiken in den Simulatoren eingesetzt wurden, nutzte man für die 2 Beschrieben in [Sut68] 13

14 visuellen Eindrücke noch Videoaufnahmen. Der Einsatz der Computergrafik erlaubte im Gegensatz zu den Videoaufnahmen jedoch visuelle Reaktionen in Echtzeit, auch wenn die Grafik zu dieser Zeit noch primitiv und weit entfernt davon war, eine realistische Darstellung zu bieten. Flugsimulationen, in die das Militär Millionen von Dollar investierte, brachten die Entwicklungen auf dem Gebiet der VR entscheidend voran. Obwohl militärische Forschungen für Simulationen zeitweise aus Kostengründen abgebrochen wurden, stellen Simulationsprogramme aller Art heute noch immer einen großen Anteil des Einsatzbereiches von Datenverarbeitungsanlagen und speziell der VR dar. In 1.4 wird das Thema der Interaktion im Zusammenhang mit der Mixed Reality noch einmal genauer erläutert. 1.2 Arten von Virtual Reality Systemen Je nachdem welche Hardware eingesetzt wird, welche Ziele verfolgt werden und wie der Einsatz der verschiedenen Komponenten eines Systems für Virtual Reality erfolgt, werden verschiedene Kategorien der VR unterschieden. Im Folgenden werden die beiden wichtigsten Bereiche der VR, die Immersive Reality und die Mixed Reality vorgestellt. Je nach Definition von Virtual Reality finden sich auch andere Unterteilungen Immersive Reality Anwendungen der Immersive Reality (IR) stehen ganz rechts im Milgram Diagramm und bemühen sich den Benutzer vollkommen in simulierte, interaktive Welten eintauchen und damit interagieren zu lassen. Das auch als Immersion (Definition siehe oben) bekannte Eintaucherlebnis (der Effekt, wenn sich der Benutzer psychisch in der virtuellen Welt befindet) kann hier aber erst dann erfolgen, wenn die Sinne des Anwenders von der Außenwelt abgeschirmt 3 Siehe auch [Vie03] in denen die VR in sechs Teilbereiche unterteilt wird. 14

15 werden. Gleichzeitig müssen anstelle der Einflussfaktoren aus der Außenwelt ausreichende und als real empfundene virtuelle Informationen aus dem VR- System geliefert werden. Obwohl die Immersion selbst nicht erfordert, dass alle Sinne von der Simulation angesprochen werden, kann sie dadurch jedoch verstärkt werden. So hat sich gezeigt, dass die visuelle Wahrnehmung verbessert werden kann, indem sie mit einer akustischen Ausgabe gekoppelt wird. Die Systeme der Immersive Reality unterstützen daher neben einer visuellen Darstellung so gut wie immer auch die auditive Wahrnehmung, indem der Anwender Klangeindrücke über Kopfhörer bzw. Soundanlagen zugespielt bekommt, während die Geräusche der Außenwelt gleichzeitig abgeschirmt werden. Je nach Anwendung sind dem Benutzer mehr oder weniger Interaktionen mit der virtuellen Welt möglich. Dazu werden in der Regel spezielle Eingabegeräte verwendet. Diese unterstützen teilweise auch haptische Feedbacks, so dass auf bestimmte Handlungen in der IR im besten Fall visuelle, akustische sowie sensorische Rückmeldungen des Systems erfolgen. Die beiden verbleibenden Sinne für die olfaktorische sowie gustatorische Wahrnehmung werden heutzutage von der IR noch vernachlässigt. Derzeit gibt es noch keine Richtlinien für die Immersionsfähigkeit eines IR- Systems. Eine Methode besteht im so genannten Ducktest: Dabei wird dem Benutzer ein virtuelles Objekt entgegen geworfen- erfolgt eine Ausweichreaktion, so kann davon ausgegangen werden, dass der Benutzer die virtuelle Welt als Alternative zur Realität anerkennt. Zur Bilddarstellung wird in der Immersive Reality vorzugsweise das HMD eingesetzt, da es den Blick des Anwenders auf die reale Umgebung abschirmt und somit die nötigen Voraussetzungen für ein Eintauchen in eine vollkommen vom Computer generierte Welt erfüllt. Alternativ zum HMD werden in der Immersive Reality auch Projektionsräume eingesetzt, wie die CAVE oder die icone Mixed Reality Während bei der Immersive Reality der Versuch unternommen wird den Menschen in eine nicht reale, vom Computer geschaffene Umgebung eintauchen zu lassen, hat die Mixed Reality (MR) sich zum Ziel gesetzt, den Menschen in 15

16 seiner gewohnten Umgebung zu belassen und stattdessen die computergenerierten Objekte darin zu integrieren. Um dies zu erreichen dürfen die Sinne des Anwenders in der Mixed Reality nicht wie bei der Immersive Reality von der Umgebung abgeschirmt werden. Die Visualisierung findet daher auch nicht wie beim gewöhnlichen Head Mounted Display unter Ausschluss der Umgebung statt. Stattdessen werden spezielle Projektionsflächen in Form von Großbildwänden, einer Workbench, oder einer ganz gewöhnlichen Wand die als Bildwand dient, verwendet. Die MR hat gegenüber der IR den Vorteil, dass keine komplett neue Umgebung berechnet und dargestellt werden muss. Die Computerdarstellung kann sich auf die nur wirklich relevanten Objekte beschränken. Die hierfür nötige Rechenleistung ist somit um ein Vielfaches geringer als bei der Virtual Reality. Dies kommt vor allem dann zum Tragen wenn die getrackten 4 Bewegungen des Anwenders eine Neukalkulation der visualisierten Daten und ein anschließendes Neudarstellen in Echtzeit erfordern. 1.3 Hardwarekomponenten eines Mixed Reality Systems Je nach Anforderungen an ein MR-System und den mit ihrem Einsatz verbundenen Zielen, können den Computerdarstellungen bzw. dem Interaktionsverhalten eines MR-Systems eine nebensächliche oder eine vorherrschende Rolle zukommen. Für die verschiedenen MR- Systeme kommen daher unterschiedlichste Hardwarekomponenten zum Einsatz. Die gebräuchlichsten Hardwarekomponenten, die in der VR-Forschung auf dem Gebiet der Mixed Reality eingesetzt werden, werden hier kurz vorgestellt: 4 Das Tracking wird weiter unten unter beschrieben. 16

17 1.3.1 Stereoprojektoren und Projektionsflächen Sinn der Stereoprojektion ist das Erreichen einer räumlichen Darstellung des anzuzeigenden Bildes. Dazu macht man sich die natürliche Fähigkeit des Gehirns zunutze, zwei voneinander versetzte Bilder automatisch zu einem räumlichen Bild verarbeiten zu können. Dies geschieht nämlich immer dann, wenn wir eine bestimmte Szene mit den Augen betrachten: Aufgrund des Abstandes der Augen zueinander wird auf die Netzhaut der Augen nicht jedes Mal das gleiche, sondern zwei leicht voneinander versetzte Bilder projeziert. Nähere Objekte scheinen dabei stärker, weiter entfernte Objekte weniger stark versetzt. Hauptsächlich anhand dieses Versatzes bekommt der Mensch Entfernungsdaten übermittelt. Ein räumliches Sehen wird möglich, indem das Gehirn die beiden Einzelbilder zu einem räumlichen Bild zusammensetzt. Um den gleichen Effekt bei einer Projektion zu erreichen, erfolgt diese über eine Doppelprojektion, wobei beide Bilder gleichzeitig, aber der Perspektive entsprechend leicht versetzt voneinander projeziert werden. Die Räumlichkeit wird erreicht, indem für jedes Auge nur jeweils eines der beiden Bilder angezeigt wird. Dazu müssen jedoch zuerst beide Projektionen voneinander getrennt werden. Die Trennung wird in der Regel durch spezielle Brillen (Shutterbrillen) erreicht, die dafür Sorge tragen, dass immer nur das für das jeweilige Auge bestimmte Bild durchgelassen wird. Da es verschiedene Projektionsverfahren gibt, arbeiten auch die zum Einsatz kommenden Brillen unterschiedlich: Bei der Anaglyphenmethode wird für jedes der Bilder zur Darstellung eine andere Farbe gewählt (rot, grün). Die Brillen die in Zusammenarbeit mit dieser Projektionsart eingesetzt werden erreichen die Trennung der beiden Bilder voneinander indem auch die Brillengläser jeweils eine der beiden Farben aufweisen und auf diese Weise nur das nicht der Glasfarbe entsprechende Bild zum Auge durchlassen. Das der Glasfarbe entsprechende Bild wird vom Brillenglas überdeckt. Bei der Polarisationsprojektion sind auch mehrfarbige Bilder möglich. Hierbei werden beide Bilder in Originaleinfärbung, dafür aber mit unterschiedlicher Lichtpolarität projeziert. Die hier eingesetzten Brillen erreichen die Bildtrennung, indem sie gleichfalls polarisierte Gläser einsetzen. Jedes Brillenglas lässt dabei nur die seiner Polarisation entsprechende Projektion zum Auge durch (siehe Abschnitt 1.3.3). 17

18 1.3.2 Tracker Einige Eingabegeräte in der VR weisen Tracker auf, die ständig Position und Orientierung des Gerätes aufzeichnet. Ein Tracker besteht dabei prinzipiell aus einem Transmitter und einem Receiver, wobei eine Steuereinheit abhängig von Winkel und Lageveränderung des Senders und Empfängers zueinander, die neuen Koordinaten für den Computer berechnet. Sinn des Trackings ist die Möglichkeit eines VR-Systems, angemessen auf Bewegungen des Anwenders reagieren zu können. So wird auch durch das Tracking wieder ein zusätzliches Maß an Realitätsempfinden erzeugt, indem das VR-System beispielsweise dafür sorgt, dass Eigenbewegungen des Benutzers einen Perspektivenwechsel gemäß der Bewegungsparallaxe 5 nach sich ziehen. Es existieren verschiedene Trackingverfahren, darunter das mechanische Tracking, das optische Tracking und das Ultraschalltracking. Eine Beschreibung der Arbeitsweise dieser Trackingarten findet sich in [KR98] Shutterbrillen und Polarisationsbrillen Shutterbrillen setzen das Verfahren der aktiven, Polarisationsbrillen das Verfahren der passiven Stereoprojektion ein. Bei den Gläsern der Shutterbrille handelt es sich um 2 LCD Gläser, die abwechselnd verdunkelt werden können. Das wechselseitige Verdunkeln der Bilder ist dabei mit dem Stereobildprojektor über Kabel oder Infrarotemitter synchronisiert, und erfolgt in einer so hohen Geschwindigkeit (mindestens 50 Hz), dass es für das menschliche Auge nicht mehr wahrnehmbar ist. Als Resultat wird jeweils immer nur eines der beiden Bilder die vom Projektor erzeugt werden von einem Brillenglas zum Auge durchgelassen, während das andere blockiert wird. Da das Verdunkeln der Brillengläser mit der Projektion der Bilder koordiniert werden muss, sind Shutterbrillen über ein Kabel mit dem Projektor verbunden. Polarisationsbrillen wurden bereits 1928 von Edwin Land entwickelt und arbeiten dagegen ohne eine solche Synchronisation. Stattdessen 5 Die Bewegungsparallaxe ist für das Phänomen verantwortlich, dass sich bei einer Bewegung nahe stehende Objekte für den Beobachter stärker verschieben als weiter entfernte. Dieses Phänomen muss für die realistische Darstellung innerhalb einer virtuellen Umgebung nachgeahmt werden. 18

19 sind die Gläser der Brille unterschiedlich polarisiert. Die Bildtrennung kommt dadurch zustande, dass die Stereoprojektion ebenfalls mit verschiedener Polarität für die einzelnen Bilder stattfindet und die Brillengläser somit das Bild mit der jeweils anderen Polarisierung blockieren Eingabegeräte eines Mixed Reality Systems Für die Interaktion innerhalb einer Mixed Reality Umgebung kommen verschiedene Eingabegeräte, wie beispielsweise die Cubic Mouse, der Space Ball oder die Spacemaus zum Einsatz. Bei der Cubic Mouse handelt es sich um ein von der GMD (Gesellschaft für Mathematik und Datenverarbeitung) entwickeltes Eingabegerät. Sie besteht aus einem würfelförmigen Gehäuse, bei dem durch jede der drei Achsen ein Stab gezogen ist (Abbildung 1.2). Die Enden eines Stabes ragen dabei zu beiden Seiten aus dem Gehäuse. Durch Verschieben der Stäbe lassen sich bei der Cubic Mouse Translationsbewegungen auf, und durch das Drehen an den Stäben Rotationsbewegungen um alle drei Achsen erzeugen. Bei der Spacemaus lässt sich eine Kappe, beim Space Ball ein kleiner Gummiball in alle erdenklichen Richtungen drücken, ziehen oder drehen (Abbildungen 1.3 und 1.4). Dabei werden die Bewegungsdaten nicht nur ihrer Richtung entsprechend übertragen, sondern variieren auch je nach Druckstärke in die entsprechende Richtung. Dadurch lässt sich mit der Spacemaus bzw. dem Space Ball neben der eigentlichen Bewegung auch die Geschwindigkeit der Bewegungsabläufe kontrollieren. Unter anderem ist das Einbinden von Spacemäusen für die Eingabeverarbeitung innerhalb der OfuturO-Umgebung Teil dieser Diplomarbeit. Die Spacemaus wird daher in Kapitel 4 noch genauer betrachtet. 19

20 Abb.1.2: Die Cubic Mouse der GMD (links), Abb. 1.3: Der Space Ball 4000 (mitte), Abb.1.4:Magellan Spacemaus Plus (rechts) der Firma 3DConnexions 1.4 Interaktion in der Mixed Reality Im Folgenden sollen einige Aspekte der Interaktion in einem MR-System aufgezeigt werden, sowohl einige Möglichkeiten als auch die damit verbundenen Problemstellungen. Die Problematik bei der Interaktion mit virtuellen Gegenständen ähnelt der ihrer Darstellung. Bei der Darstellung in der MR müssen spezielle (Hardware-) Schnittstellen vor die natürlichen Eingabeschnittstellen (Augen, Ohren, Nase, Haut) geschaltet werden um die Darstellung überhaupt zu ermöglichen. Diese dienen quasi als Bindeglieder zwischen dem Menschen und der virtuellen Realität. Da virtuelle Objekte keine physikalische Gegenständlichkeit besitzen, bedarf es auch zur Interaktion mit ihnen spezieller Werkzeuge. Diese stellen Bindeglieder zwischen der virtuellen Realität und den natürlichen Ausgabeschnittstellen (Finger, Hand, Sprache, Gesten, Mimik etc.) dar. Auch bei den Eingabeschnittstellen eines MR-Systems liegt die Problematik darin, dass eine Immersion erschwert wird, wenn sich der Anwender zu sehr der Tatsache bewusst ist, dass er nicht unmittelbar, sondern über Schnittstellen mit der virtuellen Umgebung kommuniziert. Wie bei den Ausgabekomponenten der MR besteht deshalb auch bei den Eingabemedien eines der primärem Ziele darin, die Handhabung so intuitiv wie möglich zu gestalten und das Medium selbst in den Hintergrund treten zu lassen. Die Eingabeschnittstellen bestehen immer aus Hardware. In den meisten Fällen wird diese Hardware über direkten Kontakt mit dem Benutzer durch diesen manipuliert. Beispiele hierfür sind die Maus, die Spacemaus, die Cubic Mouse usw. Solche Eingabegeräte weisen spezielle zur Manipulation vorgesehene Vorrichtungen auf, sei es eine Kappe, ein Ball oder Stäbe die sich in 20

21 verschiedene Richtungen bewegen lassen. In jedem Fall aber führen Manipulationen am Eingabegerät schließlich zu einer Manipulation am Zielobjekt. Bei der Entwicklung solcher Eingabegeräte liegt die Schwierigkeit beim auch als Mapping genannten Verfahren liegt darin, festzulegen welche Art von Manipulation auf dem Eingabegerät zu welcher Art von Manipulation auf dem (virtuellen) Zielobjekt führt. Die oben genannten Eingabegeräte erlauben alle die gleichen Arten von Manipulationen auf Objekten, verlangen dafür aber teilweise sehr unterschiedliche Arten von Manipulationen auf den Geräten selbst. Die verschiedenen Bedienungsmöglichkeiten der Geräte, sowie deren Auswirkungen müssen vom Benutzer erst erlernt und verstanden werden. Daraus ergibt sich das Problem, dass ein Interaktionsprozess mittels solcher Eingabegeräte einer Immersion immer etwas hinderlich ist. Eine andere Möglichkeit besteht daher darin, auf direkten Kontakt mit der Eingabeschnittstelle zu verzichten. Im Bereich der Gesten- und Spracherkennung wird versucht bestimmte Reaktionen des MR-Systems auf Gestik, Mimik bzw. Sprache des Benutzers hervorzurufen, indem Kameras oder Mikrofone Bewegungen bzw. Sprache des Anwenders erfassen und auf bestimmte Gesten oder Laute hin analysieren. Anstatt ein virtuelles Objekt mittels eines Eingabegerätes das mit der Hand gesteuert wird beispielsweise zu greifen und durch den Raum zu führen, kann hier die reine Geste des Greifens und Führens eines Gegenstandes ausreichend sein um die gewünschte Aktion zu bewirken. Nachteil ist hier wiederum fehlendes haptisches Feedback, das ohne direkten Kontakt mit entsprechender Hardware nicht realisiert werden kann. In vielen Fällen müssen allerdings Aktionen durchgeführt werden, denen keine eindeutige Geste zugeordnet werden kann, wie beispielsweise ein Moduswechsel. Hier müssen dann wieder Gesten oder Sprache auf bestimmte Funktionen gemappt werden, wodurch sich bei der Gestenerkennung wieder die gleiche Problematik ergibt wie bei der Verwendung von Eingabegeräten wie Space Ball oder Cubic Mouse. Allerdings hat die Interaktion mittels Gestik einen entscheidenden Vorteil gegenüber einer Interaktion mittels herkömmlicher Eingabegeräte: Da es eine nahezu unbegrenzte Anzahl an möglichen Gesten gibt, die allein mit der Hand ausgeführt werden können, können Gesten so gewählt werden, dass sie den 21

22 Charakter der durchzuführenden Aktion bereits widerspiegeln. Dies erlaubt eine intuitivere Eingabemöglichkeit, was wiederum den gesamten Interaktionsprozess erleichtert. Eine weitere Möglichkeit besteht in der Kombination aus Gestenerkennung und dem Verwenden von herkömmlichen Eingabegärten wie einer Maus oder einem Touchpad. Hier stellen die Eingabegeräte eine natürliche Begrenzung von möglichen Gesten dar, indem sie beispielsweise die Gestenerkennung zur Manipulation zweidimensionaler Objekte auch nur auf eine Gestenausführung in der Ebene beschränken (Ein Beispiel dazu ist die Realisierung der zu dieser Diplomarbeit gehörenden Aufgabenstellung des Versendens von Dokumenten mittels einer Geste auf einem Touchpad innerhalb eines Netzwerkes. Näheres dazu in 4.2 und Kapitel 6). 1.5 Anwendungsgebiete von Mixed Reality Systemen Die Anwendungsmöglichkeiten von Systemen der Mixed Reality sind schon heute äußerst zahlreich. Es ist zu erwarten, dass virtuelle Welten in der Zukunft eine immer größere Rolle spielen werden. Das stete Ansteigen der Leistungsfähigkeit von Mikroprozessoren und Grafikbausteinen wie Grafikkarten und Displaysysteme, wird die Kosten für ein MR-System in Zukunft auch für kleinere Firmen und Privatanwender erschwinglich werden lassen. In den letzten Jahren wurde die MR immer sehr stark von großen Unternehmenszweigen wie zum Beispiel der Automobilindustrie vorangetrieben. Hier können Fahrzeuge bevor sie gebaut werden erst modelliert und anschließend in einer Windkanalsimulation auf ihre aerodynamischen Eigenschaften überprüft werden. Die Modelle werden dann solange getestet und verbessert, bis ein optimales Ergebnis vorliegt. Ein weiteres Feld in dem die MR bereits erfolgreich Anwendung findet ist die Medizin: Das ARSyS Tricorder Projekt des Instituts für Medienkommunikation (IMK) der Fraunhofer Gesellschaft in Sankt Augustin 6 beispielsweise, stellt die Realisierung eines Augmented Reality Systems zum Einsatz in der Mund-Kiefer- Gesichtschirurgie dar. Hier sollen operative Eingriffe unterstützt werden. Solche 6 Beschrieben in [GTB+02] 22

23 Eingriffe bestehen in der Mund-Kiefer-Gesichtschirurgie oftmals aus zwei Schritten: dem Entfernen eines Tumors in Schädelbereich, sowie der Knochenentnahme im Hüftbereich zur anschließenden Rekonstruktion des vom Tumor zerstörten Schädelknochens. Das Augmented Reality System des ARSyS Tricorder Projektes unterstützt den Chirurgen in beiden Schritten. Beim Entfernen des Tumors kann dieser über eine durchsichtige Projektionsfläche die sich über dem Patienten befindet visualisiert werden. Der Chirurg trägt dabei eine Stereobrille, die die räumliche Darstellung des Tumors ermöglicht. Position und Skalierung des virtuellen Tumorgewebes stimmen dabei mit der des echten Tumors überein. Durch das Hervorheben des Tumors wird der Eingriff erleichtert und die Risiken der Operation minimiert. Beim zweiten Schritt, der Entnahme des Knochens aus der Hüftregion, kann das zu entnehmende Knochenteil schon vor dem Eingriff in Größe und Ausrichtung in die Entnahmestelle projeziert werden, so dass ein überflüssiges Maß an Entnahme von Knochenmaterial durch den Chirurgen verhindert werden kann. Mehr Informationen rund um die Thematik der Virtual Reality sind auch unter [Phi03] und [Boh99] erhältlich. 23

24 Kapitel 2 Office Of The Future Abb. 2.1: Vision eines Office Of The Future aus [RWC+98] Das vorliegende Kapitel, sowie das darauf folgende, wurden im Wesentlichen aus [Gal03] übernommen. Um einen Bruch zum übrigen Text dieser Ausarbeitung zu vermeiden, wurde der Originaltext an einigen Stellen geringfügig geändert. Außerdem wurden Kürzungen vorgenommen, um Wiederholungen zu vermeiden. 2.1 Motivation Die Motivation für dieses Kapitel liegt darin, Wege zur Schaffung einer Office Of The Future- Landschaft zu beleuchten. Da sich ein Office Of The Future durch die Erweiterung durch virtuelle Hilfsmittel auszeichnet, ist zunächst eine 24

25 Klärung der Bedeutung des Begriffs virtuelles Hilfsmittel nötig, um danach aufzuzeigen, auf welche Weise solche in eine Büroumgebung integriert werden können. Außerdem werden Techniken zur Interaktion mit virtuell erweiterten Büroumgebungen besprochen und Projekte vorgestellt, welche die Zielsetzung der Integration von virtuellen Hilfsmitteln haben. 2.2 Virtuelle Hilfsmittel Definition Mit virtuellen Hilfsmitteln sind computergenerierte Modelle gemeint, die Arbeitsumgebungen zugeordnet sind und verschiedenste digitale Informationen repräsentieren können. Die Integration als virtuelle Ergänzung einer Arbeitsumgebung wird mittels geeigneter Ausgabe- und Interaktionstechniken durch die Überlagerung der physikalischen Umgebung erreicht. Der Benutzer erhält auf diesem Wege Informationen, die für ihn anderenfalls nicht über die reale Umgebung erreichbar wären. Daten zur Beschreibung der virtuellen Hilfsmittel werden in Datenbankarchiven verwaltet, die mit den Steuer- und Grafiksystemen der virtuellen Umgebung gekoppelt sind. Eine Integration solcher Hilfsmittel ist an vielen Orten, an denen Menschen ihre Arbeit verrichten sinnvoll, um z. B. Informationen darzustellen, die das Arbeiten vereinfachen und effektiver gestalten können Arten Virtuelle Elemente, die als ergänzende Komponenten zur Hilfestellung in eine Büroumgebung integriert werden, können sowohl in zwei- als auch in dreidimensionaler Darstellungsform in die physikalische Umgebung eingebettet werden. Bei der Erscheinungsform des virtuellen Hilfsmittels besteht lediglich eine jeweilige Abhängigkeit von der zu erfüllenden Aufgabe in der Umgebung, der es zugeordnet ist und den Anforderungen, die an die Interaktion mit dem 25

26 Hilfsmittel gestellt sind. Die Verwendung einer zweidimensionalen Darstellungsform bietet sich an, wenn die digitalen Informationen Daten repräsentieren, die in der realen menschlichen Erfahrungswelt ebenso zweidimensional wiedergegeben würden, also auf Oberflächen darstellbar sind. Solche Daten sind z. B. Textdokumente oder Bilder, bei denen eine Darstellung in zwei Raumdimensionen oft vollkommen ausreichend und etwas anderes auch nicht sinnvoll ist. Zur dreidimensionalen Repräsentation, die für den Menschen der realen visuellen Wahrnehmungserfahrung der physikalischen Umwelt entspricht, eignet sich im Prinzip jede Information. Im Fall der digitalen Erweiterung einer Büroumgebung beschränkt sich dies auf dreidimensionale virtuelle Modelle von Objekten oder Personen, die einem Arbeitsprozess zugeordnet werden können. So kann der physikalischen Umgebung z. B. bei einem System für Telekollaboration eine entfernte Person oder bei einem Konstruktionssystem ein in der Entwicklung befindliches Objekt als dreidimensionales Modell hinzugefügt werden Integrationsmethoden Der Aufwand zur Integration virtueller Hilfsmittel in ein Büroszenario ist je nach Art der digitalen Informationen unterschiedlich. So reicht bei einer Information, die lediglich zweidimensional dargestellt werden soll, eine brauchbare Oberfläche im Raum für Projektionen oder ein Bildschirm aus. Bei dreidimensionalen Informationen ist die Verwendung einer geeigneten AR- Display-Technologie notwendig, um die virtuellen Objekte in die physikalische Umgebung einzubinden. Die zusätzlich eingeblendeten Informationen sind dabei den Arbeitsprozessen der Benutzer angepasst und dienen zur Unterstützung der jeweiligen Tätigkeiten. Zur Generierung und Wahrnehmung einer in drei Raumdimensionen virtuell erweiterten Arbeitsumgebung gibt es verschiedene Ansätze, die ihre Vor- und Nachteile haben. Ein Weg ist die Implementierung einer virtuellen Umgebung, die sich auf das visuelle Feld des Benutzers beschränkt und durch ein See-Through-HMD 26

27 dargestellt wird. Ein solches am Kopf befestigtes Anzeigegerät, bei dem durchsichtige Bildschirme direkt vor den Augen des Trägers angebracht sind, hat durch die überlagernde Einblendung digitaler Informationen in die physikalische Umgebung die Eignung als klassisches AR-Display. Ein wichtiger Vorteil dieser Alternative ist, dass die virtuellen Objekte für jeden Benutzer aus einer korrekten Perspektive dargestellt werden, was bei anderen Lösungen zum Problem werden kann. Allerdings besteht der Nachteil, dass der Tragekomfort von HMDs eher schlecht ist, wodurch die Interaktionsmöglichkeiten mit Personen und Objekten der Umgebung begrenzt werden. Eine Alternative ist die Integration der virtuellen Hilfsmittel durch ein Projektionssystem, bei dem zur Wahrnehmung von Stereobildern das Tragen von aktiven Shutterbrillen oder passiven Polarisationsbrillen nötig ist. Im Unterschied zu der HMD Lösung werden die virtuellen Objekte hier direkt in die Umgebung des Benutzers integriert und nicht nur in dessen visuellem Feld angezeigt. Die ideale Eignung von Projektionssystemen zur Erzeugung lebensgroßer Bilder kann als Vorteil betrachtet werden. Besteht die Motivation darin, virtuelle Objekte auf die Fläche einer kompletten Büroumgebung zu verteilen, die sich gewöhnlich über einen Raum erstreckt, bietet sich dafür ein Spatially Immersive Display (SID), wie z. B. die CAVE, an. Ein SID hat normalerweise Raumgröße und eignet sich dazu, sämtliche im Raum befindlichen Oberflächen durch Front- oder Rückprojektionen als Anzeigeflächen zu nutzen. Ein Beispiel für den Einsatz eines SID ist das in Abschnitt vorgestellte Telekollaborations-Projekt The Office of the Future. In [RL01] werden Projektionssysteme, die zur virtuellen Erweiterung der physikalischen Umgebung genutzt werden, als Spatially Augmented Reality bezeichnet. Zur Umsetzung von Collaborative Virtual Environments (CVE), also virtuellen Umgebungen die durch mehrere Personen genutzt werden können, eignen sich sowohl See-Through-HMDs als auch Projektionssysteme. Das ist im Fall von Büroumgebungen vorteilhaft, da dort in verschiedenen Situationen der Fall auftreten kann, dass mehrere Personen an einem Arbeitsprozess teilnehmen möchten. Allerdings besteht bei Projektionssystemen im Gegensatz zur Verwendung von HMDs der Nachteil, dass nur für einen Beobachterpunkt im Raum eine korrekte perspektivische Sicht geliefert werden kann. Dieser Nachteil 27

28 kann abgeschwächt werden, indem das System eine Umschaltung der Perspektive implementiert, die Benutzer verwenden können um selbst die richtige Ansicht der virtuellen Szene zu erhalten. Doch auch so kann das System zur gleichen Zeit nur einem Benutzer die richtige Perspektive liefern. Sollen nur bestimmte Raumkomponenten der Umgebung virtuell erweitert werden, kann dies durch direkten Einbau von Displaytechnologien in die Raumkomponenten gelöst werden. Beispiele für die virtuelle Erweiterung von Raumkomponenten sind die in Abschnitt vorgestellte Roomware oder der OfuturO Tisch (Kapitel 3). Aufgrund der Verwendung von Rückprojektionen zählt OfuturO zu den Projektionssystemen. 2.3 Projekte Im folgenden Teil werden Ansätze präsentiert, die mit jeweils verschiedenen Zielsetzungen Büroumgebungen durch die Integration von virtuellen Komponenten funktionell aufwerten. Zu Projekten dieser Art ist neben den hier vorgestellten auch das in Kapitel 3 behandelte Mixed Reality Conferencing System zu zählen Roomware for Cooperative Buildings Roomware for Cooperative Buildings ist ein Projekt am Integrated Publication and Information Systems Institute der Fraunhofer Gesellschaft. In [SGH98] werden die Konzepte Cooperative Building und Roomware vorgestellt, die die Integration von realen, physikalischen architektonischen Räumen und virtuellen, digitalen Informationsräumen verfolgen. Der Antrieb des Projekts liegt in der Annahme, dass die Anforderungen an Arbeit und Kooperation in Firmen zukünftig steigen werden, da zwar Arbeitsinhalte und -prozesse bereits signifikant von der Informations- und 28

29 Kommunikationstechnologie verändert wurden, aber das Design von Arbeitsumgebungen sich nicht dementsprechend weiterentwickelt hat. In the future, work and cooperation in organizations will be characterized by a degree of dynamics, flexibility and mobility that will go far beyond many of today s developments and examples. [SGH98] Das Ziel ist also die Entwicklung gleichwertig dynamischer, flexibler und mobiler Arbeitsumgebungen. Das Konzept Cooperative Building kombiniert reale mit virtuellen Welten und bietet so kooperative Arbeitsplätze, die die Erweiterung von menschlicher Kommunikation und Zusammenarbeit unterstützen. Personen sollen in einem kooperativen Gebäude miteinander kommunizieren, Informationen teilen und unabhängig von der physikalischen Position zusammen arbeiten können. Das Gebäude selbst soll dazu in der Lage sein zu (re)agieren, sobald es bestimmte Bedingungen identifiziert hat. Es kann Probleme analysieren, Verbindungen zwischen Personen herstellen und Hilfe anbieten sowie kontextabhängige Informationen, die auf dem Wissen von vergangenen und derzeitigen Zuständen und Aktionen basieren, zur Verfügung stellen. Abb. 2.2: Roomware Komponente CommChair aus [SGH98] Mit Roomware sind durch Computer erweiterte Gegenstände in Räumen gemeint. Stühle, Tische und die Wand sollen interaktive Geräte sein, die Unterstützung für Kooperation und Interaktion durch eingebettete Informationstechnologie bieten und die Erstellung, Bearbeitung und Präsentation 29

30 von Informationen ermöglichen. Durch Team- oder Projekträume, Präsentationseinrichtungen oder Informationshallen, in denen Roomware Komponenten integriert sind, sollen flexible und dynamische Räume geschaffen werden, die auch als cooperative landscapes bezeichnet werden. Ein Beispiel für eine Roomware Komponente ist der in Abbildung 2.2 zu sehende CommChair. In der gezeigten Variante dieses Armstuhls ist ein Computer integriert (in einer zweiten Variante wird über eine Docking-Station ein Laptop angeschlossen), durch den der Benutzer aufgrund der Vernetzung von Roomware Komponenten Zugang zu einem geteilten virtuellen Arbeitsraum erhält, in dem er vom CommChair aus Daten manipulieren kann The Office of the Future Die in Abbildung 2.1 gezeigte Vision eines Office Of The Future ist eine konzeptionelle Skizze, die im Rahmen eines Projekts an der University of North Carolina entstanden ist, das den Namen The Office of the Future trägt und in [RWC+98] beschrieben wurde. Die Motivation besteht in der Entwicklung eines 3D-Systems zur Telekollaboration, durch das mit Hilfe von Darstellungs- und Interaktionsmöglichkeiten, die der menschlichen Erfahrungswelt entsprechen, ein verbesserter Immersionseindruck im Vergleich zu bereits verfügbaren 2D- Systemen erreicht werden soll. Die Problematik bei der zweidimensionalen Telekollaboration liegt darin, dass den über ein solches System miteinander arbeitenden Personen oft nicht die Interaktionsmöglichkeiten zur Verfügung stehen, die sie hätten, wenn sie sich im selben Raum befänden. Außerdem ist es problematisch, dass Benutzer eines solchen Systems dazu gezwungen sind, zwei so genannte separate Egocenter 7 beizubehalten; eines in der lokalen Umgebung und ein anderes in der entfernten Büroumgebung der Mitarbeiter. Zur Umsetzung der 3D-Telekollaboration wird ein auf CAVE basierendes Spatially Immersive Display (SID) in ein Büro eingebaut. Um eine nahezu natürliche Arbeitsform (als ob man sich im gleichen Raum befände) zu 7 In [RWC+98] bezeichnet das Egocenter die Vorstellung davon, wo man sich und mit wem man sich an diesem Ort befindet. 30

31 gewährleisten, ist die Darstellung von und die Interaktion mit entfernten Mitarbeitern dreidimensional. Das lokale und das entfernte Büro werden zusammengefügt, indem mittels Echtzeit-Bilderkennungstechniken Informationen über die sichtbaren Oberflächen der Umgebungen (Wände, Möbel, Personen) extrahiert und diese als 3D-Szene am entfernten Ort rekonstruiert werden. Als SID wird dafür nahezu alles, das sich in der lokalen Büroumgebung befindet, genutzt und die dreidimensionale Interaktion wird über das Tracking der Hände der handelnden Personen umgesetzt. 31

32 Kapitel 3 Die OfuturO Plattform Abb. 3.1: OfuturO Tisch 3.1 Vorstellung Bei der Betrachtung von Möglichkeiten zur Einbettung von virtuellen Hilfsmitteln in Büroumgebungen wird in Abschnitt unter anderem der Ansatz zur virtuellen Erweiterung von Raumkomponenten beschrieben. Diese bietet sich an, wenn Arbeitsprozesse, die sich nicht auf die Verwendung des 32

33 gesamten Büroraums, sondern nur auf bestimmte Komponenten der Umgebung beziehen, durch den Zugang zu digitalen Informationen unterstützt werden sollen. Zu diesem Zweck müssen Systeme geschaffen werden, die geeignete Technologien zur virtuellen Erweiterung direkt in Raumkomponenten integrieren. Ein solches System ist das in der Abteilung Virtual Environments des Fraunhofer Instituts für Medienkommunikation (IMK.VE) in der Entwicklung befindliche OfuturO 8, das in Zukunft mittels integrierter MR/AR- Displaytechnologie die Plattform für verschiedene tischbasierte Anwendungen der Mixed Reality in Büroszenarien bieten soll. 3.2 Aufbau Abb. 3.2: Konzeptionelle Skizze von OfuturO 8 Der Name OfuturO bezieht sich auf das Office Of The Future-Konzept und leitet sich von dem portugiesischen O Futuro ab, was übersetzt Die Zukunft bedeutet. 33

34 Die OfuturO Plattform verfügt über geeignete Aus- und Eingabeschnittstellen, die es bis zu drei Personen erlauben sowohl zwei- als auch dreidimensionale digitale Daten zu betrachten und zu bearbeiten. Des Weiteren können physikalisch entfernte Personen per Videoconferencing mit der Arbeitsgruppe am OfuturO Tisch in Kontakt treten und so trotz der Entfernung an einer Sitzung teilnehmen. In Abbildung 3.2 wird der Großteil der Geräte dargestellt, die bei OfuturO zum Einsatz kommen, um die gewünschte Arbeitsumgebung zu erzeugen und mit ihr zu interagieren. Weitere Komponenten, welche dort zum Teil aufgrund der gewählten Perspektive nicht dargestellt werden konnten, sind ein Spiegel und Projektoren unterhalb des Tisches sowie eine RGB-Kamera Tisch Abbildung 3.1 zeigt den OfuturO Tisch kurz nach dem Bau, in einer Phase der Entwicklung, in der noch keinerlei Display- oder Eingabevorrichtungen integriert waren. Die Abmessungen des Tisches sind inklusive der seitlich herausragenden Arbeitsflächen ca. 2,50 m x 3,50 m. Der Tisch ist mit vier Plätzen ausgestattet, wovon einer als passiver Arbeitsplatz ausgelegt ist. Die drei verbleibenden Plätze geben ebenso vielen Personen den vollen Umfang an Interaktionsmöglichkeiten, um an einer OfuturO Sitzung teilzunehmen. Die Teilnehmer können dort ihre tragbaren Computer anschließen und des Weiteren über permanent am Arbeitsplatz installierte Eingabegeräte mit dem OfuturO- System interagieren. Ein solcher Arbeitsplatz ist in Abbildung 3.3 dargestellt. 9 Die auf Abbildung 3.2 nicht dargestellten Komponenten sind in Abbildung 3.4 bzw. Abbildung 3.5 zu sehen. 34

35 Abb. 3.3: Arbeitsplatz mit Laptop und weiteren Eingabegeräten Display Die bei OfuturO verwendeten Vorrichtungen zur Anzeige sind von den Anforderungen an das System bestimmt. Zum einen soll die Möglichkeit bestehen zwei- und dreidimensionale Daten darzustellen und mit ihnen zu arbeiten und zum anderen sollen auch entfernte Personen mittels Videoconferencing an einer Arbeitssitzung teilnehmen können. Sämtliche in Abbildung 3.4 aufgezeichneten Anzeigegeräte sowie weitere zur Anzeige benötigte Vorrichtungen sind mit dem Grafikcomputer verbunden, der die zentrale Systemkomponente für die Verarbeitung von Aus- und Eingaben ist. Abb. 3.4: Display Vorrichtungen 35

36 Videoconferencing Display Der zum Videoconferencing genutzte Plasmabildschirm hat eine Bildschirmdiagonale von ca. 1,25 m. Er wird zur Darstellung von Videobildern entfernter, auf diese Weise an einer Arbeitssitzung teilnehmender Personen eingesetzt, wobei durch eine in das OfuturO System integrierte Kamera 10 das Videobild der Arbeitsgruppe am OfuturO Tisch aufgenommen wird. Die auf beiden Seiten durch die Videoaufnahme anfallenden Datenströme werden über das Internet ausgetauscht, wodurch nahezu eine Live-Präsenz möglich ist. MR Display Die über OfuturO dargestellten Daten können entweder zwei- (Dokumente, Bilder) oder dreidimensional (3D-Objekte) sein. Die Ausgabe der Daten erfolgt mit bis zu vier Projektoren, die unterhalb des Tisches platziert sind. Dabei werden zweidimensionale Daten durch Monoprojektionen und dreidimensionale Daten durch Stereoprojektionen visualisiert. Um eine höhere Auflösung zu erreichen wird das Projektionsbild aus Halbbildern zusammengesetzt, wobei jeweils zwei Projektoren die Darstellung eines Halbbildes übernehmen 11. Die höhere Auflösung ist speziell bei Dokumenten notwendig, da diese hochaufgelöst dargestellt werden müssen um noch lesbar zu sein. Die Projektoren sind an einem beweglichen Metallgestell befestigt und daher frei justierbar. Sie zeigen auf einen 1,45 m x 1,30 m großen, schräg ausgerichteten Spiegel, über den das ausgesendete Licht von unten auf die Projektionsfläche umgeleitet wird. Dies geschieht um den Projektionsweg zu verlängern, der so vom Projektor bis zur Projektionsfläche ca. 1,30 m beträgt. Die Projektionsfläche ist eine in den Tisch eingelassene Platte, die aus einem speziellen lichtdurchlässigen Material (PVC) besteht und deren Abmessungen 10 Die Videoconferencing-Kamera ist in der Konzeptions-Skizze in Abbildung 3.2 eingezeichnet. 11 Bei Monoprojektionen werden zwei Projektoren genutzt (einer pro Halbbild), bei Stereoprojektionen sind es vier (zwei pro Halbbild). 36

37 1,48 m x 1,12 m sind. Durch die Verwendung dieser Spezialplatte können virtuelle Objekte mit einer guten Farbgenauigkeit oberhalb der Platte dargestellt werden. Im Falle der Anzeige dreidimensionaler Objekte auf der Projektionsfläche benötigt der Betrachter zur räumlichen Wahrnehmung des bereits von den Projektoren polarisierten Bildes eine Polarisationsbrille. Die Darstellung der Perspektive muss dabei auf einen bestimmten Konferenzteilnehmer ausgerichtet sein. Das bedeutet, dass jeweils nur einem Teilnehmer zu einer Zeit eine korrekte Perspektive bei einer dreidimensionalen Darstellung geboten wird Eingabegeräte Jedes zur Interaktion mit dem OfuturO-System genutzte Gerät verfügt über eine Verbindung zum Grafikcomputer 12 (siehe Abbildung 3.5). Die Verbindung zu den von den Benutzern verwendeten Laptops wird durch den Anschluss an einen Netzwerk Switch hergestellt, der die Laptops in ein Netzwerk mit dem Grafikcomputer integriert. Im Gegensatz zu den nicht fest installierten Laptops, die bei jeder Sitzung neu angeschlossen werden, sind die weiteren Eingabegeräte permanent mit dem System verbunden. Pro Arbeitsplatz sind jeweils eine Spacemaus sowie ein Touchpad angebracht, deren Verbindung zum Grafikcomputer durch einen USB Hub realisiert ist. Außerdem ist eine RGB- Kamera angeschlossen, die zur Erkennung von Mustern und Gesten eingesetzt wird. 12 In Abbildung 3.5 wird der Grafikcomputer als Visualisation Server bezeichnet. 37

38 Abb. 3.5: Eingabegeräte Die Spacemaus kann aufgrund von sechs Freiheitsgraden zur räumlichen Steuerung verwendet werden. Somit lassen sich Objekte im Raum platzieren und in ihm ausrichten, d. h. es können Translationen auf den und Rotationen um die drei Raumachsen ausgeführt werden. Das Touchpad wird verwendet um visualisierte zweidimensionale Daten auf der Projektionsfläche zu bewegen. Darüber hinaus können auf dem Touchpad Gesten ausgeführt werden mit deren Hilfe visualisierte Daten zwischen den einzelnen Konferenzteilnehmern verschickt werden können. Die Eingabeverarbeitung mit Hilfe von Spacemaus und Touchpad innerhalb der OfuturO-Umgebung, wird in Kapitel 4 ausführlich vorgestellt. 3.3 Software Um die in die OfuturO Plattform integrierte Hardware zur Erzeugung einer MR- Umgebung nutzen zu können, ist die Verwendung eines Software-Systems notwendig, das speziell auf die Erstellung interaktiver virtueller Umgebungen ausgerichtet ist. Dazu wird Avango, ein Entwicklungssystem für virtuelle Umgebungen eingesetzt, das im folgenden Abschnitt vorgestellt wird. 38

39 Avango Das Software Framework Avango wird seit 1996 in der Abteilung Virtual Environments des Fraunhofer Instituts für Medienkommunikation (IMK.VE) entwickelt [IMK03] und dient zur Erstellung verteilter, interaktiver VE Anwendungen. Es unterstützt eine Vielzahl von Displaykonfigurationen und Eingabegeräten, zu denen z. B. unterschiedliche Trackingsysteme oder 3D Interaktionsgeräte zählen. Um so viele menschliche Sinne wie möglich anzusprechen, kann zur Ausgabe Spezialhardware, wie Vibrationsböden, Duftzerstäubungssysteme oder 3D-Soundsysteme, verwendet werden. Die in [Goe01] aufgezählten Anforderungen an ein solches Entwicklungssystem für virtuelle Umgebungen sind: Performance, Flexibilität, schnelle Anwendungsentwicklung, Erweiterbarkeit und Portierbarkeit. Als Basis dient das OpenGL Performer Toolkit der Firma SGI. Darauf baut das objektorientierte Avango Framework auf, das eine Programmierschnittstelle (API) in der Sprache C++ zur Verfügung stellt und die Erstellung von anwendungsspezifischen Klassen erlaubt. Zusätzlich zur C++ API bietet Avango eine vollständige Anbindung der Interpretersprache Scheme, von der aus alle high-level Avango Objekte erstellt und manipuliert werden können. Komplexe und performance-kritische Funktionalitäten werden durch Ableitungen und Erweiterungen bestehender Avangoklassen in C++ implementiert, während die typische Avango Anwendung selbst aus einer Sammlung von Schemeskripten besteht, die Avango-Objekte instanziieren, ihre Methoden anwenden, Werte von Feldern setzen und die Beziehungen zwischen Objekten definieren. Die Komponenten der Avango Entwicklungsumgebung werden in Abbildung 3.6 dargestellt. Abb. 3.6: Avango Entwicklungsumgebung 39

40 Das auf dem Scene Graph 13 Konzept aufbauende Programmiermodell von Avango wird in [Tra98] beschrieben. Die C++ API erlaubt die Definition zweier verschiedener Kategorien von Objektklassen; Nodes bieten eine objektorientierte Scene Graph API, die die Repräsentation und die Darstellung komplexer Geometrien ermöglicht, während Sensors Avango s Schnittstellen zur realen Welt sind und benutzt werden, um externe Gerätedaten in eine Anwendung zu importieren. Alle Avango-Objekte werden als so genannte Fieldcontainer bezeichnet, welche den Status von Objekten als eine Sammlung von Feldern repräsentieren. 3.4 Anwendungen In Zukunft soll die OfuturO Plattform als Grundlage für diverse tischbasierte MR-Anwendungen dienen. Die noch in der Entwicklung befindliche Prototyp- Anwendung ist das in nächsten Abschnitt vorgestellte MR Conferencing System. Noch in der Planungsphase befindet sich als weitere Anwendung eine Mindmapping 14 Software, die als Tangible User Interface (TUI) realisiert werden soll. Dabei werden die Ideen der Teilnehmer eines Brainstormings von diesen auf digitalen Karten notiert, um danach in eine globale Darstellung eingegliedert zu werden, die über die Projektionsfläche von OfuturO angezeigt und für eine Gruppendiskussion freigegeben wird. Die Gruppenbewertung der Ideen wird durch TUI phicons 15 markiert, die neben der Projektion der Idee zu platzieren sind und mit Hilfe einer Mustererkennungssoftware vom OfuturO- System interpretiert werden können. Als Beispiel kann ein auf das phicon gezeichnetes Mülleimer -Symbol für eine nicht akzeptierte, zu verwerfende Idee stehen, ein Daumen nach oben -Symbol wäre ein Beispiel für eine beizubehaltende Idee. Im nächsten Schritt werden die Bewertungen vom System eingelesen und je nach dem, wie sie ausgefallen sind, verworfen oder beibehalten. Eine tiefergehende Beschreibung der Mindmapping Anwendung für OfuturO findet 13 Der Scene Graph ist eine baumartige Struktur welche die Beschreibung eines virtuellen Universums enthält. Dieses Modell wird auch bei anderen stand-alone APIs wie z.b. Java 3D [Mic03] verwendet 14 Eine Mindmapping Software assistiert bei der Sammlung und Gliederung von Ideen und Gedanken. 15 phicon = physical icon. In diesem Fall entspricht ein phicon einem Kärtchen auf dem ein der Bewertung entsprechendes Piktogramm aufgezeichnet ist. 40

41 sich in [GKG+03]. Verwandte Projekte sind der DigitalDesk [Wel 93], der KoKoBel [Fit 03] sowie der metadesk [IU97a], [IU97b] 3.5 Der Mixed Reality Conferencing Prototyp Durch die erweiterten Visualisierungs- und Interaktionsmöglichkeiten im Bereich Mixed Reality ergeben sich für die als tischbasiertes System konzipierte OfuturO Plattform zahlreiche Anwendungsmöglichkeiten zur Unterstützung von Arbeitsprozessen im Bürobereich. Die Motivation für die Entwicklung der Prototyp-Anwendung für OfuturO, einem Mixed Reality Conferencing System, ist die Nutzung der angebotenen erweiterten Darstellungs- und Interaktionsmöglichkeiten zur Schaffung eines verbesserten multimedialen Konferenzszenarios. An einer Konferenz nehmen Mitarbeiter im Rahmen von Firmenprojekten teil, denen es um die Besprechung von Arbeitsergebnissen oder die Vorstellung von Ideen und Konzepten geht. Durch ein traditionelles Konferenzszenario wird in der Regel ein ganzer Meetingraum belegt, in dem neben einem Konferenztisch, um den sich die Teilnehmer versammeln, ein Projektor enthalten ist, der sich für die Präsentation von Folien oder elektronischen Dokumenten eignet, die auf eine Wandfläche projeziert werden. Präsentationen finden in der Form eines Vortrags statt, den die vortragende Person zunächst zu Ende führt, bevor im Anschluss eine Besprechung mit den Zuhörern folgt, in der Fragen gestellt und Verbesserungsvorschläge angebracht werden. Sollten aufgrund der Diskussion Änderungen an digitalen Inhalten der Präsentation notwendig werden, so fehlen oft die Mittel diese unmittelbar innerhalb der Konferenz umzusetzen. Die Änderungsvorstellungen werden stattdessen an den zuständigen Mitarbeiter weitergegeben, der diese zu einem späteren Zeitpunkt an seinem gewöhnlichen Arbeitsplatz implementiert. Damit die Zuhörer die Auswirkungen von Änderungen begutachten können, ist auf diese Weise eine weitere Präsentation nötig, in der der aktualisierte Inhalt vorgestellt wird. Die Nachteile der traditionellen Konferenzumgebung sind: 41

42 - Die Darstellungsmöglichkeiten sind auf zweidimensionale Informationen beschränkt und eignen sich daher für Dokumente und Bilder, aber nicht für dreidimensionale Objektmodelle. - Durch das eingesetzte Projektionssystem besteht ein hoher Platzbedarf, in der Regel wird ein ganzer Meetingraum belegt. Aufgrund fehlender Interaktionsmöglichkeiten können Änderungsvorstellungen an digitalen Präsentationsinhalten oft nicht unmittelbar umgesetzt werden. Der Anspruch des Mixed Reality Conferencing Prototypen ist die Entwicklung eines Konferenzkonzepts, das keinen der aufgezählten Nachteile enthält. Die Reduzierung des Platzbedarfs wird durch die Basierung auf der OfuturO Plattform erreicht, da das direkt integrierte Rückprojektionssystem keinen zusätzlichen Raum benötigt und so lediglich die Fläche eines großen Arbeitstisches (2,5 m x 3,5 m) beansprucht wird. Daher kann eine solche Konferenzumgebung anstatt einen separaten Raum zu belegen in einem gewöhnlichen Büroraum untergebracht werden, der für weitere Aufgaben nutzbar bleibt. Abb. 3.7: Vergleich von Konferenzszenarien Durch das zur Wiedergabe von zwei- als auch dreidimensionalen Informationen geeignete Rückprojektionssystem werden die Darstellungsmöglichkeiten um die Anzeige entsprechender Präsentationsdaten als dreidimensionale Objekte erweitert. Die Darstellung von Präsentationsinhalten erfolgt im für alle Teilnehmer gut einsehbaren Zentrum des OfuturO Tisches auf der dort angebrachten Projektionsfläche. 42

43 Die für Präsentationen bestimmten Daten bringen die Teilnehmer mit ihren eigenen portablen Computern zur Konferenz mit, auf denen die Präsentationsinhalte in Datenbankarchiven organisiert sind. Diese Laptops werden an den OfuturO Arbeitsplätzen angeschlossen und damit untereinander und mit einem Rechner, der das Visualisierungssystem steuert, vernetzt. Zur Wiedergabe der Präsentationsdaten wird das OfuturO Projektionssystem mit den Datenbankarchiven der Laptops kombiniert, indem die zur Präsentation bestimmten Informationen an den Visualisierungsrechner weitergegeben werden. Durch die Vernetzung der Laptops können Daten unter den Teilnehmern ausgetauscht werden. Abb. 3.8: Verbindung von Datenbankarchiven und Projektionssystem Werden Präsentationsinhalte durch das OfuturO System visualisiert, so bestehen verschiedene Möglichkeiten mit diesen zu interagieren und sie zu manipulieren. Dabei werden die Laptop Computer der Teilnehmer als Interaktionskonsolen verwendet, weitere Interaktionsmöglichkeiten bestehen durch die fest an den OfuturO Arbeitsplätzen installierten Eingabegeräte, wie dem Touchpad zur Interaktion mit zweidimensionalen und der Spacemaus zur Interaktion mit dreidimensionalen Inhalten. Mit diesen Interaktionsmöglichkeiten können die Teilnehmer die Darstellungsart der präsentierten Informationen beeinflussen, 43

44 indem sie z. B. in Echtzeit die perspektivische Ansicht von einem dreidimensionalen Modell ändern, um das Modell von allen Seiten zu betrachten. Sollen Änderungen an den digitalen Inhalten vorgenommen werden, können Präsentationsdaten auf Laptops transferiert werden, um sie dort mit einer geeigneten Anwendung den Vorstellungen anzupassen und die angepasste Version anschließend wieder dem Visualisierungssystem zu übergeben. Damit besteht die Möglichkeit der direkten Manipulation von digitalen Daten unmittelbar im Rahmen einer Konferenz. Des Weiteren vereinfacht das MR Conferencing System die Aufbewahrung von Präsentationsinhalten, da die Daten problemlos auf Wunsch in das eigene Datenbankarchiv integriert werden können. Zur Interaktion und zum Datenaustausch sollen auch Gesten genutzt werden, denen das System entsprechende Befehle zuordnet. Diese Gesten können entweder über die Eingabegeräte oder durch körperbezogene Aktionen der Teilnehmer (in der Regel Handgesten) ausgeführt werden. Handgesten werden dabei von einer RGB-Kamera aufgenommen und durch ein Bildverarbeitungssystem interpretiert. Um externe Partner mit einzubeziehen, die nicht lokal an der Konferenz teilnehmen können, wird das OfuturO Videoconferencing Display verwendet. Den externen Konferenzpartnern sollen dabei durch die Integration in das Konferenznetzwerk die gleichen Möglichkeiten zur Interaktion und zur Manipulation von Präsentationsinhalten zur Verfügung stehen. Ein Nachteil des MR Conferencing Systems ist die Beschränkung auf drei Arbeitsplätze durch die Vorgaben der OfuturO Plattform, da nur ebenso viele Personen (abgesehen von externen Konferenzpartnern) an einer Konferenz teilnehmen können. Aufgrund dieser Beschränkung eignet sich das System am Besten zu einer Besprechung unter Spezialisten, die auch in einem kleinen Personenkreis in der Lage sind zu einem guten Ergebnis zu kommen. Die Entwicklung der Softwarebasis für das MR Conferencing System, durch die die beschriebenen Möglichkeiten zur Visualisierung von Präsentationsinhalten und zum Austausch der Daten realisiert werden, wird in [Gal03] ausführlich dargelegt. 44

45 3.5.1 Beschreibung eines Konferenzszenarios Bei dem Ablauf einer Konferenz auf der Basis der MR Conferencing Prototyp- Anwendung bestehen diverse Möglichkeiten für die Teilnehmer, um Daten zu präsentieren oder untereinander auszutauschen. Die Mittel und Wege zur Vorstellung und zum Austausch von Präsentationsinhalten werden in dem nun folgenden Abschnitt beschrieben. Zunächst verteilen sich die Konferenzteilnehmer auf die Arbeitsplätze von OfuturO und schließen dort ihre Laptop Computer an ein Netzwerkkabel an. Dies verbindet die Laptops sowohl untereinander als auch mit dem Grafikcomputer der OfuturO Plattform, an dem das Projektionssystem angeschlossen ist. Nun besteht eine Verbindung zwischen den Datenbankarchiven, in denen auf den Laptops die Präsentationsinhalte verwaltet werden und dem Visualisierungssystem von OfuturO (siehe Abbildung 3.8). Diese Verbindung wird von der in [Gal03] beschriebenen Softwarebasis des MR Conferencing Prototypen, der Visualisierungs- und Kommunikationsschnittstelle, zur Weitergabe von digitalen Präsentationsinhalten an das Projektionssystem genutzt. Die Software verfügt neben einer Schnittstelle zu dem Datenbankarchiv auch über mehrere Schnittstellen zum Netzwerk und bietet so die benötigten Transportwege für die Daten. Mit Hilfe der Software können die Laptops nun als Interaktionskonsolen bei einer Konferenz verwendet werden, da sämtliche den Teilnehmern zur Verfügung stehenden Optionen, um in eine Präsentation einzugreifen, in der Software implementiert sind. Als weitere Interaktionsgeräte befinden sich an jedem Arbeitsplatz eine Spacemaus sowie ein Touchpad, die den Teilnehmern alternativ zur Verfügung stehen, um Aktionen der Software auszulösen und so mit dem MR Conferencing System zu interagieren. Die Visualisierungs- und Kommunikationsschnittstelle besteht aus verschiedenen Komponenten, die über alle Rechner des Netzwerks verteilt sind, sowohl auf die Laptops als auch auf den Visualisierungsrechner. Auf den Laptops steht den Teilnehmern eine grafische Benutzeroberfläche (GUI) zur Verfügung, mit der sie sich am Konferenzsystem anmelden und über die sie sämtliche Conferencing Funktionen abrufen können. Da in der GUI die Schnittstelle zur Datenbank integriert ist, hat der Benutzer Zugriff auf 45

46 Präsentationsdaten enthaltende Datensätze und kann so über die GUI die gewünschten Informationen selektieren. Gewählte Daten kann er dann entweder zur Präsentation freigeben oder mit anderen Teilnehmern austauschen; beides geschieht, indem die Daten zu einer an die GUI angegliederten Netzwerkschnittstelle weitergegeben werden. Die Software besteht neben der GUI-Netzwerkschnittstelle aus einer weiteren Netzwerkkomponente, die in einen Programmteil integriert ist, der auf dem Visualisierungsrechner ausgeführt und als GVM Server bezeichnet wird. Die Abkürzung GVM steht für Global View Manager, ein Oberbegriff für die Programmkomponenten, die über einen Zugang zum Visualisierungssystem verfügen, worunter neben dem GVM Server auch die GUI-Netzwerkschnittstelle fällt, welche den Namen GVM Interface trägt. Dem auf der Seite des Visualisierungsrechners angesiedelten Programmteil GVM Server sind einige wichtige Aufgaben des Konferenzsystems zugewiesen. Er nimmt Präsentationsinhalte von dem GVM Interface entgegen, die visualisiert werden können, indem der GVM Server eine geeignete Anwendung zur Darstellung von Dokumenten, Bildern oder dreidimensionalen Daten startet, die mit Hilfe des Projektionssystems wiedergegeben wird. Des Weiteren verwaltet der GVM Server Informationen, die zur Koordination des Systems benötigt werden, z.b. welche Präsentationsinhalte gerade dargestellt werden oder welche Teilnehmer am System angemeldet sind. Abbildung 3.9 zeigt die Vernetzung der Softwarekomponenten untereinander auf. Abb. 3.9: Vernetzung der Softwarekomponenten Im Rahmen einer Konferenz stehen den Teilnehmern verschiedene Möglichkeiten zur Verfügung, Präsentationsinhalte weiterzugeben. Dazu finden 46

47 Datentransfers zwischen den an das System angeschlossenen Rechnern statt, die in drei Arten von Datenströmen unterteilt werden können: - Zur Visualisierung von Präsentationsinhalten / Upload von Laptop zu Visualisierungsrechner - Übernahme und lokale Sicherung von Präsentationsinhalten!Download von Visualisierungsrechner zu Laptop - Zur direkten Datenweitergabe von Teilnehmer zu Teilnehmer! Transfer von Laptop zu Laptop Wenn ein Teilnehmer die Absicht hat, der Gruppe Informationen aus seinem Datenbankarchiv zu präsentieren, kann er diese unter Verwendung der GUI selektieren und zur globalen Anzeige durch das Projektionssystem freigeben. Die Daten werden nun in einen so genannten Shared Workspace (geteilten Arbeitsraum) kopiert, in dem sich alle gerade zur globalen Anzeige freigegeben Daten befinden. Dieser geteilte Arbeitsraum wird vom GVM Server verwaltet, der in der Lage ist, den Typ (Dokument, Bild oder 3D Objekt) der über die Netzwerkschnittstelle entgegen genommenen Daten zu identifizieren. Zur Darstellung der Daten startet der GVM Server eine geeignete Anwendung, die der Visualisierungsrechner über das Projektionssystem, global und für die ganze Konferenzgruppe sichtbar, wiedergibt (Abbildung 3.10). Abbildung 3.10: Visualisierung von Präsentationsinhalten Der Zugriff auf gerade angezeigte Präsentationsinhalte ist den Teilnehmern entweder möglich, indem sie deren Darstellung für zweidimensionale Daten mit Hilfe des Touchpads oder für dreidimensionale Daten mit Hilfe der Spacemaus beeinflussen (durch Translationen, Rotationen oder Skalierungen der 47

48 dargestellten Informationen) oder, indem sie die Daten auf ihren Laptop kopieren, um diese dort mit erweiterten Manipulationsmöglichkeiten bearbeiten zu können. Das Erstellen einer solchen Kopie erfordert den Download der Daten vom Visualisierungsrechner auf den Laptop, der durch einen Datentransfer zwischen dem GVM Server und dem GVM Interface erreicht wird (Abbildung 3.11). Abb. 3.11: Download von Präsentationsinhalten Wenn Informationen weitergegeben, aber nicht visualisiert werden sollen, weil sie lediglich als Präsentationsbeilage verteilt werden oder weil sie eventuell nicht für die Sichtung durch die gesamte Gruppe bestimmt sind, haben die Teilnehmer die Möglichkeit, Daten direkt untereinander auszutauschen. Ein solcher direkter Datentransfer findet zwischen zwei Laptops statt, genauer gesagt werden die Daten von GVM Interface zu GVM Interface übertragen (Abbildung 3.12). Abb. 3.12: Direkter Transfer von Informationen Die beschriebenen Operationen zum Austausch und zur Visualisierung von Präsentationsinhalten werden entweder durch die Anwahl entsprechender GUI Optionen mit dem Laptop oder über die Gestenerkennung auf dem Touchpad realisiert. Zur Eingabe mit Hilfe des Touchpads werden bestimmte Gesten interpretiert, denen bestimmte Aktionen zugeordnet sind. Abgesehen von der am OfuturO Tisch arbeitenden Konferenzgruppe können weitere Personen teilnehmen, die durch das OfuturO Videoconferencing Display einbezogen und deren Workstations über das Internet mit dem System verbunden werden. In Bezug auf die Austauschmöglichkeiten von Daten sind Videoconferencing Teilnehmer gleichgestellt. 48

49 3.5.2 Entwicklungsstand Der MR Conferencing Prototyp ist nur zum Teil fertig gestellt und befindet sich somit noch in der Entwicklungsphase. Die Softwarebasis, die Visualisierungsund Kommunikationsschnittstelle, ist zu einem großen Teil implementiert. Dadurch können bereits Daten auf den zuvor beschriebenen Wegen unter vernetzten Rechnern ausgetauscht und zur Wiedergabe an den Visualisierungsrechner weitergegeben werden. Die Hardwaregrundlage OfuturO befindet sich noch im Aufbau, eine große Lücke lässt das zurzeit noch fehlende Projektionssystem offen. Aufgrund dessen können die Präsentationsinhalte bis jetzt lediglich auf einem zweidimensionalen Display wiedergegeben werden und die Möglichkeit der Darstellung dreidimensionaler Objekte auf der Projektionsfläche ist noch nicht vorhanden. Die Wiedergabe von Präsentationsinhalten geschieht derzeit durch das Öffnen der Daten in einer jeweils dazu geeigneten Anwendung und der gleichzeitigen, aber voneinander getrennten Darstellung. Dies ist nur eine Übergangslösung, da die Daten nicht in verschiedenen separaten Anwendungen angezeigt werden sollen, sondern in einer Anwendung, die alle Daten in einer virtuellen Umgebung integriert. Dieses Vorhaben wird mit dem Software Framework Avango realisiert werden. 49

50 Kapitel 4 Die Eingabegeräte In diesem Kapitel werden die Eingabegeräte beschrieben, die im Rahmen dieser Diplomarbeit eingesetzt wurden. Dazu wird zunächst auf die Grundlagen eingegangen, auf denen ein Einbinden von Interaktionsgeräten in die OfuturO- Umgebung aufbaut. Anschließend werden die Vorgaben, die für die Auswahl der Geräte aufgrund der Anforderungen an sie vorlagen, erläutert. Im Anschluss daran, werden die Eingabegeräte selbst vorgestellt. 4.1 Grundlagen Avango Als Softwaregerüst zur Entwicklung virtueller Welten unterstützt Avango selbstverständlich auch die Eingabe über Hardwaregeräte. Zu diesem Zweck stehen Klassen bereit, die bereits grundlegende Voraussetzungen zum Auslesen von Geräten und dem Weiterleiten ihrer Daten an die instanziierten Zielobjekte erfüllen. Um vordefinierte Fähigkeiten für ein eigenes Eingabegerät zu nutzen leitet der Entwickler seine Klasse von einer bereits bestehenden Avango- Geräteklasse ab, beispielsweise die Klasse fpserialdevice wenn es sich bei dem anzusprechenden Gerät um ein serielles Gerät handelt, und erweitert diese Klasse seinen Wünschen entsprechend. Das Übertragen der von den Avango-Geräteklassen ausgelesenen Daten erfolgt über einen speziellen Hintergrundprozess, den av-daemon. Zu diesem Zweck muss der av-daemon separat gestartet und ihm die Instanzen der entsprechenden Geräteklasse übergeben werden. Die Daten, die diese Klassen dann auslesen, werden vom Dämon in ein spezielles Speichersegment übertragen, welches von Objekten einer Avango-Applikation abgerufen werden kann. Der av-daemon 50

51 dient somit quasi als Übermittler zwischen Geräten und der eigentlichen Avango-Applikation. Geräte unter Linux Sowohl der av-daemon, als auch die Avango-Applikation, die bei Fertigstellung der OfuturO-Umgebung zur Darstellung der virtuellen Objekte eingesetzt wird, laufen auf dem Visualisierungsserver. Da auf diesem das Betriebssystem Linux zum Einsatz kommt, müssen die Gerätedaten von den Avango-Geräteklassen aus so genannten Gerätedateien ausgelesen werden. Gemäß der Linux/ Unix Paradigmen wird sämtliche Hardware als Datei abstrahiert. Eine detaillierte Darstellung, wie Gerätedateien programmiertechnisch behandelt werden können findet sich unter anderem in [Her03]. Die Aufgabe des Datenübermittlers vom Gerät in die zugehörige Gerätdatei übernimmt dabei ein so genannter Gerätetreiber, eine Softwareimplementation, die den Übergang von der reinen Hardwarefunktionalität des Gerätes auf seine Abstraktion als Datei darstellt. Eine genauere Erläuterung zur Rolle und Funktionsweise von Gerätetreibern erfolgt im nächsten Kapitel. Der Universal Serial Bus Bei den einzubindenden Spacemäusen und Touchpads handelt es sich ausnahmslos um USB-Geräte. Die Datenübertragung beim USBus findet über eine Kommunikation des Geräts mit dem so genannten Host-Controller statt. Der Host-Controller verwaltet die gesamte Kommunikation auf dem USBus, wie das Senden und Empfangen von Daten, das Bereitstellen der benötigten Bandbreite für die Übertragung und das Registrieren eines neuen Gerätes. Hat der Host ein neues Gerät registriert, so wird eine Anfrage an das Gerät versandt, die eine Datenstruktur Namens Gerätedeskriptor vom Gerät erfragt. Die Datenstruktur enthält gerätespezifische Informationen, unter anderem die Hersteller- und Produktnummer und die Information über die Anzahl der Konfigurationen, die das Gerät zur Verfügung stellt. Jedes Gerät kann dabei eine 51

52 bis mehrere mögliche Konfigurationen aufweisen. Mehrere Konfigurationen können beispielsweise nötig sein wenn ein Gerät in verschiedenen Modi oder auf unterschiedliche Arten betrieben werden kann. Die Konfigurationsinformationen 16 sind in den Konfigurationsdeskriptoren enthalten, die der Reihe nach für jede Konfiguration vom Host angefordert werden. Jede Konfiguration kann ein bis mehre Interfaces enthalten. Jedes Interface kann ein spezielles Feature innerhalb einer möglichen Gerätekonfiguration darstellen. Auch hier werden die Informationen über das Interface wieder über einen Deskriptor, den Interfacedeskriptor vom Host angefordert. Innerhalb eines Interfaces schließlich können ein bis mehrere Kommunikationsendpunkte, auch endpoints genannt enthalten sein. Ein endpoint ist der Speicherbereich in der Gerätehardware, in den zu versendende oder empfangene Daten abgelegt werden und jede Kommunikation des Hosts mit einem USB- Gerät findet letztlich über einen endpoint statt. Ein endpoint ist normalerweise nur entweder für die Datenübertragung vom Host zum Gerät (Out- endpoint) oder vom Gerät zum Host (In- endpoint) ausgelegt. Die Ausnahme bildet der endpoint mit der Nummer 0 über den jedes Interface verfügen muss und der bidirektional arbeitet. Über diesen endpoint werden beim Anschluss eines USB- Gerätes Daten mit dem Host ausgetauscht: Einerseits kann der Host darüber die Information über das Gerät in Form der einzelnen Deskriptoren beschaffen. Andererseits kann der Host aber auch selbst Daten an das Gerät senden und dieses mit Hilfe dieser Daten konfigurieren. Auch die endpoint-informationen sind wieder in einem Deskriptor hinterlegt, so dass sich insgesamt die in Abbildung 4.1 gezeigte Deskriptorhyrarchie ergibt. 16 Darunter befindet sich beispielsweise die Information ob es sich beim Gerät um ein selbst mit Strom versorgendes oder vom Bus mit Strom versorgtes Gerät handelt. 52

53 Abb. 4.1: Deskriptorhyrarchie zur Beschreibung eines USB- Gerätes aus [Lin03] Die Kommunikation zwischen Host und endpoint findet über Pipes 17 statt. Dabei werden vier verschiedene Arten von Nachrichtentransfers vom USB-Protokoll unterstützt. Genaueres dazu, findet sich im Rahmen einer detaillierten Beschreibung der USB-Technologie unter [Axe99]. Sämtliche Transfers werden programmiertechnisch mittels nur einer speziellen Datenstruktur realisiert, dem USB Request Block, auch URB genannt. In dieser Datenstruktur werden alle für eine Datenübertragung relevanten Informationen abgelegt und anschließend dem USB-Subsystem bekannt gemacht. Nachdem der URB dem USB-Subsystem übergeben wurde, kümmert sich dieses selbstständig um alle damit verbundenen Datentransfers. Informationen zur Arbeit mit URBs finden sich unter [Gui03], Informationen zu USB unter Linux erhält man unter [Lin03]. 4.2 Vorgaben An erster Stelle der Überlegungen zur Einbindung der Eingabegeräte in die OfuturO-Umgebung stand die Auswahl der geeigneten Eingabegeräte. Dabei waren folgende Vorgaben für geeignete Eingabegeräte zum Ermöglichen von Interaktionen in der OfuturO- Umgebung gegeben: 17 Eine Pipe ist ein logischer Datenkanal, der zur Datenübermittlung genutzt werden kann. 53

54 Zwei verschiedene Eingabegeräte, von denen eines in Form eines Touchpads der Navigation in der Ebene und das andere in Form einer Spacemaus der Navigation im Raum dienen soll. Auf den Touchpads sollen unterschiedliche Gesten ausgeführt werden können, denen die bereits beschriebenen Aktionen des Versendens von Dokumenten von einer Workstation zur anderen, sowie des Versendens von zu visualisierenden Daten an den Visualisierungsserver zugewiesen werden können. Um Unterscheidungen zwischen den Aktionen zur Bewegung von visualisierten Daten und den speziellen Gesten machen zu können muss das Touchpad mindestens einen Button aufweisen, um zwischen beiden Kommandoarten umschalten zu können. Die Spacemaus soll zusätzlich mindestens zwei Buttons aufweisen um den Eingabe- und Visualisierungsfokus einer der maximal zwei weiteren Workstations zuweisen zu können. Beide Geräte sollen noch voll funktionsfähig sein, nachdem sie in den Konferenztisch der OfuturO-Hardwareumgebung eingearbeitet worden sind. Schließlich müssen sämtliche Geräte über einen USB-Stecker verfügen damit sie über einen Hub am USB-Port des Visualisierungsservers angeschlossen werden können Das Cirque USB Easy Cat Touchpad Für das Touchpad wurde das USB Easy Cat Touchpad der Firma Cirque gewählt. Das USB Easy Cat Touchpad von Cirque misst etwa 8,5 cm x 7 cm. Die Sensorfläche bietet mit Dimensionen von 6 cm x 4.5 cm eine 54

55 Bewegungsfläche von 27 cm 2. Die Bewegungsfläche überschneidet sich dabei mit einem schmalen Scrollfunktionsbereich entlang der rechten Seitenlinie, sowie einem kleinen dreieckigen Bereich in der oberen linken Ecke. Dieser Bereich schneidet sich zugleich auch mit dem Scrollfunktionsbereich. Die Funktionen aller Bereiche sind bereits hardwaremäßig in die Touchpadkonstruktion integriert. Neben der Sensorfläche weist das Touchpad noch zwei Buttons auf, die sich unterhalb der Sensorfläche befinden. Beide Buttons lassen sich leicht auch während einer Bewegungsausführung auf der Sensorfläche mit dem Daumen bzw. kleinen Finger erreichen und bedienen. Bei jeder Aktivierung einer Funktion sendet das Touchpad ein Datenpaket von 8 Bytes. Leichtes Berühren der Sensorfläche verändert die Werte für die X- und Y- Koordinaten, die im 2. und 3. Byte angezeigt werden. Die Werte die dabei übertragen werden stellen keine Absolutwerte dar, sondern zeigen die Geschwindigkeit, mit der eine Geste über die Fläche geführt worden ist auf, indem die Zeitintervalle interpretiert werden, innerhalb derer die Berührung eines Sensorpunktes zum nächsten ausgeführt wurde. Bei den Werten handelt es sich um vorzeichenbehaftete ganze Zahlen. Der Wertebereich liegt zwischen für sehr schnelle Bewegungen in Richtung des negativen Bereiches im Koordinatensystem und +127 für sehr schnelle Bewegungen in Richtung des positiven Bereiches im Koordinatensystem. Zweimaliges kurz hintereinander erfolgendes Antippen der Touchpadoberfläche zeigt das Ausführen eines Buttondruckes im 1. Byte des Datenpakets an, ebenso wie bei Betätigen eines der beiden Buttons. Bei Betätigen des linken Buttons wird dabei eine 9 übertragen, Betätigen des rechten Buttons hat die Übertragung einer 10 zur Folge. Wurden beide Buttons gleichzeitig gedrückt, zeigt das erste Byte dies mit einer 11, wurde kein Button betätigt mit einer 8 als Wert an. Bei einer Imitation eines Buttondruckes durch zweimaliges Tippen auf die Sensoroberfläche entscheidet der Bereich in dem die Geste erfolgte darüber welcher Button als gedrückt interpretiert wird: Für den rechten Button steht die obere dreieckige Fläche, für den linken Button die gesamte restliche Fläche zur Verfügung. Das vierte Byte ist für die Scrollfunktion des Touchpads reserviert, der Wert dieses Bytes beträgt 1 wenn nach oben gescrollt und -1 wenn nach unten gescrollt wurde. Wird nicht gescrollt beträgt der Wert 0. 55

56 Abb. 4.2: Easy Cat Touchpad von Cirque Die Magellan Spacemaus Plus Für die Spacemaus wurde die Magellan Spacemaus Plus der Firma LogiCad3D GmbH gewählt. Die Magellan Spacemaus Plus ist eine Entwicklung des Deutschen Zentrums für Luft- und Raumfahrt und besteht aus einer ergonomisch geformten Auflagefläche für die Hand und einer darauf angebrachten ca. 2,5 cm hohen Kappe mit einem Durchmesser von etwa 6 cm. Die Kappe ersetzt dabei den Control Ball, einen kleinen Gummiball der zur Steuerung bei den Vorgängern der Spacemaus Plus eingesetzt wurde. Den Grund für das Bevorzugen einer Kappe anstelle eines Balles zur Steuerung von virtuellen Objekten im Raum gibt der Vertreiber der Spacemaus Plus, die LogiCad3D GmbH selbst wie folgt an 18 : As Magellan/ SPACE MOUSE is the legal successor of DLR s (German Aerospace Research Establishment) former, worldwide patented control ball, the question arises occasionally, why a cap has replaced the original ball form. The answer is based on extensive ergonomic studies. We found out that for optimally operating a ball, the palm area is not used either, but preferably only the finger tips. So it is no disadvantage that the flat cap design makes it impossible to enclose the cap firmly with the hand s inner surface; on the contrary the flat cap allows the human hand to rest on the table in a natural and non-fatiguing, relaxed way, and to use three or four finger tips spread around the cap to 18 Siehe auch [Log99], Seite 5. 56

57 slightly shift and twist it. Of course it does not matter wheather the right or left hand is used, and of course no wrist or even shoulder movements are needed. Tatsächlich lässt sich die Kappe sehr leicht nur mit den Fingerspitzen dirigieren. Sie ist dazu an der Oberseite abgeflacht und besitzt Ausbuchtungen an der rechten und linken Vorderseite, die einen verbesserten Halt für die führenden Finger ermöglichen. Rechts und links von der Kappe befindet sich außerdem jeweils ein abgeflachter länglicher Button. Diese Buttons sind so platziert, dass sie vom Daumen bzw. kleinem Finger der Hand benutzt werden können, während diese gerade die Kappe führt. Sie sind daher möglicherweise prädestiniert für die Funktion eines Moduswechsels, der während einer Bewegungsausführung erfolgen soll ohne den Arbeitsablauf zu unterbrechen. Oberhalb der Kappe befinden sich auf der Auflagefläche noch neun weitere Buttons die in zwei Querreihen angeordnet sind. Von den neun Buttons sind acht von eins beginnend durchnummeriert, der neunte trägt ein Sternsymbol und ist somit als Sonderbutton ausgezeichnet. Alle Buttons sind sowohl abrufbar (die Funktion der Buttons ist also frei programmierbar) haben aber bereits auch eine hardwaremäßig implementierte Funktion. Jede dieser Funktionen wird dabei durch Kombination des Drucks auf den Sonderbutton mit einem der acht Auswahlbuttons aktiviert. Die Funktionen die in der Hardware der Spacemaus Plus implementiert sind, werden im Folgenden kurz aufgezeigt 19 : Sonderbutton kombiniert mit erstem Auswahlbutton: Die Datenübermittlung für die Translationen wird unterdrückt bzw. eingeschaltet (Voreinstellung ist eine eingeschaltete Translationsdatenübermittlung). Sonderbutton kombiniert mit zweitem Auswahlbutton: Die Datenübermittlung für die Rotationen wird unterdrückt bzw. eingeschaltet (Voreinstellung ist eine eingeschaltete Rotationsdatenübermittlung). 19 Siehe auch [Log99], Seite 14 57

58 Sonderbutton kombiniert mit drittem Auswahlbutton: Der Dominant Modus wird aktiviert bzw. deaktiviert. Im Dominant Modus werden feine Bewegungen an der Kappe ignoriert. (Voreinstellung ist ein deaktivierter Dominant Modus). Sonderbutton kombiniert mit viertem Auswahlbutton: Die Translations- und Rotationswerte werden auf Null gesetzt. Sonderbutton kombiniert mit fünftem Auswahlbutton: Der Sensibilitätswert für die Translationsbewegungen wird jedes Mal beim Drücken dieser Kombination um eins erhöht. Der Wert kann 7 nicht überschreiten. Ein weiterer Versuch den Wert zu erhöhen wenn er bereits auf 7 gesetzt ist lässt ihn wieder auf 0 zurückfallen (Voreinstellung ist ein Sensibilitätswert von 0). Sonderbutton kombiniert mit sechstem Auswahlbutton: Der Sensibilitätswert für die Rotationsbewegungen wird jedes Mal beim Drücken dieser Kombination um eins erhöht. Der Wert kann 7 nicht überschreiten. Ein weiterer Versuch den Wert zu erhöhen wenn er bereits auf 7 gesetzt ist lässt ihn wieder auf 0 zurückfallen (Voreinstellung ist ein Sensibilitätswert von 0). Sonderbutton kombiniert mit siebtem Auswahlbutton: Der Sensibilitätswert für die Rotationsbewegungen (Nullradiuswert) wird jedes Mal um eins erhöht. Erreicht der Wert 15 fällt er bei weiterem Erhöhungsversuch zurück auf 0 (Voreinstellung ist ein Nullradiuswert von 8). Sonderbutton kombiniert mit achtem Auswahlbutton: Die Sensibilitätswerte für die Rotationen und Translationen werden auf ihre voreingestellten Werte zurückgesetzt, was bedeutet, dass der Translationssensibilitätswert auf 0 und der Rotationssensibilitätwert auf 8 gesetzt werden. 58

59 Jede aktivierte Funktion wird von der Spacemaus Plus durch einen Doppelten Signalton rückgemeldet. Das Ausschalten einer Funktion wird dagegen durch ein einfaches Signal bestätigt. Die Sensibilitätswerte bestimmten das Maß in dem sich eine Bewegung der Kappe auf die Bewegungsdaten auswirkt. Ein Sensibilitätswert von 0 bewirkt lineares Ansteigen der Werte mit Druck auf die Kappe. Bei Erhöhen des Sensibilitätswertes verschiebt sich dieses Verhältnis bis zu einem quadratischen Ansteigen der generierten Bewegungswerte. Die Kappe der Spacemaus erlaubt Bewegungen in sechs Freiheitsgraden, indem sie sich um jeweils drei Achsen drücken, ziehen und drehen lässt. Dabei ist nur ein ganz leichtes Führen der Kappe in die entsprechende Richtung nötig. Druck nach rechts generiert positive X-Werte, deren Höhe der Stärke des Druckes entsprechen. Druck nach links generiert negative X-Werte. Druck nach vorne erzeugt negative Z-Werte, Druck nach hinten positive. Die Y-Werte werden durch Niederdrücken der Kappe (negative Werte) bzw. durch hochziehen (positive Werte) generiert. Rotationswerte werden erzeugt, sobald die Kappe um eine der Achsen gedreht wird. Ein Drehen der Kappe im Uhrzeigersinn um eine der Koordinatenachsen erzeugt positive Werte, ein Drehen der Kappe entgegen dem Uhrzeigersinn, um eine der Koordinatenachsen, erzeugt negative Werte. Der Drehsinn wird dabei relativ zur positiven Ausrichtung der Koordinatenachsen bestimmt. Die Abbildung 4.3 unten zeigt die Spacemaus mit ihren drei Bewegungsachsen auf. Die Pfeile zeigen dabei immer in die positive Richtung der jeweiligen Achse. Durch die große Beweglichkeit der Kappe sind gleichzeitige Bewegungen aus mehreren Translationen, Rotationen oder Kombinationen aus beiden, möglich. Nach jeder Aktion kehrt die Kappe wieder in ihre Ausgangsposition zurück. Damit die Spacemaus Plus mit einer Hand bedient werden kann und bei stärkeren Bewegungen an der Kappe nicht selbst mit verschoben wird, wurde mit Hilfe einer Metallplatte auf ihrer Unterseite für ein ausreichendes Gewicht gesorgt. Die USB-Version der Spacemaus Plus verschickt bei jeder Aktion, unabhängig davon ob es sich um einen Buttondruck oder eine Kappenbewegung handelt, eine Datenfolge von 14 Bytes. Die 14 Bytes werden zu zwei Paketen verschickt, von denen das erste 8 und das zweite die restlichen 6 Bytes enthält 20. Die 59

60 Bedeutung der Bytes teilt sich wie folgt auf: Die ersten beiden Bytes identifizieren den Button der gedrückt wurde. Für die acht Auswahlbuttons sind dies die Werte 1, 2, 4, 8, 16, 32, 64, 128. Die Zuordnung erfolgt von 1 für den ersten, bis zu 128 für den achten Auswahlbutton. Der Wert 256 ist dem Sonderbutton und die Werte 512 und 1024 sind den links und rechts neben der Kappe befindlichen Buttons zugeordnet. Ein Wert von 0 hingegen zeigt an, dass kein Button betätigt wurde. Die nächsten drei Bytepaare geben die Werte für die X-, Y- und Z-Translationen an. Die letzten drei Bytepaare stehen für die Rotationen um die X-, Y- und die Z-Achse. Alle Bytepaare müssen dabei immer als vorzeichenbehaftete ganze Zahlen interpretiert werden. Der Wertebereich der Zahlen für die Rotationen und Translationen liegt zwischen -500 und Abb. 4.3: Magellan Spacemaus Plus mit ihren 6 Freiheitsgraden 20 Die Spacemaus Plus kann über ihren endpoint, nur 8 Byte Daten auf einmal schicken. 60