Eine dynamische Gestensprache. Graphisches Feedback zur Interaktion in einem 3D User Interface.

Transkript

1 Eine dynamische Gestensprache. Graphisches Feedback zur Interaktion in einem 3D User Interface. Monica Bordegoni; Matthias Hemmje; Dietmar Effenberger Die Benutzerschnittstellen heutiger Computeranwendungen, die oft eine Informationsdarstellung in verschiedenen Medien vorsehen (Text, Video, Grafik, Audio etc.), versuchen, die Arbeit des Benutzers zu vereinfachen, sich seinen Gewohnheiten und Fähigkeiten anzupassen. Dabei soll zum einen eine schnelle und eindeutige Auffassungs und Interpretationsmöglichkeit der vom System präsentierten Information gewährleistet sein, wie andererseits eine einfache Informationsübergabe vom Benutzer an das System zur Verfügung stehen soll. Die Information sollte dem Benutzer möglichst in einer Form angeboten werden, wie er sie auch außerhalb des Computersystems gewohnt ist. Während man diese Forderung im Falle von konkreten Objekten recht leicht erfüllen kann, wird das Problem bei abstrakten Informationen wesentlich komplexer. Als ein recht erfolgreiches Verfahren hat sich dabei die Verwendung von räumlichen Metaphern erwiesen. Die Benutzerschnittstellen moderner Systeme werden immer transparenter in dem Sinne, daß sie dem Benutzer den Eindruck vermitteln, er würde direkt mit den Anwendungsobjekten arbeiten und nicht mehr über den Umweg durch den Computer. Besonders bei Interfaces, die auf 3D Darstellungen basieren, haben sich die traditionellen 2D Eingabeverfahren als unzulänglich erwiesen, da sie das Konzept der räumlichen Tiefe nicht unterstützen. Die moderne Hardwaretechnologie bietet neuartige Eingabegeräte an, wie z.b. die Fliegende Maus, den space ball, den data glove, um auch dieses Problem zu bewältigen. Im vorliegenden Artikel wird die Integration eines Eingabesystems, das auf einem Datenhandschuh basiert, in die Anwendungsumgebung eines 3D Interfaces beschrieben. Wir haben dazu drei Komponenten entwickelt: - eine dynamische Gestensprache - ein Grafiktool zur Definition der Spezifikationen dieser Sprache, - ein Gesten Erkennungssystem. Motivationen Zur Zeit werden viele Inferfaces entwickelt, die räumliche Metaphern verwenden. Das Ziel unserer Arbeit besteht darin, einen gangbaren Weg zu definieren, mit solchen 3D Visualisierungen der Anwendungsdomäne zu interagieren. Hierzu skizzieren wir zunächst die allgemeinen Anforderungen und Eigenschaften solcher Interaktionen. Die Interaktionen mit einem 3D Interface bestehen hauptsächlich aus zwei Typen: a) Navigieren im virtuellen Raum, wie z.b. Position und Blickwinkel ändern, sich Objekten annähern bzw. sich davon entfernen etc. und b) Manipulieren der Objekte im Raum, wie z.b. das Auswählen, Greifen, Bewegen, Drehen von graphischen Objekten, die Ermittlung des Inhalts von Objekten und allgemeine Operationen, wie z.b. undo, browsing etc. Jede Art von Interaktion bedarf einer Rückmeldung, um dem Benutzer zu bestätigen, daß das System die Eingabe korrekt erkannt hat. Durch eine nähere Betrachtung von verschiedenen 3D Systeme haben wir die folgenden grundlegenden Interaktionen beispielhaft ausgewählt: Navigation: Allgemeine Veränderung von Standort und Blickrichtung im Raum Zooming in/out : Entfernung zwischen Objekt und Betrachter ändern Picking: Auswahl eines graphischen Objekts Grouping: eine Menge von Objekten zusammenfassen Querying: den Inhalt eines Objektes ermitteln Grabbing, Rotating, Moving: Veränderung der Lage und Position eines Objekts im Raum Traditionelle 2D Eingabegeräte, wie z.b. Maus und Grafiktablett genügen den Anforderungen, die 3D Anwendungen und die entsprechenden Interaktionen stellen, nicht mehr. Um ein Interface mit den oben skizzierten Funktionen auzustatten, haben wir uns für zwei Eingabegeräte entschieden, die uns dafür am angemessensten erschienen: data glove und spaceball. 1

2 Interaktion durch Gesten Wir definieren Pose als eine statische Haltung der Hand. Sie ist bestimmt durch Beugewerte der Fingergelenke und durch die räumliche Lage der Hand. Unser Ansatz führt als Erweiterung dieses Modells die Erkennung von dynamischen Gesten ein. Durch dynamische Gesten können Posen kombiniert werden; sie erlauben mit einfachen Mitteln auch komplexe Eingaben an das System. Soist es z.b. möglich, mit einer einzigen dynamischen Geste ein Objekt zu spezifizieren, die auszuführende Operation auszuwählen, ggf. weitere Parameter zu bestimmen. Wir führen eine Sprache dynamischer Gesten ein als Mittel zur Interaktion und gleichzeitig als ein Verfahren zur Erkennung dynamischer Gesten. Sprache dynamischer Gesten Die Gesten, die für die Sprache ausgewählt wurden, zeichnen sich dadurch aus, daß sie einerseits leicht ausführbar sind und das System sie andererseits zweifelsfrei identifizieren kann. Dies wird erzielt durch die Verwendung von Posen und Bewegungen. Wir bestimmen eine dynamische Geste durch eine Abfolge von Posen verbunden durch eine bestimmte Bewegung. Im folgenden werden einzelne Gesten der Sprache beschrieben, die für 3D Anwendungen geeignet sind. Die sie bestimmenden Abfolgen von Posen sind in Abb.1 aufgelistet. Navigation gesture. Die Anwendung startet eine Navigations Aktion, wenn die Pose Index ausgeführt wird. Eine Rotation der Hand verändert den Blickwinkel auf die 3D Szene. Das Beenden der Pose beendet gleichzeitig die Geste. Picking gesture. Wird während der Navigation im Raum ein Objekt oder eine Gruppe von Objekten erreicht, können diese durch die Pose Pistol ausgewählt werden. Grouping gesture.die Geste beginnt mit der Pose Together. Danach kann der Benutzer mit der Hand die Diagonale eines Rechtecks zeichnen. Die darin befindlichen Objekte werden zu einer Gruppe zusammengefaßt. Die Geste wird beendet durch irgendeine andere Pose. Querying gesture. Die Geste beginnt mit der Pose Index. Wenn ein Objekt erreicht ist, kann man dessen Inhalt mit der Pose Qmark erfragen. Qmark ist die Endpose der Querying Geste. Zooming gesture.die Geste beginnt mit der Pose Flat, ausgeführt mit dem Handrücken zum Benutzer. Wenn die Hand vom Benutzer wegbewegt wird, wird ein Zooming in durchgeführt. Ein Zooming out erfolgt bei Annäherung der Hand an den Benutzer. Gripping gesture.die Geste beginnt mit der Pose Fist. Das Objekt wird ergriffen und kann rotiert und bewegt werden bis die Fist Pose beendet wird. Exit gesture.die Geste simuliert ein Abschiedswinken. Sie besteht aus einer zweifachen Abfolge der Posen Flat und Fist. Spezifikation von Gesten Das Lernen und Erkennen von sehr komplexen Gesten ist für ein Computersystem keine triviale Aufgabe, jedoch benötigen die meisten Anwendungen nur recht einfache Gesten. Wir konzentrierten uns auf einen Ansatz, der es dem Benutzer erlaubt, dem System auf einfache Art und Weise neue Gesten beizubringen. Im Verlauf der Untersuchung von Gestenstrukturen haben wir erkannt, daß sechs Posen ausreichen, um die in Abb. 1 skizzierten Gesten zu definieren. Mithilfe des Dynamic Gesture Editor (Abb. 2) kann jeder Benutzer dem System seine Variante dieser sechs (und beliebiger weiterer) Posen vermitteln. Dazu müssen zunächst die Hauptmerkmale der Geste identifiziert und durch eine Abfolge von Handhaltungen, die in einem Menu vorgegeben sind, beschrieben werden. Sollten weitere Handhaltungen erforderlich sein, können sie dem Menu durch eine entsprechende Lehrprozedur hinzugefügt werden. Schließlich sind der Pose eine räumliche Orientierung und eine Bewegung ( trajectory ) zuzuordnen. Um neu definierte Gesten betrachten und testen zu können, ist der Editor mit einer Simulationsfunktion ausgestattet, die Gesten dynamisch reproduzieren kann. Gesten werden in einer Datenbasis Gesture Models gespeichert. Dieser Ansatz weist eine Reihe von Vorteilen auf: Die Gesten brauchen für den Lehrvorgang nicht physikalisch produziert zu werden. Im Gegensatz zu den Verfahren bei neuronalen Netzwerken ist der personelle und computerseitige Aufwand wesentlich geringer. 2

3 Gesten können von einem einzelnen Benutzer definiert und von beliebig vielen Personen genutzt werden. Charakteristiken der Gestenerkennung Gesten werden anhand charakteristischer Merkmale erkannt. Diese Charakteristiken spezifizieren die Relevanz der statischen Posen, räumliche Orientierung und Bewegungsrichtung zum systemseitigen Erkennen jeder einzelnen Geste. Ferner wird hier bestimmt, ob alle Posen einer Geste erkannt werden müssen, mit welcher Genauigkeit die Geste analysiert werden muß und inwieweit der zeitliche Verlauf einer Geste berücksichtigt werden muß. (Tabelle 1 faßt die Charakteristiken der weiter oben beschriebenen Gesten zusammen.) Handhaltung. Während einer Geste kann sich die Handhaltung verändern. So ist z.b. die Geste picking zusammengesetzt aus der Anfangspose index und der Endpose pistol, sowie allen dazwischen liegenden Posen. In anderen Fällen bleibt die Handhaltung während der gesamten Geste unverändert. Erkennen der räumlichen Orientierung einer Pose. Jede Pose hat eine Lage im 3D Raum. Für das Erkennen einer Geste kann das Wissen um diese räumliche Orientierung notwendig sein oder vernachlässigt werden. Diese Entscheidung wird bei der Definition der Geste getroffen. Erkennen der Übergangsbewegung. Bei einer Reihe von Geste kann es von Bedeutung sein, die Übergangsbewegung von einer Pose in die nächste zu beachten, während dies in anderen Fällen unbeachtet bleiben kann. Dies muß ebenfalls bei der Gestendefinition entschieden werden. Erkennen der inneren Posen. Innere Posen sind alle diejenigen Posen, die zwischen der Anfangs und der Endpose einer Geste auftreten. Während es bei einigen Gesten unwichtig ist, die Korrektheit aller inneren Posen zu prüfen, ist in anderen Fällen die gesamte Posensequenz für die Beurteilung einer Geste relevant. Toleranzfaktor. Verursacht durch die Unfähigkeit des Benutzers, Gesten mit absoluter Genauigkeit zu reproduzieren, aber auch durch Ungenauigkeiten des Erkennungsalgorithmus, entsprechen Teile der ausgeführten Geste in der Regel nicht dem vorgegebenen Modell. Der Toleranzfaktor einer dynamischen Geste definiert den prozentualen Anteil der erkannten Posen an der Gesamtzahl der Posen, die zur korrekten Erkennung der Geste erforderlich ist. Da die Gesten in unserem System recht einfach sind und die Posen keine ähnlichen Merkmale aufweisen, gehen wir von einer hohen Erkennungswahrscheinlichkeit aus (nahe 100%). Gestendauer. Es ist manchmal unmöglich, die Dauer einer Geste vorherzusagen. So dauert die Navigationsgeste z.b. so lange, bis der Benutzer das gewünschte Objekt oder den gewünschten Blickwinkel erreicht hat. Andere Gesten, wie z.b. grouping und exit überdecken bei jeder Produktion annähernd gleiche Zeiträume. Gestenerkennung Das System enthält ein Modul namens gesture machine. Dieses Modul prüft, ob die Daten einer durchgeführten Geste mit dem Modell einer in der Datenbasis gespeicherten Geste übereinstimmt. Der Algorithmus der gesture machine arbeitet folgendermaßen: Wenn das System eine neue Pose erkennt, prüft die Gesture Machine, ob sie mit der Anfangspose einer der modellierten Gesten übereinstimmt. Trifft dies zu, wird die entsprechende Geste aktiviert. Ein actor -Objekt wird der Geste zugeordnet, der die Gestenhistory verwaltet und einen Pointer auf die als nächste zu erwartende Pose setzt. Wenn eine weitere Pose erkannt wird, muß sie der erwarteten oder der vorhergehenden gleichen. Sind alle Posen eines Gestenmodells oder der durch den Unschärfefaktor definierte Prozentsatz der Gesten erkannnt sind, wird die gesamte Geste als erkannt bewertet. Das Anwendungsprogramm wird laufend über die Position und Ausrichtung der Hand sowie über die erkannten Gesten informiert. Diese Information ist nützlich für die Durchführung von Transformationen der Anwendungsobjekte und zur Erzielung von Ergebnissen, die den Interaktionen des Benutzers entsprechen. In Abb. 3 sind einige Beispiele zur Posen und Gestenerkennung widergegeben. Gesten Rückmeldung Während unserer Experimente bemerkten wir, daß es beim Arbeiten in einem 3D Interface für den Benutzer sehr wichtig ist, Rückmeldungen vom System zu erhalten. Ansonsten kann er nicht abschätzen, ob seine Eingaben vom System richtig erkannt wurden. Jede Veränderung des Eingabegerätes muß erfaßt werden. Darüber hinaus ist jedoch auch ein semantisches Feedback der Benutzereingaben von Bedeutung. Der Benutzer muß wissen, daß die Eingabe nicht nur richtig erkannt, sondern auch richtig interpretiert wurde. 3

4 Unser System verwendet deshalb drei Arten von Feedback: graphische Hand, virtuelle Tools graphische Modifikationen der Objekte Darüber hinaus wird im folgenden skizziert, wie auch andere Eingabemedien als der Data Glove von dem Gesten und Rückmeldungskonzept profitieren können. Graphische Hand In unserem Interface wird ein graphische Hand als natürliches Rückmeldungselement der realen Hand benutzt. Die graphische Hand bewegt sich analog zu den Bewegungen der Hand und der Finger des Benutzers im Anwendungsraum. Beim Erkennen einer Geste durch das System wird die Farbe der graphischen Hand verändert. Beliebige Farben können den verschiedenen Gesten zugeordnet werden. Virtuelle Werkzeuge Es hat sich gezeigt, daß während der Ausführung einer Geste, z.b. der Picking Geste, die Hand als Cursor nicht genau genug ist. In solchen Fällen sind andere Rückmeldungsmechanismen geeigneter. Ein erster Versuch, geeignete Feedback Möglichkeiten zu finden, sind an der Navigations Geste durchgeführt worden. Wenn Benutzer ein Objekt erreichen möchten, um z.b. seinen Inhalt zu erkennen, muß diese Prozedur einfach und mit hinreichender Genauigkeit erfolgen können. Bei kleinen graphischen Objekten geschieht es jedoch häufig, daß die graphische Hand den Blick auf das Objekt ganz oder teilweise behindert. Ein möglicher Ansatz besteht darin, die Metapher der Hand als Werkzeug zu verwenden. Dabei geht man davon aus, daß die Hand die Merkmale eines Werkzeugs übernimmt, das für diese spezielle Aufgabe besser geeignet ist. Mit diesem Ansatz wird dem Benutzer gleichzeitig ein semantisches Feedback vermittelt, indem ihm ein Werkzeug zur Interaktion angeboten wird, das normalerweise für solche Arbeiten eingestzt wird. In unserem Prototyp erscheint der Cursor bei Erkennen der Navigations Geste als kleiner Pfeil: das Objekt ist erreicht, wenn die Pfeilspitze das Objekt berührt. Ein anderer Cursor wurde für die Gripping Geste definiert. Hier übernahm das Bild eines Greifinstruments die Funktion der Hand (vgl. Abb. 5). Wird das Ende einer Geste erkannt, die die Verwendung eines virtuellen Werkzeugs anstelle der graphischen Hand hervorrief, so erscheint wieder die Hand in ihrer normalen Form. Objekt Reaktion In einigen Fällen ist es angebracht, eine Rückmeldung einer Aktion nicht durch eine Form oder Farbveränderung der Hand oder des virtuellen Werkzeugs anzuzeigen, sondern durch eine Veränderung des Objekts selbst. Da die Struktur der graphischen Objekte nur der Anwendung und nicht dem Input System bekannt ist, müssen derartige Rückmeldungen durch die Objekte von der Anwendung organisiert werden. Portierung der Konzepte Um zu demonstrieren, daß die Ansätze, die wir für 3D Interfaces zur graphischen Rückmeldung erarbeitet haben, nicht auf den Data Glove als Eingabemedium beschränkt sind, haben wir parallel dazu in die gleiche 3D Anwendungsumgebung einen Space Ball integriert. Eingabegeräte, die wie der Space Ball über Kräfteveränderungen reagieren, sind zum Ansteuern einer Postition im Raum präziser benutzbar als der Data Glove. Ferner eignen sie sich gut zum Zeigen auf kleine oder viele Objekte. Die Konzepte der Gestensprache konnten erfolgreich auf den Space Ball als Eingabemedium übertragen werden. Buttons am Space Balls dienten zur Initialisierung von Aktionen. Dabei trat das Problem auf, daß der Benutzer nicht immer wußte, welcher Button welche Aktion ausführt. In unserer Anwendung haben wird zur Unterstützung des Benutzers bei der Auswahl der Buttons den Ansatz des graphischen Feedbacks integriert. User Interface Im folgenden wird die Architektur des User Interface beschrieben (s. Abb. 4), in der die Interaktionsmedien, das graphische Interface und unsere Module zur Gestenerkennung und zum graphischen Feedback integriert sind. Graphisches Interface und Interaktionsmedien Graphisches Interface.Als graphisches Interface verwenden wir Iris Inventor von Silicon Graphics, einem objektorientiertem Toolkit, das auf einer X Windows Oberfläche aufsetzt. Es erlaubt einerseits Rapid Prototyping von 4

5 3D Visualisierungen ohne größeren Implementationsaufwand und nutzt andererseits die zur Verfügung stehende graphische Hardware voll aus. Sowohl das User Interface der Anwendung als auch das Feedback und das Gestenerkennungs System kommunizieren mit diesem Modul. Interaktionsmedien.Aus der auf dem Markt verfügbaren Interaktionshardware haben wird für unsere Anwendung den VPL DataGlove und den Spaceball ausgewählt. Der Spaceball mißt die auf ihn ausgeübte Kraft und verwendet den resultierenden Vektor zur Bewegung im virtuellen Raum. Die Kugel des Spaceball selbst ist mit einem Button ausgestattet. Ferner befinden sich auf dem Gerät acht weitere Buttons, die leicht durch den Benutzer zu erreichen sind. Der VPL DataGlove ist zur Feststellung der Orientierung und Position der Hand mit einer Polhemus Vorrichtung ausgestattet. Zwei Sensoren an jedem Finger registrieren den Grad der Beugung der beiden ersten Fingergelenke. Das VPL DataGlove System unterstützt die Anpassung der Kalibrierung des Handschuhs an den jeweiligen Benutzer und erlaubt es, dem System bis zu zehn Posen beizubringen. Während der Spaceball wie auch Maus und Tastatur im X Windows System bereits integriert waren, haben wir für den DataGlove eine entsprechende Integrierung entwickelt. Der graphische Output erfolgt auf einem hochauflösendem Bildschirm oder einem head mounted display. Gestenerkennungs und Feedback Systeme Gestenerkennungssystem.Das Gestenerkennungssystem besteht im wesentlichen aus einem Input Action Handler und einer Datenbasis zur Modellierung der eingegebenen Aktionen. Die Handler Module für die beiden Inputmedien führen zum einen den Vergleich zwischen Benutzereingaben und den Aktionsmodellen, die in der Input Action Models database gespeichert sind durch und übermittelt andererseits Anforderungen an den Feedback Handler, das korrespondierende Feedback Modell zu visualisieren. Feedback System. In Abhängigkeit der Anforderungen des Input Action Handlers werden durch das Feedback System Feedback Modelle aus der Feedback Models database ausgewählt und visualisiert. Die Ausführung der Visualisierung geschieht entweder über das Hand Feedback Modul oder das Virtual Tools Feedback Modul. Zusammenfassung Wir haben hier über eine Studie zur Interaktion in einem 3D User Interface berichtet, die durch dynamische Gesten des Benutzers und dem graphischen Feedback der Schnittstelle charakterisiert ist. Zur Zeit kann der Benutzer dem System eine Anzahl von Gesten mit Hilfe eines Gesteneditors beibringen. Wenn diese Gesten dann über einen Data- Glove oder einen Spaceball ausgeführt werden, werden sie von einem Gesten Erkennungssystem identifiziert. Ein Feedback der ausgeführten Aktion, das auch semantische Information vermittelt unterstützt den Benutzer bei seiner Anwendung. Wir beabsichtigen, eine Evaluierung dieses Ansatzes in sehr komplexen Szenen durchzuführen. Außerdem wollen wir untersuchen, ob auch komplexere Gesten verläßlich erkannt werden können und ob durch sie eine realistischere Interaktion ermöglicht wird. 5