Ein drahtloser Eingabehandschuh für Augmented Reality Anwendungen

Transkript

1 Ein drahtloser Eingabehandschuh für AR Anwendungen Ein drahtloser Eingabehandschuh für Augmented Reality Anwendungen TZI Universität Bremen Am Fallturm Bremen / mlawo@tzi.de Zusammenfassung So wie sich die Maus als Standard Eingabegerät an der grafischen Benutzerschnittstelle bei Arbeitsplatzanwendungen durchgesetzt hat, hat der Handschuh in VR Anwendungen bereits eine gewisse Popularität neben anderen Systemen wie beispielsweise Joysticks erreicht. In Augment Reality-Anwendungen zeigt der nach zwei Prototypenstadien am TZI entwickelte WINSPECT Handschuh der dritten Generation das Potential zur Standardschnittstelle in Augmented Reality- Anwendungen zu werden. In diesem Beitrag werden Konzept, Architektur und Implementierung der neuesten Generation dieses universellen Eingabegerätes vorgestellt. Schlüsselwörter Innovatives Eingabegerät, User Interface Design, Anwendungen

2 Seite 2 1 Einführung und Stand der Technik Handschuhe sind Bekleidungsstücke, unterliegen der Mode und dienten ursprünglich dem Schutz. In Augmented Reality und Wearable Computing 1 Anwendungen dienen Handschuhe der Interaktion mit Computer Anwendungen. Das Wearable Computing ist mit der zunehmenden Leistungsfähigkeit der verwendeten Rechner und Kommunikations-Infrastruktur mehr und mehr für Augmented Reality- Anwendungen geeignet. Ein Engpass sind aber aktuell noch geeignete Benutzerschnittstellen und sensorische Systeme zur Kontexterkennung. Die Produkte von Immersion [Im05] und 5DT [5DT05] sind Interaktionssysteme zur Detektion von Handbewegungen. Aufgrund der hohen Kosten (ca US $) ist Ihre Anwendung jedoch beschränkt. Ein weiterer Nachteil ist, dass selbst bei einer drahtlosen Übertragung zum Rechnersystem vom Nutzer aus, diese Systeme eine umfangreiche am Körper unterzubringende Verkabelung erfordern (vgl. Bild 1); ein zum Konzept des Wearable Computing gehörendes einfaches An- und Ausziehen ist so ausgeschlossen. Abbildung 1: 5DT Sensorglove mit Bluetooth-Interface 1 Die Übersetzung des englischen Wortes Wearable mit Tragbar ist missverständlich; es müsste korrekt In die Kleidung integriert heißen; zur Vereinfachung wird in diesem Text konsequent der Begriff Wearable verwendet.

3 Ein universeller drahtloser Eingabehandschuh für AR Anwendungen Seite 3 2 Sytemarchitektur für die drahtlose Interaktion 2.1 Vom Wearable Computing zum On Body Network Die klassische Wearable Computing Architektur ist eine Client-Server- Architektur aus sechs Komponenten bestehend (vgl. Abb. 2): Zentrale Wearable Computing Einheit ( ZWCE), Kommunikationssubsystem, um mit der Umgebung zu interagieren (KS), Eingabe und Ausgabe Medien (EM & AM), allgemeine Peripherie wie Server, Datenbanken, Rechner mit höherer Leistung für rechenzeitintensive Prozesse (AP) und Sensor Subsysteme (SS), die auch zur Kontextbestimmung herangezogen werden können. Ausgabe Eingabe ZWCE allg. Peripherie Kommunikation Sensor Subsystem Abbildung 2: Klassische Wearable Computing Architektur Bei dieser Architektur handelt es sich mehr oder minder um einen Arbeitsplatzrechner, der in Form und Größe weitgehend reduziert und für die Integration in die Bekleidung des Benutzers angepasst ist. So wird der Bildschirm durch ein so genanntes Head-Mounted-Display ersetzt und als Eingabemedium findet z.b. eine Einhand-Tastatur wie der Twiddler [TW05] Verwendung. Die drahtlose Kommunikation mit der Umgebung wird durch die Kombination aus Zentraler Einheit und Kommunikationssubsystem (ZWCE+ KS) z.b. mittels WLAN (802.11b) sichergestellt. Die Sensoren sind i.d.r. drahtgebunden an die Zentraleinheit angeschlossen. Fortgeschrittene Wearable Computing Systeme, wie sie im wearit@work Projekt eingesetzt werden [WEA06] gehen über diese klassische Architektur und das Arbeitsplatzrechner- Paradigma hinaus. Hier wird das System auf vier Komponenten mit drahtloser Kommunikation reduziert; drei dieser Komponenten sind in die Kleidung integriert und werden am Körper getragen (vgl. Abb. 3).

4 Seite 4 Abbildung 3: Drahtlose Wearable Computing Architektur Der Vorteil dieser Architektur besteht darin, dass abhängig von der Leistungsfähigkeit des drahtlosen Netzwerks und der verwendeten Komponenten Rechenleistung auf die Zentraleinheit, das Sensorsubssystem oder die Peripherie verlagert werden können. 2.2 Entwicklung des WINSPECT Zielsetzung der zum WINSPECT [Bor01] führenden Forschungs- und Entwicklungsarbeiten war auf der Basis des in Abb. 2 dargestellten Architektur ein kostengünstiges und im Sinne des einfachen An- und Ausziehens kompaktes System zur Steuerung von Computeranwendungen zu erstellen. Zunächst nur für den Arbeitsalltag in der Wartung und Montage in rauer Umgebung konzipiert, wurde das System für allgemeine Einsätze in der Arbeitswelt und im Freizeitbereich weiterentwickelt. Abbildung 4: WINSPECT der 2. Generation

5 Ein universeller drahtloser Eingabehandschuh für AR Anwendungen Seite 5 Seit der zweiten Generation [Law06] verfügt das System über eine Bluetooth Schnittstelle (vgl. Abb. 4) und unterstützt so die in Abbildung 3 dargestellte Atrchitektur. Der WINSPECT eignet sich damit auch für Anwendungen des Pervasive oder Ubiquitous Computing und für AR Anwendungen. Praktische Versuche zeigten die Schwachstellen des Systems in der nur unvollständig vollzogenen textilen Integration der Elektronik und dem durch den mehrschichtigen Aufbau verminderten Tragekomfort. In der dritten Generation wurde daher der textile Anteil minimiert und die Integration der Elektronik maximiert. Die Möglichkeit, die Elektronik im Falle eines notwendigen Ersatzes des textilen Trägers wieder zu verwenden, wurde durch eine entsprechende Montagefreundlichkeit im Entwurf berücksichtigt. 2.3 Baugruppe zur Sensorsignalverarbeitung Für die Sensorsignalverarbeitung wurde mit SCIPIO eine leichtgewichtige elektronische Basiskomponente zum Einbau in Eingabegeräte des Wearable Computing entwickelt. SCIPIO ( Semi-Complex Intelligent Programmable Input and Output ) verfügt über eine Reihe flexibel kombinierbarer Ein- und Ausgabekanäle und hat eine geringe Baugröße (50x30x12 mm, 19 g). Die wesentlichen Komponenten sind eine PIC16F88 MCU und ein Initium PromiESD Bluetooth Modul. Die MCU besteht aus einer RISC CPU, internem RAM und Flash-PROM, einem 7-Kanal A/D-Wandler, einem PWM Generator und einigen digitalen I/O Pins. In Abbildung 5 zeigt das Blockschaltbild. Drei LEDs und ein kleiner Piezo Lautsprecher dienen dem Feed-back. Abbildung 5: Blockschaltbild der SCIPIO Baugruppe Die Kommunikation beruht bei SCIPIO auf dem RFCOMM Protokoll. Details zur Basissoftware und der Programmierung sind ausführlich in [WIT06] beschrieben. Für die Implementierung im WINSPECT der dritten Generation wurden Sensoren (binär, analog, digital) sowie ein RFID Leser mit Verkabelung und Anschluss an

6 Seite 6 die SCIPIO Baugruppe und die Energieversorgung in das Textil integriert (vgl. Abb. 6). Mittels des eingebauten zweiachsigen Neigungssensors zur Bestimmung von Handdrehungen kann in Listen navigiert werden. Drei an der Innenseite der Fingerringe befindliche textile Schalter (rote Punkte in Abb. 6) können für anwendungsspezifische Schaltvorgänge verwendet werden. Mittels der LED lassen sich Statusanzeigen wie Verbindungs- oder Batterieladezustand anzeigen. Der verwendete Akku erlaubt durch den eingebauten Energiesparmodus einen Dauerbetrieb von 8 Stunden. Abbildung 6: WINSPECT der 3. Generation mit integrierter Elektronik 3 Anwendungen 3.1 Wearable Computing Der WINSPECT ermöglicht eine unaufwändige und einfache Eingabe durch Bewegen der Hand und per Fingerdruck. Natürlich ist solch ein Eingabesystem nicht ohne ein geeignetes Ausgabegerät wie ein Head Mounted Display (vgl. Abb. 7), oder ein am Handgelenk getragenes Display im Wearable Computing einsetzbar. Im Bereich des Ubiquituous oder Pervasive Computing bietet sich ein solches Eingabemedium aber auch die Möglichkeit, als einzig verwendetes System dem Anwender Zugang zu in der Umgebung befindlichen IT Systemen zu verschaffen. Es lassen sich einfache Interaktionen wie das Steuern von Checklisten aber auch das Lesen von RFID Tags realisieren. Damit ist das System in der Wartung, Produktion und Logistik genauso wie im Alltagsbereich einsetzbar. Durch die eingebauten Sensoren sind Gesten, aber auch Handhabungen erkennbar (Abb. 7 und [WIT05a]). Ein wesentlicher Vorteil des Handschuhs im Vergleich zu einem

7 Ein universeller drahtloser Eingabehandschuh für AR Anwendungen Seite 7 Armband mit einem Schaltknopf ist die Einhandbedienung, die erlaubt mit den Händen Tätigkeiten auszuüben, die nicht der Computerinteraktion dienen. Für effiziente Wearable Computing Anwendungen sind kontextsensitive Benutzerschnittstellen zu schaffen. Nur so lässt sich die Forderung nach einer möglichst geringen kognitiven Last für den Benutzer erfüllen. Für die Gestaltung solcher kontextsensitiven Benutzerschnittstellen ist in [WIT05b] ein Werkzeug beschrieben. Abbildung 7: WINSPECT Wearable Computing Anwendungen 3.2 Augmented Reality Im Gegensatz zu den in Kapitel 1 erwähnten Datenhandschuhen interpretiert der WINSPECT nur Handbewegungen, jedoch keine Fingerbewegungen. Mit den Fingern können nur Schalterfunktionen realisiert werden. Damit sind Greifoperationen nicht modellierbar. Der WINSPECT verfügt konzeptionell über keine aktuatorischen Komponenten, so dass eine Rückkopplung der durchgeführten Handlungen nicht gefühlt werden können. Jedoch sind in der Kombination von Handhabungen und der Auswahl von Handlungsoptionen mittels Menuesteuerung Handhabungen modellierbar. In der Kombination des Wearable Computing mit Augmented Reality Anwendungen eröffnen sich dem Nutzer von AR Systemen neue Anwendungsbereiche, da dem Benutzer mit dem vorgestellten Ansatz zusätzliche Freiheiten gegeben werden. 4 Ausblick Mit dem WINSPECT werden die Erfordernisse einer drahtlosen Interaktion des Benutzers mit Augmented Reality Anwendungen bereits gut erfüllt. Die Imple-

8 Seite 8 mentierung eines kontextsensitiven Werkzeugs zur Gestaltung von Benutzerschnittstellen gehört ebenso wie die Standardisierung in diesem Umfeld zu den von zukünftigen Arbeiten zu erfüllenden Erfordernissen. Mit dem vorliegenden Design werden die wesentlichen Anforderungen an die Standzeit erfüllt, um eine autonome Nutzung z.b. im Umfeld einer Produktionsanlage zu erfüllen. Es ist zu erwarten, dass sowohl die zukünftige Generationen von RFID Lesern als Komponenten zur drahtlosen Kommunikation energieeffizienter als aktuelle Systeme sein werden. Bei einer Serienfertigung des Systems auf der Basis des jetzt vorliegenden Designs sind Kosten weit unterhalb der für derzeit auf dem Markt verfügbarer Systeme erreichbar. Quellen [5DT05] Siehe Stand [Bor01] [Im05] [Law06] Boronowsky, M.; Nicolai, T.; Schlieder, C.; Schmidt,A.: Winspect: A case study for wearable computing-supported inspection tasks. In: ISWC 01, IE- EE CS (2001) Siehe Stand Lawo, M.; Witt, H.; Kenn, H.; Nicolai, T.; Leibrand, R.: A Glove for Seamless Computer Interaction Understand the WINSPECT; in Kenn, H.; Glotzbach, U.; Herzog, O. (Hrsg.) - The Smart Glove Workshop; Proceedings Technical Report TZI Bericht Nr. 33, [TW05] Siehe Stand [WEA06] Siehe Stand [WIT05a] [WIT05b] [WIT06] Witt, H.; Enabling Implicit Interaction in Wearable Applications: Don t use sensors only for one task. International Conference on Cutting Edge Wireless Technology (CEWIT), Long Island, New York, December 7, 2005 Witt, H.: A toolkit for context-aware wearable user interface development for wearable computers. In: ISWC 05, IEEE CS (2005). Witt, H.; Leibrandt, R.; Kemnade, A.; Kenn, H.: SCIPIO: A Miniaturized Building Block for Wearable Interaction Devices; In Herzog, O. e.a. (Hrsg.) - Proceedings of the 3 rd International Forum on Applied Wearable Computing, Danksagung Der Autor dankt den Herren Dr. Michael Boronowsky, Christian Dils, Andreas Kemnade, Dr. Holger Kenn, Rüdiger Leibrand, Tom Nicolai und Hendrik Witt vom Technologie-Zentrum Informatik der Universität Bremen, durch deren Arbeit dieser Beitrag erst ermöglicht wurde. Die textile Integration der entwickelten E- lektronik in den vorliegenden WINSPECT Handschuh der 3. Generation erfolgte durch die Fa. Lösungsmittel. Dank gilt auch der EU für die teilweise Förderung der hier vorgestellten Arbeiten und den Projektpartnern im IP wearit@work für die wertvollen Anregungen zur Optimierung des Systems.