Seminar aus Software Engineering: Mensch-Maschine-Kommunikation. Multi-Touch-Systeme. David Aberl, Mario Slavik,

Transkript

1 Seminar aus Software Engineering: Multi-Touch-Systeme David Aberl, Mario Slavik, Mai 2009 Zusammenfassung Multi-Touch-Systeme sind eine sehr junge Entwicklung bei denen die Eingabeschnittstelle meist gleich der Ausgabeschnittstelle ist. Es wird meist mittels Touch-Screen realisiert und ermöglicht die Bedienung mit mehreren Fingern und mehreren Benutzern zur gleichen Zeit. Populär wurden diese Systeme mit dem Apple iphone, das mittels Multi-Touch bedienbar ist. c Aberl, Slavik Seite 1

2 Inhaltsverzeichnis 1 Einleitung Anforderungen und Herausforderungen an Multi-Touch-Systeme Typen und Varianten Multi-Touch Anforderungen an die Hardware Derzeit verbreitete Methoden Frustrated Total Internal Reflection (FTIR) Diffuse Illumination (DI) Kapazitiv Anforderungen an die Software Vorteile Nachteile Anwendungen aktuelle verfügbare Produkte Apple iphone Microsoft Surface potentielle Einsatzmöglichkeiten und Visionen Microsoft Office Labs Multi-Touch in Katastrophenstäben Fazit 10 1 Einleitung Multi-Touch ist eine Technologie in der die mehrere Eingaben auf einem Panel gleichzeitig verarbeitet. Meistens werden Ausgabe (Bildschirm) und Eingabe (Multi-Touch-Panel) kombiniert. Im Gegensatz zum Touchscreen, der nur einen Druckpunkt über das Touchpanel aufnimmt, werden bei Multi-Touch-Systemen mehrere Druckpunkte registriert. Die größere Anzahl der Druckpunkte erweitert die Möglichkeiten der Benutzer-Interaktion und außerdem ist die Bedienung von mehreren Personen gleichzeitig möglich. Die größere Anzahl an Druckpunkten und die Mehrbenutzermöglichkeit stellt eine große Herausforderung für die Entwicklung dieser Systeme dar. c Aberl, Slavik Seite 2

3 Abbildung 1: Microsoft Surface - Ein Multi-Touch-System für mehrere Benutzer 1.1 Anforderungen und Herausforderungen an Multi-Touch- Systeme Die Kernaufgabe von Multi-Touch-Systemen besteht darin mehrere gleichzeitige Druckpunkte aufzunehmen und zu verarbeiten. Dabei soll es jedoch nicht zu Fehleingaben kommen, weil zum Beispiel ein Benutzer den Handballen auf das Panel liegen hat. Auch andere Objekte sollen keine Fehleingaben verursachen. Beim Eingeben oder Klicken auf Objekte auf dem Bildschirm verdeckt man automatisch mit dem Arm bzw. der Hand und Fingern Teile des User-Interfaces. Daher ist die Gestaltung von entsprechenden UI eine Herausforderung an die Designer. Bei mehreren Benutzern sollen die Eingaben der einzelnen Benutzer sicher erkannt werden und es sollen sich die Eingaben der Benutzer nicht vermischen. Das System soll die Benutzer und deren Eingaben eindeutig erkennen. Da bei Multi-Touch-Systemen keine Tastatur verfügbar ist (bis auf eine eingeblendete Tastatur auf dem Panel) werden Gesten für komplexere Befehle verwendet. Diese Gesten sollen zuverlässig erkannt werden, da ansonsten der Benutzer bzw. die Benutzer des Systems schnell frustriert werden. Des Weiteren sollen diese Gesten einfach erlernbar und intuitiv sein. Nebenanforderungen des Multi-Touch-Systems sind vorallem der Preis, da alternative Technologien im Preis wesentlich günstiger sind (z.b. Mobiltelefon mit Display und Tastatur). Zusätzlich sollen Multi-Touch-Systeme nicht laufend kalibriert werden müssen. 1.2 Typen und Varianten Als Multi-Touch-Systeme werden oft Geräte die Eingabepanel und Bildschirm kombinieren verstanden. Jedoch gibt es auch Systeme in denen der Bildschirm vom Eingac Aberl, Slavik Seite 3

4 bepanel getrennt sind. Das hat vor allem den Vorteil, dass keine User-Interface Teile überdeckt werden. Diese Trennung wird großteils bei Grafiktabletts verwendet, die Grafikern mehr Freiheiten (z.b. Freihandzeichnen) bieten und zusätzlich die Möglichkeiten der Verwendung von Gesten bieten. Kombinierte Multi-Touch-Systeme, die Display und Eingabepanel kombinieren, können auf verschiedene Arten realisiert werden. Einerseits kann man einen klassischen Bildschirm mit Multi-Touch-Panel verwenden. Dabei kann zusätzlich noch den Bildschirm gegen eine Rückprojektion ersetzten, was einer Kamera ermöglicht zusätzlich Gegenstände von unten zu erkennen. Anderseits wird vor allem bei großen interaktiven Flächen, welche sich nicht mit TFT- Displays realisieren lassen, Projektoren verwendet. Die Projektoren haben jedoch den Nachteil, dass man Schatten auf dem interaktiven Panel erzeugen kann. 2 Multi-Touch 2.1 Anforderungen an die Hardware Die Wahl der verwendeten Sensorlösung ist abhängig von den benötigten Anforderungen die diese erfüllen muß. Zu den üblichen Anforderungen zählen: Abtastrate: Üblicherweise sollten Änderungen in der Position von Eingabepunkten zumindest 30mal pro Sekunde erkannt werden. Genauigkeit: Vor allem wenn Mausbewegungen simuliert werden sollen ist es notwendig die Position der Berührungen in einem relativ feinen Raster erfassen zu können. Anzahl der unterscheidbaren Punkte: Bei einem Multitouch-Touchpad oder bei einem mobilen Gerät können 2 Punkte ausreichend sein, um alle relevanten Gesten zu erfassen, bei einem Table-System werden offensichtlich mehr benötigt. Robustheit: Dies ist bei Handheld als auch bei Table-Systeme eine wichtiger Punkt, da viel mehr beansprucht werden als konventionelle Monitore. Kosten: Die Kosten des Systems dürfen die Vorteile nicht überschreiten um breite Akzeptanz zu finden. Korrektheit: Es darf zu keinen Fehlererkennungen kommen. Das Abstellen eines Kaffeebechers auf einem Table-System sollte nicht als Geste erkannt werden und eingegebene Gesten sollten auch nicht zu oft falsch interpretiert werden c Aberl, Slavik Seite 4

5 da dadurch die Benutzer frustriert werden und dies schnell zur Ablehnung der Technologie führen kann. 2.2 Derzeit verbreitete Methoden Frustrated Total Internal Reflection (FTIR) Diese Methode nutzt das Prinzip der totalen Reflexion. Trifft ein Lichtstrahl in einem optisch dichten Medium auf die Grenze zu einem optisch dünnen Medium wird dieses vom Einfallslot weg gebrochen. Ist der Einfallswinkel groß genug wird das Licht nicht mehr abgegeben sondern reflektiert. Bei der Verwendung in Multi-Touch-Panelen wird dies nun genützt, indem eine Kunststoff- oder Glasplatte als optisch dichtes Medium, und Luft als optisch dünnes Medium genutzt wird. Es wird infrarotes Licht in die Platte geleitet und dort intern reflektiert. Trifft ein Objekt, wie zum Beispiel ein Finger auf die Oberfläche, so ändert sich die Lichtbrechung und das Licht wird an dieser Stelle nicht mehr intern reflektiert, sondern abgegeben. Eine Infrarot-Kamera kann das Bild aufnehmen und auswerten. Abbildung 2: Frustrated Total Internal Reflection - Aufbau Diffuse Illumination (DI) Eine weitere Methode die Infrarot-Wellen benutzt ist Diffuse Illumination. Dabei wird nicht das Innere der Platte beleuchtet, sondern die Oberfläche und die Umgebung. Dies hat vor allen den Vorteil, dass nicht nur die Stelle erkannt wird auf der der Finger die Oberfläche berührt, sondern auch noch ein Teil des Fingers und Teile der Hand. Die macht es möglich die Lage der Hand zu bestimmen und so zusammengesetzte Gesten besser zu erkennen. Allerdings ist die Auswertung dieser Bilder etwas aufwendiger als bei FTIR. c Aberl, Slavik Seite 5

6 Abbildung 3: Diffuse Illumination - Aufbau und Stufen der Bildverarbeitung Kapazitiv Ein feines Array von Antennen auf der Unterseite des Panels wird hier gemultiplext. Auf der Oberseite des Panels befindet sich ein feines Array von Antennen welches das Signal empfangen. Durch den Druck auf das Display ändert sich die Kapazität zwischen den 2 Antennen und das Signal ändert sich, dies kann ausgewertet werden und dadurch die Position von Druckpunkten bestimmt werden. Abhängig von der Anzahl der Antennen und der Signalverarbeitung sind dadurch mehrere Druckpunkte und die Stärke des Drucks messbar. Abbildung 4: Kapazitive Systeme - Aufbau 2.3 Anforderungen an die Software Reaktionszeit Auf eine Eingabe muss in relativ kurzer Zeit (ca ms) eine Rückmeldung an den Benutzer möglich sein. Genauigkeit der Eingabe-Position. Hierbei gibt es bei Touch-Systemen das zusätzliche Problem da sich beim niederdrücken des Fingers der Mittelpunkt der berührten Fläche verschiebt. Dies muss bei der Auswertung berücksichtigt werden. Bei Mehrbenutzersystemen muss unterschieden werden welche Druckpunkte von c Aberl, Slavik Seite 6

7 welchem Benutzer stammen. Dies hat mehrere Gründe. Zum einen um unterscheiden zu können, ob es sich um eine Geste Handelt (wie zum Beispiel resize ) oder um getrennte Eingabe von 2 Personen. Zum anderen könnten auch verschiedene Benutzer verschiedene Berechtigungen im System haben. Größe der Icons. Da bei dem Drücken auf ein Display das Ziel vom Finger verdeckt wird ist die Genauigkeit geringer als bei einer Maus. Dies muss beim Design der Benutzeroberfläche berücksichtigt werden. 2.4 Vorteile Multi-Touch bringt vor allem 2 Vorteile: Die Möglichkeit von mehreren Benutzern die auf einem Gerät zu arbeiten. Da Single-Touch-Systeme nur einen Druckpunkt gleichzeitig erfassen können, und mehrfache gleichzeitige Betätigung üblicherweise zu einer Falsch-Interpretation führen, war es bisher kaum (ohne zusätzliche Eingabegeräte) möglich mehreren Benutzern gleichzeitig Zugang zu einem Touchscreen zu ermöglichen. Das Hinzufügen neuer Gesten zur bisherigen Steuerung. Bei Single-Touch-Panelen sind in der Lage click und move Bewegungen intuitiv zu implementieren. Durch Multi-Touch können unter anderem Funktionen wie resize und rotate zum Repertoire der Gesten hinzugefügt werden die nicht speziell erlernt werden müssen, sondern intuitiv verstanden werden. 2.5 Nachteile Wie bei jeder neuen Technologie neigen Entwickler dazu die neue Funktionalität zu sehr zu nutzen und dabei den Anwender zu vergessen. Man sollte sich immer wieder bei der Entwicklung das Motto Keep it simple vor Augen halten. Ja, es ist jetzt möglich Gesten zu entwerfen die 4 Finger benötigen, aber sind diese dann noch wirklich intuitiv? Bei dem Entwurf der Benutzeroberfläche sollte weiters auch eine Bedienung mit nur einem Finger möglich sein. Da sonst Menschen mit Behinderungen die bisher Touchpads bedienen konnten ausgeschlossen werden. Dies ist außerdem bei mobilen Geräten äußerst wichtig, da man zum Beispiel bei einem Mobiltelefon auch in der Lage sein sollte Anrufe zu tätigen wenn man nur eine Hand zur Verfügung steht. Die Eingabe von Text ist auch nicht so komfortabel im Vergleich zu einer herkömmlichen Tastatur, da der taktile Feedback sowie das typische Klack Geräusch fehlen. Dies muss audio-visuell kompensiert werden. c Aberl, Slavik Seite 7

8 3 Anwendungen 3.1 aktuelle verfügbare Produkte Apple iphone Das Apple iphone ist ein vom Computerhersteller Apple entwickeltes Smartphone, welches neben dem großen Touch-Screen nur 4 weitere Tasten hat. Es wird fast ausschließlich über den Touch-Screen mittels Finger bedient und erlaubt auch die Bedienung mit mehreren Fingern und ist somit ein Multi-Touch fähiges Gerät. Die erste Generation des iphones startet im Juni 2007 und seither ist das iphone, auch Aufgrund seiner technischen Neuerungen ein beliebtes Lifestyle Produkt. Abbildung 5: Das Apple iphone 3G - Die aktuelle Generation Der Multi-Touch-Screen kann bis zu 12 Druckpunkte gleichzeitig aufnehmen und der Software zur Verarbeitung übermitteln. Da das iphone über keine Tastatur oder Ziffernblock verfügt, wird für das Eingeben eine entsprechende Tastatur eingeblendet Microsoft Surface Microsoft Surface ist ein Computer der Firma Microsoft, der nur mittels eines Multi- Touch fähigem Displays gesteuert wird. Der Surface-Computer sieht aus wie ein kleiner Tisch, dessen Oberfläche ein 30 großer Display ist wurde der Surface-Computer der Öffentlichkeit vorgestellt und soll in Hotels, Restaurants oder Ladengeschäfte eingesetzt werden. Der Multi-Touch-Display kann bis zu 52 Druckpunkte aufnehmen, die Mittels der Infrarot-Reflexionen der Fingerspitzen aufgenommen werden. Eine Besonderheit von c Aberl, Slavik Seite 8

9 Abbildung 6: Microsoft Surface kann auch mit technischen Geräten interagieren Microsofts Surface ist, dass es auch mit Mobiltelefonen und Digitalkameras via WLAN interagieren kann, wenn diese auf den Display gelegt werden. 3.2 potentielle Einsatzmöglichkeiten und Visionen Microsoft Office Labs 2019 Die Microsoft Office Labs stellten auf der Wharton Business Technology Conference im Februar 2009 ihre Vision der Zukunft in Form eines Videos dar. Abbildung 7: Microsoft Office Labs Vision 2019 Dieses Video 2019 genannt zeigt eindrucksvoll einige mögliche Einsatzzwecke von Multi-Touch-Systemen bei der Bedienung von Computern. Was deutlich bei dieser Vision auffällt ist Mehrbenutzerfähigkeit und der Verzicht auf Eingabegeräte wie Tastatur und Maus. Fast Alles wird intuitiv und direkt auf dem Display bedient. Es zeit außerdem auch neue Wege der Kommunikation und des User-Interface Designs Multi-Touch in Katastrophenstäben Es treten immer größere Schäden durch Katastrophen auf, somit ist eine bessere und optimalere Arbeit in Katastrophenstäben wichtig, um Schäden zu minimieren bzw. Hilfe optimal zu nutzen. c Aberl, Slavik Seite 9

10 Der Einsatz von Multi-Touch-Systemen stellt ein wichtiges Forschungsgebiet neben der Standardisierung der Informationsschnittstellen in Katastrophenstäben dar. Multi- Touch wird dabei vor allem als Möglichkeit zur Verbesserung des kollaborativen Arbeitens gesehen. Multi-User Interaktionen mit Benutzerrechten sind für solche Systeme ebenfalls von großem Wert. [3] 4 Fazit Multi-Touch-Systeme bieten viel Potential im Bereich der Usability, da diese Systeme sehr intuitiv bedienbar sind und auch sehr schnell erlernbar. Jedoch haben diese Systeme auch einige Nachteile, wie das fehlende taktile Feedback, über die man nicht hinwegsehen sollte. Reine Multi-Touch-Applikationen werden nur einen eingeschränkten Markt haben, aber als zusätzliches Eingabe-Interface wird es viele Applikationen erweitern und die Bedienung vereinfachen. Zurzeit unterstützen aktuelle Apple Notebooks mit MacOS Multi-Touch-Pad Features. Microsofts kommendes Windows 7 wird ebenfalls die Unterstüztung für Multi-Touch anbieten. c Aberl, Slavik Seite 10

11 Abbildungsverzeichnis 1 Microsoft Surface - Ein Multi-Touch-System für mehrere Benutzer Frustrated Total Internal Reflection - Aufbau Diffuse Illumination - Aufbau und Stufen der Bildverarbeitung Kapazitive Systeme - Aufbau Das Apple iphone 3G - Die aktuelle Generation Microsoft Surface kann auch mit technischen Geräten interagieren Microsoft Office Labs Vision Literatur [1] Apple: Apple Homepage [2] Buxtion, Bill: Multi-Touch Systems that I Have Known and Loved [3] Daiber, F.; Stasch, C; Walkowski A.C.; Schöning J. Krüger A.: Multi- Touch und Multi-User Interaktion zur Verbesserung des kollaborativen Arbeitens in Katastrophenstäben. Institut für Geoinformatik, Westfälische Wilhelms- Universität Münster, [4] Eicker, S., T. Spies und M. Tschersich: Einsatz von Multi-Touch beim Softwaredesign am Beispiel der CRC Card-Methode. [5] Labs, Microsoft Office: Future Vision Montage [6] Microsoft: Microsoft Homepage [7] Schöning, J., P. Brandl, F. Daiber, F. Echtler, O. Hilliges, J. Hook, M. Löchtefeld, N. Motamedi, L. Muller, P. Olivier et al.: Multi-Touch Surfaces: A Technical Guide. Technischer Bericht. c Aberl, Slavik Seite 11