Umsetzung gestenbasierter Interaktion zwischen mobilen Endgeräten und einem Multi-Touch Tisch am Beispiel eines Pokerspiels. Zur Erlangung des Grades

Transkript

1 Umsetzung gestenbasierter Interaktion zwischen mobilen Endgeräten und einem Multi-Touch Tisch am Beispiel eines Pokerspiels Zur Erlangung des Grades Bachelor of Science im Studiengang Informatik an der Fakultät Elektrotechnik-Informatik-Mathematik der Universität Paderborn vorgelegt von Paul Dinkel Matrikelnummer: Referenten: Prof. Dr. Gerd Szwillus Prof. Dr. Gitta Domik Eingereicht am:

2 EIDESSTATTLICHE ERKLÄRUNG Ich erkläre hiermit an Eides statt, dass ich die vorliegende Bachelorarbeit selbständig und ohne unzulässige fremde Hilfe angefertigt habe. Die verwendeten Quellen sind vollständig zitiert. Datum: Unterschrift

3 INHALTSVERZEICHNIS 1 EINLEITUNG Motivation Zielsetzung Struktur der Arbeit GRUNDLAGEN Pokervariante Texas Hold em No Limit Multi-Touch Technologien Geschichtlicher Überblick Drei relevante Multi-Touch Technologien Mobilgeräte auf Basis von Windows Phone GESTENBASIERTE INTERAKTION Multi-Touch Tisch Anwendungsbereiche Bezug zum Pokerspiel Mobile Endgeräte Anwendungsbereiche Bezug zum Pokerspiel PROTOTYPISCHE UMSETZUNG Technische Anforderungsbeschreibung Multi-Touch Tisch Mobile Endgeräte Softwarearchitektur Multi-Touch Tisch Mobile Endgeräte Grafische Benutzeroberfläche Multi-Touch Tisch Mobile Endgeräte Nutzerinteraktion Multi-Touch Tisch Mobile Endgeräte Das Model View ViewModel Programmierparadigma Model View ViewModel Extensible Messaging and Presence Protocol Technischer Überblick Bezug zum Pokerspiel FAZIT UND AUSBLICK ABBILDUNGSVERZEICHNIS... I LITERATURVERZEICHNIS... II

4 1 EINLEITUNG Im Bereich der Mensch-Maschine-Wechselwirkung gewinnt die gestenbasierte Interaktion immer mehr an Bedeutung. Sie beschreibt die Kommunikation zwischen Menschen und Computern mittels Gesten. M. Brereton schreibt dazu folgendes: Gestures are attractive as an input vehicle because they come naturally to the human and exercise the human body appropriately, rather than constraining the human to the postures and patterned actions of keyboard and mouse type technologies. [1] In dieser Arbeit soll untersucht werden wie sich die gestenbasierte Interaktion zwischen einem Multi-Touch Tisch und mobilen Endgeräten umsetzten lässt. Als Beispielanwendung für die Realisierung der gestenbasierten Interaktion wurde das Kartenspiel Poker herangezogen. Das Pokerspiel lässt sich in Hinsicht auf die Aktionen, die jeder Spieler ausführen kann, in zwei Bereiche unterteilen. Zum einen die Interaktionen mit dem Tisch, wie das Setzen der Spielmarken, und zum anderen die Interaktionen mit den Karten, wie beispielsweise das Passen in einem Spielzug. Mit dem Begriff Multi-Touch bezeichnet man die Technologie, mehrere Berührungspunkte auf Oberflächen gleichzeitig zu erkennen [2]. In mobilen Geräten wie Smartphones und MP3- Abspielgeräten sind Multi-Touch-fähige Anzeigen mittlerweile ein Standard. Durch den Verzicht auf Hardware-Tasten kann einerseits Geld gespart werden, andererseits ist die kapazitive Multi-Touch Technologie verschleißfrei nutzbar, da kein mechanischer Druck zur Bedienung aufgewendet werden muss. Im stationären Bereich sind Multi-Touch-fähige Anzeigen weitaus seltener anzutreffen. Oft wird die Kombination aus Display und Multi-Touch-Oberfläche in einer Tischkonstruktion realisiert. Bei derartigen Aufbauten steht in der Regel nicht die Bedienung durch eine einzelne Person, sondern, nicht zuletzt aufgrund der großen Anzeigefläche, die kooperative Bedienung durch mehrere Menschen im Vordergrund. Die Firma Microsoft stellte im Jahr 2007 den Multi-Touch Tisch Surface vor [3]. Bei diesem Gerät handelt es sich um ein 30 Zoll großes Display, welches beliebig viele Berührungspunkte gleichzeitig erkennen kann. Im Rahmen einer Forschungsarbeit entwickelte Adrian Hülsmann im Jahr 2010/2011 an der 1

5 Universität Paderborn ebenfalls einen Multi-Touch Tisch namens Mister. T [4]. Im Gegensatz zu Surface arbeitet Mister T mit einem Projektor statt einem Display. Dies führt zu einer wesentlich größeren Nutzfläche. Ebenso ist die Auflösung wesentlich höher als bei Surface. 1.1 MOTIVATION In dieser Bachelorarbeit soll untersucht werden, wie ein Multi-Touch Tisch und Mobiltelefone miteinander interagieren können. Dies betrifft sowohl technologische Aspekte der Datenübertragung, wie zum Beispiel die technische Infrastruktur und Kommunikationsprotokolle, als auch die Form der Dateneingabe. Heutige Smartphones bieten mit ihren verschiedenen Sensoren (Touch-, Beschleunigungs- und Lagesensoren) vielfältige Möglichkeiten zur Interpretation der Eingabedaten. Die Sensoren erlauben somit, Bewegungs- und Berührungsgesten am Gerät durchzuführen. Das Zusammenspiel zwischen gestenbasierter Interaktion auf Seite der Smartphones sowie auf Seite des Multi-Touch Tisches soll in dieser Arbeit anhand der prototypischen Entwicklung eines Pokerspiels untersucht werden. Insbesondere soll untersucht werden, welche Bedienungsgesten es für Tisch und Smartphone gibt und wie sich diese auf das Pokerspiel anwenden lassen. 1.2 ZIELSETZUNG Das Ziel dieser Arbeit ist die Untersuchung der gestenbasierten Interaktion zwischen einem Mobiltelefon und einem Multi-Touch Tisch anhand eines Pokerspiels. Anhand dieses Spiels soll erforscht werden, welchen Mehrwert die gestenbasierte Interaktion für eine solche Anwendung bietet. Die Nutzerinteraktion, beispielsweise das Setzen von Pokerchips, soll mittels Gesten auf der Tischoberfläche erfolgen. Durch die Verwendung eines Multi-Touch Tisches lassen sich komplexere Gesten, wie die Bewegungserkennung von zwei und mehreren Fingern, realisieren. Für das Pokerspiel geeignete Gesten, sowohl für Multi-Touch Tisch als auch für Smartphones, sollen im Rahmen dieser Arbeit untersucht werden. Die in den Mobiltelefonen 2

6 verbaute Hardware erlaubt die Erkennung von Bewegung und ermöglicht somit, Bewegungsgesten zu erkennen. 1.3 STRUKTUR DER ARBEIT Nach dieser Einleitung werden in Kapitel 0 die zum Verständnis dieser Arbeit notwendigen Grundlagen vermittelt. Insbesondere wird dort ein kurzer Einblick in die Regeln der Poker- Variante Texas Hold em No Limit gegeben und ausgewählte gängige Multi-Touch Techniken für Tischkonstruktionen vorgestellt. Das Kapitel schließt ab mit einer Vorstellung des Betriebssystems Windows Phone 7, welches auf den verwendeten Smartphones zum Einsatz kommt. In Kapitel 3 wird der Gestenbegriff erläutert und wie er mit der Mensch-Maschine- Interaktion in Verbindung steht. Typische Gesten für Multi-Touch Tische und Mobilgeräte werden vorgestellt. Es wird eine Auswahl getroffen, welche dieser Gesten für das Pokerspiel verwendet werden können. Kapitel 4 beschreibt die prototypische Umsetzung des Pokerspiels auf dem Multi-Touch Tisch Mister T der Universität Paderborn, sowie auf Windows Phone Mobilgeräten. Das Kapitel beginnt mit einer Beschreibung der festgelegten Anforderungen der Universität Paderborn, welche für diese Bachelorarbeit vereinbart wurden. Im weiteren Verlauf des Kapitels wird darauf eingegangen, welche Interaktionsmöglichkeiten für Tisch und Mobiltelefone implementiert wurden und wie diese mit dem Pokerspiel in Verbindung stehen. Anschließend folgt eine Beschreibung des Nachrichtenaustauschs, der zwischen Mobiltelefonen und Multi-Touch Tisch während des Pokerspiels stattfindet. Das Kapitel schließt mit einer Einführung in die Softwaretechnologien und Entwicklungsparadigmen ab, die in dieser Arbeit Anwendung finden. Die Arbeit endet mit einer Zusammenfassung der erreichten Ziele und gibt einen kurzen Ausblick für zukünftige Erweiterungen der im Rahmen dieser Arbeit entstandenen Implementierung. 3

7 2 GRUNDLAGEN In den nachfolgenden Abschnitten werden grundlegende Konzepte erläutert, die zum Verständnis dieser Arbeit notwendig sind. Zunächst werden die Regeln der Pokervariante Texas Hold em No Limit erklärt. Im Anschluss werden drei gängige Multi-Touch Technologien für Tischaufbauten vorgestellt. Das Kapitel schließt ab mit einer Beschreibung des Mobiltelefon-Betriebssystems Windows Phone POKERVARIANTE TEXAS HOLD EM NO LIMIT Wie bereits in der Einleitung beschrieben, soll im Rahmen dieser Bachelorarbeit das Kartenspiel Poker in der speziellen Variante Texas Hold em No Limit als kooperative Multi- Touch Anwendung entwickelt werden. Die Wahl fiel auf diese Variante des Pokerspiels, da es die verbreitetste und am stärksten beworbene Spielart ist. Zum besseren Verständnis dieser Arbeit werden im Folgenden die Regeln kurz vorgestellt [5]. Die Beschreibung der Regeln bezieht sich auf das sogenannte Cash-Game, bei dem das französische Kartenspiel mit 52 Karten als Grundlage dient. Zu Beginn des Pokerspiels liegt ein verdeckter Kartenstapel auf dem Tisch. Die nachfolgende Abbildung 1 zeigt einen Spieltisch mit acht Spielern, welche durch Kreise dargestellt sind. SB BB P1 D Start P2 P5 P4 P3 Abbildung 1: Nach Bestimmung des Dealers 4

8 Das Pokerspiel verläuft im Uhrzeigersinn. Es beginnt mit der Bestimmung des Dealers (D). Das Spiel findet in aufeinanderfolgenden Runden, den sogenannten Spielrunden, statt. Nach jeder abgeschlossenen Spielrunde wandert die Rolle des Dealers im Uhrzeigersinn einen Spieler weiter. Der nächste Spieler nach dem Dealer muss den Small Blind setzen (SB), der darauf Folgende den Big Blind (BB). Die Small - beziehungsweise Big Blinds sind vorgeschriebene Einsätze. Die Einsätze werden in Form von Spielchips in die Tischmitte geschoben. Spielrunden werden in maximal vier Setzrunden unterteilt. Die erste Setzrunde beginnt bei Spieler P1. Er hat die Möglichkeit, jeweils den Big Blind zu bestätigen, den Einsatz zu erhöhen oder auszusteigen. Die Setzrunde wird bei P2 fortgesetzt und endet bei Spieler BB. Alle Spieler haben dieselben Möglichkeiten wie P1. Nach der ersten Setzrunde werden drei Karten vom Stapel in der Tischmitte aufgedeckt. Diese drei Karten werden auch Flop genannt. Die maximal drei weiteren Setzrunden beginnen jeweils bei Spieler SB. Er kann entweder schieben, setzen oder aussteigen. Falls SB gesetzt hat, kann BB nicht mehr schieben. Ansonsten stehen ihm dieselben Möglichkeiten zur Verfügung und die Runde wird wie die Erste fortgesetzt. Am Ende der zweiten Setzrunde wird eine vierte Karte vom Stapel aufgedeckt. Sie wird auch Turn genannt. Zum Ende der dritten Setzrunde wird die River Karte aufgedeckt. Sie ist die letzte der aufzudeckenden Gemeinschaftskarten. Eine Spielrunde gewinnt der Spieler, der in einer Setzrunde den höchsten Einsatz getätigt hat und kein anderer bereit ist diesen zu bedienen. Sofern am Ende der vierten Setzrunde mindestens zwei der Spieler den gleichen Einsatz gezahlt haben, entscheiden die Karten der Spieler und die auf dem Tisch liegenden über den Ausgang der Spielrunde. Dabei haben Kombinationen aus fünf Karten (in beliebiger Kombination aus Tisch- und Handkarten) verschiedene Wertigkeiten. Abbildung 2 stellt die Kartenkombinationen entsprechend der Variante Texas Hold em in absteigender Wertigkeit dar. Sollte sich auch durch die Wertigkeiten der Kartenkombinationen kein eindeutiger Sieger feststellen lassen, wird der auf dem Tisch liegende Einsatz unter den um den Sieg konkurrierenden Spielern geteilt. 5

9 In der folgenden Abbildung sieht man die Kombinationen absteigend nach Wertigkeit. Abbildung 2: Rangfolge der Kartenkombinationen 6

10 In der nächsten Runde wandern der Dealer-Button sowie die Mindesteinsätze jeweils um einen Platz im Uhrzeigersinn. Das Spiel endet, wenn ein Spieler alle Chips gewonnen hat. 2.2 MULTI-TOUCH TECHNOLOGIEN Der Begriff Multi-Touch stammt aus dem Bereich Mensch-Maschine-Interaktion und beschreibt berührungssensitive Eingabegeräte, die mehrere zeitgleiche Berührungspunkte (engl. multiple touches) erfassen und verarbeiten können [6]. In den nachfolgenden Abschnitten werden ausgewählte grundlegende Techniken vorgestellt. Zu Beginn erfolgt ein kurzer geschichtlicher Überblick über die Entwicklung von Multi-Touch Systemen. Danach erfolgt eine Einführung in verschiedene Multi-Touch Technologien und deren Möglichkeiten GESCHICHTLICHER ÜBERBLICK Bereits Anfang der 80er Jahre begann die Entwicklung von Multi-Touch Systemen. Laut Buxton [7] wurde das erste Multi-Touch System von Nimish Mehta im Rahmen seiner Masterarbeit an der Universität Toronto erstellt. Das sogenannte Flexible Machine Interface erlaubte es, mehrere Kontaktpunkte zur gleichen Zeit zu erfassen. Im Jahr 1984 wurde der erste Multi-Touch Bildschirm von Bob Boie in den Bell Labs entwickelt. Die Oberfläche des Bildschirms wurde aus einer Matrix berührungssensitiver Sensoren realisiert. Derartige Technologien kommen heutzutage bei kapazitiven Multi-Touch Displays vor, die ebenfalls mit einem Netzwerk von Näherungssensoren arbeiten und oft in Smartphones eingesetzt werden. In den darauffolgenden Jahren wurden unterschiedliche Richtungen in der technischen Forschung eingeschlagen und verschiedene Technologien entwickelt. Zugunsten der Überschaubarkeit und aufgrund der geringen Relevanz für diese Arbeit wird an dieser Stelle auf eine tiefgreifende Darstellung der historischen Aspekte einzelner Entwicklungen verzichtet und auf die Literatur von Buxton verwiesen. 7

11 DREI RELEVANTE MULTI-TOUCH TECHNOLOGIEN Im nachfolgenden Abschnitt werden drei wichtige Multi-Touch-Technologien vorgestellt. Von besonderem Interesse für diese Bachelorarbeit ist die Laser Light Plane Technologie, da sie im verwendeten Multi-Touch Tisch zum Einsatz kommt FRUSTRATED TOTAL INTERNAL REFLECTION Die Frustrated Total Internal Reflection (kurz FTIR) [8] arbeitet mit Infrarotlicht und einer mit einem Infrarotlichtfilter ausgestatteten Videokamera. Das Infrarotlicht wird seitlich in die Plexiglasscheibe eingelassen, wo eine Totalreflexion stattfindet. Auf der Plexiglasscheibe ist eine dünne Silikonschicht aufgetragen. Wird diese mit einem Finger berührt, entsteht eine Lichtbrechung, die unterhalb der Plexiglasscheibe austritt. Durch den eingebauten Infrarotfilter in der Videokamera kann dieser Vorgang erfasst werden. Diese Technik ist skizzenhaft auf der linken Seite in Abbildung 3 dargestellt. Auf der rechten Seite ist ein exemplarisches Videobild einer Hand gezeigt. Die fünf Berührungspunkte sind eindeutig zu erkennen. Eine Software berechnet die Koordinaten der einzelnen Berührungspunkte. Abbildung 3: Frustrated Internal Reflection [9] 8

12 DIFFUSED ILLUMINATION Die Technik der Diffused Illumination (kurz DI) [9] arbeitet mit diffuser Beleuchtung und ist ähnlich dem FTIR Verfahren. Im Gegensatz zu dem FTIR wird jedoch das Infrarotlicht von unten auf die Plexiglasscheibe gestrahlt. Die Plexiglasscheibe fungiert dabei als Projektionsfläche. Der unten angebrachte Diffusor verteilt das Infrarotlicht gleichmäßig über die gesamte Plexiglasscheibe. Wird die Scheibe durch einen Finger oder einen Stift berührt, wird an dieser Stelle in erhöhtem Maße Infrarotlicht reflektiert. Dieses wird durch die unterhalb angebrachte Infrarotkamera erkannt und in Berührungskoordinaten umgewandelt. In der nachfolgenden Abbildung sieht man links den groben Aufbau der diffusen Beleuchtung und rechts eine mögliche Aufnahme der Infrarotkamera. Abbildung 4: Diffused Illumination [9] LASER LIGHT PLANE Der in dieser Arbeit verwendete Multi-Touch Tisch Mister T arbeitet mit der Laser Light Plane (kurz LLP) Technologie. Bei dieser Erfassungstechnik wird ein Infrarotlasernetz über eine Plexiglasscheibe gespannt. Das Infrarotlasernetz wird dabei durch eine Streulinse erzeugt. Wenn ein Finger mit dem Infrarotlasernetz in Berührung kommt, werden die Strahlen diffus in alle Richtungen reflektiert. Ein unter der Plexiglasscheibe befestigter Rechner mit Infrarotkamera erfasst diese Reflexionen und setzt sie in Koordinaten um. Die LLP-Technik bietet eine sehr hohe Präzision. In der nachfolgenden Abbildung sieht man die grobe Funktionsweise des LLP. 9

13 Abbildung 5: Laser Light Plane [9] 2.3 MOBILGERÄTE AUF BASIS VON WINDOWS PHONE 7 Windows Phone 7 ist ein Betriebssystem für mobile Endgeräte, welches von der Firma Microsoft entwickelt und im Oktober 2010 veröffentlicht wurde. Es ist der direkte Nachfolger des mobilen Betriebssystems Windows Mobile. Die Oberfläche des Windows Mobile hat große Ähnlichkeiten mit der Desktopversion von Windows, wohingegen Windows Phone 7 eine komplette Neuentwicklung darstellte. Im Gegensatz zu Windows Mobile stellt Microsoft bei Windows Phone 7 klare Anforderungen an die Hardware der mobilen Endgeräte. In der folgenden Abbildung sieht man die von Microsoft vorgegebenen Anforderungen für das Windows Phone 7. Für diese Arbeit relevant sind insbesondere die Komponenten Touch Screen, Lagesensor und Wireless LAN. 10

14 Abbildung 6: Hardwareanforderungen an Windows Phone 7 [10] Für die Anwendungsentwicklung wurde das Silverlight SDK [11] verwendet, welches ebenfalls von der Firma Microsoft stammt. Dieses liegt der Extensible Application Markup Language (kurz XAML) zugrunde, welches in Abschnitt näher erläutert wird. 11

15 3 GESTENBASIERTE INTERAKTION Gesten sind ein weitverbreitetes Element der nonverbalen Kommunikation. Das Wort Geste stammt aus dem Lateinischen und bedeutet Gebärdenspiel. Nicht nur in der Gebärdensprache ist die Geste ein wertvolles Werkzeug, sondern auch im Alltäglichen. Eine Geste kann unter anderem durch Hand- und Armbewegung, mit den Beinen oder dem Kopf ausgeführt werden. Die Bedeutung einer Geste kann von Land zu Land variieren. So wird in Österreich für das Wünschen von Glück der Daumen gedrückt, wobei in Kanada der Zeigefinger und der Mittelfinger gekreuzt werden. Im Folgenden wird erläutert, in welchem Bereich der Mensch-Maschine-Wechselwirkung (kurz MMWW) speziell auf Multi-Touch Tischen und mobilen Endgeräten Gesten Anwendung finden und welche Bedeutung sie haben. An dieser Stelle werden schwerpunktmäßig die Gesten vorgestellt, mit denen sich am besten der Spielablauf von Poker abbilden lässt. 3.1 MULTI-TOUCH TISCH Durch gestenbasierte Interaktion lassen sich komplexe Handlungen auf einem Multi-Touch Tisch durchführen. Die Möglichkeiten der gestenbasierten Interaktion sind extrem vielfältig, wodurch sich Gesten für verschiedene Anwendungszwecke ergeben. Dabei können Gesten mit zwei, drei oder mehr Fingern zum Einsatz kommen ANWENDUNGSBEREICHE M. Micire et al. untersuchten in einer Studie [12], wie sich natürliche Gesten zur Steuerung von simulierten Robotern auf einem Multi-Touch Tisch einsetzen lassen. Dabei wurden fünf Gruppen von Interaktionen erfasst. Diese sind Selection, Position, Rotation, ViewPoint, User Interface Elements. 12

16 Durch Selektionsgesten kann der Nutzer die auf dem Multi-Touch Tisch dargestellten Objekte auswählen. Die einfachste der Selektionsgesten, ist die Tap-Geste. Dabei wird das Objekt mit einem Finger kurz berührt. Eine komplexere Selektionsgeste ist Lasso, bei der das auszuwählende Element mit einem Finger auf der Tischoberfläche umkreist wird. Positionierungsgesten können dazu verwendet werden, dargestellte Elemente auf dem Tisch zu bewegen. Dabei kann ein Objekt entweder direkt bewegt werden (Drag), oder eine symbolische Geste, wie die Arrow Geste, verwendet werden. Für diese Geste zeichnet der Benutzer einen Pfeil auf der Tischoberfläche. Zur Rotation von Objekten können Rotationsgesten verwendet werden. Ein Beispiel ist die Finger-Rotate Geste. Bei ihr wird das Element mit zwei Fingern berührt und danach entweder im oder gegen den Uhrzeigersinn rotiert. Das dargestellte Element folgt dabei der Fingerbewegung. ViewPoint Gesten verändern die Art der Darstellung eines Elements. Bei der Betrachtung von Fotos kann durch die Pinch Geste der Vergrößerungsfaktor des Bildes beeinflusst werden. Für die Ausführung werden Daumen und Zeigefinger auf dem Bild gespreizt oder zusammengeschoben. Eine Spreizung bewirkt eine Vergrößerung, während das Zusammenschieben das Bild kleiner erscheinen lässt. Die User-Interface Gesten erlauben beispielsweise die Bedienung von virtuellen Eingabegeräten. Ein Beispiel sind virtuelle Tastaturen, bei denen die einzelnen Tasten auf der Tischoberfläche dargestellt und mit der Tap Geste bedient werden können BEZUG ZUM POKERSPIEL Für das Pokerspiel wurden durchgehend Gesten verwendet, die mit einem Finger durchgeführt werden können. Dieser Ansatz wurde gewählt, um ein möglichst realitätsnahes Spielgeschehen zu schaffen. Eine Spielkarte auf dem Pokertisch kann beispielsweise einfach mit einem Finger berührt und bewegt werden. Dabei können, wie in der Realität auch, mehrere Karten mit jeweils einem Finger bewegt werden. Die einzelnen Kartenbewegungen werden als separat ablaufende Gesten betrachtet, die auf mehreren, verschiedenen 13

17 Spielkarten parallel ausgeführt werden. Im Bereich der MMWW wird diese Geste lt. Hinrichs und Wobbrock Move bzw. Drag genannt [13], [14]. Die Move Geste für eine einzelne Karte wird bevorzugt mit einem Finger ausgeführt, während der Rest der Hand geschlossen in der Luft schwebt: The most common drag/move gesture involved touching a media item continuously with a single finger (most commonly the index finger) with the rest of the hand loosely open or closed to a fist [...]. [13] Abbildung 7: Move Geste nach Wobbrock [14] Die Move Geste wird auch dazu verwendet, die Spielchips zu setzen. Dazu werden diese durch den Spieler vom Spielerbereich in die Tischmitte geschoben. Im Verlauf des Pokerspiels müssen verdeckte Karten umgedreht werden. Diese Handlung lässt sich auf einer Anzeigefläche nicht umsetzen, weshalb eine intuitive Geste gesucht wurde. Als einfachste Variante zur Umsetzung bietet sich die Tap Geste an. Hierbei wird die Karte kurz mit dem Finger berührt. Dies birgt jedoch das Risiko des unbeabsichtigten Umdrehens von Karten, falls ein Spieler versehentlich die Tischoberfläche berührt. Stattdessen wurde für diesen Anwendungszweck die Double Tap Geste gewählt. Sie funktioniert ähnlich wie die Tap Geste, jedoch muss der Spieler die Karte bewusst zweimal kurz hintereinander berühren. Abbildung 8: Double Tap Geste [14] 14

18 Die Double Tap Geste findet darüber hinaus Anwendung, wenn ein Spieler schieben möchte. Dazu führt er die Geste auf seinem Spielbereich des Tisches aus, auf einer Stelle, wo keine Karten liegen. Diese Geste findet auch im realen Pokerspiel häufig Anwendung. In der unteren Tabelle sind die im Rahmen dieser Arbeit verwendeten Gesten und ihre Bezüge zum Pokerspiel zusammengefasst: Aktion Ausführung Wirklichkeit Ausführung Multi-Touch Tisch Das Setzen der Spielmarken/Einsatz bestätigen Spielmarken in die Mitte des Tisches legen Durch die Drag und Move Geste über die gewünschte Spielmarke streichen und bewegen. Mit der Double Tap Geste den Einsatz bestätigen. Mitgehen Doppelt auf den Tisch tippen Doppelt auf die Interaktionsfläche auf dem Multi-Touch Tisch tippen Karten vorzeigen Karten offen auf den Tisch legen Mit der Double Tap Geste auf die Karten tippen Passen Karten verdeckt in die Mitte des Tisches legen Durch die Drag und Move Geste die Karten über die Grenzen der Interaktionsfläche schieben Tabelle 1: Gestenbasierte Interaktionen mit dem Multi-Touch Tisch 3.2 MOBILE ENDGERÄTE Aktuelle Smartphones können ebenfalls mit Multi-Touch Gesten bedient werden. Darüber hinaus stehen weitere Eingabemöglichkeiten zur Verfügung. Zu nennen sind an dieser Stelle Bewegungs- sowie Berührungsgesten. Auf diese Aspekte wird in den nächsten Abschnitten näher eingegangen. 15

19 3.2.1 ANWENDUNGSBEREICHE Auf den Smartphones können Gesten auf dem Display, ähnlich zu denen auf dem Tisch, ausgeführt werden. Zum anderen können die Geräte selbst in allen Achsen bewegt und um sie rotiert werden. Ruiz, Li und Lank sprechen in diesem Kontext von Berührungs- und Bewegungsgesten: The two inputs recognized [...] are different types of gestures. Users can gesture [...] in two dimensions, using the touchscreen [...]. We call these two-dimensional gestures surface gestures. Users can also gesture with the device, in three dimensions, by translating or rotating the device. We call these three-dimensional gestures motion gestures. [15] BEWEGUNGSGESTEN Wie bereits beschrieben, können Bewegungsgesten mit den Smartphones frei im Raum durchgeführt werden. Um die Gesten aus der Sicht des Spielers eindeutig zu beschreiben, sollen an dieser Stelle zunächst die notwendigen Fachbegriffe erklärt werden. Der menschliche Körper lässt sich in drei Ebenen, die sogenannten Körperebenen, unterteilen (s. Abbildung 9). Die Frontalebene (rot) verläuft von oben nach unten und parallel zur Front des Körpers. Die Sagittalebene (blau) verläuft ebenfalls von oben nach unten, steht jedoch senkrecht auf der Frontalebene. Die Transversalebene (gelb) verläuft parallel zum Boden. Die Frontalebene sowie die Sagittalebene stehen senkrecht auf ihr [16]. Abbildung 9: Ebenen und Achsen des menschlichen Körpers nach M.Morlock [16] 16

20 In der von C. Kray et al. durchgeführten Benutzerstudie [17] wurden auf Basis von vorgegebenen Aufgaben gestenbasierte Interaktionen untersucht. Dabei wurden die Teilnehmer spontan nach einer Geste gefragt, die sie zur Lösung der Aufgabe bevorzugen. Eine dieser Aufgaben war das Authentifizieren von zwei Mobiltelefonen. Bei einer exemplarischen Geste eines Passanten wurde das Smartphone, mit dem Display nach unten gerichtet, mit einer Halbkreisbewegung innerhalb der Sagittalebene zu einem gegenüber gehaltenem Mobiltelefon bewegt. Abbildung 10: Beispiel einer Authentifizierungsgeste Multi-Touch Tisch und Smartphones können dazu gestenbasiert interagieren. Mit Bewegungs- und Berührungsgesten auf dem Smartphone kann beispielsweise der Inhalt des Tisches beeinflusst werden. Anders herum kann durch Bedienung des Multi-Touch Tisches ebenfalls Einfluss auf das Telefon genommen werden. In der von Dachselt und Buchholz durchgeführten Studie [18] wurde untersucht, welche Gesten von Menschen natürlicherweise zur Ausführung bestimmter Aufgaben genutzt werden. Eine dieser Aufgaben war, ein Objekt vom Smartphone auf eine entfernte Anzeige zu befördern. Auch wenn das Display in dieser Studie selbst kein Multi-Touch Tisch war, kann dieses Konzept auch darauf angewendet werden. Eine der von den Nutzern am häufigsten verwendeten Gesten war eine Wurfbewegung des Smartphones in Richtung der Anzeige. 17

21 BERÜHUNGSGESTEN Ähnlich wie auf dem Multi-Touch Tisch finden sich Berührungsgesten auf den mobilen Endgeräten wieder. Obwohl zur Erkennung eine andere Technik als bei Multi-Touch Tischen eingesetzt wird, gibt es eine große Überdeckung der unterstützen Berührungsgesten. Y. Li nutzte die gestenbasierte Interaktion in Form von Berührungsgesten um eine Navigation auf einem Mobiltelefon zu ermöglichen [19]. Dabei wurden vorgegebene Gesten, in Form eines Alphabets, zur Eingabe verwendet. Wenn ein Benutzer beispielsweise die Anwendung Kontakte starten will, zeichnet er den Buchstaben K auf dem Bildschirm des Smartphones. Dadurch werden alle Anwendungen, die mit dem Buchstaben K anfangen, angezeigt. Eine Suche kann beispielsweise mit dem Buchstaben S gestartet werden (s. Abbildung unten). Abbildung 11: Gesture Search in Aktion [19] 18

22 3.2.2 BEZUG ZUM POKERSPIEL Die Mobiltelefone im Pokerspiel stellen einerseits die beiden Spielkarten des jeweiligen Teilnehmers dar, andererseits werden, bei entsprechender Neigung des Displays nach oben, die Spielchips angezeigt. Im Folgenden werden die Bewegungs- und Berührungsgesten beschrieben, welche in dieser Arbeit zum Einsatz kommen BEWEGUNGSGESTEN Wie bereits beschrieben, kann durch die Lage des Telefons die Darstellungsart beeinflusst werden. Wird das Smartphone mit dem Display parallel zur Frontal- oder Sagittalebene ausgerichtet, werden die Spielkarten dargestellt. Wird das Handy hingegen mit seinem Touchscreen parallel zur Transversalebene ausgerichtet, werden die Spielchips angezeigt und die Spielkarten versteckt. Mittels einer Schüttelgeste, die parallel zur Frontal-, Sagittalebene verläuft, kann der Spieler zwei verschiedene Aktionen auslösen. Wählt der Spieler gerade Chips zum Setzen aus, bestätigt er seine Auswahl durch eine Schüttelbewegung. Wurden keine Chips gesetzt und führt der Spieler eine Schüttelgeste durch, hängt die Aktion davon ab, ob andere Spieler vor ihm bereits gesetzt haben. Ist dies der Fall, so geht der Spieler mit dem Einsatz mit. Wurde hingegen noch nicht gesetzt, so setzt der Spieler durch diese Geste aus. Ein Spieler kann seine Karten entweder verdeckt oder offen auf den Tisch befördern. Dazu bewegt er das Gerät mit einer ausholenden Geste innerhalb der Transversalebene. Diese Geste ist sehr ähnlich zu einer Wurfbewegung echter Karten auf den Spieltisch, jedoch wird in diesem Fall natürlich das Smartphone nicht geworfen, sondern am Ende der Geste abrupt gestoppt. Abhängig davon, ob das Display nach oben oder nach unten zeigt, werden die Karten offen bzw. verdeckt auf den Tisch transportiert. Die Interaktion zwischen Mobiltelefon und Tisch orientiert sich an der in Abschnitt beschriebenen Technik zur Darstellung von Inhalten auf einem externen Display. 19

23 BERÜHRUNGSGESTEN In der Realität ist das Setzen von Spielmarken natürlich nur am Tisch möglich. In dieser Arbeit wurde zusätzlich die Möglichkeit geschaffen, Chips direkt am Smartphone zu setzen. Diese optionale Variante des Setzens von Chips wurde entwickelt, um den Spielablauf zu beschleunigen, da nicht zwischen zwei verschiedenen Interaktionstechniken gewechselt werden muss. Ist das Smartphone entsprechend geneigt und die Spielmarken werden dargestellt, bewirkt eine Drag bzw. Move Geste eines Chips zum oberen Bildschirmrand (in Richtung des Tisches) das Setzen dieses Chips, während die Bewegung des Chips an den unteren Rand (vom Tisch weg) das Setzen widerruft bzw. den Wert dieser Spielmarke vom Einsatz abzieht ZUSAMMENFASSUNG In der unteren Tabelle sind die im Rahmen dieser Arbeit verwendeten Gesten und ihre Bezüge zum Pokerspiel zusammengefasst: Aktion Ausführung Ausführung Mobiltelefon Wirklichkeit Schieben Doppeltes Tippen auf die Spieloberfläche Das Mobiltelefon schütteln. Durch diese Geste werden keine Spielmarken gesetzt Mitgehen Spielmarken in Höhe des vorherigen Einsatzes in die Mitte schieben Das Mobiltelefon schütteln. Durch diese Geste werden Spielmarken in Höhe des vorherigen Einsatzes Gesetzt Mit verdeckten Karten passen Karten verdeckt in die Mitte des Tisches werfen Eine passen Geste mit dem Mobiltelefon durchführen, dessen Display zum Boden zeigt 20

24 Mit offenen Karten passen Karten offen in die Mitte des Tisches werden Eine passen Geste mit dem Mobiltelefon durchführen, dessen Display zur Decke zeigt Karten anschauen Karten Aktion nötig (können direkt betrachtet werden) Das Mobiltelefon im Querformat vertikal zum Spieler neigen Spielmarken setzten /bestätigen Spielmarken in die Mitte des Tisches schieben In der horizontalen Lage des Mobiltelefons mithilfe der Wischgeste Spielmarken setzten/widerrufen und anschließend mit einer Schüttelgeste bestätigen Tabelle 2: Interaktionen mit oder auf dem Mobiltelefon 21

25 4 PROTOTYPISCHE UMSETZUNG Im vorhergehenden Kapitel wurden die Grundlagen erläutert, die zum Verständnis dieser Arbeit notwendig sind. In den nachfolgenden Abschnitten werden die technischen Anforderungen an den Multi-Touch Tisch sowie zu den mobilen Endgeräten weiter erläutert. Dabei wird auch auf die benötigte Software zur Ausführung des Pokerspiels auf Tisch und Mobilgeräten eingegangen. Hieran schließt die Erklärung der Softwarearchitektur des Gesamtsystems an und es wird näher auf die Art der Darstellung eingegangen. Dies ist notwendig, um die gestenbasierte Nutzerinteraktion mit Tisch und Mobiltelefon anschaulich darzustellen. Das Kapitel schließt ab mit der Beschreibung des genutzten Programmierparadigmas und des verwendeten Kommunikationsprotokolls XMPP. 4.1 TECHNISCHE ANFORDERUNGSBESCHREIBUNG Die folgenden Abschnitte erläutern die Anforderungen, wie sie mit dem Auftragsteller dieser Arbeit vereinbart sind. Da es sowohl ein zentrales Element den Multi-Touch Tisch gibt, als auch mobile Endgeräte, ist diese Anforderungsbeschreibung entsprechend aufgeteilt MULTI-TOUCH TISCH Der Tisch ist das zentrale Element im Multi-Touch Pokerspiel. Er ist dafür verantwortlich, den Kartenstapel, bereits ausgespielte Karten sowie die Spieleinsätze darzustellen. Er erlaubt diverse Spielerinteraktionen, welche in Abschnitt beschrieben sind. Zuletzt verwaltet die Software auf dem Tisch das Spielgeschehen. Keinerlei Spiellogik soll auf den Mobilgeräten ausgeführt werden. Zur Nutzerinteraktion muss der Tisch in der Lage sein, mehrere Berührungspunkte gleichzeitig zu erfassen. Dazu wurde der Multi-Touch Tisch mit der Community Core Vision (kurz CCV) [20] und dem Multitouch Vista Treiber ausgestattet [21]. 22

26 Darüber hinaus muss der Tisch über eine Möglichkeit zur drahtlosen Kommunikation mit den mobilen Endgeräten verfügen. Zur Auswahl standen die beiden Übertragungstechniken Wireless LAN (kurz WLAN) und Bluetooth. Zur Realisierung der Netzwerkkommunikation wurde WLAN verwendet, weil zum einen bereits die Infrastruktur inklusive Zugangspunkt (engl. Access Point, kurz AP) vorhanden ist und darüber hinaus keine weitere Konfiguration erforderlich ist. Bei einer Bluetooth Verbindung hätte zunächst eine Netzwerkverbindung mit Hilfe des Personal Area Network Profils (PAN) konfiguriert werden müssen. Auf dem Tisch muss das Microsoft Surface 2 Framework [22] zur Nutzung der Multi-Touch Funktionalität und ein XMPP Server zur Kommunikation mit den Mobiltelefonen installiert sein. Bei der Entwicklung kam Microsoft Visual Studio 2010, die Programmiersprache C#/.NET sowie Microsoft Expression Blend zur GUI-Gestaltung zum Einsatz MOBILE ENDGERÄTE Jeder Spieler benötigt ein Mobiltelefon, um am Spielgeschehen teilnehmen zu können. Die Smartphones stellen (je nach Bedienung durch den Spieler) entweder sein Spielblatt oder seine Spielchips dar. Die gesamte Spiellogik soll auf dem Tisch ablaufen. Die Telefone dienen u.a. zur Anzeige spielerrelevanter Informationen, wie z.b. sein Spielblatt und sein Chipkontingent. Darüber hinaus erlauben die Smartphones Nutzerinteraktionen, welche in Abschnitt beschrieben sind. Als mobile Endgeräte kommen Smartphones zum Einsatz, auf denen das Betriebssystem Microsoft Windows Phone 7.5 ausgeführt wird. Die Wahl fiel auf Smartphones dieser Plattform, da sich so eine einheitliche Implementierungsplattform sowohl für die Desktopanwendung, als auch für die Handyapplikation ergibt. Sowohl auf dem Windows System des Tisches, als auch in der Windows Phone Umgebung ist C# aus dem.net Framework die bevorzugte Sprache. Ebenfalls stehen dieselben GUI Konzepte zur Verfügung. Die Entwicklung der Anwendung erfolgt auf dem Smartphone, ebenso wie auf dem Tisch, nach dem Model-View-ViewModel Konzept (s. Abschnitt 4.5). 23

27 Des Weiteren eignet sich die Windows Phone Plattform, da Microsoft den Geräteherstellern enge Vorgaben stellt, welche Hardware in einem derartigen Gerät verbaut sein muss. So muss jedes für Windows Phone 7.5 zertifizierte Smartphone sowohl einen Touch-Screen, eine WLAN Schnittstelle sowie Gyro-Sensoren zur Lage- und Bewegungserkennung mitbringen. Da Mobilgeräte auf Windows Phone Basis zum Einsatz kommen, muss auf dem Entwicklungsrechner das Windows Phone 7 SDK installiert sein. Darüber hinaus werden die graphischen Oberflächen mit Hilfe des Silverlight SDK programmiert. Wie auch beim Tisch kam als Entwicklungsumgebung Microsoft Visual Studio 2010 und Expression Blend zum Einsatz. Um das fertige Programm auf das Telefon zu übertragen, ist zuletzt die Software Microsoft Zune erforderlich. 24

28 4.2 SOFTWAREARCHITEKTUR Die folgende Abbildung erläutert die Kommunikation zwischen Multi-Touch Tisch und den Windows Phone Telefonen. Zur Datenübertragung wurde das in Kapitel 4.6 beschriebene XMPP Protokoll benutzt. Abbildung 12: Softwarearchitektur des Gesamtsystems 25

29 4.2.1 MULTI-TOUCH TISCH Das folgende Diagramm beschreibt die Softwarearchitektur des Multi-Touch Tischs. Abbildung 13: Softwarearchitektur des Multi-Touch Tischs Die hervorgehobene Komponente Pokerspiel in obiger Abbildung wurde im Rahmen dieser Bachelorarbeit entwickelt. In Kapitel 4.5 wird das Programmierparadigma Model-View- ViewModel vorgestellt. Es kam in dieser Entwicklung zum Einsatz, jedoch wurde auf eine Trennung von Model und ViewModel verzichtet, da eine persistente Speicherung der Daten nicht notwendig ist. Stattdessen werden alle relevanten Spieldaten direkt im ViewModel vorgehalten. Die Synchronisation zwischen View und ViewModel erfolgt mittels DataBinding. Die gesamte Komponente wurde in der Programmiersprache C# entwickelt. Die graphische Oberfläche auf dem Tisch wurde in XAML beschrieben. Für die Erkennung der Gesten benutzt die Komponente View aus dem Block Pokerspiel die Komponente Surface SDK. Surface baut auf XAML auf und erlaubt die Oberflächengestaltung auf dem Multi-Touch Tisch. Die Gesten werden durch Ereignisse (engl. Events) an die View übermittelt. Das ViewModel verwendet die beiden Services XMPPService und HandEvaluator. Der XMPPService ist ein kommerzielles Framework, welches von der Firma AG-Software entwickelt wurde [23]. Es dient, wie in der Architekturübersicht oben und in Kapitel

30 beschrieben, zur Kommunikation zwischen den Mobilgeräten und dem Multi-Touch Tisch. Der HandEvaluator ist eine Hilfskomponente zur Bestimmung der Wertigkeiten der Blätter der einzelnen Spieler MOBILE ENDGERÄTE In dem folgenden Kapitel wird anhand einer Abbildung die Softwarearchitektur erläutert, welche für die Realisierung des Pokerclients verwendet wurde. Abbildung 14: Softwarearchitektur des mobilen Endgeräts Die Logik des Pokerclients wurde in der Programmiersprache C# entwickelt. Die Darstellung der Komponenten auf der grafischen Oberfläche liegt dem Silverlight SDK zugrunde. Dieses wird ebenfalls in der Extensible Markup Language (XAML) beschrieben, welches in Kapitel erläutert wird. Für die Kommunikation und die Erkennung der Gesten wurde das SmartTangibleCLIB Framework verwendet welches von J. Eschenlohr im Rahmen seiner Masterarbeit [24] 27

31 entwickelt wurde. Das SmartTangibleCLIB Framework benutzt denselben XMPPService, welcher ebenfalls auf dem Multi-Touch Tisch zum Einsatz kam. 4.3 GRAFISCHE BENUTZEROBERFLÄCHE Dieser Abschnitt beschreibt die Art der Darstellung der verschiedenen graphischen Elemente auf dem Multi-Touch Tisch und auf den Smartphones. Die Beschreibung erfolgt zur besseren Veranschaulichung mit Skizzen der Anzeigeflächen vom Multi-Touch Tisch und Mobiltelefon MULTI-TOUCH TISCH Im folgenden Kapitel wird die Interaktionsfläche auf dem Multi-Touch Tisch erläutert. Als erstes wird der der komplette Aufbau des Tischers gezeigt. Dies passiert anhand eines aus dem Spiel frei gewählten Szenarios. Danach wird detailliert auf den Spielbereich eines Spielers eingegangen. Die nachfolgende Abbildung zeigt die Spielfläche, wie sie real auf dem Multi-Touch Tisch dargestellt wird. Des Weiteren werden im Rahmen einer Spielsituation, der Preflop-Phase, einzelne Bereiche auf dem Tisch weiter erläutert. Die öffentliche Fläche, die für jeden Spieler am Tisch sichtbar ist, lässt sich in vier Bereiche unterteilen. Diese sind mit den Zahlen 1-4 gekennzeichnet. Abbildung 15: Graphische Oberfläche des Multi-Touch Tisches 28

32 Die Mitte des Tisches bilden die fünf Gemeinschaftskarten, die durch die Zahlen 1-3 repräsentiert werden. Jede Spielrunde durchläuft drei Spielphasen (Flop, Turn, River) in denen die jeweiligen Karten der Abschnitte 1-3 aufgedeckt werden. Der vierte Bereich stellt die Spielfläche des einzelnen Mitspielers dar, welches im nachfolgenden Kapitel genauer erläutert wird. Durch diese hat der Spieler die Möglichkeit mit dem Tisch durch Gesten zu kommunizieren. Die einzelnen Nutzerinteraktionen werden in Kapitel 4.4 genauer beschrieben. Die nicht beschriftete blaue Fläche wird durch die Pokeranwendung bestimmt. Es symbolisiert den aktiven Spieler und wandert nach einem abgeschlossenen Spielzug im Uhrzeigersinn. Dadurch wird den Spielern ein visuelles Feedback über den aktuellen Stand der jeweiligen Runde gegeben. Die Spielkarte rechts neben den Gemeinschaftskarten stellt das Deck dar. Ab hier werden die Spielkarten im Uhrzeigersinn verteilt. Auf der nachfolgenden Abbildung sieht man den Aufbau der Spielfläche eines Spielers. Die Spielfläche wird in fünf Abschnitte unterteilt. Abbildung 16: Interaktionsansicht eines Spielers 29

33 In Kapitel 2.1 wurde erklärt, wie der Dealer bestimmt wird. Im ersten Abschnitt der Abbildung wird der Dealer durch die Spielmarke Dealer veranschaulicht. Ab hier starten die Mindesteinsätze. Bei den restlichen Spielern ist die Spielmarke unsichtbar. Wenn ein Spieler an der Reihe ist, hat er die Möglichkeit Einsätze zu tätigen. Um den Überblick nicht zu verlieren wird in dem zweiten Abschnitt der aktuelle Einsatz gezeigt. Wird ein Einsatz getätigt, stellt sich dieser als ein numerischer Wert dar. Der dritte Abschnitt zeigt die aktuell vorhandenen Spielkarten. Damit die restlichen Spieler die eigenen Karten nicht sehen können, werden diese verdeckt dargestellt. Wenn ein Spieler eine Runde verlässt werden seine Karten als Fold (aussteigen) markiert. Dabei werden diese transparent visualisiert und in der aktuellen Spielrunde nicht weiter verwendet. Zu Beginn jedes Spieles hat jeder Spieler eine bestimmte Anzahl an Spielmarken. In der oberen Abbildung im vierten Abschnitt wird davon ausgegangen, dass die Anzahl 1000 beträgt. Wenn ein Spieler einen Einsatz tätigt, reduzieren sich dabei seine noch im Spiel vorhandenen Spielmarken. Der fünfte und letzte Abschnitt in Abbildung 16 zeigt die Spielmarken, die für den Einsatz benötigt werden. In 2.1 wurde beschrieben, dass die einzelnen Chips einen unterschiedlichen Spielmarkenwert haben können. Um eine bessere Übersicht über die verschiedenen Marken zu geben, wurden 5 Farben gewählt MOBILE ENDGERÄTE In diesem Kapitel wird die grafische Benutzeroberfläche der private displays in Form eines mobilen Endgeräts dargestellt. Diese umfasst zwei unterschiedliche Ansichten, welche durch die Neigung des Mobiltelefons bestimmt wird. Die nachfolgende Abbildung veranschaulicht die Ansicht der beiden Karten, Pocketcards, auf dem Handy. Dieses wird durch das horizontale Kippen (mit dem Bildschirm zum Spieler) des Geräts erreicht. 30

34 Abbildung 17: Ansicht der Spielkarten auf dem Mobiltelefon In jeder anderen Lage des Mobiltelefons werden die Karten versteckt und die zweite Ansicht wird dargestellt. Dabei werden ähnlich wie auf dem Tisch die fünf farbigen Pokerchips angezeigt. Dadurch wird verhindert, dass andere Spieler in die Karten gucken können, so wie ermöglicht durch das Mobiltelefon einen Einsatz zu tätigen. Abbildung 18: Ansicht der Spielmarken auf dem Mobiltelefon 4.4 NUTZERINTERAKTION Die folgenden beiden Abschnitte beschreiben die technische Realisierung der gestenbasierten Interaktionen. 31

35 4.4.1 MULTI-TOUCH TISCH Der Tisch stellt während des Pokerspiels die Karten, Einsätze und Bereiche der einzelnen Spieler dar. Spielchips können während der Sitzung durch Drag Gesten gesetzt werden. Das in dieser Arbeit verwendete Silverlight SDK bringt Funktionen zur Erkennung verschiedener, häufig anzutreffender Gesten mit. Die Drag und Double Tap Geste wird vom Surface Framework unterstützt. Erkennt Surface eine entsprechende Geste, wird ein Ereignis (engl. Event) ausgelöst, auf welches das Programm mit einer Ereignisroutine reagiert. Somit ist es nicht nötig, den Erkennungszustand von Gesten zyklisch zu erfragen. Stattdessen erhält das Programm eine Nachricht, sobald eine Geste erkannt wurde. Im Fall der Drag Geste wird geprüft, ob das Element, welches sich zu Beginn unter dem Finger befand, verschoben werden darf. Dies ist beispielsweise der Fall bei Spielmarken. Wird die Geste auf einem nicht-verschiebbaren Element angewendet, wird sie ignoriert. Nachdem die Double Tap Geste auf einer Karte erkannt wurde, wird festgestellt, ob die Karte in diesem Zusammenhang entsprechend der Pokerregeln umgedreht werden darf. Ist dies der Fall, wird sie umgedreht, andernfalls wird die Geste ignoriert MOBILE ENDGERÄTE Wie bereits in den Anforderungen beschrieben, kommen auf die mobilen Endgeräte mehrere Aufgaben zu. Zunächst stellt jedes Mobiltelefon für den entsprechenden Spieler, der es in der Hand hält, das aktuelle Pokerblatt dar. Darüber hinaus kann der Spieler durch Bewegung und Veränderung der Lage des Smartphones Einfluss auf das Spielgeschehen nehmen. Um Bewegungen und Lageänderungen des Geräts zu erkennen, werden die in jedem für Windows Phone 7.5 zertifizierten Smartphone vorhandenen Gyro-Sensoren verwendet. Das Softwareframework SmartTangibleCLIB, dass zur Erkennung der Bewegungsgesten dient, wurde von J. Eschenlohr [24] in seiner Masterarbeit entwickelt. Es bringt eine Programmierbibliothek mit, die Zugriff auf die Sensoren der Telefone ermöglicht. Von besonderem Interesse für diese 32

36 Arbeit sind die Klassen AlignmentDetector, MoveDetector und ShakeDetector. Sie werden in den folgenden Abschnitten näher erläutert. Die Klasse AlignmentDetector ermöglicht das Bestimmen der Lage, in dem sich das Telefon befindet. Diese Unterscheidung ist notwendig, um die Anzeige für den Spieler umzuschalten. Wird dabei das Mobiltelefon mit dem Display nach oben gehalten, erscheinen die Chips. Wird hingegen das Mobiltelefon mit dem Display zum Spieler gehalten, werden die aktuellen Karten dargestellt. Der MoveDetector ist in der Lage, kontinuierliche Bewegungen des Smartphones in eine Richtung zu erkennen. Diese Funktionalität wird benötigt, wenn der Spieler sein Blatt wegwerfen möchte. Dazu bewegt er das Telefon zügig von sich aus in Richtung des Tisches. Beim Wegwerfen der Karten wird zusätzlich mithilfe des AlignmentDetectors eine Fallunterscheidung durchgeführt. Wird das Smartphone bei dieser Aktion mit dem Touch- Screen nach oben gehalten, werden die Karten offen abgelegt. Zeigt das Display des Telefons hingegen nach unten, während die Bewegung ausgeführt wird, werden die Karten verdeckt weggeworfen. Zur Erkennung der Schüttelgeste wurde die Klasse ShakeDetector verwendet. Diese Erkennung wird, wie in Abschnitt beschrieben, dazu verwendet, dem Spieler das Mitgehen bzw. Schieben zu ermöglichen. 4.5 DAS MODEL VIEW VIEWMODEL PROGRAMMIERPARADIGMA Das Model View ViewModel (kurz MVVM) Konzept ist ein Programmierparadigma der Firma Microsoft. Das MVVM Prinzip orientiert sich am Model View Controller (kurz MVC). Es ist jedoch speziell auf die Technologien Windows Presentation Foundation (kurz WPF) und Silverlight ausgerichtet und wurde im Jahre 2005 vom Microsoft Mitarbeiter John Gossman in seinem Internetblog [25] beschrieben. In der folgenden Abbildung sind die drei Komponenten View, ViewModel und Model des MVVM zu sehen. Diese Bestandteile werden in den darauffolgenden Abschnitten genauer beschrieben. Die Pfeile repräsentieren Referenzen einer Komponente auf eine Andere. Das ViewModel referenziert sowohl die 33

37 View als auch das Model, während die View nur das ViewModel und das Model selbst gar keine Komponente referenziert. Abbildung 19: MVVM Entwurfsmuster MODEL Die Komponente Model ist die Datenhaltungsschicht des MVVM. Es arbeitet nach demselben Prinzip wie das Model in dem Model View Controller (MVC) Pattern. MVC wird hier nicht weiter erläutert, da es keine Anwendung in dieser Arbeit findet. Das Model beinhaltet die darzustellenden Daten, die entweder dynamisch im Source Code oder statisch z.b. in XML gehalten werden. Neben der Verwaltung der Daten ist es für persistentes Speichern und Laden verantwortlich. Wie in der obigen Abbildung zu sehen ist, kennt das Model weder die View noch das ViewModel VIEW Die View ist die Präsentationsschicht im MVVM Konzept. Es stellt die sichtbaren Elemente (graphische Oberfläche) dar, mit denen der Benutzer interagieren kann. Die View ist unabhängig vom Model. Somit können unterschiedliche Ansichten derselben Daten existieren. Die Benutzerschnittstellen für Windows Phone 7 werden in der Extensible Application Markup Language (kurz XAML) entwickelt. XAML steht ebenfalls für die 34

38 Entwicklung von Desktop Anwendungen unter Windows zur Verfügung und wurde deshalb in dieser Arbeit verwendet. Der Aufbau dieser Sprache ähnelt der Extensible Markup Language (kurz XML). Das unten dargestellte XAML Fragment zeigt den Namen des ersten Spielers, der vom ViewModel (s. Abschnitt 4.5.3) abhängig ist. Der Text ist mit einem schwarzen Rahmen umgeben, dieses wird durch die beiden Schlüsselwörter BorderBrush und BorderThickness gekennzeichnet. Die Synchronisation zwischen View Elementen und ViewModel wird durch DataBinding [26] realisiert. <TextBox Name="txtName" Height="23" Width="120" BorderBrush="Black" BorderThickness="2" Text="{Binding Player1.Name}" /> Abbildung 20: Ausschnitt aus einer XAML-Datei VIEWMODEL Das ViewModel dient als Bindeglied zwischen den Daten (Model) und der graphischen Oberfläche (View). Über öffentliche Eigenschaften (engl. Properties) werden Daten sowohl zwischen View und ViewModel als auch zwischen Model und ViewModel ausgetauscht. Man kann es als eine abstrahierte Form des Views betrachten, das Model des Views [25]. 4.6 EXTENSIBLE MESSAGING AND PRESENCE PROTOCOL Das Extensible Messaging and Presence Protocol (kurz XMPP) ist ein offenes und seit 2004 standardisiertes Protokoll zur Echtzeitkommunikation. Es ermöglicht einen Datenaustausch in Form von Nachrichten zwischen mehreren Teilnehmern TECHNISCHER ÜBERBLICK Die Grundlage für Nachrichten bildet die Extensible Markup Language (engl. XML) [27]. Dabei werden die Daten in einer hierarchischen Struktur abgelegt. 35

39 XMPP verfügt über mehrere Kommunikationstypen, die über Services bereitgestellt werden. In der nachfolgenden Tabelle werden zwei Services exemplarisch veranschaulicht [28], [29]. One-to-one messaging Der klassische Anwendungsfall für diese Kommunikationsart ist der Bereich der Instant-Messaging Programme wie ICQ, Jabber oder GogleTalk. Hier werden Nachrichten zwischen genau zwei Teilnehmern ausgetauscht. Multi-party messaging In öffentlich Chaträumen wie dem Internet Relay Chat (IRC) wird diese Art der Kommunikation eingesetzt. Hier werden Nachrichten an mehrere Teilnehmer gleichzeitig geschickt. Tabelle 3 Zwei Dienste des XMPP Protokolls Die beiden oben genannten Dienste basieren auf sogenannten Messages im XML-Format, die zur Datenübertragung dienen. In der folgenden Abbildung ist beispielhaft eine Chat Nachricht dargestellt. <message from='you@yourdomain.tld/work' to='daughter@yourdomain.tld' type='chat'> <body> Hi Honey </body> </message> Eine Nachricht besteht aus einem Sender (XML Attribut from), einem Empfänger (XML Attribut to) und der zu übermittelnden Botschaft (Inhalt des <body> Tags). Jeder Teilnehmer einer XMPP Kommunikation besitzt eine sogenannte JabberID (JID), anhand derer er 36