Eine Multitouch-fähige Küchentheke

Transkript

1 Im Kontext des Living Place Hamburg 1 1 Hochschule für Angewandte Wissenschaften Hamburg Fakultät Technik und Informatik Studiendepartment Informatik Vortrag zur Veranstaltung Anwendungen 1 im Masterstudiengang Informatik WiSe 2009/10

2 Inhaltsübersicht 1 Motivation 2 Vision Technische Realisierung 3 Im Kontext des Living Place Hamburg User Interface

3 In welchem Kontext bewegen wir uns? Anwendungskontext Anwendungsszenario Bestandteile der Küchentheke Living Place Hamburg siehe [Gregor et al. (2009)] Intelligent Kitchen siehe Vortrag von Nico Zimmermann [Zimmermann (2009)] Multitouch-fähige Küchentheke Umsetzung u.a. durch Mohammad Ali Rahimi und Matthias Vogt

4 Anwendungskontext Anwendungsszenario Bestandteile der Küchentheke Wer braucht eine Multitouch-Küchentheke? Ein Außendienstmitarbeiter genießt seinen Morgenkaffee Die Multitouch-Küchentheke bietet Zugriff auf seine heutigen Kundentermine mit Terminen und Kunden verknüpfte Daten, wie Dokumente, Mails, Kontakte, etc. die heutige Route er bereitet sich auf seinen Tag vor!

5 Die Themen der kommenden Folien Anwendungskontext Anwendungsszenario Bestandteile der Küchentheke Hardware: Multitouch-Tisch Was sind die technischen Probleme? User Interface Wie ist ein solches User Interface zu gestalten? Software: Außendienstplaner Integration in den Living Place Hamburg?

6 Die Themen der kommenden Folien Anwendungskontext Anwendungsszenario Bestandteile der Küchentheke Hardware: Multitouch-Tisch Was sind die technischen Probleme? User Interface Wie ist ein solches User Interface zu gestalten? Software: Außendienstplaner Integration in den Living Place Hamburg?

7 Inhaltsübersicht Vision Technische Realisierung 1 Motivation 2 Vision Technische Realisierung 3 Im Kontext des Living Place Hamburg User Interface

8 Vision Technische Realisierung Anforderungen an die Multitouch-Theke Große Bildfläche begrenzt durch Tiefe der Theke mehrere Bildschirminhalte nebeneinander Multitouch-fähig möglichst ohne technische Einschränkungen Robust und elegant In einer Küche werden häufig Flüssigkeiten verschüttet! Der Living Place Hamburg sollte kein Werkstatt -Flair versprühen

9 Inhaltsübersicht Vision Technische Realisierung 1 Motivation 2 Vision Technische Realisierung 3 Im Kontext des Living Place Hamburg User Interface

10 Vision Technische Realisierung Typisches Konzept von Multitouch-Tischen Abbildung: Schematische Darstellung eines Multitouch-Tisches [Scientific American (2008)]

11 Technik typischer Multitouch-Tische Vision Technische Realisierung Eine mögliche Technik: (Rear) Diffused Illumination Weitere Techniken: siehe [NUI Group-a (2008)] Abbildung: Schematische Darstellung der (rear) diffused illumination [NUI Group-a (2008)]

12 Gewünschte Umsetzung Vision Technische Realisierung Projektor-/Kamera-basierte Lösung Neben Fingerspitzen sind beliebige Objekte erkennbar Grundsätzlich keine Einschränkung in der Anzahl der Berührungen/Objekte Wünschenswert wäre eine out-of-the-box-lösung: z.b. Epson X-Desk nur ein Gehäuse, das leicht deployed werden kann Preis und Abmessungen leider noch unklar Hoher technischer Aufwand bei Eigenanfertigung ggf. Konstruktion mit Spiegeln (Wurfweite der Projektoren)

13 Inhaltsübersicht Vision Technische Realisierung 1 Motivation 2 Vision Technische Realisierung 3 Im Kontext des Living Place Hamburg User Interface

14 Vision Technische Realisierung Für out-of-the-box-lösung: z.b. Epson X-Desk bislang unklar Für eine Eigenanfertigung: z.b. CCV & TUIO CCV: Community Core Vision (zuvor tbeta) [...]open source/cross-platform solution for computer vision and machine sensing. [NUI Group-b (2009)] TUIO: Tangible User Interface Objects [...] a common protocol [...] for tangible Multitouch surfaces. [TUIO.org (2009)] Ggf. Kombination möglich

15 : CCV Vision Technische Realisierung Abbildung: Screenshot der CCV-GUI [NUI Group-b (2009)]

16 Software-Schnittstelle: TUIO (I) Vision Technische Realisierung Video-Demo: (gezeigter Teil bei 3:03)

17 Software-Schnittstelle: TUIO (II) Vision Technische Realisierung Protokoll auf Basis von Open Sound Control (OSC) Beispiel: /tuio/2dobj set s i x y a X Y A m r Umfangreiche Software verfügbar Tracker neben CCV: u.a. für WiiMote und MacBook multi-touch pads Clients für viele Sprachen: u.a. für Java, C#, Flash AS3, Processing Output Bridges: u.a. von MS Surface oder Windows 7 auf TUIO Input Bridges: u.a. von TUIO auf Windows oder X.org Simulatoren: z.b. um mehrere PC-Mäuse auf TUIO abzubilden

18 Inhaltsübersicht Im Kontext des Living Place Hamburg User Interface 1 Motivation 2 Vision Technische Realisierung 3 Im Kontext des Living Place Hamburg User Interface

19 Der Außendienstplaner Im Kontext des Living Place Hamburg User Interface Abbildung: Vereinfachte Darstellung des Datenflusses

20 Woher kommen die Termine? Im Kontext des Living Place Hamburg User Interface Globaler Terminkalender für alle Anwendungen im Living Place Hamburg? Aggregation geschäftlicher und privater Termine möglich/sinnvoll? Also Zusammenarbeit sinnvoll mit: Wecker 2.0 [Ellenberg (2009)] Computer Supported Collaborative Work (CSCW) [Panier (2009), Kirstgen (2009)]

21 Im Kontext des Living Place Hamburg User Interface Woher kommen die verknüpften Dokumente/Daten? Globaler Datenspeicher für alle Anwendungen im Living Place Hamburg? Aggregation geschäftlicher und privater Dokumente/Daten möglich/sinnvoll? Auch hier Zusammenarbeit sinnvoll mit: Computer Supported Collaborative Work (CSCW) [Panier (2009), Kirstgen (2009)]

22 Wer plant die Route? Im Kontext des Living Place Hamburg User Interface Routenplanung und Kartendarstellung für Straßenverkehr beispielsweise mit Google Maps API Routenplanung für öffentliche Verkehrsmittel im Großraum Hamburg z.b. über Geofox? bereits Kenntnisse durch BA von [Parlowski (2009)] Visualisierung der Route?

23 Inhaltsübersicht Im Kontext des Living Place Hamburg User Interface 1 Motivation 2 Vision Technische Realisierung 3 Im Kontext des Living Place Hamburg User Interface

24 Im Kontext des Living Place Hamburg User Interface User Interface: Was kann da schon schief gehen? (I) Abbildung: Windows User Interface standardmäßig nicht geeignet für Touchscreens [Rahimi (2008)]

25 Motivation Im Kontext des Living Place Hamburg User Interface User Interface: Was kann da schon schief gehen? (II) Video-Demo: (gezeigter Teil bei 3:59)

26 Im Kontext des Living Place Hamburg User Interface User Interface: Was kann da schon schief gehen? (III) (Tangible) Multitouch User Interfaces erfordern andere Patterns Hier nur ein paar Stichpunkte Mentale Modelle Verhält sich das User Interface so, wie erwartet? Größe und Orientierung des User Interface Steht das User Interface für meinen Gegenüber Kopf? Mehrbenutzerfähigkeit Was ist öffentlich, was privat? Vertiefendes in [Löffelholz (2009)]

27 Überblick Ausblick Multitouch-fähige Küchentheke im Living Place Hamburg birgt Hardware-seitige Herausforderungen Software-seitige Herausforderungen Beispielanwendung Außendienstplaner erfordert Zusammenarbeit mit anderen Projekten im Living Place Hamburg Auseinandersetzung mit Interface Design für Multitouch-Systeme iterative Entwicklung mit häufigen Evaluationen insbesondere durch Usability-Untersuchungen

28 Überblick Ausblick Meine Ziele im kommenden Semester Mitarbeit bei Planung und Integration der Küchentheke Besseres Verständnis für die Probleme bei Multitouch erlangen bzgl. Multitouch Software: TUIO (& CCV) bzgl. Multitouch User Interfaces Einen oder mehrere Prototypen des Außendienstplaners erstellen und evaluieren

29 Fragen und Diskussion Überblick Ausblick Vielen Dank für die Aufmerksamkeit! Fragen?

30 Anhang Quellen Quellen I Nico Zimmermann. Intelligent Kitchen, projekte/master09-10-aw1/vortraege.html Karsten Panier. Home Office Collaborate Working, projekte/master09-10-aw1/vortraege.html Jens Ellenberg. Wecker 2.0, projekte/master09-10-aw1/vortraege.html

31 Anhang Quellen Quellen II Benjamin Kirstgen. Computer Supported Collaborative Work (CSCW), projekte/master09-10-aw1/vortraege.html Sebastian Gregor et al. Tangible Computing revisited: Anfassbare Computer in Intelligenten Umgebungen, arbeiten/papers/mmwismar2009.pdf Daniel Löffelholz. Interfacedesign für kollaborative Tabletopsysteme, projekte/master2009-aw2/vortraege.html

32 Anhang Quellen Quellen III Mohammad Ali Rahimi, Matthias Vogt. Vorbereitende Arbeiten zum Living Place Hamburg, projekte/master2009-proj/berichte.html Mohammed Ali Rahimi. Multitouch: Out of the shelf. Gestenbasierte Interaktion für verfügbare Applikationen, projekte/master08-09-aw1/vortraege.html

33 Anhang Quellen Quellen IV Dirk Palowski, Entwicklung eines mobilen Navigationssystems für den öffentlichen Nahverkehr, (2009). arbeiten/bachelor/parlowski.pdf Scientific American. How it Works: Multi-touch Surfaces Explained, (abgerufen am: ) how-it-works-touch-surfaces-explained

34 Anhang Quellen Quellen V NUI Group-a. Multitouch Techniques, (abgerufen am: ) NUI Group-b. Community Core Vision Introduction, (abgerufen am: ) TUIO.org. TUIO.org Website, (abgerufen am: )