Gestenerkennung auf mobilen Geräten: Aktueller Stand und. Linda Pfeiffer, Raphael Zender, Ulrike Lucke

Transkript

1 Gestenerkennung auf mobilen Geräten: Aktueller Stand und Potential ti für das Lernen Linda Pfeiffer, Raphael Zender, Ulrike Lucke

2 Motivation i Größe Leistung Sensorik IEEE Spectrum UNIVERSITÄT POTSDAM Institut für Informatik Komplexe Multimediale Anwendungsarchitekturen 2

3 Bezug zum Lernen motorische Ebene 2011 UNIVERSITÄT POTSDAM Institut für Informatik Komplexe Multimediale Anwendungsarchitekturen 3

4 Apps zur Gestenerkennung Neigung FlipSilent Android Drehung des Displays nach unten schaltet das Gerät auf lautlos RotoView ios Navigieren (Scrollen der Anzeige) durch Neigung des Geräts ihandy Wasserwaage ios Wasserwaage 2011 UNIVERSITÄT POTSDAM Institut für Informatik Komplexe Multimediale Anwendungsarchitekturen 4

5 Apps zur Gestenerkennung (2) Schütteln Fake Me Out Of Here Android auf Schütteln wird ein Anruf simuliert Würfel Android auf Schütteln wird eine Zufallszahl zwischen 1 und 6 generiert Soda Shake Android Spiel, bei dem durch energiereiches Schütteln eine Dose explodieren soll Don't Touch Android Alarm ertönt bei Bewegung des Geräts EpDetect Windows Mobile Step Cal ios Schrittzähler Erkennung eines epileptischen Anfalls löst Notruf aus 2011 UNIVERSITÄT POTSDAM Institut für Informatik Komplexe Multimediale Anwendungsarchitekturen 5

6 Apps zur Gestenerkennung (3) komplexe Bewegungen Wand Duel Android Spiel, bei dem sich zwei Spieler mit Zaubergesten duellieren Move'n Play ios Spiel, bei dem vorgegebene Gesten mit dem Smartphone vollführt werden sollen Move'n Call ios Zuordnung von Gesten zu Kontakten, Anrufen durch entsprechende Geste Hoccer Android, one-to-many Datenübertragung durch ios Wurf- und Auffangbewegung Gesture Alarm Call Android Nummerneingabe durch Schreiben der Nummern in der Luft Motion Gesture Ad Android erkennt Geste, signalisiert anderer App 2011 UNIVERSITÄT POTSDAM Institut für Informatik Komplexe Multimediale Anwendungsarchitekturen 6

7 Ideen für das Lernen Vorlesung Selbstlernen Kollaboration Neigung Smart Clicker weiter/zurück Dokument klonen Schütteln Unzufriedenheit melden Fragenauswahl Exit komplexe Bewegungen Wortmeldung, Rederecht, Mikro Remote- Zeigestab Zugriff auf andere Apps Nachricht übertragen 2011 UNIVERSITÄT POTSDAM Institut für Informatik Komplexe Multimediale Anwendungsarchitekturen 7

8 Ideen für das Lernen Vorlesung Selbstlernen Kollaboration Neigung Smart Clicker weiter/zurück Dokument klonen Schütteln Unzufriedenheit melden Fragenauswahl Exit komplexe Bewegungen Wortmeldung, Rederecht, Mikro Remote- Zeigestab Zugriff auf andere Apps Nachricht übertragen 2011 UNIVERSITÄT POTSDAM Institut für Informatik Komplexe Multimediale Anwendungsarchitekturen 8

9 Anwendung in E-Lectures 2011 UNIVERSITÄT POTSDAM Institut für Informatik Komplexe Multimediale Anwendungsarchitekturen 9

10 Anwendung in Lernspielen greifen, werfen stehend, gehend Tests mit Motion Gesture Ad + kein Training + gute Einbindung 60% Erkennung kein Import 2011 UNIVERSITÄT POTSDAM Institut für Informatik Komplexe Multimediale Anwendungsarchitekturen 10

11 Fazit Gestenerkennung: technisch machbar, aber noch auf einfache Alphabete beschränkt Nutzung existierender Apps eher schwierig, Bibliotheken fehlen für das Lernen: hohes Potential Kreativität gefragt Herausforderungen: Sinn vs. Spielerei Plattformunabhängigkeit motorische Ebene 2011 UNIVERSITÄT POTSDAM Institut für Informatik Komplexe Multimediale Anwendungsarchitekturen 11

12 Kontakt Prof. Dr.-Ing. habil. Ulrike Lucke Universität Potsdam Institut für Informatik Lehrstuhl Komplexe Multimediale Anwendungsarchitekturen, Chief Information Officer (CIO) 2011 UNIVERSITÄT POTSDAM Institut für Informatik Komplexe Multimediale Anwendungsarchitekturen 12

13 neue Ideen aus dem Workshop Vorlesung Kollab. Selbstlernen Neigung Schütteln Daumen hoch Daumen runter Verständnis Auswahl aus Alternativen durch kollektives (=lautes) Schütteln komplexe Häufigkeit der Augmented Reality Handy-Nutzung als steuern Bewegungen Indikator für Pausenwarnung Aufmerksamkeit Pä Präsentationstraining ti t i i Wurf von Feedback Hinweis bei Verlassen zum Dozenten passender Bewegungsmuster 2011 UNIVERSITÄT POTSDAM Institut für Informatik Komplexe Multimediale Anwendungsarchitekturen 13

14 Ergänzungen Anfordern von Zusatzinformation während der Vorlesung zum besseren Verständnis Nutzung von Gesten auch für das Lernen selbst; nicht nur für organisatorische Aspekte Nutzung des Körpers selbst anstelle des SmartPhones; welchen Mehrwert bietet Technologie, den der Körper nicht hat? 2011 UNIVERSITÄT POTSDAM Institut für Informatik Komplexe Multimediale Anwendungsarchitekturen 14