BACHELOR SEMINAR EXPLORING DEPTH-CAMERA BASED INTERACTION TECHNIQUES FOR MOBILE PROJECTORS. Michael Braun

Transkript

1 BACHELOR SEMINAR EXPLORING DEPTH-CAMERA BASED INTERACTION TECHNIQUES FOR MOBILE PROJECTORS Michael Braun

2 Agenda Motivation Verwandte Arbeiten Konzept Implementierung Ausblick

3 Motivation Früher Groß, laut, schwer Heute / Zukunft Kleiner, heller, günstiger Picture taken from [4] Sanyo

4 Motivation Früher Groß, laut, schwer Heute / Zukunft Kleiner, heller, günstiger Verwendung in Smartphones Kleiner Bildschirm Picture taken from [5] Samsung

5 Motivation Verwendung in Smartphones Kleiner Bildschirm ist überwunden Sichtbarkeit für mehrere User Aber: Die Projektion zeigt nur ein Spiegelbild des Displays Keine existierenden Applikationen die die Projektion nutzen nur Bilder, Videos und PPT Picture taken from [5] Samsung

6 Ziel dieser Arbeit Neue und natürliche Interaktionsmethoden für mehrere Benutzer entwickeln!

7 Verwandte Arbeiten OmniTouch Tragbares Gerät für Projektion im Alltag ShadowPuppets Gesten als Interaktionsmethoden Interactive Environment-Aware Handheld Projectors Handheld Geräte für ortsabhängige Projektion

8 OmniTouch [1] Interaktive Multi-Touch Anwendungen auf Alltagsoberflächen Picture taken from [1] OmniTouch Chris Harrison, Hrvoje Benko, and Andrew D. Wilson OmniTouch: wearable multitouch interaction everywhere. In Proceedings of the 24 th annual ACM symposium on User interface software and technology (UIST '11)

9 Multi-Touch Fingererkennung Erste Ableitung des Tiefenbildes (B) Suche nach vertikalen zylinder-artigen Objekten (C) Gruppiere diese in Pfade = Finger (D) Pictures taken from [1] OmniTouch

10 Finger Klick-Erkennung Fülle von Fingermitte nach links Wenn Differenz zwischen 2 Pixeln unter Grenzwert Handfläche gefüllt? Pictures taken from [1] OmniTouch

11 Beispielanwendungen Konventionell Tastatur Pictures taken from [1] OmniTouch

12 Beispielanwendungen Mehrere Oberflächen Malen an Wänden Pictures taken from [1] OmniTouch

13 ShadowPuppets [2] Schatten der Hände als Eingabemethode für mehrere User Picture taken from [2] ShadowPuppets Lisa G. Cowan and Kevin A. Li ShadowPuppets: supporting collocated interaction with mobile projector phones using hand shadows. In Proceedings of the 2011 annual conference on Human factors in computing systems (CHI '11)

14 ShadowPuppets Ergebnisse Bewegen Zoom Owner Bewege Hand in passende Richtung Pinch Bewege Hand auf Wand zu / von Wand weg Auswählen zeigen und halten / wackeln / berühren Collaborator Bewege Hand / Arm in passende Richtung Öffnende / schließende Bewegung mit Hand oder Armen Bewege Hand auf Wand zu / von Wand weg zeigen und halten / wackeln / berühren

15 Interactive Environment-Aware Handheld Projectors [3] Handheld Projektoren für ortsabhängige Projektion in Innenräumen Erkennen Eigene räumliche Ausrichtung Struktur der Umgebung 2 Ansätze Infrastruktur-basiert Infrastruktur-los [3] David Molyneaux, Shahram Izadi, David Kim, Otmar Hilliges, Steve Hodges, Xiang Cao, Alex Butler, and Hans Gellersen Interactive environment-aware handheld projectors for pervasive computing spaces. In Proceedings of the 10th international conference on Pervasive Computing (Pervasive'12), Judy Kay, Paul Lukowicz, Hideyuki Tokuda, Patrick Olivier, and Antonio Krüger (Eds.)

16 Infrastruktur-basierend: RoomProjector Projektor + IMU (Inertial Measurement Unit) 4 Kinect-Kameras im Raum angebracht Projektor lokalisieren Grobe 3D Umgebung Projektor Tracking Ausrichtung: IMU Lokalisierung: Kinect-Kameras Picture taken from [3]: Interactive handheld projectors

17 Infrastruktur-basierend: RoomProjector Flashlight-Metaphor Bild im 3D-Modell auf eine Oberfläche legen Kann mit Projektor aufgedeckt werden Picture taken from [3]: Interactive handheld projectors

18 Infrastruktur-los: SLAM Projector Prototyp: Projektor + Kinect Kamera (Mobil) SLAM: Simultaneous localization and mapping Standard Technik aus der Robotik Erstellung eines 3D Modells zur Laufzeit der Applikation anhand optischer Feature 3D-Modell exakter, da Kinect näher an Objekten

19 Infrastruktur-los: SLAM Projector Wieder: Flashlight-Metaphor Neu: z.b. Projektion auf gebogenen Oberflächen Direct touch Picture taken from [3]: Interactive handheld projectors

20 Konzept Interaktionsmethoden User A: Berühren der Projektionsfläche User B: Touchscreen des Smartphones User C: Zeigen mit dem Laserpointer

21 Implementierung: Hardware Prototyp Smartphone + Projektor + Tiefenkamera Verbunden mit PC Nokia Lumia 800 MicroVision Laser Projector Microsoft Kinect for Windows

22 Implementierung User A Steuerung durch Berühren der Projektionsfläche Basiert auf Tiefenbild der Kinect

23 Implementierung 1) Canny-Edge

24 Implementierung Fehlende Pixel in Kontur

25 Implementierung 2) Dilate

26 Implementierung 3) Erode

27 Implementierung Offene Kontur

28 Implementierung 4) Füllen der Konturen

29 Implementierung 5) Erosion

30 Implementierung Für jede Kontur: Konvexe Hülle Touch Finger: Punkt erkannter Finger mit größter Tiefe Klick? Referenzpunkt Konturmittelpunkt

31 Implementierung Lineare Kalibrierung von Projektor und Tiefenkamera

32 Implementierung

33 Implementierung User B Steuerung durch Berühren des Smartphone Touchscreens Skalieren des Touch-Punktes auf Wertebereich [0,1]x[0,1] Übertragen m.h. von Sockets Skalieren des Punktes auf Auflösung des Projektors

34 Implementierung User C Steuerung durch Leuchten mit Laserpointer Kinect Farbkamera mit CV-Methode inrange Erkennt rotes Laserlicht Kalibrierung von Farbkamera und Projektor äquivalent zu vorheriger Kalibrierung

35 Implementierung Steuerung durch Leuchten mit Laserpointer

36 Implementierung Steuerung durch Leuchten mit Laserpointer Relativ stabil, auch wenn Bild viel rot enthält Interaktion mit Gesten

37 Ausblick Technische Evaluierung Benutzerstudie Weitere Interaktionstechniken Entzerrung des Projektorbildes

38 Referenzen [1] Chris Harrison, Hrvoje Benko, and Andrew D. Wilson OmniTouch: wearable multitouch interaction everywhere. In Proceedings of the 24th annual ACM symposium on User interface software and technology (UIST '11) [2] Lisa G. Cowan and Kevin A. Li ShadowPuppets: supporting collocated interaction with mobile projector phones using hand shadows. In Proceedings of the 2011 annual conference on Human factors in computing systems (CHI '11) [3] David Molyneaux, Shahram Izadi, David Kim, Otmar Hilliges, Steve Hodges, Xiang Cao, Alex Butler, and Hans Gellersen Interactive environment-aware handheld projectors for pervasive computing spaces. In Proceedings of the 10th international conference on Pervasive Computing (Pervasive'12), Judy Kay, Paul Lukowicz, Hideyuki Tokuda, Patrick Olivier, and Antonio Krüger (Eds.) [4]bhttp:// ID=295# [5]bhttp://images.samsung.com/is/image/samsung/de_GT8530BAADBT_006_DYNAMIC_black?$Do wnload-source$

39 Vielen Dank für die Aufmerksamkeit! Gibt es Fragen??????