BACHELOR SEMINAR EXPLORING DEPTH-CAMERA BASED INTERACTION TECHNIQUES FOR MOBILE PROJECTORS Michael Braun
Agenda Motivation Verwandte Arbeiten Konzept Implementierung Ausblick
Motivation Früher Groß, laut, schwer Heute / Zukunft Kleiner, heller, günstiger Picture taken from [4] Sanyo
Motivation Früher Groß, laut, schwer Heute / Zukunft Kleiner, heller, günstiger Verwendung in Smartphones Kleiner Bildschirm Picture taken from [5] Samsung
Motivation Verwendung in Smartphones Kleiner Bildschirm ist überwunden Sichtbarkeit für mehrere User Aber: Die Projektion zeigt nur ein Spiegelbild des Displays Keine existierenden Applikationen die die Projektion nutzen nur Bilder, Videos und PPT Picture taken from [5] Samsung
Ziel dieser Arbeit Neue und natürliche Interaktionsmethoden für mehrere Benutzer entwickeln!
Verwandte Arbeiten OmniTouch Tragbares Gerät für Projektion im Alltag ShadowPuppets Gesten als Interaktionsmethoden Interactive Environment-Aware Handheld Projectors Handheld Geräte für ortsabhängige Projektion
OmniTouch [1] Interaktive Multi-Touch Anwendungen auf Alltagsoberflächen Picture taken from [1] OmniTouch Chris Harrison, Hrvoje Benko, and Andrew D. Wilson. 2011. OmniTouch: wearable multitouch interaction everywhere. In Proceedings of the 24 th annual ACM symposium on User interface software and technology (UIST '11)
Multi-Touch Fingererkennung Erste Ableitung des Tiefenbildes (B) Suche nach vertikalen zylinder-artigen Objekten (C) Gruppiere diese in Pfade = Finger (D) Pictures taken from [1] OmniTouch
Finger Klick-Erkennung Fülle von Fingermitte nach links Wenn Differenz zwischen 2 Pixeln unter Grenzwert Handfläche gefüllt? Pictures taken from [1] OmniTouch
Beispielanwendungen Konventionell Tastatur Pictures taken from [1] OmniTouch
Beispielanwendungen Mehrere Oberflächen Malen an Wänden Pictures taken from [1] OmniTouch
ShadowPuppets [2] Schatten der Hände als Eingabemethode für mehrere User Picture taken from [2] ShadowPuppets Lisa G. Cowan and Kevin A. Li. 2011. ShadowPuppets: supporting collocated interaction with mobile projector phones using hand shadows. In Proceedings of the 2011 annual conference on Human factors in computing systems (CHI '11)
ShadowPuppets Ergebnisse Bewegen Zoom Owner Bewege Hand in passende Richtung Pinch Bewege Hand auf Wand zu / von Wand weg Auswählen zeigen und halten / wackeln / berühren Collaborator Bewege Hand / Arm in passende Richtung Öffnende / schließende Bewegung mit Hand oder Armen Bewege Hand auf Wand zu / von Wand weg zeigen und halten / wackeln / berühren
Interactive Environment-Aware Handheld Projectors [3] Handheld Projektoren für ortsabhängige Projektion in Innenräumen Erkennen Eigene räumliche Ausrichtung Struktur der Umgebung 2 Ansätze Infrastruktur-basiert Infrastruktur-los [3] David Molyneaux, Shahram Izadi, David Kim, Otmar Hilliges, Steve Hodges, Xiang Cao, Alex Butler, and Hans Gellersen. 2012. Interactive environment-aware handheld projectors for pervasive computing spaces. In Proceedings of the 10th international conference on Pervasive Computing (Pervasive'12), Judy Kay, Paul Lukowicz, Hideyuki Tokuda, Patrick Olivier, and Antonio Krüger (Eds.)
Infrastruktur-basierend: RoomProjector Projektor + IMU (Inertial Measurement Unit) 4 Kinect-Kameras im Raum angebracht Projektor lokalisieren Grobe 3D Umgebung Projektor Tracking Ausrichtung: IMU Lokalisierung: Kinect-Kameras Picture taken from [3]: Interactive handheld projectors
Infrastruktur-basierend: RoomProjector Flashlight-Metaphor Bild im 3D-Modell auf eine Oberfläche legen Kann mit Projektor aufgedeckt werden Picture taken from [3]: Interactive handheld projectors
Infrastruktur-los: SLAM Projector Prototyp: Projektor + Kinect Kamera (Mobil) SLAM: Simultaneous localization and mapping Standard Technik aus der Robotik Erstellung eines 3D Modells zur Laufzeit der Applikation anhand optischer Feature 3D-Modell exakter, da Kinect näher an Objekten
Infrastruktur-los: SLAM Projector Wieder: Flashlight-Metaphor Neu: z.b. Projektion auf gebogenen Oberflächen Direct touch Picture taken from [3]: Interactive handheld projectors
Konzept Interaktionsmethoden User A: Berühren der Projektionsfläche User B: Touchscreen des Smartphones User C: Zeigen mit dem Laserpointer
Implementierung: Hardware Prototyp Smartphone + Projektor + Tiefenkamera Verbunden mit PC Nokia Lumia 800 MicroVision Laser Projector Microsoft Kinect for Windows
Implementierung User A Steuerung durch Berühren der Projektionsfläche Basiert auf Tiefenbild der Kinect
Implementierung 1) Canny-Edge
Implementierung Fehlende Pixel in Kontur
Implementierung 2) Dilate
Implementierung 3) Erode
Implementierung Offene Kontur
Implementierung 4) Füllen der Konturen
Implementierung 5) Erosion
Implementierung Für jede Kontur: Konvexe Hülle Touch Finger: Punkt erkannter Finger mit größter Tiefe Klick? Referenzpunkt Konturmittelpunkt
Implementierung Lineare Kalibrierung von Projektor und Tiefenkamera
Implementierung
Implementierung User B Steuerung durch Berühren des Smartphone Touchscreens Skalieren des Touch-Punktes auf Wertebereich [0,1]x[0,1] Übertragen m.h. von Sockets Skalieren des Punktes auf Auflösung des Projektors
Implementierung User C Steuerung durch Leuchten mit Laserpointer Kinect Farbkamera mit CV-Methode inrange Erkennt rotes Laserlicht Kalibrierung von Farbkamera und Projektor äquivalent zu vorheriger Kalibrierung
Implementierung Steuerung durch Leuchten mit Laserpointer
Implementierung Steuerung durch Leuchten mit Laserpointer Relativ stabil, auch wenn Bild viel rot enthält Interaktion mit Gesten
Ausblick Technische Evaluierung Benutzerstudie Weitere Interaktionstechniken Entzerrung des Projektorbildes
Referenzen [1] Chris Harrison, Hrvoje Benko, and Andrew D. Wilson. 2011. OmniTouch: wearable multitouch interaction everywhere. In Proceedings of the 24th annual ACM symposium on User interface software and technology (UIST '11) [2] Lisa G. Cowan and Kevin A. Li. 2011. ShadowPuppets: supporting collocated interaction with mobile projector phones using hand shadows. In Proceedings of the 2011 annual conference on Human factors in computing systems (CHI '11) [3] David Molyneaux, Shahram Izadi, David Kim, Otmar Hilliges, Steve Hodges, Xiang Cao, Alex Butler, and Hans Gellersen. 2012. Interactive environment-aware handheld projectors for pervasive computing spaces. In Proceedings of the 10th international conference on Pervasive Computing (Pervasive'12), Judy Kay, Paul Lukowicz, Hideyuki Tokuda, Patrick Olivier, and Antonio Krüger (Eds.) [4]bhttp://www.sanyo.de/products/lcd/projectors/professional/product.asp?lg=D&n1=100&Archiv=1&P ID=295# [5]bhttp://images.samsung.com/is/image/samsung/de_GT8530BAADBT_006_DYNAMIC_black?$Do wnload-source$
Vielen Dank für die Aufmerksamkeit! Gibt es Fragen??????