Multi-Touch- und Multi-User-Interfaces Björn Frömmer

Transkript

1 Multi-Touch- und Multi-User-Interfaces Björn Frömmer

2 Tracking Was ist Tracking? Was kann alles getracked werden? Wie funktioniert Tracking? [ ] Finger tracken!

3 Was ist Tracking? Tracking bedeutet, ein Objekt zu verfolgen räumliche und zeitliche Verfolgung Bewegung! : bewegte Objekte / bewegter Beobachter eindeutige Zuweisung von identifizierten Objekten Sensoren notwendig um Daten zu erfassen

4 Wie funktioniert es? Objekt muss eindeutig identifizierbar sein Mobile Phone (IMEI) Flugzeug (Flugkennung, Transponder) Vogel am Himmel (?) Verfolgung über Zeit ObjPos_T(i) ObjPos_T(i+1) ObjPos_T(i+2) [ ] Positionsveränderung pro Zeiteinheit ist je nach Geschwindigkeit des Objekts und der Frequenz des Sensors sehr klein lokale Suche

5 Tracking Features Markerbased / Markerless Geometrien (Linien, Punkte, )

6 Optical Flow Wiederfinden von Features von Frame zu Frame durch lokales Suchverfahren (Markerless Tracking)

7 VR Tracking Oculus Rift IR LEDs am HMD angebracht Kameras nehmen die Position auf HTV Vive Lichtempfindliche Sensoren am HMD angebracht 2 IR Laserprojektoren beleuchten die Szene

8 AR Tracking Microsoft HoloLens Kombination aus Markerless und Markerbased tracking Daqri SmartHelmet / Smart Glasses Identisch zu MS HoloLens

9 Motion Capture Motion Capture Bewegungserfassung Körperbewegung Gesichtsausdrücke

10 Motion Capture Passives System (optisch)

11 Motion Capture Aktives System (optisch)

12 Motion Capture Aktives System (nicht optisch) XSens Gyroskop Beschleunigungssensor Magnetometer

13 Motion Capture Film

14 Motion Capture Videospiele

15 Motion Capture Produktdesign

16 Eye Tracking Blickerfassung

17 Eye Tracking Analyse Aufmerksamkeitsverlauf Was wird beachtet und was nicht Anwendungsgebiete Marktforschungsanalysen Wahrnehmungsanalyse (Bild- und Bewegungsanalyse) Medizin (Laserbehandlung bei Fehlsichtigkeit) Computersteuerung für körperlich beeinträchtigte Menschen...

18 Eye Tracking Marktforschungsanalysen

19 Augmented Reality Eine Technologie, die virtuelle Objekte mit der realen Welt kombiniert.

20 Augmented Reality MINI Cooper Werbung

21 Augmented Reality Lego

22 Wii Remote Optisches Tracking + Beschleunigungssensoren

23 Umgebungstracking Umfeldsensierung im Automobilbereich Autos oder Fußgänger im näheren Umfeld werden in ihrer Bewegung verfolgt Kollision vermeiden z.b. Bremsassistent

24 Laser Mosquito Killer

25 Blob Tracking Tracken der Finger-Blobs Keine feature extraction notwendig! Im Bild sind nur Finger-Blobs (Dafür haben Sie im Bildverarbeitungsteil des Praktikums gesorgt!) Welche Zustände gibt es? Ein neuer Finger wurde erkannt ID vergeben, Position speichern Ein bereits bekannter Finger hat seine Position geändert Position der entsprechenden Touch-ID aktualisieren Ein bereits bekannter Finger ist verschwunden ID aus der Datenspeicherung löschen Wie?

26 Fingerpositionen Aus dem Ergebnis der Bildverarbeitung (Binärbild mit Fingerblobs) müssen die Positionen der Finger berechnet werden Geometrischer Schwerpunkt der Konturpunkte einer Fingerkontur Zentrum einer mittels der Konturpunkte berechneten Ellipse Die Funktion fitellipse() liefert als Return-Wert ein RotatedRect Objekt zur Speicherung der Ellipse dieses verfügt über eine Membervariable.center

27 Blob Tracking (1) Frame T0 Frame T1 34

28 Blob Tracking (2) 35

29 Blob Tracking Nearest Neighbour Algorithmus Distanzberechnung zwischen zwei Punkten in 2D Abtastrate der Kamera beachten (Schwellwert: maximale Distanz die sich ein Touch pro Frame bewegen darf) IDs dürfen nicht doppelt vergeben werden Geeignete Datenstruktur wählen um die Touches zu speichern Minimal benötigte Daten: ID, x-position, y-position Optionale Daten: Pfad, Alter, Größe, Nicht vergessen: inaktive Touches löschen! 36

30 Blob Tracking (Demo) 37

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47 Fragen?