Gestenerkennung. Yannick Jonetzko Yannick Jonetzko

Transkript

1

2 Inhalt Motivation Definition Geste Historie / Anwendungsbereiche Arten der Funktionsweise anhand eines Papers Alternativen Fazit Seite 2

3 Motivation Human Computer Interaction Gesten sind in den meisten Ländern gleich Seite 3

4 Was ist eine Geste Handlung oder Mitteilung, die etwas indirekt ausdrücken soll -Duden- Quelle: Seite 4

5 Was gibt es für Gesten? Deiktische Geste, zeigen Ikonische Geste, größe Metaphorische Geste Rhythmische Geste Manipulative Geste, Gegenstand verändern Semaphorische Geste, Gebärdensprache Statische / Dynamische Geste Seite 5

6 Welche Gestenart eignet sich am besten? Deiktische Geste zur Bedienung des Mauszeigers Semaphorische Geste um bestimmte Aktionen auszuführen Manipulative Geste Training eines Roboters Seite 6

7 Historie / Arten der 1966 Erster Touchscreen 1983 Gestenhandschuh 1992 Erste Studien zur Visuellen 2006 Wii (Nintendo) 2007 Multi-Touch 2008 Leap Motion 2010 Kinect (Xbox 360) Seite 7

8 Anwendungsbereiche Human Computer Interaction Erkennung von Gebärdensprache Videospiele Kameraüberwachung Seite 8

9 Funktionsweise anhand eines Papers anhand des Papers: A Dynamic Gesture and Posture Recogition System von Kyriakos Sgouropoulos, Ekaterini Stergiopoulou und Nikos Papamarkos Erkennen einer Hand Beschreibung und Haltung der Hand Erkennen einer Bewegung und Zuordnung einer Geste Quelle: [SGO-2014] Seite 9

10 Erkennen einer Hand Ermitteln der Hautfarbe (SCM) Festlegen Über Gesichtsfarbe Binärbild erzeugen Zusammenhängende Komponenten ermitteln Eventuelle Löcher schließen Seite 10

11 Erzeugtes Binärbild Quelle: [SGO-2014] Seite 11

12 Handfläche und Finger finden Handfläche Rechteck Mittelpunkt Finger Horizontale Erosion für Distanz Skelett x,y Koord. der Fingerspitze und Wurzel Quelle: [SGO-2014] Seite 12

13 Erkennen der Haltung PC Distanz Quelle: [SGO-2014] Seite 13

14 Erkennen einer Geste Bewegungsbahn erkennen Bahn glätten (SGONG) Quelle: [SGO-2014] Seite 14

15 Zuordnen einer Geste Gesten zeichnen sich aus durch: Position Entfernung zum Kopf Orientierung Geschwindigkeit Seite 15

16 Hidden Markov Model Bewegung soll ermittelt werden Anfangs unbekannter Zustand Je mehr Zustande durchlaufen werden desto wahrscheinlicher ist die Vorhersage Seite 16

17 HMM Seite 17

18 Gesten-Lexikon Quelle: [SGO-2014] Seite 18

19 Gesten-Lexikon Quelle: [SGO-2014] Seite 19

20 Gesten-Lexikon 14 Verschiedene Haltungen der Hand 10 Verschiedene Bewegungen 140 verschiedene Gesten können erkannt werden Seite 20

21 Evaluation des Verfahrens Quelle: [SGO-2014] Insgesamt 840 Testergebnisse Pro Set alle 10 Bewegungen mit verschiedenen Haltungen 2 mal von 3 Personen getestet Insgesamt 94.76% Seite 21

22 Alternative Methoden Vereinfachte Darstellung der Hand zur Cursor Steuerung Rechteck um komplette Hand X,Y Koordinaten auf Maus übertragen Faust entspricht Mausklick Seite 22

23 Bounding-Box-Verfahren Definition eines Lokalen Koordinatensystems mit Ursprung in Handwurzel Quelle: [SCH-2013] Seite 23

24 Bounding-Box-Verfahren Handkontur über Suchstrahlen Quelle: [SCH-2013] Seite 24

25 Bounding-Box-Verfahren Quelle: [BAD-2014] Seite 25

26 Vor- und Nachteile Paper Einfache Maus Bounding-Box +Sehr viele Gesten +Einfache Berechnung +Zusammenliegende Finger +Niedrige Fehlerquote -Zu komplex -Wenig Anwendung Seite 26

27 Fazit Programm gut für Privatpersonen Keine extra Hardware nötig Anwendungsfälle eventuell zu aufwändig Keine 3D Gesten Seite 27

28 Quellen [SGO-2014] Kyriakos Sgouropoulos, A Dynamic Gesture and Posture Recognition System, [Online; Stand ] [BAD-2014] Haitham Badi, Hand posture and gesture recognition technology [Online; Stand ] [SCH-2014] Ludwig Schmutzler, Gestenbasierte Steuerung von interaktiven Umgebungen mithilfe der Microsoft Kinect [Online; Stand ] [WIK-2015] [Online; Stand ] Seite 28