Gestenbasierte Steuerung von interaktiven Umgebungen mithilfe der Microsoft Kinect

Transkript

1 Fakultät Informatik Institut für Software- und Multimediatechnik, Professur für Computergraphik und Visualisierung Gestenbasierte Steuerung von interaktiven Umgebungen mithilfe der Microsoft Kinect Diplomverteidigung Ludwig Schmutzler Dresden,

2 Quelle: Folie 2

3 Motivation Verfolgen und Interpretieren von Nutzerbewegungen Steuerung virtueller Objekte / Auslösen von Aktionen Microsoft Kinect ermöglicht das Nachverfolgen in 3D Bild-Quelle: Folie 3

4 Zielstellung der Arbeit Beschränkung auf Hände und Arme, Ausnutzung d. Potenzials der Kinect Anforderungen: Robustheit gegenüber Lichtverhältnissen Kleidung Körperproportionen Kamera-/Nutzerstandort Folie 4

5 Zielstellung der Arbeit Beschränkung auf Hände und Arme, Ausnutzung d. Potenzials der Kinect Anforderungen: Robustheit gegenüber Lichtverhältnissen Kleidung Körperproportionen Kamera-/Nutzerstandort Kinect geeignete Modellbeschreibung Folie 5

6 Zielstellung der Arbeit Beschränkung auf Hände und Arme, Ausnutzung d. Potenzials der Kinect Anforderungen: Robustheit gegenüber Lichtverhältnissen Kleidung Körperproportionen Kamera-/Nutzerstandort Kinect geeignete Modellbeschreibung Folie 6

7 Zielstellung der Arbeit Beschränkung auf Hände und Arme, Ausnutzung d. Potenzials der Kinect Anforderungen: Robustheit gegenüber Lichtverhältnissen Kleidung Körperproportionen Kamera-/Nutzerstandort Kinect geeignete Modellbeschreibung schnelle Berechnungen, Echtzeitfähigkeit Erkennung von arbiträren Gesten aus dem Bewegungsfluss heraus Folie 7

8 Zielstellung der Arbeit besondere Herausforderungen: Entwickeln eines Gestenkonzeptes komplexes Zusammenspiel der einzelnen System-Komponenten realisieren Ungenauigkeiten des Trackings durch robustes Filtern ausgleichen Folie 8

9 Gliederung 1. Grundlagen Modellkomponenten, Gestenkonzept 2. Gestenerkennungssystem Sensordaten, Posenmodell, Erkennungsverfahren 3. Diskussion Ergebnisse, Bewertung, Ausblick 4. Demonstration Folie 9

10 1. Grundlagen Folie 10

11 Theoretische Grundlagen Gestenkosmos Ein Blick in die reale Welt: Gesten sind Kommunikationsmittel, wichtig für den Menschen Beispiel Folie 11

12 Theoretische Grundlagen Gestenkosmos Bild-Quelle: Folie 12

13 Theoretische Grundlagen Modellierung Geste (Wieder-)Erkennen Interpretieren Folie 13

14 Theoretische Grundlagen Modellierung Geste (Wieder-)Erkennen Interpretieren Bedeutungsmodellierung ist Aufgabe der Anwendung Demonstrationsanwendung im Rahmen der Arbeit Folie 14

15 Theoretische Grundlagen Modellierung Geste (Wieder-)Erkennen einer Struktur über ein Modell Interpretieren Modellierungskonzepte: explizites Vorgeben von Größen Definieren von Zustandsfolgen Bedeutungsmodellierung ist Aufgabe der Anwendung Demonstrationsanwendung im Rahmen der Arbeit mathematische Beschreibung von Bewegungskurven Aufzeichnen von Zeitreihen durch den Nutzer Folie 15

16 Theoretische Grundlagen Modellierung Geste (Wieder-)Erkennen einer Struktur über ein Modell Interpretieren Modellierungskonzepte: explizites Vorgeben von Größen Definieren von Zustandsfolgen Bedeutungsmodellierung ist Aufgabe der Anwendung Demonstrationsanwendung im Rahmen der Arbeit mathematische Beschreibung von Bewegungskurven Aufzeichnen von Zeitreihen durch den Nutzer Im Rahmen der Arbeit verwendet Folie 16

17 Theoretische Grundlagen Modellierung Noch etwas mehr Modellierung modularer Mensch, funktionale Trennung von Hand und restl. Oberkörper Hand Handposition Handform Oberkörper Körperwinkel Folge von Körperhaltungen Folie 17

18 Theoretische Grundlagen Modellierung Noch etwas mehr Modellierung modularer Mensch, funktionale Trennung von Hand und restl. Oberkörper Hand Handposition Handform Oberkörper Körperwinkel Folge von Körperhaltungen Gestenarten [KS05]: deiktische Geste manipulative Geste semaphorische Geste Folie 18

22 Theoretische Grundlagen Modellierung Noch etwas mehr Modellierung modularer Mensch, funktionale Trennung von Hand und restl. Oberkörper Hand Handposition Handform Oberkörper Körperwinkel Folge von Körperhaltungen Gestenarten [KS05]: deiktische Geste manipulative Geste semaphorische Geste Aufgabe des Erkennersystems Folie 22

23 2. Gestenerkennungssystem Folie 23

24 Gestenerkennung Übersicht Gesamtsystem Kinect Gestenerkenner Applikation Nutzeraktion Folie 24

25 Gestenerkennung Übersicht Gesamtsystem Kinect Gestenerkenner Applikation Nutzeraktion Folie 25

26 Gestenerkennung Sensordaten Kinect Sensor liefert mit 30 fps [Mic12]: RGB-Video (bis 1280x960) Tiefendaten (bis 640x480), Objekt - Abstand in Millimetern (13-bit) Folie 26

27 Gestenerkennung Sensordaten Kinect Sensor liefert mit 30 fps [Mic12]: RGB-Video (bis 1280x960) s 3 s 2 s 8 s 4 Tiefendaten (bis 640x480), Objekt - Abstand in Millimetern (13-bit) s 9 s 5 s 1 s 0 s 10 s 6 s 11 s 16 s 12 s 7 Skelettdaten: 20 markante Körperpunkte im sog. Skeleton Space, werden automatisch nachverfolgt s 17 s 13 s 18 s 14 s 19 s 15 Folie 27

28 Gestenerkennung Sensordaten interne Glättungsfunktionen für Skelettdaten dennoch: Trackingprobleme bei Überdeckung von Körperteilen s 3 s 2 s 8 s 4 s 9 s 5 s 1 s 0 s 10 s 6 s 11 s 16 s 12 s 7 s 17 s 13 s 18 s 14 s 19 s 15 Folie 28

29 Gestenerkennung Sensordaten interne Glättungsfunktionen für Skelettdaten Torso dennoch: Trackingprobleme bei Überdeckung von Körperteilen s 3 s 2 s 8 s 4 s 9 s 5 s 1 Steigerung der Robustheit durch Neuberechnung der Torsopunkte s 0 s 10 s 6 s 11 s 16 s 12 s 7 s 17 s 13 s 18 s 14 s 19 s 15 Folie 29

30 Gestenerkennung Übersicht Gesamtsystem Kinect Gestenerkenner Applikation Tiefendaten Skelettdaten Nutzeraktion Folie 30

31 Gestenerkennung Übersicht Gesamtsystem Kinect Gestenerkenner Applikation Tiefendaten Skelettdaten reine Skelettdaten ungeeignet! Nutzeraktion Folie 31

32 Gestenerkennung Modellansatz gesucht ist Beschreibungsform invariant gegenüber: Lage und Orientierung der Kinect Kamera Körpermaßen der Nutzer Folie 32

33 Gestenerkennung Modellansatz gesucht ist Beschreibungsform invariant gegenüber: Lage und Orientierung der Kinect Kamera Körpermaßen der Nutzer Winkelrepräsentationen sind geeignet und werden häufig verwendet (vgl. [YPL07, RKH11, PL06, BP+04, OFH08]) Folie 33

34 Gestenerkennung Modellansatz zusätzlich: Handpositionen in lokalem Koordinatensystem werden robust aus Hauptkomponenten-Analyse der Torsopunkte ermittelt (vgl. [RKH11]) Folie 34

35 Gestenerkennung Modellansatz zusätzlich: Handpositionen in lokalem Koordinatensystem werden robust aus Hauptkomponenten-Analyse der Torsopunkte ermittelt (vgl. [RKH11]) Pose zum Zeitpunkt t P t = φ 1,t, φ 2,t,, φ 8,t, x t L, x t R φ i,t R, i 1,8, x t L, x t R R 3 Redundanzreduktion: Folie 35

36 Gestenerkennung Übersicht Gesamtsystem Kinect Gestenerkenner Applikation Tiefendaten Skelettdaten Nutzeraktion Folie 36

37 Gestenerkennung Übersicht Gesamtsystem Kinect Gestenerkenner Applikation Tiefendaten Skelettdaten Posenmodell Handpositionen Körperwinkel Nutzeraktion Folie 37

38 Gestenerkennung Übersicht Gesamtsystem Kinect Gestenerkenner Applikation Tiefendaten Skelettdaten Posenmodell Handposition Handpositionen Körperwinkel Körperwinkel Handform Folge von Körperhaltungen Nutzeraktion Folie 38

39 Gestenerkennung Übersicht Gesamtsystem Kinect Gestenerkenner Applikation Tiefendaten Skelettdaten Posenmodell Handpositionen Körperwinkel Nutzeraktion Folie 39

40 Gestenerkennung Übersicht Gesamtsystem Kinect Gestenerkenner Applikation Tiefendaten Skelettdaten Posenmodell Handpositionen Körperwinkel Handerkennung Handform? Handposition? Nutzeraktion Oberkörpergestenerkennung Körperwinkel? Folge von Körperhaltungen? Folie 40

42 Erkennung von Handgesten - deiktisch deiktische Handgeste: Handposition virtuelle Zeigerposition 1. Aufgabe: ruhige Zeigerführung temporale Glättung der Handposition 2. Aufgabe: Genaues Positionieren und große Bildschirmbereiche abdecken? nicht-lineare Übersetzung von Hand- in Zeigerposition Folie 42

43 Erkennung von Handgesten - semaphorisch semaphorische Handgesten: Klassifizierung der Handform: Handfläche als Punktmengen [TLB12] Fitten von Spline-Kurven [RVCB03] Nachbar-Pixelsuche [Li12] Radiale Histogramme [Tan11,RYZ11] Folie 43

44 Erkennung von Handgesten - semaphorisch semaphorische Handgesten: Klassifizierung der Handform: Handfläche als Punktmengen [TLB12] Fitten von Spline-Kurven [RVCB03] Nachbar-Pixelsuche [Li12] Radiale Histogramme [Tan11,RYZ11] hier: Auswertung der Konturlinie in Polardarstellung, zwei einfache Handstellungen: "offen" u. "geschlossen" Kinect liefert lediglich 2 Skelettpunkte für Hand bildbasiertes Verfahren über Tiefendaten Folie 44

45 Erkennung von Handgesten - semaphorisch Vorgehen (I) Finden der Handwurzel im Tiefenbild (über Kinect API) Folie 45

46 Erkennung von Handgesten - semaphorisch Vorgehen (I) y Finden der Handwurzel im Tiefenbild (über Kinect API) Definition eines lokalen Koordinatensystems (0,0) x Folie 46

47 Erkennung von Handgesten - semaphorisch Vorgehen (I) y Finden der Handwurzel im Tiefenbild (über Kinect API) Definition eines lokalen Koordinatensystems δ Handpixel definiert über Schwellwert < δ (0,0) x Folie 47

48 Erkennung von Handgesten - semaphorisch Vorgehen (I) Finden der Handwurzel im Tiefenbild (über Kinect API) y Bounding Box Definition eines lokalen Koordinatensystems δ Handpixel definiert über Schwellwert < δ (0,0) x Anforderungen: Lokalität und Kontinuität Bounding-Box-Verfahren (achsenparallele Suchstrahlen, beginnend im Ursprung) Folie 48

49 Erkennung von Handgesten - semaphorisch Vorgehen (II) Handkontur über radiale Suchstrahlen s i = r cos ω i sin ω i Strahlen werden effizient von außen nach innen verfolgt (Kontinuität der Handfläche) Folie 49

50 Erkennung von Handgesten - semaphorisch Vorgehen (II) Handkontur über radiale Suchstrahlen s i = r cos ω i sin ω i Strahlen werden effizient von außen nach innen verfolgt (Kontinuität der Handfläche) Konturlinie k r max,i Glätten und Auszählen der lokalen Maxima (=Fingeranzahl) Folie 50

51 Erkennung von Handgesten - semaphorisch r max,ωi 100 r max,ωi ω Handkontur (offene Hand) Fingerpositionen i ω Handkontur (geschlossene Hand) i praxisgerechte Klassifikation: Anzahl der lokalen Maxima 1 geschlossene Hand Anzahl der lokalen Maxima > 1 offene Hand Folie 51

53 Gestenerkennung Übersicht Gesamtsystem Kinect Tiefendaten Skelettdaten Posenmodell Handpositionen Körperwinkel Gestenerkenner Handerkennung Applikation Klassifizierung der Handform Ergebnis d. Klassifikation Virtuelle Handkoordinaten Nutzeraktion Oberkörpergestenerkennung Körperwinkel? Folge von Körperhaltungen? Folie 53

55 Oberkörpergestenerkennung Vorverarbeitung Vorverarbeitung: Oberkörpergesten (OKG) werden nur über Winkel modelliert, Extraktion aus der Pose φ t = φ P t = φ 1,t, φ 2,t,, φ 8,t Merkmalsvektor (MV), wird temporal geglättet deiktische Oberkörpergeste: Weiterleiten des aktuellen MV an die Applikation Folie 55

56 Oberkörpergestenerkennung semaphorisch semaphorische OKG: Folge von Körperhaltungen zeitreihenbasierter Modellansatz: Geste = Folge von Merkmalsvektoren Merkmalsvektorsequenz (MVS) Φ (i,j) φ i, φ i+1,, φ j 1, φ j Folie 56

57 Oberkörpergestenerkennung semaphorisch semaphorische OKG: Folge von Körperhaltungen zeitreihenbasierter Modellansatz: Geste = Folge von Merkmalsvektoren Merkmalsvektorsequenz (MVS) Φ (i,j) φ i, φ i+1,, φ j 1, φ j 2 Kern-Aufgaben des Erkennens: Auffinden Klassifizieren Folie 57

58 Oberkörpergestenerkennung semaphorisch Auffinden potenzieller OKG: automatisches Segmentieren der Nutzeraktionen aus dem Interaktionsfluss heraus Warum? Nutzer soll nicht manuell anzeigen Folie 58

59 Oberkörpergestenerkennung semaphorisch Auffinden potenzieller OKG: automatisches Segmentieren der Nutzeraktionen aus dem Interaktionsfluss heraus Warum? Nutzer soll nicht manuell anzeigen Absuchen aller möglichen vergangenen MVS, zu rechenintensiv Markieren von Zeitpunkten potenziellen Gesten-Beginns/-Endes, dann Absuchen Folie 59

60 Oberkörpergestenerkennung semaphorisch Auffinden potenzieller OKG: über Gradienten und deren Änderung (vgl. [KLJ04]) hier: Winkelgeschwindigkeiten Beobachtung: Ruhe niedriger Geschwindigkeitsbetrag Bewegung hoher Geschwindigkeitsbetrag Folie 60

61 Oberkörpergestenerkennung semaphorisch Auffinden potenzieller OKG: über Gradienten und deren Änderung (vgl. [KLJ04]) hier: Winkelgeschwindigkeiten Beobachtung: Ruhe niedriger Geschwindigkeitsbetrag Bewegung hoher Geschwindigkeitsbetrag Vorgehen (I) Markieren bei Übergang von einer in die andere Phase Spezialfälle: Verweilen in einer Haltung oder andauerndes Weiterbewegen Warten bis bestimmte Zahl von Frames abgelaufen, dann markieren Folie 61

62 Oberkörpergestenerkennung semaphorisch Auffinden potenzieller OKG: Vorgehen (II) Suchfenster W konstanter Größe über die markierten Zeitindizes Bilden von temporären MVS: (i,j ) Φ temp i, j W, i < j Folie 62

63 Oberkörpergestenerkennung semaphorisch Auffinden potenzieller OKG: Vorgehen (II) Suchfenster W konstanter Größe über die markierten Zeitindizes Bilden von temporären MVS: (i,j ) Φ temp i, j W, i < j alle temporären MVS klassifizieren Weiterrücken von W je nach Klassifikationsergebnis Folie 63

64 Oberkörpergestenerkennung semaphorisch Auffinden potenzieller OKG: Vorgehen (II) Suchfenster W konstanter Größe über die markierten Zeitindizes Bilden von temporären MVS: (i,j ) Φ temp i, j W, i < j alle temporären MVS klassifizieren Weiterrücken von W je nach Klassifikationsergebnis Folie 64

65 Oberkörpergestenerkennung semaphorisch Klassifikation von MVS Grundlage der Erkennung? Trainingsdaten! Aufzeichnen von MVS Bilden von Klassen, d.h. mehrere MVS-Bsp. der gleichen Bewegung werden zusammengefasst Folie 65

66 Oberkörpergestenerkennung semaphorisch Klassifikation von MVS gegeben: eine temporäre MVS viele trainierte MVS Folie 66

67 Oberkörpergestenerkennung semaphorisch Klassifikation von MVS gegeben: eine temporäre MVS viele trainierte MVS Aufgabe: Vergleich Klassenzuordnung Folie 67

68 Oberkörpergestenerkennung semaphorisch Klassifikation von MVS gegeben: eine temporäre MVS viele trainierte MVS Aufgabe: Vergleich Klassenzuordnung Wie? zeitreihenbasierter Modellansatz Berechnen der Distanz zwischen MVS Folie 68

69 Oberkörpergestenerkennung semaphorisch Klassifikation von MVS verwendeter Algorithmus: k-nächste-nachbarn-verfahren hinreichend schnell, einfach zu implementieren Folie 69

70 Oberkörpergestenerkennung semaphorisch Klassifikation von MVS verwendeter Algorithmus: k-nächste-nachbarn-verfahren hinreichend schnell, einfach zu implementieren untersuchte Distanzmaße: Euklidischer Abstand modifizierter euklidischer Abstand (dazu Komplexitätsmaß nach [BWK11]) Pearson-Distanz FM-Distanz [OFH08] Dynamic Time Warping (DTW) Folie 70

71 Oberkörpergestenerkennung semaphorisch Klassifikation von MVS Schwächen der klassischen Maße: MVS müssen gleiche Länge haben (lösbar über Resampling) Φ(t) 7 6 Bsp. 1D Zeitreihen Zuordnung der MV-Korrespondenzen ist festgelegt t φ1 φ2 Folie 71

72 Oberkörpergestenerkennung semaphorisch Klassifikation von MVS Schwächen der klassischen Maße: MVS müssen gleiche Länge haben (lösbar über Resampling) Φ(t) 7 6 Bsp. 1D Zeitreihen Zuordnung der MV-Korrespondenzen ist festgelegt Vorteil DTW: 2 lokale Anpassung der MV-Korrespondenzen t φ1 φ2 Folie 72

74 Gestenerkennung Übersicht Gesamtsystem Kinect Tiefendaten Skelettdaten Posenmodell Handpositionen Gestenerkenner Handerkennung Klassifizierung der Handform Virtuelle Handkoordinaten Applikation Ergebnis d. Klassifikation Nutzeraktion Körperwinkel Merkmalsvektoren Oberkörpergestenerkennung Abbilden von Merkmalsvektoren Auffinden u. Klassifizieren von Merkmalsvektorsequenzen Ergebnis d. Klassifikation Folie 74

75 Gestenerkennung Übersicht Gesamtsystem Kinect Tiefendaten Skelettdaten Posenmodell Handpositionen Gestenerkenner Handerkennung Klassifizierung der Handform Virtuelle Handkoordinaten Applikation Ergebnis d. Klassifikation Nutzeraktion Körperwinkel Merkmalsvektoren Oberkörpergestenerkennung Abbilden von Merkmalsvektoren Auffinden u. Klassifizieren von Merkmalsvektorsequenzen Ergebnis d. Klassifikation Folie 75

76 3. Diskussion Folie 76

77 Evaluation Übersicht Was wurde untersucht? Klassifikationsraten Geschwindigkeit Folie 77

78 Evaluation Handform Klassifikation der Handform Testdaten: 2500 Trainingsbeispiele, unterschiedliche Abstände zur Kamera, verschiedene Ausführgeschwindigkeiten, Hand frontal zur Kamera Ergebnisse: Eingabe der geschlossenen Hand stets zu 100% korrekt klassifiziert korrekte Klassifizierung der geöffneten Hand fällt ab bestimmten Abstand stark ab Ø Rechenzeit pro Klassifikation: 0,37 ms Folie 78

79 Evaluation Handform Klassifikation der Handform Distanzbereich richtig erkannt falsch erkannt Genauigkeit geschlossene Hand mm 100% 0% 100% mm 100% 0% 96,76% >1900mm 100% 0% 52,96% offene Hand mm 100% 0% 100% mm 96,65% 3,35% 100% >1900mm 11,18% 88,82% 100% Distanzbereich Korrektklassifikationsrate Falschklassifikationsrate mm 100% 0% mm 98,33% 1,67% >1900mm 55,59% 44,41% Genauigkeit (precision) = Klasse X richtig erkannt Klasse X erkannt = true positives true positives+false positives Korrektklassifikationsrate (accuracy) = Anz. der korrekt erkannten Gesten Gesamtheit der eingegeben Gesten = true pos. + true neg. true pos. + true neg. + false pos. + false neg. Folie 79

80 Evaluation Handform Klassifikation der Handform Distanzbereich richtig erkannt falsch erkannt Genauigkeit geschlossene Hand mm 100% 0% 100% mm 100% 0% 96,76% >1900mm 100% 0% 52,96% offene Hand mm 100% 0% 100% mm 96,65% 3,35% 100% >1900mm 11,18% 88,82% 100% Distanzbereich Korrektklassifikationsrate Falschklassifikationsrate mm 100% 0% mm 98,33% 1,67% >1900mm 55,59% 44,41% Genauigkeit (precision) = Klasse X richtig erkannt Klasse X erkannt = true positives true positives+false positives Korrektklassifikationsrate (accuracy) = Anz. der korrekt erkannten Gesten Gesamtheit der eingegeben Gesten = true pos. + true neg. true pos. + true neg. + false pos. + false neg. Folie 80

81 Evaluation Klassifikation der MVS Klassifikation der MVS Testdaten: 600 Trainings-Bsp., 10 Klassen 2 Gruppen: 50 Test- u. 10 Referenz-Bsp. pro Klasse Test 1: isolierte Klassifikation Distanzmaß k R F N KK ØRZ Eukl. Abstand ,4% 1,35 ms Mod. Eukl. Abstand ,8% 1,44 ms Pearson- Distanz ,4% 3,33 ms Dynamic Time Warping ,4% 1,22 ms FM-Distanz ,6% 2,52 ms k: Anzahl d. Nachbarn, R: richtig erkannt, F: falsch erkannt, N: nicht erkannt, KK: Korrektklassifikationsrate, ØRZ: durchschnittliche Rechenzeit Folie 81

82 Evaluation Klassifikation der MVS Klassifikation der MVS Testdaten: 600 Trainings-Bsp., 10 Klassen 2 Gruppen: 50 Test- u. 10 Referenz-Bsp. pro Klasse Test 1: isolierte Klassifikation Distanzmaß k R F N KK ØRZ Eukl. Abstand ,4% 1,35 ms Mod. Eukl. Abstand ,8% 1,44 ms Pearson- Distanz ,4% 3,33 ms Dynamic Time Warping ,4% 1,22 ms FM-Distanz ,6% 2,52 ms k: Anzahl d. Nachbarn, R: richtig erkannt, F: falsch erkannt, N: nicht erkannt, KK: Korrektklassifikationsrate, ØRZ: durchschnittliche Rechenzeit gut und schnell Folie 82

83 Evaluation Klassifikation der MVS Klassifikation der MVS gute Ergebnisse für alle Distanzmaße, Eignung im laufenden Betrieb? Test 2: Klassifikation zur Laufzeit Ausführung der 10 Gesten in unterschiedl. Reihenfolge, insgesamt 600 Ausführungen On-The-Fly-Erkennung durch das parallele System von Finden und Klassifizieren nur DTW-Verfahren bringt hier gute Ergebnisse bei den anderen: häufig fälschliche Klassifikationen von Nicht-Gesten (false positives) Folie 83

84 Evaluation Klassifikation der MVS Test 2: Klassifikation zur Laufzeit Gesamtergebnis (DTW): Anzahl der Gesten: 600 richtig erkannt: 574 falsch erkannt: 7 nicht erkannt: 19 Korrektklassifikationsrate: 95,67% Ø Genauigkeit: 98,85% Geschwindigkeitsbetrachtung: Festlegung: Gesten < 3s, Suchfenstergröße 12 Ø RZ = 84 ms (pro Fenster) < 267 ms (Ø Markierungsintervall), Ø Latenz ca. 1-4 Markierungsintervalle (267ms-1067ms), maximal 3,17s Folie 84

85 Bewertung der Ergebnisse Handerkennung Handposition + Ruhige Zeigerführung, Latenz vertretbar, Details bleiben erhalten + nichtlineare Skalierung erlaubt Zielgenauigkeit und gleichzeitig großen Arbeitsbereich kein vollständiges Ausgleichen von Tracking-Ungenauigkeiten Handform + gute Erkennung in bestimmten Distanzbereich + schnell (ca. 1% von Frame-Dauer) kleiner nutzbarer Tiefenbereich durch Mindestabstand d. Nutzers zur Kinect Erkennung von OKG + für überschaubare Anzahl selbstdefinierter Gesten gute Ergebnisse + schnell systembedingte maximale Verzögerung Folie 85

86 Ausblick Erweiterungspotenzial: Verbesserung d. Handformerkennung unter Einbeziehung d. Videobildes Erkennung von Fingerstellungen mehrere Kinects synchronisieren größerer effektiver Nutzerbereich effektiveres Training durch halbautomatisches Labeling... Folie 86

87 4. Demonstration Folie 87

88 Folie 88

89 Details Folie 89

90 Details Glättung der Torsopunkte Beobachtung: stabilster Punkt ist s 1 1. Annahme: Nutzer bleibt an Ort und Stelle Glättung von s 1 : s 1,t 1 β s 1,t + β s 1,t 1 s 3 s 2 s 8 s v 4 i s 9 s 5 s 1 2. Annahme: Torso ist starr s 0 s 10 s 6 s 11 s 16 s 12 s 7 Stützvektoren v i,t s i,t s 1,t für i {0,2,4,8,12,16} werden temporal geglättet: v i,t 1 α v i,t + α v i,t 1 s 17 s 13 Berechnung rekonstruierter Torsopunkte s i,t s i,t s 1,t + v i,t für i {0,2,4,8,12,16} s 18 s 14 s 19 s 15 Folie 90

91 Details nicht-lineare Skalierung Übersetzung von Hand- zu Zeigerposition: SENSITIVITÄT := Änderung der ausgehenden Zeigerposition Änderung der eingehenden Handposition σ t Δp L R t L R Δx t Δp t L R = σt Δx t L R L R L R L R mit Δx t = xt xt 1 L R L R L R und Δpt = pt pt 1 einfacher Ansatz: σ t = σ 0 = const. Problem: genaue Positionierung bei kleinem Wert, großer Bildschirmbereich bei großem Wert wünschenswert: BEIDES! Folie 91

92 Details nicht-lineare Skalierung Nicht-lineare Sensitivitäts-Skalierung (vgl. Mauszeigerbeschleunigung): SENSITIVITÄT = Skalierungskoeffizient x Betrag der Positionsänderung σ t ε ε Δx t L R großes Verhältnis bei schnellen, kleines Verhältnis bei langsamen Hand-Bewegungen Δp t L R = ε Δxt L R Δx t L R p t L R = ε Δxt L R L R L R Δx t + pt 1 Wahl von ε empirisch, resultiert in 1:1 - Übersetzung bei einer mittelschnellen Positionsänderung, entspricht 0,025 m pro Frame (~2,7 km/h): 1 = ε Δx m L R ε = 1 Δx m L R = 1 0,025 = 40 Folie 92

93 Details nicht-lineare Skalierung Nicht-lineare Sensitivitäts-Skalierung (vgl. Mauszeigerbeschleunigung): 5 L R Δp t Δx t L R ε = 5 ε = 10 ε = 20 ε = 40 ε = 80 Folie 93

94 Details Suchfenster Vorgehen (II) Suchfensteralgorithmus Nutzerinteraktion zur Laufzeit Strom der MV... Folie 94

95 Details Suchfenster Vorgehen (II) Suchfensteralgorithmus Strom der MV... Markierungen Folie 95

96 Details Suchfenster Vorgehen (II) Suchfensteralgorithmus Strom der MV... Markierungen Suchfenster konstante Länge Folie 96

97 Details Suchfenster Vorgehen (II) Suchfensteralgorithmus Strom der MV... Markierungen Suchfenster temporäre MVS Folie 97

101 Details Suchfenster Vorgehen (II) Suchfensteralgorithmus Strom der MV... Markierungen Suchfenster temporäre MVS Trainingsdaten Folie 101

102 Klassifikation Details Suchfenster Vorgehen (II) Suchfensteralgorithmus Strom der MV... Markierungen Suchfenster temporäre MVS Trainingsdaten Folie 102

103 Details Suchfenster Vorgehen (II) Suchfensteralgorithmus Strom der MV... Markierungen Suchfenster temporäre MVS Gewinner! Folie 103

104 Details Suchfenster Vorgehen (II) Suchfensteralgorithmus Strom der MV... Markierungen Suchfenster neuer Suchbeginn Folie 104

105 Details Suchfenster Vorgehen (II) Suchfensteralgorithmus Strom der MV... Markierungen Suchfenster Folie 105

106 Details Suchfenster Vorgehen (II) Suchfensteralgorithmus Strom der MV... Markierungen Suchfenster Folie 106

107 Klassifikation Details Suchfenster Trainingsdaten Folie 107

108 Details knn-algorithmus Klassifikation von MVS k-nearest-neighbour-algorithmus Folie 108

109 Details knn-algorithmus Klassifikation von MVS k-nearest-neighbour-algorithmus Raum der MVS Klasse 1 Klasse 2 Klasse 3 Folie 109

110 Details knn-algorithmus Klassifikation von MVS k-nearest-neighbour-algorithmus Raum der MVS? zu klassifizierende MVS Klasse 1 Klasse 2 Klasse 3 Folie 110

111 Details knn-algorithmus Klassifikation von MVS k-nearest-neighbour-algorithmus Raum der MVS suche die k nächstliegenden Nachbarn? Klasse 1 Klasse 2 Klasse 3 Folie 111

112 Details knn-algorithmus Klassifikation von MVS k-nearest-neighbour-algorithmus Raum der MVS suche die k nächstliegenden Nachbarn? Klasse 1 Klasse 2 Klasse 3 Folie 112

113 Details knn-algorithmus Klassifikation von MVS k-nearest-neighbour-algorithmus Raum der MVS suche die k nächstliegenden Nachbarn naive Klassifikation: Zählen? gewinnt Klasse 1 Klasse 2 Klasse 3 Folie 113

114 Details knn-algorithmus Klassifikation von MVS k-nearest-neighbour-algorithmus Raum der MVS suche die k nächstliegenden Nachbarn naive Klassifikation: Zählen? gewinnt besser: Gewichtete Summen 1 Punkte der Klasse X = Σ Distanz zu MVS MVS Є X Klasse 1 Klasse 2 Klasse 3 Folie 114

115 Details knn-algorithmus Klassifikation von MVS k-nearest-neighbour-algorithmus Raum der MVS suche die k nächstliegenden Nachbarn naive Klassifikation: Zählen gewinnt besser: Gewichtete Summen 1 Punkte der Klasse X = Σ Distanz zu MVS MVS Є X Klasse 1 gewinnt Klasse 2 Klasse 3 Folie 115

116 Details knn-algorithmus Klassifikation von MVS Raum der MVS Wie werden die Distanzen berechnet????? Klasse 1 Klasse 2 Klasse 3 Folie 116

117 Details Distanzmaße Anmerkungen: grundsätzlich keine Normalisierung der MV nötig, da Winkel in der gleichen Größenordnung liegen Studentisierung birgt die Gefahr, dass Rauschanteile deutlicheren Einfluss auf das Klassifikationsergebnis haben aber Skalierung entlang der Anzahl der MV zur Vergleichbarkeit unterschiedlich langer Gesten Def. Merkmalsvektorsequenz von Zeitpunkt i bis Zeitpunkt j: Φ i,j φ i, φ i+1,, φ j 1, φ j mit i < j φ i geglätter Merkmalsvektor Folie 117

118 Details Distanzmaße Metrik: 8 d φ i, φ j = φ n,i φ 2 n,j n=1 Φ k i,j k-ter Eintrag in der MVS Euklidischer Abstand D Euklid Φ (i,j ), Φ (g,h) = 1 N N k=1 d Φ k i,j, Φk g,h 2 N Φ (i,j ) = Φ (g,h) Folie 118

119 Details Distanzmaße modifizierter Euklidischer Abstand Komplexitätsmaß CE nach [BWK11] Φ k i,j k-ter Eintrag in der MVS CE Φ (i,j ) > CE Φ (g,h) T (i,j ) > T (g,h) Bahnlänge der Trajektorie: T (i,j ) i,j i,j = d Φ k, Φk 1 j k=i+1 Korrekturfaktor CF: CF Φ (i,j ), Φ (g,h) max CE Φ(i,j ), CE Φ (g,h) min CE Φ (i,j ), CE Φ (g,h) = max T(i,j ), T (g,h) min T (i,j ), T (g,h) D mod.euklid Φ (i,j ), Φ (g,h) D Euklid Φ (i,j ), Φ (g,h) CF Φ (i,j ), Φ (g,h) Folie 119

120 Details Distanzmaße Pearson-Distanz Korrelationskoeffizienten pro Merkmalsdimension m: (i,j ) Φ m,k k-ter Eintrag in der m-ten Dimension einer MVS ρ m Φ (i,j ), Φ (g,h) N k=1 N k=1 (i,j ) (i,j) Φ m,k Φm,k i,j i,j Φ 2 m,k Φm,k (g,h) (g,h) Φ m,k Φm,k g,h g,h Φ 2 m,k Φm,k N Φ (i,j ) = Φ (g,h) (i,j) 1 Φ m,k N N k=1 (i,j ) Φ m,k D Pearson Φ (i,j ), Φ (g,h) 1 N 8 m =1 1 ρ m Φ (i,j ), Φ (g,h) Folie 120

121 Details Distanzmaße FM-Distanz [OFH08] Kinetische Energie pro Merkmalsdimension m: 2 E m,k m m v m,k mit v m,k = Φ m,k (i,j ) (i,j ) Φm,k 1 Δt (i,j ) Φ m,k k-ter Eintrag in der m-ten Dimension einer MVS lässt sich vereinfachen zu: i,j i,j E m,k Φ m,k Φm,k 1 2 mittlere Energie der m-ten Merkmalszeitreihe: N E m 1 N 1 Energievektoren k=2 e e 1, e 2,, e 8 E m,k logarithmische Skalierung: e m log E m D FM Φ i,j, Φ g,h i,j g,h e 2 k ek k=1 Folie 121

122 03 Gestenerkennung Gesture Recognition DYNAMIC TIME WARPING Voraussetzung: lokales Distanzmaß (auch Kostenfunktion genannt) d: ϕ ϕ R +, d ϕ i, ϕ j = ϕ i ϕ j Input: zwei Merkmalsvektor-Zeitreihen, die aus den Posen einer Geste gewonnen werden φ (ij) = ϕ i, ϕ i+1,, ϕ k,, ϕ j 1, ϕ j mit ϕ k = φ P k für P k G (ij) φ k ij = ϕi+k 1 mit k [1, j i + 1] Ziel des Algorithmus: Verknüpfen von zusammengehörenden Merkmalsvektorpaaren aus beiden Zeitreihen, sodass die akkumulierte Distanz minimal wird TU Dresden, Folie 15 von 22

123 03 Gestenerkennung Gesture Recognition DYNAMIC TIME WARPING Grundlagen 1. lokale Kostenmatrix C aller paarweisen Distanzen: C R M N, C mn d φ m (gh), φn (ij), m 1, M, n 1, N 2. Warping-Pfad Q: ist eine Folge von Indexpaaren (stellvertretend für die Merkmalsvektorpaare): Q = q 1, q 2,, q L mit q l = m l, n l für l [1, L] Distanz zwischen beiden Zeitreihen entspricht den akkumulierten Kosten entlang des Pfades Q: L Distanz Q φ gh, φ (ij) = l=1 gh ij d φ ml, φnl TU Dresden, Folie 16 von 22

124 03 Gestenerkennung Gesture Recognition DYNAMIC TIME WARPING Grundlagen Warping-Pfad muss folgende Bedingungen erfüllen: q 1 = 1,1 und q L = (M, N) Boundary Kriterium: (Start- und Endindexpaar des Pfades muss Start- und Endindizes der beiden Zeitreihen entsprechen) Monotonie Kriterium: (Zeitordnung muss erhalten bleiben) m 0 m 1 m L und n 0 n 1 n L Schrittgrößen Kriterium: (Es dürfen keine Sprünge entlang des Pfades auftreten) q l+1 q l 0,1, 1,0, (1,1) für l [1, L 1] TU Dresden, Folie 17 von 22

125 03 Gestenerkennung Gesture Recognition DYNAMIC TIME WARPING Vorgehen Unter der Menge aller möglichen Pfade ist derjenige mit den minimalen Gesamtkosten gesucht D R M N Definition einer globalen Kostenmatrix : n (gh) (ij) 1. Zeile: D 1,n = d φ 1, φk für n [1, N] k=1 m (gh) (ij) 1. Spalte: D m,1 = d φ k, φ1 für m [1, M] k=1 Sonst: D m,n = d φ m (gh), φn (ij) + min D m 1,n 1, D m 1,n, D m,n 1 für m 2, M und n [2, N] Der Eintrag D M,N enthält die Gesamtkosten des optimalen Pfades (dieser kann explizit durch Backtracking ermittelt werden) liegen sie unter einem definierten Schwellwert, so werden die Gesten als übereinstimmend erkannt TU Dresden, Folie 18 von 22

126 Referenz 03 Gestenerkennung Bsp. Lokale Distanzmatrix C: Φ(t) t Referenz Input Distanz herkömmlich berechnet: d=13 Input Globale Distanzmatrix D: TU Dresden, Folie 19 von 22

127 Referenz 03 Gestenerkennung Bsp. Lokale Distanzmatrix C: Φ(t) t Referenz Input Distanz herkömmlich berechnet: d=13 Input Globale Distanzmatrix D: Zeile und 1. Spalte setzen TU Dresden, Folie 19 von 22

136 Referenz 03 Gestenerkennung Bsp. Lokale Distanzmatrix C: Φ(t) t Referenz Input Distanz herkömmlich berechnet: d=13 Input Globale Distanzmatrix D: Restliche Einträge: = + min (,, ) TU Dresden, Folie 19 von 22

144 Referenz 03 Gestenerkennung Bsp. Lokale Distanzmatrix C: Φ(t) t Referenz Input Distanz herkömmlich berechnet: d=13 Input Globale Distanzmatrix D: Backtracking: = min (,, ) TU Dresden, Folie 19 von 22