Gestenerkennung. Von albert gass

Transkript

1 Gestenerkennung Von albert gass

2 Gliederung Einleitung einleitendes Zitat Visuelle Gestenerkennung Allgemein Merkmale Farben Geometrie der Objekte

3 gliederung Modellierung der beteiligten Daten Art der Datenaufnahme Daten-Handschuhe partiell gefärbte Handschuhe natürliche Erkennung Zeichnen-Modell Hand-Erkennung Phasen der Gestenerkennung Algorithmen und Verfahren Rubine Alg., SiGrid Alg., DTW, HHM

4 Gliederung Schwierigkeiten Hardware Beleuchtung Perspektive Feinheit der Gesten Quellen

5 einleitung "Computers became primary objects of our attention resulting in an area called human computer interaction. Today, however, we must ask: Are we actually interested in interacting with computers? Isn t our goal rather to interact with information, to communicate and to collaborate with people? Shouldn t the computer move into the background?" - N., Streiz

6 einleitung Computer treten mehr in den Hintergrund Unterstützende Funktion Integration als Kommunikationsapparat Intelligenz und Autonomie Heutige Bedienungserleichterungen: Touchscreens PDAs Graphic-Tablets

7 Visuelle gestenerkennung

8 allgemein Basiert auf Bildverarbeitung Verfolgung von Bewegungen -> Erkennen von Gesten Verfolgung von ausgezeichneten Markern/Merkmalen bzw. Eigenschaften

9 merkmale

10 farben einfachste Eigenschaft Beschreibung jedes Pixels eines digitalen Bildes mit seiner Farbe Aufgespannter Farbraum als Schwellenwert Abhängigkeit von der Beleuchtung

11 Geometrie der objekte einfache Objekte z.b.: Kreis komplexe Objekte menschliches Gesicht mehrere Objekte müssen parallel erkannt werden

12 Modellierung der beteiligten Daten

13 Art der datenaufnahme

14 Daten-handschuhe korrekte Position hohe Genauigkeit und Geschwindigkeit gute Kompatibilität Nachteil Bewegungseinschränkung

15 Partiell gefärbte Handschuhe Position durch Farberkennung zuverlässig Einschränkung der Natürlichkeit

16 Natürliche Erkennung keine zusätzliche Hardware nötig Darstellung der natürlichen Hand basiert auf Modellen, konzipiert für Aussehen Erscheinung Zugriff auf maschinelles Lernen

17 Zeichnen-modell erfolgreich für stiftbasierte Benutzerschnittstellen

18 Hand-erkennung Unterteilung in Vorder- und Hintergrund Pigmentierung YUV-Farbmodell Gauss Statistisches Modell Farben-Normierung Beschleunigt die Rechengeschwindigkeit Kontur eines Objekts

19 Phasen der Gestenerkennung Data Acquisition Sammeln der wichtigen Daten Gesture Modeling Anwendung der empfangenen Daten auf das jeweilige Modell meist sind einige Vorprozesse nötig Feature Extraction weich und reibungslos Merkmale können zu Trainingszwecken und als Vorlage dienen Recognition Stage Klassifizierung der Geste

20 Algorithmen und Verfahren

21 Rubine Algorithmus entwickelt von Dean Rubine (1991) Basis vieler Algorithmen zur Gestenerkennung merkt sich in periodischen Intervallen die Position Feature-Ermittlung Sinus, Cosinus Entfernungen Dauer und Geschwindigkeit

22 Sigrid Algorithmus entwickelt von Beat Signer, Moira Noirre und Ueli Kurrmann (2007) Basiert auf Bit-Signaturen in einem Grid n gleich große Quadrate Eindeutigkeit durch Bit-String Transformation des Zeichenvorgangs auf Grid Vergleich mit bereits bekannten Bit-Strings Levensthein Distanz Hamming Distanz

23 Dynamic time warping misst Ähnlichkeiten zweier Sequenzen unabhängig von Zeit Geschwindigkeit Rechenaufwand O(n²) Anwendung Sprach-, Unterschriften- und Umrisserkennung

24 Hidden markov model stochastisches Modell Markov-Kette mit unbeobachteten Zuständen Übergang auf zufällig Weise von einem in einen anderen Zustand Anwendung Sprach- und Gestenerkennung Spamfilter Schriftenerkennung

25 Schwierigkeiten

26 hardware Wahl der verwendeten Hardware zur Erfassung davon abhängig ist: Qualität des Ausgangsmaterials gewünschte Informationen Infrarot-, Restlicht- oder Normalbilder hohe Auflösung für feine Details hohe Frequenz der Aufnahme (vor allem bei Bewegungsabläufen)

27 Beleuchtung Einschränkungen der Farbqualität durch Schatten und Reflexion Verfälschung der Farben durch auftretende Blendeffekte Verdunkelung der Farbtöne durch Schatten Zusammensetzung des Lichts natürliches und künstliches Licht unterschiedliche Blauanteile

28 Perspektive Entfernung zur Kamera eintretender Winkel vom Objekt auftretende Phänomene Objekte werden überdeckt Objekte werden verzerrt dargestellt je nach Entfernung Gesten schwer erkennbar Lösung mehrere Kameras verwenden

29 Feinheit der Gesten wann und welche Gesten sollen erkannt werden Bewegungen metrisch erfassen mögliche Probleme bei zu starker Feinheit Fehlinterpretation unbewusster Bewegungen leichtes Zittern

30 Quellen ubicomp/projekte/master10-11-aw1/kilan/bericht.pdf