Software zur Erkennung von Körperhaltungen K Bildschirmarbeitsplätzen. tzen. Referent: Markus Kirschmann

Transkript

1 Software zur Erkennung von Körperhaltungen K an Bildschirmarbeitsplätzen tzen Vortrag zur Diplomarbeit Neuronale Mehrklassifikatorsysteme zur Erkennung der Körperhaltung K in Bildschirmarbeitsplatzumgebungen Referent: Markus Kirschmann

2 Einleitung Längerfristiges Ziel: Entwickeln einer Software zur Erkennung und Analyse des Sitzverhaltens. Diplomarbeit als Grundlagenforschung Fragestellungen Erkennen von Sitzhaltungen durch Software machbar? Welche Hardware / Eingabesensorik? Welche Sitzklassen? Welche Merkmale unterscheiden sie sich? Webcam als Eingabesensorik Bilder als Datenmaterial Frontalbilder als realistische Perspektive Zusätzliche Seitenaufnahme zu Kontrollzwecken

3 Vorarbeiten Aufnahme und Vorverarbeitung von Datenmaterial Ca 100 kurze Aufnahmeserien Zusätzlich ca Bilder mit Markierungen Zusätzlich ca Hintergrundbilder 10% der Aufnahmeserien mit Sitzklassen-Angabe Aufnahmen für Gesichtserkennung und Schultererkennung Programme zur Vorverarbeitung GetImagesUSB (Parallele Aufnahme von zwei Webcams) LabelIt (Markierung von Merkmalen in Bildern) Training der neuronalen Detektoren

4 Einschub: Anwendung Neuronaler Netze Neuronales Netz als Black Box Training anhand von Bildern und Lehrersignalen (Markierungen) Bsp. Gesichtsdetektor : Training Datenbasis mit Bildern und Positionen der enthaltenen Gesichter Training des Netzes mit positiven und negativen Beispielen Präsentation des Bildes / extrahierter Merkmale an das Netz Berechnen des Ausgabefehlers Anpassen des Netzes Solange bis gewünschte Fehlerrate erreicht Anwendung: Präsentation des Bildes Ausgabe des neuronales Netzes verwenden

5 Vorarbeiten Sitzhaltungen Viele Freiheitsgrade in Körperhaltung Unterschiedliche Kleidung, Körperproportionen, etc Keine einheitliche Definition in der Literatur Welche Merkmale werden zur visuellen Unterscheidung benötigt? Merkmale auf relativ hoher Ebene Einschränkung der Sitzklassen für Prototyp Hintere, mittlere und vordere Sitzhaltung

6 Ausgewählte Sitzhaltungen Mittlere Sitzhaltung / Aufgerichtet Seitliche Kamera (Kontrolle) Bildschirmkamera (Systemeingabe) Vordere Sitzhaltung / Zusammengesunken

7 Aufbau des Prototyps Vorwissen (Training) Schultermodelle Vorwissen (Training) Aufnahme Kopfposition bestimmen Merkmale Kopfbereich Merkmale Schulterbereich Klassifikaton Ausgabe Neuronale Netze (Haar-Classifier) Neuronale Netze (MLPs) Bzw. Template Matching

8 Extraktion Merkmale Eingabe-Bild

9 Extraktion Merkmale Eingabe-Bild Anwenden des Haar-Classifiers

10 Extraktion Merkmale Merkmale Kopfbereich Anwenden des Haar-Classifiers Erkannte Gesichtsposition

11 Extraktion Merkmale Merkmale Kopfbereich Anwenden des Haar-Classifiers Erkannte Gesichtsposition Erkannte Gesichtsmerkmale

12 Extraktion Merkmale Merkmale Kopfbereich Anwenden des Haar-Classifiers Erkannte Gesichtsposition Erkannte Gesichtsmerkmale Merkmale Schulter Abschätzung der Suchbereiche

13 Extraktion Merkmale Merkmale Kopfbereich Anwenden des Haar-Classifiers Erkannte Gesichtsposition Erkannte Gesichtsmerkmale Merkmale Schulter Abschätzung der Suchbereiche Farbmaske erstellen

14 Extraktion Merkmale Merkmale Kopfbereich Anwenden des Haar-Classifiers Erkannte Gesichtsposition Erkannte Gesichtsmerkmale Merkmale Schulter Abschätzung der Suchbereiche Farbmaske erstellen Kantenbild erstellen

15 Extraktion Merkmale Merkmale Kopfbereich Anwenden des Haar-Classifiers Erkannte Gesichtsposition Erkannte Gesichtsmerkmale Merkmale Schulter Abschätzung der Suchbereiche Farbmaske erstellen Kantenbild erstellen Kantenbild mit Farbmaske filtern

16 Extraktion Merkmale Merkmale Kopfbereich Anwenden des Haar-Classifiers Erkannte Gesichtsposition Erkannte Gesichtsmerkmale Merkmale Schulter Abschätzung der Suchbereiche Farbmaske erstellen Kantenbild erstellen Kantenbild mit Farbmaske filtern Passendes Schultermodell suchen

17 Extraktion Merkmale Merkmale Kopfbereich Anwenden des Haar-Classifiers Erkannte Gesichtsposition Erkannte Gesichtsmerkmale Merkmale Schulter Abschätzung der Suchbereiche Farbmaske erstellen Kantenbild erstellen Kantenbild mit Farbmaske filtern Passendes Schultermodell suchen Weitere Merkmale berechnen Schulterneigung Schulterbreite Stirn

18 Klassifikation und Ergebnis Klassifikatormodul Neuronale Netze (MLPs) Alternativ: Template Matching Fusion durch Voting

19 Klassifikation und Ergebnis Klassifikatormodul Neuronale Netze (MLPs) Alternativ: Template Matching Fusion durch Voting Erkennungsraten Gesicht: Erkennung: ca. 82% Augen : ca. 50% Nase: ca. 70% Mund: ca. 81% Schultern: 70% Klassifikator: 90%

20 Klassifikation und Ergebnis Klassifikatormodul Neuronale Netze (MLPs) Alternativ: Template Matching Fusion durch Voting Erkennungsraten Gesicht: Erkennung: ca. 82% Augen : ca. 50% Nase: ca. 70% Mund: ca. 81% Schultern: 70% Klassifikator: 90% Gesamterkennungsrate: ca. 74%

21 Ergebnisse der Diplomarbeit Entwickelte Software: GetImagesUSB zur parallelen Aufnahme LabelIT zur Vorverarbeitung des Datenmaterials Detektoren zur Gesichtserkennung (Training) Prototyp SitFit zur Unterscheidung zweier Sitzhaltungen Erkennung von Sitzhaltungen auf Frontalbilder ist machbar, jedoch ist noch viel Arbeit zu erledigen: Weitere Sitzklassen und deren Merkmale definieren Weitere Aufnahmen von unterschiedlichen Personen Erweitertes Training der Neuronalen Netze Erweitern des Prototyps auf Zeitreihen

22 Vielen Dank für Ihre Aufmerksamkeit.