Automatische Erkennung und Klassifikation von Körperhaltungen und Aktivitäten

Transkript

1 Automatische Erkennung und Klassifikation von Körperhaltungen und Aktivitäten Dipl.-Ing. Daniel Tantinger Fraunhofer Institut für Integrierte Schaltungen IIS, Erlangen, Deutschland

2 Automatische Erkennung und Klassifikation von Körperhaltungen und Aktivitäten 1. Motivation 2. Stand der Technik 3. Methoden 4. Resultate 5. Fazit

4 1. Motivation Demographischer Wandel in letzten Jahrzehnten Körperliche Aktivität ist wichtig für persönliche Gesundheit Verhindert oder hemmt Fortschritt von Krankheiten Verbesserung der Lebensqualität Wertvolle Information für Monitoring von Vitaldaten (z.b. EKG, SpO 2 ) Möglichkeit zum Selbstkontrolle / -Monitoring Wenn wir jedem Individuum das richtige Maß an Nahrung und Bewegung zukommen lassen könnten, hätten wir den sicheren Weg zur Gesundheit gefunden. [Hippocrates] Quelle: Fraunhofer Institut IIS Quelle: Académie Nationale de Médecine

7 2. Stand der Technik Video-basierte Systeme Vorteile Hohe Genauigkeit Für Unterrichtszwecke wieder abspielbar Nachteile Auf lokalen, spezifischen Raum beschränkt Große Datenmenge Hoher Rechenaufwand Hohe finanzielle Kosten Vicon Bewegungsanzug; Quelle: cnet.com

8 2. Stand der Technik Multi-Sensor Systeme Vorteile Mobil Vielfalt der messbaren Parametern durch Barometer, Beschleunigungssensor, Gyroskop, etc. Aufnahme von Parametern an verschiedenen Körperregionen Nachteile Anbringung an Körper Hoher Rechenaufwand Synchronisierung in drahtlosen Sensornetzwerken Prototyp des BodySensorNetwork Quelle: Fraunhofer Institut IIS

9 2. Stand der Technik Single-Sensor Systeme Vorteile Mobil Geringer Rechenaufwand Aufnahmen nur an einer Körperregion Unauffällig MotionSENS; Quelle: Fraunhofer Institut IIS Nachteile Nicht geeignet für Rehabilitation ActiSENS Modul; Quelle: Fraunhofer Institut IIS

12 3. Methoden Schema eines Systems zur Aktivitätserkennung Acceleration Signal Filtered Acceleration Signal Feature Vector Coded Output Accelerometer Data Preprocessing Feature Extraction Problem Solving Unit Output Knowledge Exchangeable Knowledge Base

13 3. Methoden Vorverarbeitung Entfernung von Signalanteilen über 20 Hz 99 % der Energie der täglichen Aktivitäten < 15 Hz [1] Tiefpass-Filter Trennung von Körperbewegungen und Gravitation Hochpass-Filter [1] C. V. Bouten, K. T. Koekkoek, M. Verduin, R. Kodde, and J. D. Janssen, "A triaxial accelerometer and portable data processing unit for the assessment of daily physical activity." IEEE Trans Biomed Eng, vol. 44, no. 3, pp , March 1997.

14 3. Methoden Merkmalsextraction Signal Magnitude Area (SMA) Neigungswinkel (ρ, φ, θ) Kleinster und größter Wert des Signals Neigungswinkel Korrelation zwischen je zwei Achsen Energie im Frequenzband 0 20Hz Spektrale Entropie im Frequenzband 0 10Hz

15 3. Methoden Entscheidungsbaum Binärer Entscheidungsbaum Entscheidungsregel (if then ) durch Entscheidungsbaum generiert Merkmale hierarchisch mit korrespondierenden Threshold vergleichen Struktur und Thresholds bilden die Wissensbasis Struktur eines Entscheidungsbaum Haltungen Stehen Sitzen Beugen Liegen (rechts) Liegen (links) Liegen (Rücken) Liegen (Bauch) Aktivitäten Gehen Joggen Aufstehen Hinsetzen

16 3. Methoden WBM Künstliche Neuronale Netze (KNN) Struktur: Feed-Forward Netzwerk 1 Input Layer 3 Hidden Layers 30, 20, 11 Neuronen pro Hidden Layer 1 Output Layer Aktivierung: Sigmoid Funktion Back Propagation Learning (Kostenfunktion: Mittlerer quadratischer Fehler MQF) Wissensbasis wird durch Gewichte und Bias gebildet Struktur eines künstlichen neuronalen Netzwerk Quelle: University Ulm

17 3. Methoden WBM Hybrider Klassifikator Vorklassifikator Trennung von statischen und dynamischen Aktivitäten mittels SMA Threshold Statisches KNN Input-Vektor: drei Neigungswinkel (ρ, φ, θ) Output: Haltungszustände 1 Input, 2 Hidden (4, 7), 1 Output Layers Statisches KNN Vorklassifikator Dynamisches KNN Dynamisches KNN Input-Vektor: Komplette Feature-Vektor Output: Aktivitäten 1 Input, 2 Hidden (14, 11), 1 Output Layers Körperhaltung Aktivität Struktur des hybriden Klassifikators

20 4. Resultate Test Spezifikation Sensor an der Hüfte befestigt Klassifikatoren der KNNs wurden mit Daten von 6 Personen trainiert Sensitivität, Spezifität and Gesamtgenauigkeit wurden berechnet Vier verschiedene Trainings- und Testszenarien: User-specific Leave-one-out Gender-specific Gender-leave-one-out

21 4. Resultate Test Spezifikation Sensor an der Hüfte befestigt Klassifikatoren der KNNs wurden mit Daten von 6 Personen trainiert Sensitivität, Spezifität and Gesamtgenauigkeit wurden berechnet Vier verschiedene Trainings- und Testszenarien: User-specific Leave-one-out Gender-specific Gender-leave-one-out female train & test Beispiel für user-specific Setting

22 4. Resultate Test Spezifikation Sensor an der Hüfte befestigt Klassifikatoren der KNNs wurden mit Daten von 6 Personen trainiert Sensitivität, Spezifität and Gesamtgenauigkeit wurden berechnet Vier verschiedene Trainings- und Testszenarien: User-specific Leave-one-out Gender-specific Gender-leave-one-out female test train Beispiel für leave-one-out Setting

23 4. Resultate Test Spezifikation Sensor an der Hüfte befestigt Klassifikatoren der KNNs wurden mit Daten von 6 Personen trainiert Sensitivität, Spezifität and Gesamtgenauigkeit wurden berechnet Vier verschiedene Trainings- und Testszenarien: User-specific Leave-one-out Gender-specific Gender-leave-one-out female train & test Beispiel für gender-specific Setting

24 4. Resultate Test Spezifikation Sensor an der Hüfte befestigt Klassifikatoren der KNNs wurden mit Daten von 6 Personen trainiert Sensitivität, Spezifität and Gesamtgenauigkeit wurden berechnet Vier verschiedene Trainings- und Testszenarien: User-specific Leave-one-out Gender-specific Gender-leave-one-out female male train test Beispiel für gender-leave-one-out Setting

25 4. Resultate Test Spezifikation Sensor an der Hüfte befestigt Klassifikatoren der KNNs wurden mit Daten von 6 Personen trainiert Sensitivität, Spezifität and Gesamtgenauigkeit wurden berechnet Vier verschiedene Trainings- und Testszenarien: User-specific Leave-one-out Gender-specific Gender-leave-one-out Klassifikator Gesamtgenauigkeit der Aktivitätserkennung der einzelnen Klassifikatoren in % Userspecific Leaveone-out Genderspecific Genderleaveone-out Entscheidungsbaum 99,71 88,62 99,84 90,35 Neuronales Netz 99,52 97,79 99,55 91,55 Hybrid Klassifikator 99,63 98,99 99,95 95,05

26 4. Resultate Test Spezifikation Sensor an der Hüfte befestigt Klassifikatoren der KNNs wurden mit Daten von 6 Personen trainiert Sensitivität, Spezifität and Gesamtgenauigkeit wurden berechnet Vier verschiedene Trainings- und Testszenarien: User-specific Leave-one-out Gender-specific Gender-leave-one-out Klassifikator Gesamtgenauigkeit der Aktivitätserkennung der einzelnen Klassifikatoren in Prozent Userspecific Leaveone-out Genderspecific Genderleaveone-out Entscheidungsbaum 99,71 88,62 99,84 90,35 Neuronales Netz 99,52 97,79 99,55 91,55 Hybrid Klassifikator 99,63 98,99 99,95 95,05

27 4. Resultate Entscheidungsbaum (Leave-One-Out Setting) Ergebnisse des Entscheidungsbaum mit dem leave-one-out Setting in % Hohe Genauigkeit für liegen Geringere Genauigkeit für Übergänge von stehen-zu-sitzen und umgekehrt Hohe Spezifität für alle Aktivitäten und Haltungszuständen Aktivität Sensitivität Spezifität Stehen 99,07 96,02 Sitzen 86,75 97,52 Beugen 89,57 93,79 Liegen (links) 96,91 99,51 Liegen (rechts) 99,93 99,94 Liegen (Rücken) 99,89 99,96 Liegen (Bauch) 94,59 99,12 Gehen 93,09 99,20 Joggen 97,44 99,35 Hinsetzen 62,12 98,64 Aufstehen 74,71 98,80

30 4. Resultate Neuronales Netzwerk (Leave-One-Out Setting) Ergebnisse des Neuronalen Netzwerk mit leave-one-out Setting in % Verbesserte Ergebnisse für sitzen, beugen und gehen Geringere Genauigkeit für auf dem Rücken liegen Leicht verbesserte Spezifität für alle Haltungszustände und Aktivitäten Aktivität Sensitivität Spezifität Stehen 98,67 97,67 Sitzen 96,00 99,67 Beugen 91,67 98,33 Liegen (links) 97,67 99,72 Liegen (rechts) 99,33 99,86 Liegen (Rücken) 85,67 99,23 Liegen (Bauch) 95,67 99,57 Gehen 98,67 99,86 Joggen 98,33 99,63 Hinsetzen 63,67 99,14 Aufstehen 75,33 99,33

33 4. Resultate Hybrider Klassifikator (Leave-One-Out Setting) Ergebnisse des hybriden Klassifikators mit leave-one-out Setting in % Besten Resultate für aufstehen und hinsetzen Geringere Sensitivität für stehen, auf dem Bauch und Rücken liegen Hohe Spezifität für alle Haltungszustände und Aktivitäten Aktivität Sensitivität Spezifität Stehen 77,00 99,67 Sitzen 99,91 96,33 Beugen 99,87 99,97 Liegen (links) 97,00 99,00 Liegen (rechts) 99,93 99,98 Liegen (Rücken) 83,33 98,33 Liegen (Bauch) 84,67 99,97 Gehen 99,33 99,67 Joggen 99,97 99,99 Hinsetzen 78,67 99,67 Aufstehen 80,00 98,33

38 5. Fazit Zusammenfassung Single-Sensor System mit einem Beschleunigungssensor an der Hüfte Drei verschieden wissensbasierte Methoden Erkennung und Klassifizierung von sieben Haltungszuständen und vier Aktivitäten Wissensbasis ist austauschbar

39 5. Fazit Resultate Gute Erkennungsrate für Haltungen und einfache Aktivitäten Resultate sind vergleichbar zu denen der Multi-Sensor Systemen Training der Methoden ist nicht mehr notwendig Nicht ausreichend für komplexe Aktivitäten

40 5. Fazit Ausblick Was kann verbessert werden? Was kann zusätzlich implementiert werden?

41 Danke für Ihre Aufmerksamkeit! Kontakt: Fraunhofer Institut für Integrierte Schaltungen (IIS), Abteilung Bildverarbeitung und Medizintechnik Dipl.-Ing. Daniel Tantinger