Cloud-based Real Time ADL Recognition Using Wearable Devices. Robert Baldauf

Transkript

1 Cloud-based Real Time ADL Recognition Using Wearable Devices Robert Baldauf

2 Grundlagen ADL Recognition Offline ADL Recognition Cloud-based ADL Recognition Ergebnisse Diskussion & Ausblick Robert Baldauf Cloud-based Real Time ADL Recognition Using Wearable Devices 15/02/17 01/19

3 Grundlagen ADL Recognition Robert Baldauf Cloud-based Real Time ADL Recognition Using Wearable Devices 15/02/17 02/19

4 Grundlagen ADL Recognition ADL = Activites of Daily Living (alltägliche Aktivitäten, die eigenständig durchgeführt werden können) ADL Recognition = Automatisierte Erkennung von ADLs Mobilität Datenerfassung Datenanalyse stationär mobil stationär / mobil RGB-Video, Infrarot Inertial Sensoren (Smartphones, Wearables) WIFI Radio Signal Computer Vision, Machine Learning Signal Processing, Machine Learning Signal Processing, Machine Learning Robert Baldauf Cloud-based Real Time ADL Recognition Using Wearable Devices 15/02/17 03/19

5 Grundlagen ADL Recognition - Anwendungsgebiete Fitness-/Health-tracking Überwachung der eigenen körperlichen Aktivität (Schritte, Laufdistanz, etc.) ADL Erkennung im Pflegebereich Erstellung von Aktivitätsprofilen Beurteilung der Fähigkeit zur eigenständigen Ausführung von ADLs Bei kurzzeitiger Verschlechterung: Erinnerungsfunktion Bei langfristiger Verschlechterung: Verständigung von Angehörigen, Medizinischen- / Pflegeeinrichtungen ADL Erkennung in Gefahrensituationen Sturzerkennung Identifikation epileptischer Anfälle Robert Baldauf Cloud-based Real Time ADL Recognition Using Wearable Devices 15/02/17 04/19

6 Offline ADL Recognition Robert Baldauf Cloud-based Real Time ADL Recognition Using Wearable Devices 15/02/17 05/19

7 Offline ADL Recognition Datenerfassung + + Robert Baldauf Cloud-based Real Time ADL Recognition Using Wearable Devices 15/02/17 06/19

8 Offline ADL Recognition Datenerfassung Robert Baldauf Cloud-based Real Time ADL Recognition Using Wearable Devices 15/02/17 07/19

9 Offline ADL Recognition Datenerfassung & -analyse Kontinuierliche Sensordatenerfassung 5 sek. 5 sek. 5 sek. 5 sek. 5 sek. 5 sek. Aktivität Aktivität Aktivität Aktivität Aktivität Preprocessing Feature Extraction Classification (based on pre-trained model) Sitzen Sitzen Gehen Sturz Liegen Activity Processing Robert Baldauf Cloud-based Real Time ADL Recognition Using Wearable Devices 15/02/17 08/19

10 Offline ADL Recognition Einschränkungen und Grenzen Grenzen mobiler Hardwareplattformen bei der ADL Erkennung Permanente Echtzeiterkennung erzeugt hohe CPU Last Beeinflusst andere Prozesse Reduziert Akkulaufzeit Langfristige Aktivitätshistorie nicht lokal speicherbar Keine Auswertung langfristiger Trends / Veränderungen Erfasste Aktivitäten werden nicht gespeichert und tragen nicht zur Optimierung des Klassifikationsmodells bei Lösungsansatz: Verlagerung ressourcenintensiver Prozesse in die Cloud Robert Baldauf Cloud-based Real Time ADL Recognition Using Wearable Devices 15/02/17 09/19

11 Cloud-based ADL Recognition Robert Baldauf Cloud-based Real Time ADL Recognition Using Wearable Devices 15/02/17 10/19

12 Cloud-based ADL Recognition Datenerfassung & -analyse Kontinuierliche Sensordatenerfassung 5 sek. 5 sek. 5 sek. 5 sek. 5 sek. 5 sek. Aktivität Aktivität Aktivität Aktivität Aktivität Webservice Preprocessing Feature Extraction Classification Activity Processing Robert Baldauf Cloud-based Real Time ADL Recognition Using Wearable Devices 15/02/17 11/19

13 Cloud-based ADL Recognition Ziele & Anforderungen Ziel: Entwurf und Prototyping einer Cloud-basierten Architektur für Übertragung, Training und Erkennung von ADLs Anforderungen: Verfügbarkeit Skalierbarkeit (dynamische Allokation zusätzlicher Ressourcen bei Bedarf) geringe Kosten / Risiko Datenschutz/-sicherheit Erweiterbarkeit (z.b.: neue Aktivitäten, Filter, Algorithmen) Portabilität Vorgehen: Exemplarische Validierung der Architektur anhand eines einfachen ADL Erkennungsproblems (Sitzen / Laufen / Sonstige) Robert Baldauf Cloud-based Real Time ADL Recognition Using Wearable Devices 15/02/17 12/19

14 Cloud-based ADL Recognition Architektur Robert Baldauf Cloud-based Real Time ADL Recognition Using Wearable Devices 15/02/17 13/19

15 Cloud-based ADL Recognition Architektur Hosting: Deployment: Komponente Plattform Infrastruktur Main Service Classification Service Event Service node.js / express.js flask / sklearn node.js / express.js AWS EC2 Container Service Activitiy DB / Event DB MySQL AWS RDS Model Storage - AWS S3 Robert Baldauf Cloud-based Real Time ADL Recognition Using Wearable Devices 15/02/17 14/19

16 Ergebnisse Robert Baldauf Cloud-based Real Time ADL Recognition Using Wearable Devices 15/02/17 15/19

17 Ergebnisse Training des Klassifikationsmodells Aufzeichnung der Trainingsdaten von sieben Testpersonen mit fünf verschiedenen Android Geräten 439 Aktivitäten der Klassen Sitzen, Laufen, Sonstige Training von SVM-Klassifikatoren mit versch. Parametern und Cross. Valid. (Beste Ergebnisse: C=300000, gamma=0,001, kernel= rbf ) Validierung der Echtzeiterkennung 85 Aktivitäten von fünf Testpersonen mit fünf realen & zehn virtuellen Android Geräten Cross Validation Accuracy 96,3% (über alle Klassen) Anzahl der EC2-Instanzen skaliert mit Anzahl der verbundenen Endgeräte Robert Baldauf Cloud-based Real Time ADL Recognition Using Wearable Devices 15/02/17 16/19

18 Ergebnisse Portal zur Auswertung Robert Baldauf Cloud-based Real Time ADL Recognition Using Wearable Devices 15/02/17 17/19

19 Diskussion und Ausblick Robert Baldauf Cloud-based Real Time ADL Recognition Using Wearable Devices 15/02/17 18/19

20 Diskussion & Ausblick Die vorgestellte Architektur für Cloud-basierte ADL Erkennung wurde erfolgreich implementiert. erfüllt die vorab definierten Anforderungen wurde anhand eines einfachen ADL-Erkennungsproblems validiert. Problem: - Verbrauchtes Datenvolumen bei Übertragung zu hoch Lösungsansätze: - Sensor-Abtastraten minimieren - JSON Format durch binäre Serialisierung (Google Protobuf) ersetzen - Zweistufiges Klassifikationsverfahren einführen Nächste Schritte: - Implementieren einer Cloud-basierten Sturzerkennung - Aktivitätsprofile + Anomalieerkennung Robert Baldauf Cloud-based Real Time ADL Recognition Using Wearable Devices 15/02/17 19/19

21 Vielen Dank für Ihre Aufmerksamkeit! Robert Baldauf Cloud-based Real Time ADL Recognition Using Wearable Devices 15/02/17