Diss. ETH No. 21894 Observing Teams with Wearable Sensors A dissertation submitted to ETH Zürich for the degree of Doctor of Sciences presented by Sebastian Franz Feese Dipl. -Ing., TU-Berlin born May 9, 1983 citizen of Berlin, Germany accepted on the recommendation of Prof. Dr. Gerhard Tröster, examiner Prof. Dr. Klaus Jonas, co-examiner 2014
xi Abstract Teams and team work are essential in today s organizations. Di - cult, complex and interdependent tasks in the workplace call for teams which deliberately combine individual skills and knowledge. To perform well as a team, members need to direct, align, monitor and support their work requiring them to interact with each other. In order to improve team performance, it is mandatory to observe how team members work and interact with another. However, traditional observation approaches rely on self-report having low temporal resolution and manual behavior observation being labour intensive and thus costly. It was the aim of this thesis to investigate a wearable computing approach to observe team behaviors automatically. First, actions and social behaviors of team members were captured with body-worn sensors such as accelerometers, barometers, microphones and wireless radios. Second, individual and interpersonal behavioral cues were extracted from the sensor data. Third, behavioral cues were aggregated on team level to capture team behaviors. We focused on the recognition of three behaviors: i) behavioral mimicry referring to the alignment of gestures and postures between interaction partners, ii) amount and timing of verbal communication indicating information exchange and iii) moving sub-groups and movement synchrony capturing spatial and temporal aspects of team coordination. Behavioral mimicry in group discussions was quantified by counting how frequently team members adopted the gestures and postures shown by other team members. Gestures and postures of the lower arms were recognized from movement data captured with body-worn inertial sensors. In a naturalistic meeting scenario nodding was detected with 85 % subject-independent accuracy, face touch and flat arms with 99 % and gesticulating, fidgeting and posture changes with 67 % across 30 individuals. In order to unobtrusively capture verbal communication in firefighting teams we used the microphone of the smartphone to detect speech in the vicinity of each team member. The placement of the smartphone inside jacket pockets and the often noisy environment required a noise robust approach to speech detection. We utilized dictionary learning and sparse representation to robustly detect the presence of speech with an average accuracy of 85 % in noisy ambient
xii audio recorded during firefighting missions. We captured team coordination by a) detecting moving sub-groups over time from radio based proximity data and b) quantifying movement synchrony between team members by analyzing their motion activity levels. In a firefighting training scenario team members were assigned to the correct sub-group with an average accuracy of 95 %. The proposed team coordination metrics significantly correlated with completion time and perceived coordination. As part of the thesis we collected behavioral data of 55 group discussions, 18 training missions of professional firefighters as well as 76 real-world missions of actual fire incidents. Over 220 persons participated in three experiments and more than 165 hours of data have been collected. Further, we designed and implemented a smartphone-based sensing system to observe teams unobtrusively in the field. We demonstrated the value of the team sensing approach by monitoring professional firefighting teams during training and actual incidents. Positive feedback of the incident commanders and instructors showed that the visualization of sensor data was evaluated to be a useful tool for training and mission feedback. We conclude that the proposed team behavior sensing approach contributed a practical tool to automatically and objectively observe and monitor important aspects of teamwork in the wild.
xiii Zusammenfassung Teams und Teamarbeit sind in heutigen Organisationen unerlässlich. Schwierige, komplexe und voneinander abhängige Aufgaben verlangen Teams, in denen individuelle Fähigkeiten und Wissen bewusst kombiniert werden. Um als Team gut zusammenzuarbeiten, müssen sich Teammitglieder aufeinander einstellen, sich unterstützen und miteinander interagieren. Um die Leistung eines Teams zu verbessern ist die Beobachtung von Zusammenarbeit und Interaktion zwischen Teammitglieder nötig. Traditionelle Beobachtungsansätze beruhen jedoch zumeist auf Fragebögen mit geringer zeitlicher Auflösung und manueller, arbeitsintensiver und daher teurer Verhaltensbeobachtung. Es war das Ziel dieser Arbeit, einen Wearable Computing - Ansatz zu untersuchen, um Verhalten innerhalb von Teams automatisch zu beobachten. Zunächst wurden soziale Verhaltensweisen der Teammitglieder mit am Körper getragenen Sensoren wie Beschleunigungsmessern, Barometern, Mikrofonen und drahtloser Kommunikationsmittel erfasst. Anschliessend wurden individuelle und interpersonelle Verhalten aus den Sensordaten extrahiert, welche schliesslich auf Teamebene aggregiert wurden, um so Teamverhalten zu erfassen. Wir konzentrierten uns auf die Erkennung dreier Verhalten: i) Spiegelung von Gesten und Körperhaltungen zwischen Interaktionspartnern, ii) Umfang und Zeitpunkt verbaler Kommunikation und iii) Erkennung von Untergruppen und synchroner Bewegung zur Erfassung räumlicher und zeitlicher Aspekte von Teamkoordination. Verhaltensspiegelung in Diskussionsgruppen wurde gemessen, indem gezählt wurde wie oft Teammitglieder sich gegenseitig in ihren Gesten und Körperhaltungen folgten. Gesten und Körperhaltungen der Unterarme wurden mit getragenen Bewegungssensoren erfasst. In einem Diskussionsszenario wurde Kopfnicken personenunabhängig mit 85 % Genauigkeit erkannt, Gesichtsberührungen und flache Arme mit 99 % und gestikulierende Arme, zappelige Arme und Änderungen der Armhaltung mit 67 %. Zur unaufdringlichen Erfassung verbaler Kommunikiation verwendeten wir das Mikrofon des Smartphones. So waren wir in der Lage, Sprache in der Nähe einzelner Teammitglieder zu erkennen. Die Platzierung der Smartphones in Jackentaschen und die oft lauten Umgebungen erforderten einen geräuschrobusten Ansatz zur Detektion von Sprache. Wir verwendeten Codebuch-Lernen
xiv und Spärliche-Representation, um Sprache während Brandbekämpfungstrainings robust mit einer durchschnittlichen Genauigkeit von 85 % zu erkennen. Teamkoordination erfassten wir durch a) die Detektion von sich zusammenbewegenden Untergruppen und b) die Quantifizierung von Bewegungssynchronität zwischen Teammitgliedern mittels Analyse ihrer Bewegungsaktivität. In einem Feuerwehrübungsszenario wurden Teammitglieder der richtigen Untergruppe mit einer durchschnittlichen Genauigkeit von 95 % zugewiesen. Die vorgeschlagenen Teamkoordinationsindikatoren korrelierten signifikant mit Einsatzdauer und wahrgenommener Koordination. Als Teil dieser Arbeit haben wir Verhaltensdaten von 55 Gruppendiskussionen, 18 Durchgängen einer Feuerwehreinsatzübung und 75 Feuerwehreinsätzen mittels tragbarer Sensoren aufgezeichnet. Mehr als 220 Personen nahmen an den drei Experimenten teil und es wurden insgesamt mehr als 165 Stunden Verhaltensdaten von Teams gesammelt. Desweiteren wurde ein Smartphone-basiertes Messsystem zur unaufdringlichen Beobachtung von Teams im Feld entworfen und implementiert. Die Bedeutung des vorgeschlagenen Team-Beobachtungsverfahren konnten wir durch die Überwachung von Berufsfeuerwehrteams zeigen. Positive Rückmeldungen der Kommandanten und Trainer zeigten, dass die Visualisierung von Sensordaten ein nützliches Werkzeug für die Einsatznachbesprechung und Ausbildung bildet. Wir kommen zu dem Schluss, dass der vorgeschlagene Ansatz, Teamverhalten im Feld mit tragbaren Sensoren zu messen, als praktisches Instrument zur automatischen und objektiven Beobachtung wichtiger Aspekte der Teamarbeit herangezogen werden kann.