Biosignal processing and activity modeling for multimodal human activity recognition

Abstract

This dissertation's primary goal was to systematically study human activity recognition and enhance its performance by advancing human activities' sequential modeling based on HMM-based machine learning. Driven by these purposes, this dissertation has the following major contributions: The proposal of our HAR research pipeline that guides the building of a robust wearable end-to-end HAR system and the implementation of the recording and recognition software Activity Signal Kit (ASK) according to the pipeline; Collecting several datasets of multimodal biosignals from over 25 subjects using the self-implemented ASK software and implementing an easy mechanism to segment and annotate the data; The comprehensive research on the offline HAR system based on the recorded datasets and the implementation of an end-to-end real-time HAR system; A novel activity modeling method for HAR, which partitions the human activity into a sequence of shared, meaningful, and activity distinguishing states, called Motion Units (MUs), analog to phonemes in speech recognition.

(Deutsch) Diese Dissertation konzentriert sich auf die systematische Untersuchung der Erkennung menschlicher Aktivitäten (Human Activity Recognition, HAR) und zielt darauf ab, ihre Leistung durch die Entwicklung der sequenziellen Modellierung menschlicher Aktivitäten auf der Grundlage von Hidden-Markov-Modelle-basiertem maschinellem Lernen zu verbessern. Angetrieben von diesen Zwecken haben wir zunächst eine HAR-Forschungspipeline entwickelt. Basiert auf dieser Pipeline haben wir ein robustes tragbares End-to-End-HAR-System aufgebaut und eine Sensordatenaufzeichnungs- und Aktivitätserkennungssoftware Activity Signal Kits (ASK) implementiert. Dann haben wir mit der selbst implementierten ASK-Software mehrere Datensätze multimodaler Biosignale von über 25 Probanden gesammelt, und einen einfachen Mechanismus zum Segmentieren und Annotieren der Daten implementiert. Mit diesen Daten führen wir umfassende Recherchen zum Offline-HAR-System basierend auf den aufgezeichneten Datensätzen und der Implementierung eines End-to-End-Echtzeit-HAR-Systems durch. Der wichtigste Beitrag ist, dass wir eine neuartige Aktivitätsmodellierungsmethode für HAR vorschlagen und verifizieren, die die menschliche Aktivität in eine Sequenz von gemeinsamen, bedeutungsvollen und aktivitätsunterscheidenden Zuständen unterteilt, die analog zu Phonemen in der Spracherkennung als Motion Units (MUs, Bewegungseinheiten) bezeichnet werden.