综述：深度学习与联邦学习在结合传感器数据的人类活动识别中的应用：综述

本文系统综述了传感器基础的人机活动识别（HAR）领域基于深度学习（DL）的最新进展，涵盖MLP、CNN、RNN、LSTM、GRU、Transformer、DBN及混合架构等模型，并探讨了联邦学习（FL）在HAR中的应用及挑战。重点分析了多居民系统、复杂活动识别和数据不平衡等问题，同时讨论了可解释人工智能（XAI）在提升模型透明度中的作用。最后提出未来研究方向，包括数据增强、跨数据集泛化、实时优化等。

　　
### 传感器驱动的人类活动识别（HAR）研究进展综述

#### 1. 引言
人类活动识别（HAR）作为物联网（IoT）和智能感知领域的关键技术，通过传感器数据捕捉人体动作模式，广泛应用于医疗监测、智能家居、运动健康和安防系统。随着传感器技术的进步和深度学习（DL）的崛起，HAR系统在准确性和适应性上取得了显著突破。本文系统性地梳理了基于传感器数据的HAR技术发展，重点分析深度学习模型、联邦学习（FL）和可解释人工智能（XAI）的应用进展，并探讨未来研究方向。

#### 2. 研究方法
本研究围绕六个核心问题展开系统性综述：
1. **Q1：HAR的实际应用场景**
聚焦医疗健康（如跌倒检测、慢性病管理）、智能居住环境（如自动化家电控制）、运动健身（如运动模式分析）和公共安全（如异常行为监测）四大领域。
2. **Q2：HAR技术的主要挑战**
包括多居民环境下的数据关联、复杂活动（如烹饪）的时序建模、传感器数据异构性、数据标注成本高以及模型可解释性不足。
3. **Q3：主流传感器类型与公共数据集**
梳理惯性传感器（加速度计、陀螺仪）、生理传感器（ECG、EEG）和环境传感器（PIR、压力传感器）的分类及典型应用场景，并总结UCI-HAR、CASAS、PAMAP2等基准数据集的特性。
4. **Q4：深度学习模型的优劣对比**
分析MLP、CNN、RNN、LSTM、GRU、Transformer、DBN等模型的架构差异，评估其在传感器数据分类、时序建模和跨模态融合中的性能表现。
5. **Q5：联邦学习在HAR中的应用**
探讨FL如何解决多设备协同训练中的隐私问题，对比集中式学习与分布式架构的通信效率、模型收敛性及实时性。
6. **Q6：可解释性AI在HAR中的必要性**
讨论医疗、司法等高可信场景对模型透明度的需求，分析LIME、SHAP、Grad-CAM等XAI方法的适用性。

#### 3. 相关研究综述
- **传统机器学习（CML）的局限性**
CML依赖人工特征提取，难以捕捉传感器数据的复杂非线性关系，且对高维时序数据建模能力不足。
- **深度学习（DL）的突破**
DL通过多层非线性变换自动提取特征，显著提升了对复杂活动（如多任务并行）的识别精度。例如：
- **MLP**：通过堆叠多层感知机实现高精度分类，如Res-MLP在UCI-HAR数据集上达到96.72%准确率。
- **CNN**：利用卷积操作捕捉局部空间特征，如DeepConvAttn模型结合注意力机制，在PAMAP2数据集上表现优异。
- **LSTM/GRU**：处理时序依赖性，如Bi-LSTM在多居民场景中实现79.22%的房态识别准确率。
- **Transformer**：通过自注意力机制建模长程依赖，如Hybrid-Transformer在跨模态数据融合中表现突出。

#### 4. HAR核心概念与技术框架
- **应用场景细分**
- **医疗健康**：持续监测老年人日常活动（如行走、跌倒）以预防意外，ECG信号结合活动识别可早期预警心血管疾病。
- **智能家居**：通过温湿度传感器和接触开关监测用户行为（如烹饪、睡眠），触发自动化照明或安防响应。
- **运动健身**：穿戴设备（如Apple Watch）记录步态、心率等数据，生成个性化运动建议。
- **公共安全**：融合UWB雷达和摄像头数据，实时检测异常聚集或可疑行为。
- **技术挑战**
- **多居民环境**：需解决个体活动归属问题，如通过图神经网络建模空间关联（Cao et al., 2022）。
- **复杂活动识别**：传统方法难以区分复合活动（如“做饭”包含“切菜”和“清洁”），需引入注意力机制（如Li et al., 2023）。
- **传感器噪声与缺失**：采用数据增强（如时间扭曲、 masking）和自监督学习（如DBN）提升鲁棒性。

#### 5. 传感器数据与HAR数据集
- **传感器分类**
- **惯性传感器**：加速度计（检测运动方向）、陀螺仪（追踪姿态角）、磁力计（定位环境磁场）。
- **生理传感器**：心电图（ECG，监测心脏节律）、脑电图（EEG，分析认知状态）、光电容积描记计（PPG，测血氧饱和度）。
- **环境传感器**：红外热释电传感器（PIR，检测人体存在）、压力传感器（监测家具接触）、温湿度传感器（识别烹饪活动）。
- **公开数据集**
| 数据集名称 | 应用场景 | 传感器类型 | 活动数量 | 数据规模 | 优势与局限 |
|------------------|----------------|--------------------------|----------|--------------|---------------------------|
| CASAS | 智能家居 | 环境传感器（34类） | 13-27 | 2-8个月 | 多居民数据，但标注不一致 |
| UCI-HAR | 实验室环境 | 惯性传感器（加速度计+陀螺仪） | 6 | 10小时 | 标准化格式，适合基准测试 |
| PAMAP2 | 运动健康 | 惯性传感器+心率计 | 18 | 10小时 | 多活动覆盖，高时空分辨率 |
| HARTH | 多任务分析 | 穿戴设备（腕部+腰部） | 10 | 2小时 | 针对性设计，但样本量小 |

#### 6. 深度学习模型在HAR中的创新应用
- **模型架构演进**
- **单模态模型**：MLP用于简单分类（如静止/运动），CNN提取图像级特征（如跌倒检测的肢体运动轨迹）。
- **多模态融合**：CNN+LSTM（如Dua et al., 2021）结合空间特征与时间序列建模，精度提升5%-15%。
- **Transformer架构**：利用自注意力机制捕捉长程依赖，如Trans-BiGRU在多居民场景中实现98.34%的识别准确率。
- **轻量化与边缘计算**
- **模型压缩**：MLP-Mixer通过通道注意力减少参数量，在资源受限设备（如智能家居终端）中部署效率提升40%。
- **动态计算**：Najeh et al.提出实时事件分割算法，结合自适应窗口机制，延迟降低至50ms。

#### 7. 联邦学习在HAR中的实践
- **FL架构设计**
- **集中式FL（CFL）**：所有设备上传梯度至中央服务器聚合（如FedAvg），适合低带宽环境但存在单点故障风险。
- **分层FL（HFL）**：采用边缘服务器进行局部聚合（如FedMA），减少云端依赖，延迟降低60%。
- **隐私保护技术**
- **差分隐私（DP）**：在模型聚合时添加噪声（如Laplace机制），牺牲5%-10%精度换取隐私保护。
- **安全多方计算（SMPC）**：加密通信确保数据不出本地（如FedCLAR），但计算开销增加30%-50%。

#### 8. 可解释人工智能（XAI）的融合
- **XAI方法选择**
- **LIME**：适用于局部特征解释（如某次跌倒检测中特定传感器的作用），生成可理解的归因图。
- **SHAP**：全局特征重要性分析，在HAR模型中可解释性得分达92.2%（Liu et al., 2024）。
- **Grad-CAM**：可视化注意力热图，用于定位传感器关键区域（如Ryu et al., 2024使用PPG信号检测心搏异常）。
- **医疗场景的XAI需求**
医生需明确诊断依据，如通过Grad-CAM可视化ECG信号中的异常波形与活动分类的关联（Arrotta et al., 2022）。

#### 9. 未来研究方向
- **数据层面**：开发无标注数据增强工具（如HMGAN生成多模态合成数据），结合主动学习减少标注成本。
- **算法层面**：探索神经架构搜索（NAS）自动设计传感器融合模型，减少专家经验依赖。
- **跨域泛化**：通过对比学习（Contrastive Learning）和域适应（Domain Adaptation）提升模型迁移能力，如ASTTL方法在跨数据集场景中准确率提升至78.5%。
- **可解释性增强**：构建多模态XAI框架（如X-CHAR），将传感器时序数据转化为可视化概念序列。

#### 10. 结论
传感器驱动的HAR技术正从单一活动识别向多模态、多居民、实时化方向发展。深度学习通过自动特征提取显著提升了模型性能，但面临数据稀缺、模型可解释性不足和隐私风险等问题。联邦学习通过分布式训练解决了数据孤岛问题，而XAI方法为医疗等高风险场景提供了透明化技术保障。未来需在数据效率（如小样本学习）、模型压缩（如神经架构优化）和跨域泛化（如自适应迁移学习）方面取得突破，以推动HAR技术在智慧城市和老龄化社会中的规模化应用。