基于毫米波多链路信道融合与混合深度学习的人体活动识别性能提升研究

《IEEE Open Journal of Antennas and Propagation》：Performance Enhancement of Human Activity Recognition Using Millimeter-Wave Multi-Link Channels

本文介绍了一项利用毫米波(mm-wave)多链路信道进行人体活动识别(HAR)的创新研究。针对传统单视角雷达系统在姿态遮挡下的局限性，研究人员提出了一种多视角感知框架，通过融合前向(Link11)和后向(Link22)双基地配置的毫米波多链路信道测量数据，结合卷积神经网络(CNN)与支持向量机(SVM)的混合分类策略，显著提升了12类日常活动的识别准确率至96.79%。该研究为6G集成传感与通信(ISAC)系统中的非接触式、隐私保护型智能感知提供了有效解决方案。

　　

在迈向Society 5.0的进程中，网络空间与物理空间的深度融合使得实时捕捉和利用人类行为数据成为可能。人体活动识别（HAR）作为连接物理数据与计算智能的关键使能技术，是智能家居、物理康复和主动安全监控等众多智能应用的基础。然而，传统的HAR方法主要依赖环境传感器（如基于视觉的摄像头）或可穿戴设备（如包含惯性测量单元IMU的设备），这些方法存在明显局限：可穿戴方案需要用户持续佩戴并主动配合，在不受控的日常环境中可靠性可能打折扣；而基于摄像头的系统则严重依赖光照条件，并在住宅或医疗保健等敏感场景中引发隐私担忧。这些限制推动了对能够在各种环境条件下以最小侵入性持续运行的替代传感技术的探索。

毫米波（mm-wave）雷达技术作为一种非常有前景的替代方案脱颖而出，它具有非接触操作、照明不变性以及高分辨率运动检测能力等独特优势。其短波长便于对散射波进行精确相位测量，从而能够捕捉细微的运动特征。此外，宽带宽和先进波束成形技术的实施显著提高了空间分辨率，同时有效抑制了环境噪声，使得毫米波雷达在具有频繁遮挡和动态干扰的复杂室内场景中尤其具有优势。

尽管毫米波雷达在非视距（NLoS）行人跟踪和基于微多普勒谱图的手势识别等方面展现出潜力，但现有方法主要集中于孤立手势或基本运动，通常采用传统的单基地或双基地前向部署的单视角配置。这些传统布置在传感器放置和遮挡效应方面存在固有局限性，特别是在观察复杂的多肢体活动或当受试者朝向遮挡关键运动模式时尤为明显。

为了解决这些限制，本研究提出了一种新颖的多视角感知框架，利用在受试者前侧和后侧协调部署的双多基地配置。该框架从互补的视角获取多链路信道信息，有助于全面捕捉时空运动特征。来自多个视点的谱图融合显著增强了观测覆盖范围，同时减少了因自遮挡导致的信息丢失。这一进展对于新兴的6G无线接入网络（RAN）尤为重要，因为其中集成传感与通信（ISAC）能力至关重要，为实际部署场景中的鲁棒上下文感知传感提供了一种可行方法。

为了回答如何提升复杂场景下人体活动识别的鲁棒性和准确性的问题，研究人员开展了一项名为“Performance Enhancement of Human Activity Recognition Using Millimeter-Wave Multi-Link Channels”的主题研究，并发表在《IEEE Open Journal of Antennas and Propagation》上。

本研究主要应用了几个关键技术方法：1) 采用中心频率24.15 GHz、带宽200 MHz的毫米波信道探测系统，通过双发双收（2x2 MIMO）多链路配置（重点分析前向Link11和后向Link22链路）采集人体活动引起的时变信道冲激响应（CIR）。2) 对CIR中的主径信号进行短时傅里叶变换（STFT）生成微多普勒谱图，并通过时间同步和垂直堆叠实现前、后视角谱图融合。3) 系统评估了包括LeNet-5, AlexNet, ResNet-34, DenseNet-121, EfficientNetV2-S, VggNet-16在内的六种CNN架构在融合谱图上的分类性能。4) 提出了一种混合分类策略，利用性能最优的ResNet-34进行深度特征提取，再结合支持向量机（SVM）分类器（采用一对多OvR策略）进行最终分类。实验数据来源于一名受试者在室内环境中重复执行12类活动（6类全身活动，6类局部肢体活动）的测量。

II. HAR SENSING USING MM-WAVE MIMO CHANNELS

研究人员构建了基于毫米波多输入多输出（MIMO）信道的HAR系统模型，比较了单基地、双基地和分布式模式的优缺点，最终选择前向（Link11）和后向（Link22）双基地配置作为多视角感知的基础。测量系统采用24.15 GHz中心频率、200 MHz带宽的信道探测仪，使用8x2均匀平面阵列（UPA）天线，在模拟家庭环境的典型室内房间进行数据采集。实验设计了12类具有代表性的人体日常活动（如行走、拾物、下蹲、挥手等），每类活动重复执行以生成足够的数据样本。

III. SIGNAL PROCESSING

通过分析时间变化的信道冲激响应（CIR），并对其中的主径信号应用短时傅里叶变换（STFT）来提取微多普勒特征。这些特征反映了人体各部位运动引起的速度变化。研究的关键创新点在于将前向链路（Link11）和后向链路（Link22）获取的时间同步的微多普勒谱图进行垂直堆叠融合，形成双通道图像输入。这种融合有效结合了来自身体前、后侧的互补运动信息，丰富了活动表征的空间多样性，有助于缓解因遮挡导致的信息丢失问题。

IV. CONVOLUTIONAL NEURAL NETWORKS

研究对六种CNN模型（LeNet-5, AlexNet, ResNet-34, DenseNet-121, EfficientNetV2-S, VggNet-16）在融合谱图数据集上的性能进行了全面评估。结果表明，模型深度和连接结构对分类性能有显著影响。浅层网络（如LeNet-5）虽能捕捉主要运动线索，但难以建模细微的多视角模式。深层架构，特别是具有残差连接的ResNet-34，表现最佳，准确率达到88.92%，这归因于其能有效整合双视角的丰富时频信息且泛化能力强。DenseNet-121（84.32%）和EfficientNetV2-S（82.89%）也表现出色。此外，针对第二位受试者的跨受试者评估表明，训练好的ResNet-34模型在一定程度上能泛化到未见过的个体，显示出其捕捉的是与个体无关的一般运动特征。

V. REFINED RECOGNITION WITH RESNET-34 AND SVM

为了进一步提升性能，研究提出了一种混合分类策略：利用ResNet-34作为特征提取器，将其学习到的高维深度特征输入给支持向量机（SVM）分类器（采用一对多OvR策略）。这种策略将深度特征学习与决策分离。结果表明，与仅使用单链路（Link11）输入的ResNet-34（准确率82.05%）和使用多链路融合输入的端到端ResNet-34（准确率87.82%）相比，混合方法（ResNet-34+SVM）取得了最佳性能，准确率高达96.79%。分析表明，多链路输入提供了更丰富的时空上下文，而SVM能够利用深度特征定义更精确的非线性决策边界，特别是在区分光谱特征相似的活动类别（如“鞠躬”与“拾物”、“按压胸部”与“抚摸胃部”）方面表现更优，实现了更均衡和鲁棒的分类效果。

本研究通过提出多视角感知框架和混合深度学习分类策略，验证了利用毫米波多链路信道融合提升人体活动识别性能的有效性。研究结果表明，融合前、后视角的微多普勒谱图能提供更全面的运动表征，有效缓解遮挡问题。在众多深度学习模型中，ResNet-34凭借其残差连接结构展现出最优的识别能力和泛化性能。进一步将ResNet-34的深度特征提取能力与SVM分类器的精确决策能力相结合，实现了96.79%的高识别准确率，显著优于传统端到端CNN方法。这项工作为在复杂室内环境中实现鲁棒、非接触且保护隐私的智能感知提供了重要的方法论基础和技术途径，对推动6G集成传感与通信（ISAC）技术在智能家居、远程医疗、人机交互等领域的应用具有积极意义。未来的研究方向包括扩展至多受试者、多朝向场景，探索基于注意力的融合策略、时序建模网络以及跨受试者的迁移学习等，以进一步提升系统的普适性和实用性。