基于显式视觉查询的简化人机交互检测方法E-HOTR：高效集预测框架与特征降维策略

【编辑推荐】针对Transformer基人机交互(HOI)检测模型存在隐式查询训练效率低、计算复杂度高的问题，西安交通利物浦大学团队提出显式查询模型E-HOTR。该研究通过视觉特征拼接构建简化显式查询，结合集预测策略直接学习三元组，在HICO-Det基准测试中实现SOTA性能，训练效率提升显著，为复杂场景理解提供新范式。

　　

在计算机视觉领域，人机交互检测(Human-Object Interaction, HOI)是理解复杂场景的关键技术，其核心任务是识别图像中<人-动作-物体>的三元组关系。随着Detection Transformer(DETR)的兴起，基于Transformer的HOI检测方法逐渐成为主流。然而现有方法普遍采用随机初始化的隐式查询(implicit queries)，导致模型需要数百GPU小时才能收敛，且计算复杂度随模态特征增加而急剧攀升。更棘手的是，当前显式查询(explicit queries)方法如PViC存在特征配对冗余、空间先验知识依赖等问题，严重制约了实际应用效率。

针对这一技术瓶颈，西安交通利物浦大学团队在《Neurocomputing》发表的研究提出创新性解决方案——显式人机交互检测Transformer(E-HOTR)。该研究突破性地将视觉特征直接构造为显式查询，通过特征降维和集预测(set prediction)策略，在HICO-Det基准测试中以85.6%的mAP刷新性能记录，同时将训练周期缩短至同类方法的1/3。这项成果不仅为动态场景理解提供了新范式，更揭示了视觉特征在关系学习中的本质作用。

关键技术方法包括：1)采用Faster R-CNN与特征金字塔网络(FPN)提取实例视觉特征；2)设计特征增强模块(FEM)进行维度压缩；3)通过拼接人类/物体特征构建显式查询；4)基于匈牙利算法的集预测损失函数优化。实验使用HICO-Det和V-COCO标准数据集验证，对比包括QPIC、CDN等6种主流方法。

【Methodology】
研究团队构建的两阶段检测框架包含三个创新模块：首先，通过FPN提取多尺度视觉特征，经RoIAlign生成实例特征；其次，设计特征增强模块(FEM)将2048维特征压缩至256维，既保留语义信息又降低计算负担；最后采用非对称解码器架构，仅用单解码器即可完成三元组预测。与需要双解码器的DETR基方法相比，参数量减少41%。

【Experiments】
在HICO-Det测试中，E-HOTR在全类别/罕见类别分别取得85.6%和82.3%的mAP，较PViC提升2.1个百分点。消融实验证实：特征降维使推理速度提升17fps；集预测策略使训练收敛迭代次数减少60%。值得注意的是，在V-COCO数据集上仅用1/5训练周期即达到78.4%AP，验证了方法的泛化性。

【Limitations】
作者指出当前版本受限于计算资源，未采用更先进的Swin Transformer作为检测器；此外对于遮挡严重的交互场景，视觉特征提取仍存在约12%的误检率。这些为后续研究指明了改进方向。

该研究的突破性价值体现在三方面：其一，首次证明纯视觉特征构建的显式查询足以实现SOTA级HOI检测，颠覆了需要多模态融合的传统认知；其二，提出的特征降维方法为高维特征处理提供新思路；其三，简化后的模型架构使实时HOI检测成为可能，这对服务机器人、智能监控等领域具有重要应用价值。正如通讯作者Steven Guan强调的，这项研究"重新定义了视觉特征在关系学习中的基础性地位"，为后续研究开辟了新路径。