基于混合图神经网络的变观点手势识别

《IEEE Transactions on Human-Machine Systems》：Variable Viewpoint Gesture Recognition Based on a Hybrid Graph Neural Network

手势识别系统因相机视角和手部空间姿态差异导致准确率低，本文提出基于三维非欧几里得向量图特征与图神经网络的方法，通过构建手部关节图结构数据集和设计多头图注意力网络，实验显示在优化数据集上模型准确率提升18.46%-44.23%，且计算资源需求低、实时性能优。

　　

摘要：

相机视角和手部空间姿态的变化是手势识别系统精度低和鲁棒性差的主要原因。为了实现具有可变视角的准确且稳定的手势识别，本文基于3-D非欧几里得向量图特征和图神经网络进行了研究。首先，收集手部关节的3-D信息以构建图结构化的手势特征数据集，并提出了一种基于关节的3-D非欧几里得向量图方法，以解决类似手势特征对空间位置和角度变化过于敏感的问题。然后，设计了一个多头图注意力网络，并将其与图卷积神经网络结合，以探索最优的混合图神经网络手势识别模型。实验结果表明，在经过基于关节的3-D非欧几里得向量图方法处理的数据集上，最优模型的训练、测试和验证准确率分别达到了97.07%、96.95%和87.06%，与原始数据集相比分别提高了18.46%、18.88%和44.23%。总之，本文提出的方法不仅对可变视角下的手势识别问题更具鲁棒性，还具有计算资源需求低和实时性能高的优点。

引言

手势在人机交互应用中起着重要作用，例如教育、游戏和工业生产。作为信息传输的重要辅助工具，手势识别方法可以分为基于传感器的方法和基于视觉的方法[1]。其中，基于可穿戴传感器的方法由于佩戴不便，只能应用于某些特定场景，而基于视觉的方法由于其出色的便捷性和实时性，在各种应用场景中得到了持续探索。值得注意的是，这种方法的准确性仍有待提高[2]、[3]、[4]。