PakSign：利用新型基于骨架的数据集和图增强架构，推进巴基斯坦手语的动态识别技术

《Computer Vision and Image Understanding》：PakSign: Advancing dynamic Pakistani Sign Language Recognition with a novel skeleton-based dataset and graph-enhanced architectures

动态手势识别与轻量级模型构建：本研究针对巴基斯坦手语（PSL）研究不足的问题，建立了包含52个常用URD语料库手语的骨骼数据集WLPSL，通过多流骨骼输入和空间-时间关节注意力机制提出Efficient-Sign模型，在WLPSL-100和MINDS-Libras等基准数据集上实现2.28%-3.48%的精度提升，参数量减少14.95%-63.55%，计算量降低35.37%。研究为动态手语识别提供了标准化数据平台和高效模型范式。

　　本研究聚焦于巴基斯坦手语识别（PSLR）领域，旨在解决当前手语识别系统在动态手势识别和实际应用场景中的不足。巴基斯坦作为一个拥有丰富语言和文化多样性的国家，其手语系统具有独特的语法结构和表达方式。然而，与美国手语（ASL）、英国手语（BSL）和中国手语（CSL）等较为成熟的手语体系相比，PSLR的研究仍然相对滞后，尤其是在动态手势识别方面。目前，大多数关于PSL的研究集中在静态图像的识别上，主要针对乌尔都语字母的手语，如“Alif”、“Ba”和“Pa”等。这种研究方式虽然有助于基础识字能力的提升，但无法满足日常交流中对复杂动态手势识别的需求。

因此，本研究提出了一项创新性的解决方案，通过构建一个基于骨骼信息的新型PSL数据集，来弥补现有研究的不足。该数据集包含超过1280个手势序列，涵盖52个常见的乌尔都语词汇，每个词汇由五位不同的手语者分别进行了五次重复。数据集的创建充分考虑了实际应用场景中的多样性，包括不同性别、年龄和着装风格的手语者，确保了数据的广泛性和代表性。这一数据集的发布不仅为PSLR的研究提供了宝贵的资源，也促进了对PSL在实际交流中的深入理解。

在数据集的基础上，本研究还提出了一种名为Efficient-Sign的新颖识别框架，该框架具有轻量化和可扩展性的特点。Efficient-Sign采用多流骨骼输入机制，并结合了一种称为时空关节注意力（STJA）的机制，以有效捕捉手势的局部运动细节和整体结构特征。这种设计不仅提升了识别的准确性，还显著降低了模型的计算复杂度和参数数量，使其在资源受限的环境中也能高效运行。通过对比实验，Efficient-Sign在多个基准数据集上展示了其卓越的性能，尤其是在WLASL-100和MINDS-Libras等广泛使用的数据集上，其识别准确率与当前最先进的模型相当，但所需的计算资源却大幅减少。

此外，本研究还对多种已有的图卷积网络（GCN）模型进行了基准测试，包括ST-GCN、SignGraph、MIPA-ResGCN和MSE-GCN等。这些模型在PSLR任务中的表现为后续研究提供了参考。通过严格的K折交叉验证，研究团队确保了评估结果的可靠性，并为未来的研究者提供了一个坚实的起点。

本研究的另一项重要贡献在于其对PSL识别技术的广泛适用性验证。Efficient-Sign不仅在WLPSL数据集上表现出色，还在多个其他手语数据集上进行了评估，证明了其在不同语言和手语者群体中的泛化能力。这一成果对于推动手语识别技术在实际应用中的落地具有重要意义，特别是在多语言、多文化背景下的交流场景中。

在数据集的构建过程中，研究团队采用了标准化的视频格式，将原始视频从.mov格式转换为更通用的.mp4格式，并统一视频分辨率至480×480像素，以确保数据的一致性和兼容性。为了提取骨骼信息，研究团队使用了MediaPipe Holistic工具，该工具能够精确捕捉人体32个上半身关节和每只手21个关节的位置信息。这种基于骨骼的表示方法能够有效去除背景干扰，专注于手势本身的动态变化，从而提升识别的准确性和鲁棒性。

通过这些创新性的方法和技术，本研究不仅填补了PSLR领域在动态手势识别方面的空白，还为构建高效、实用的手语识别系统提供了新的思路和工具。研究团队的努力为手语识别技术的进一步发展奠定了坚实的基础，同时也为听障和语言障碍群体的交流提供了更加便捷和高效的解决方案。未来，随着更多数据的积累和技术的不断进步，PSLR有望在更多实际场景中得到应用，从而更好地服务于听障人士的日常生活和社会融入。