探索基于图的Transformer编码器在资源匮乏的神经机器翻译中的应用

《ACM Transactions on Asian and Low-Resource Language Information Processing》：Exploring Graph-based Transformer Encoder for Low-Resource Neural Machine Translation

低资源场景下，通过图神经网络编码UCCA结构优化Transformer翻译模型，在英语-越南语/法语/捷克语数据集上BLEU提升0.33-0.41，参数量减少47%，增强结构感知能力。

　　

摘要

Transformer常用于神经机器翻译（NMT）中，但在资源匮乏的环境中存在过参数化的问题。这意味着单纯增加模型参数并不能显著提升性能。在这项研究中，我们提出了一种基于图的方法，在略微增加参数数量的同时，显著优于扩展后的Transformer模型。我们通过使用图神经网络（Graph Neural Networks）对通用概念认知注释（Universal Conceptual Cognitive Annotation，简称UCCA）进行编码，将UCCA的语言特征融入到词嵌入中，从而提升了NMT系统的性能。由于词嵌入的能力和信息量得到了增强，因此系统表现得到了提升。实验结果表明，所提出的方法在英语-越南语/法语/捷克语数据集上的BLEU评分分别比扩展后的Transformer模型提高了0.4、0.41和0.33分。此外，与扩展后的Transformer相比，该方法还减少了47%的参数数量。对错误模式的深入分析表明，所提出的方法为翻译系统提供了结构上的理解能力。我们的代码可在此处获取：https://github.com/nqbinh17/UCCA_GNN。