DuSEGO：双二阶等变图常微分方程

《ACM Transactions on Knowledge Discovery from Data》：DuSEGO: Dual Second-order Equivariant Graph Ordinary Differential Equation

针对图神经网络存在过平滑和梯度爆炸/消失问题，以及多数模型仅利用一阶信息的问题，本文提出DuSEGO模型，通过二阶对称图常微分方程同时更新特征和坐标，有效缓解过平滑和梯度问题，实验验证其优越性。

　　

摘要

具有等变性质的图神经网络（GNNs）在模拟复杂动态系统和分子特性方面取得了显著成功。然而，它们的表达能力受到以下限制：（1）现有方法常常忽略了传统GNN模型导致的过度平滑问题，以及深度GNN中出现的梯度爆炸或梯度消失问题。（2）大多数模型仅处理一阶信息，而现实世界中的系统往往包含二阶特性，这进一步限制了模型的表示能力。为了解决这些问题，我们提出了双二阶等变图常微分方程（DuSEGO）用于等变表示。具体来说，DuSEGO同时应用于图嵌入和节点坐标。理论上，我们首先证明了DuSEGO保持了等变性质。此外，我们还提供了理论分析，表明DuSEGO有效缓解了特征表示和坐标更新中的过度平滑问题。另外，我们证明了所提出的DuSEGO能够减轻梯度爆炸和梯度消失问题，从而促进了深度多层GNN的训练。在基准数据集上的广泛实验验证了DuSEGO相对于基线的优越性。