在黎曼预处理贝叶斯框架下融合数据与知识以进行过程工业建模

《IEEE Transactions on Knowledge and Data Engineering》：Blending Data and Knowledge for Process Industrial Modeling Under Riemannian Preconditioned Bayesian Framework

将图神经网络与变分推断结合用于工业过程建模，需解决归一化邻接矩阵的KL散度优化和约束梯度下降问题。本文提出通过微分方程模拟迭代优化KL散度，并采用黎曼优化预处理约束，构建ψ-VGNN架构，实验验证其有效性。

　　

摘要：

将图神经网络（GNNs）与变分推断（VI）相结合，为将结构化的先验知识与观测到的实证数据结合起来进行数据驱动的工业过程建模提供了一个有前景的方向。然而，这项任务需要推断归一化邻接矩阵（NAM），其中每一行的值都被规范化为非负数，并且总和为一，以匹配狄利克雷分布的支持。这一要求带来了两个主要的技术挑战：1）狄利克雷分布之间的Kullback-Leibler（KL）散度优化问题难以处理；2）基于标准梯度下降的神经网络参数优化受到约束。为了解决第一个问题，我们首先将NAM的推断问题表述为一个微分方程模拟问题，并推导出一个易于实现的表达式，以便迭代地改进KL散度，而无需显式计算它。基于此，为了解决第二个问题，我们引入了黎曼优化来预处理这个模拟过程，确保推断出的NAM符合行归一化约束。之后，我们将这些NAM推断方法统称为预处理-模拟诱导的变分推断（Preconditioned-Simulation-Induced Variational Inference，简称ψ-VI），并提供了收敛性的理论保证。在此基础上，我们提出了一种新的图神经网络架构——基于预处理-模拟诱导的变分图神经网络（ψ-VGNN），用于工业过程建模。最后，我们通过对工业建模任务的全面实验验证了ψ-VGNN的有效性。

引言

将观测数据与先验知识相结合对于工业数据驱动的建模至关重要，它可以确保产品质量的维持、降低能源消耗并增加经济效益[1]、[2]、[3]、[4]、[5]、[6]。例如，在工业流场建模的背景下[7]，利用最优传输与连续性方程之间的等价性，可以设计出基于物理信息的迭代架构，该架构嵌入了流体守恒定律，从而确保预测的流场保持固有的物理属性，进而提高准确性和数据效率。在分子建模中[8]，利用变分原理和薛定谔方程的排列不变性，可以设计出需要较少数据的神经网络训练范式，同时确保建模的波函数（薛定谔方程的解）能够真实反映基本的分子属性。因此，有效地将先验知识与数据相结合对于确保工业过程模型的准确性至关重要。