基于结构熵引导的信息瓶颈的分布外泛化图谱

《ACM Transactions on Knowledge Discovery from Data》：Graph Out-of-Distribution Generalization based on Structural Entropy guided Information Bottleneck

开放世界下图神经网络（GNN）的泛化能力受冗余拓扑信息干扰，本文提出OOD-SEIB框架通过结构熵引导的信息瓶颈压缩模块，量化输入图与提取子图的结构信息差异（压缩指数），迭代优化子图拓扑的信息量和标签相关性，并结合多环境增强与知识蒸馏提升不变子图提取能力。实验表明在合成及三个真实图级OOD基准测试中，分类准确率平均提升4.85%-38.03%，节点级测试提升14.52%-13.15%。

　　

摘要

分布外（OOD）泛化是一个具有前景但充满挑战的目标，它能够确保图神经网络（GNNs）在开放世界环境中的测试性能。然而，由于图结构数据的复杂内部拓扑，来自虚假拓扑的冗余信息会严重干扰GNNs，导致它们偏离真实标签。从原始图中提取简洁且与标签相关的子图可以缓解这一问题。不幸的是，现有方法要么忽略了全局结构分布，要么过分依赖预先定义的假设。因此，它们无法准确捕捉输入图与提取子图之间的结构分布变化，从而影响了提取出的不变子图对多种OOD场景的适应性。这促使我们提出了一个名为“结构熵引导的信息瓶颈（OOD-SEIB）”的框架，该框架旨在更可追溯地测量内在信息的变化，以实现更好、更灵活的OOD泛化。OOD-SEIB的核心是一个简洁的拓扑提取模块，我们基于结构熵（称为压缩指数CI）来衡量输入图与提取子图之间的互信息流动。具体来说，CI是一个可量化的指标，用于计算通过有偏随机游走来描述整个图结构所需的码字长度。在这一指导下，OOD-SEIB随后启动了一个结构信息瓶颈压缩模块，通过迭代平衡信息量和压缩性来共同优化子图拓扑的标签相关性。为了进一步提高GNN的不变子图识别能力，OOD-SEIB生成多个增强环境，并以自内而外的方式将不变子图转化为GNN的知识。通过上述规定的迭代优化方法，OOD-SEIB逐步强化了不变子图的提取能力，从而提升了其泛化能力。在合成数据和三个真实世界图级OOD基准测试中的广泛实验表明，与最先进的基线方法相比，我们提出的OOD-SEIB平均提高了$4.85\%$-$38.03\%$的分类准确率。此外，我们将OOD-SEIB扩展到了两个节点级基准测试中，平均分类准确率分别提高了$14.52\%$和$13.15\%$。