超越基于拓扑的图挖掘：通过进化拓扑和内容融合对研究网络进行深度分析

《Information Fusion》：Beyond Topology-based Graph Mining: Deep Analysis Research Networks via Evolutionary Topology and Content Fusion

研究数据挖掘中引用网络分析面临传统方法仅关注文档对关系而无法捕捉复杂知识传播路径的局限。本文提出GTCN模型，通过结合动态图演化学习与大型语言模型语义信息，创新性地引入注意力融合嵌入机制，实现N路径预测并提升可解释性分析能力。在Cora、PubMed等5个数据集上的实验表明，GTCN在节点分类任务中较基线方法提升6.03%和4.20%的F1值，有效揭示技术发展轨迹中的知识流动机制。

　　研究数据挖掘是一项涵盖多种文档类型（如学术论文或专利）的任务，近年来在科研领域引起了广泛关注。其核心目标是从不断增长的科研文献中提取有价值的信息，以揭示知识之间的关联性。然而，目前的研究在分析引用动机方面存在一定的局限性，大多数方法主要关注文档之间的成对关系，这在一定程度上限制了对知识传播过程的准确预测以及对引用行为的可解释性分析。为了解决这些问题，本文提出了一种基于引用网络的图-文本模型（GTCN），该模型利用大规模语言模型（LLMs）从文本信息中学习，并探索引用背后的潜在动机。我们引入了一种渐进式学习策略，以捕捉全局网络结构，生成能够反映多方面影响的节点嵌入。在此基础上，我们进一步提出了注意力融合嵌入（AFE）模块，该模块沿具有语义意义的引用路径聚合节点表示，以建模特定方面的影响。这种方法有效克服了传统方法仅关注二元关系预测的局限性，使得在不同科研背景下对技术传播路径的深入探索成为可能。

在实验部分，我们在五个数据集上进行了验证，包括学术论文和专利引用网络。我们扩展了传统的成对链接预测任务，引入了路径感知的N-路径预测任务。在节点分类任务中，GTCN取得了最先进的结果，分别在Cora和PubMed数据集上，F1分数比其他混合LLM-GNN方法高出6.03%和4.20%。通过可视化分析，我们验证了GTCN在可解释性分析方面的能力，突显了该模型在研究数据挖掘中分析引用网络的巨大潜力。

研究数据挖掘的快速发展源于信息爆炸带来的挑战。随着学术成果和专利文件的不断积累，传统的数据处理方式难以满足对知识深度挖掘的需求。因此，学者们开始探索更加复杂的模型，以更好地理解和预测知识传播的路径。引用网络作为学术交流的重要形式，不仅反映了文献之间的联系，也承载了丰富的语义信息。然而，现有方法在分析引用背后的动机和知识流动路径方面仍然存在不足。许多研究集中在成对的引用关系上，而忽略了引用行为中可能存在的更深层次的结构和语义关联。这种局限性导致模型在预测和解释引用网络时效果有限，难以全面揭示知识传播的动态过程。

为了解决这一问题，本文提出了一种新的图-文本模型，即GTCN（Graph-Text Citation Network）。该模型将引用网络视为一种带有文本属性的图结构，其中每个节点代表一篇文档，节点的属性是文档的文本内容，而边则表示文档之间的引用关系。不同于传统方法仅依赖于浅层特征，GTCN将节点和边编码为I维的特征向量，每个维度捕捉文档之间不同类型的潜在影响。通过这种方式，模型能够更全面地表示引用关系的复杂性，并进一步在引用路径上进行链接预测，以捕捉特定影响方面的信息。在图表示学习阶段，我们采用了一种基于进化动力学的训练策略，即通过移除边来模拟引用网络的历史发展过程，使模型能够从动态网络演化的中间状态中逐步学习，而不是仅仅依赖最终的网络结构。这种方法更贴近现实世界中引用网络的实际形成过程。

同时，我们利用开源的大规模语言模型（LLMs）从节点文本中生成嵌入，为图神经网络提供高质量的语义初始化特征。在路径预测阶段，为了有效建模引用链中的序列依赖关系和语义关联，我们提出了一种注意力融合嵌入（AFE）机制。该机制通过引入注意力权重，将引用路径上的历史节点表示进行融合，从而量化每个前序文档对当前预测的影响。当文档具有相似的引用主题时，AFE能够准确捕捉相应技术的发展轨迹和演变过程，从而帮助我们更深入地理解知识传播和技术路径的动态变化。

专利和学术论文在很多方面具有相似性，例如都强调创新性，并通过知识传播促进技术进步。然而，对专利的研究深度和广度仍然远不及对学术论文的研究。为了弥补这一差距，我们在之前的工作中引入了公开的中国专利数据集CNPat。由于GTCN仅依赖于文本和引用信息，因此它非常适合分析包含丰富文本内容和引用网络的专利和学术论文。在实验部分，我们使用CNPat数据集以及公开的引用网络数据集（包括Cora、PubMed、DBLP和Cit-HepTH）进行了全面的验证，通过链接预测、节点分类和下游节点预测任务评估了模型的有效性。

本文的主要贡献可以总结为以下几点：首先，我们提出了一种图-文本模型GTCN，该模型结合了引用网络的结构特征和大规模语言模型的强大语言建模能力，以深入揭示引用关系背后的潜在动机。其次，我们引入了注意力融合嵌入（AFE）方法，用于整合不同长度的引用路径信息，解决了传统成对建模方法的局限性，并将传统的成对链接预测任务扩展为一种新的N-路径预测任务，从而能够预测特定方向上的引用链接。最后，我们在专利和学术引用数据集上进行了广泛的实验，结果表明我们的模型在多个任务中均优于现有的混合LLM-GNN基线模型。通过可视化分析，我们进一步验证了GTCN在可解释性分析方面的能力，突显了其在研究数据挖掘中分析引用网络的广阔前景。

研究数据挖掘的目标是揭示科研文献中隐藏的知识和关系。许多学者在这一领域进行了大量研究，涵盖了论文推荐、引用网络分析等多个方面。现有的引用推荐方法主要包括基于内容的过滤（CBF）、协同过滤（CF）以及基于图的方法。基于内容的过滤方法主要依赖于文档内部的概念信息，通过相似性匹配来推荐相关文献。然而，这种方法在处理跨文档的复杂关系时往往显得不足，难以捕捉引用行为背后的深层次动机。协同过滤方法则基于用户或文档之间的交互模式进行推荐，但其在引用网络中的应用受到数据稀疏性和语义表达能力的限制。基于图的方法通过构建网络结构来分析引用关系，但通常只关注节点之间的直接连接，忽略了文档之间的潜在路径和语义关联。

为了更全面地理解引用行为，我们需要一种能够同时捕捉文本信息和网络结构的方法。传统的图神经网络（GNN）方法虽然能够处理网络结构，但往往缺乏对文本内容的深度理解。而基于语言模型的方法虽然能够提取文本的语义信息，但难以整合网络结构中的复杂关系。因此，本文提出了一种结合图结构分析和文本信息的混合模型，即GTCN。该模型不仅能够处理引用网络中的结构特征，还能够利用大规模语言模型从文本中提取丰富的语义信息，从而更全面地理解引用行为的动机和知识传播的路径。

在GTCN中，我们采用了一种渐进式学习策略，以捕捉全局网络结构。该策略通过逐步移除边来模拟引用网络的历史发展过程，使模型能够从动态网络演化的中间状态中学习，而不是仅仅依赖最终的网络结构。这种基于进化动力学的方法使得模型能够更好地适应引用网络的动态变化，提高对知识传播过程的建模能力。同时，我们利用开源的大规模语言模型（LLMs）生成节点文本的嵌入，为图神经网络提供高质量的语义初始化特征。这种方法不仅能够保留文本的语义信息，还能够与网络结构相结合，形成更全面的表示。

在路径预测阶段，我们提出了注意力融合嵌入（AFE）机制，以建模引用链中的序列依赖关系和语义关联。AFE通过引入注意力权重，将不同长度的引用路径上的节点表示进行融合，从而量化每个前序文档对当前预测的影响。这种方法能够有效捕捉引用链中的动态变化，并揭示技术发展的轨迹。例如，当多篇论文围绕同一主题进行引用时，AFE能够识别出这些论文之间的潜在联系，并预测其未来的发展方向。通过这种方式，GTCN不仅能够进行传统的成对链接预测，还能够进行更复杂的N-路径预测，从而更全面地分析引用网络中的知识传播过程。

此外，GTCN在处理专利和学术论文时表现出色。虽然专利和学术论文在形式上有所不同，但它们都具有丰富的文本内容和引用网络。因此，GTCN能够适用于这两种类型的文档，为研究数据挖掘提供统一的解决方案。在实验部分，我们使用CNPat数据集以及多个公开的引用网络数据集（如Cora、PubMed、DBLP和Cit-HepTH）进行了验证。实验结果表明，GTCN在多个任务中均优于现有的混合LLM-GNN基线模型，特别是在节点分类任务中取得了显著的提升。这说明我们的模型不仅能够有效捕捉引用网络的结构特征，还能够通过文本信息的深度挖掘，提供更准确的预测和更可解释的分析。

通过可视化分析，我们进一步验证了GTCN在可解释性方面的优势。该模型能够清晰地展示引用路径中的关键节点和影响因素，使研究人员能够直观地理解知识传播的过程。例如，在分析技术发展路径时，GTCN能够突出显示哪些文档在知识传播中起到了关键作用，以及哪些语义主题对引用行为产生了重要影响。这种可视化能力不仅有助于模型的验证，还能够为研究人员提供有价值的洞察，从而推动更深入的科研探索。

综上所述，本文提出的GTCN模型在研究数据挖掘领域具有重要的应用价值。它不仅能够处理复杂的引用网络，还能够通过结合文本信息和网络结构，提供更准确和可解释的分析结果。通过渐进式学习策略和注意力融合嵌入机制，GTCN克服了传统方法的局限性，使得对知识传播过程的建模更加全面和深入。未来，我们计划进一步优化模型的性能，并探索其在更多应用场景中的潜力，如跨领域知识发现、技术趋势预测以及科研合作分析等。相信随着研究的深入，GTCN将在科研数据挖掘中发挥更大的作用，为学术界和工业界提供更加精准和可解释的分析工具。