面向图的大型语言模型指令调优，用于通用图挖掘

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：Graph-Oriented Instruction Tuning of Large Language Models for Generic Graph Mining

通用图挖掘框架融合图神经网络与大语言模型优势，通过紧凑图编码、基于Chain-of-Thought的多样化指令生成及图感知调优策略，实现跨任务和数据的持续学习与能力保持。实验验证其在五个图任务和十大数据集上的性能显著提升，有效促进LLMs生成能力与GNNs推理优势的协同进化。

　　

摘要：

具有丰富属性的图在模拟相互关联的实体以及提升各种实际应用中的预测能力方面至关重要。传统的图神经网络（GNN）通常需要针对不同的图任务和数据集进行重新训练。尽管大型语言模型（LLM）的出现为自然语言处理带来了新的范式，但它们在通用图挖掘方面的潜力——即训练一个模型同时处理多种任务和数据集——仍未得到充分探索。为此，我们提出的新型框架Muesgraph，将GNN和LLM的优势无缝整合到一个基础模型中，用于跨任务和数据集的图挖掘。该框架首先采用紧凑的图描述方式，在语言标记的限制下封装关键图信息。接着，我们提出了一种基于思维链（CoT）的指令生成机制，从GPT-4等高级LLM中提取推理能力。最后，我们设计了一种图感知的指令调优策略，以促进多个任务和数据集之间的相互增强，同时防止LLM的生成能力出现灾难性遗忘。实验结果表明，在五个图任务和十个数据集中，我们的Muesgraph在提高图相关下游任务的准确性方面取得了显著改进，同时也提升了LLM的生成能力。