利用图神经网络和大型语言模型，通过图文本融合技术预测州际间的网络攻击

《Engineering Applications of Artificial Intelligence》：Predicting inter-state cyberattacks with graph-text fusion using graph neural networks and large language models

提出GeoDyG-LLM框架，整合动态图神经网络与大规模语言模型，构建高质量多模态数据集，通过分层注入图嵌入增强LLM的时空建模能力，并采用地缘政治负采样策略解决类别不平衡问题，实现网络攻击预测与可解释性解释生成。

　　
这篇论文提出了一种名为GeoDyG-LLM的新框架，旨在通过整合动态图神经网络和大语言模型（LLM）的能力，提高对跨国网络攻击的预测精度和可解释性。研究主要围绕三个核心问题展开：如何有效整合结构化数据（如国家间攻击记录）与非结构化文本数据（如新闻事件）；如何平衡不同数据源在模型中的权重；以及如何通过模型生成可理解的预测依据。

### 一、研究背景与挑战
随着国际政治冲突的加剧，国家间的网络攻击行为日益复杂化。现有研究多依赖单一数据源（如结构化攻击记录或新闻文本），导致预测模型难以捕捉多维度的关联因素。例如，早期研究主要使用统计模型分析经济、气候等指标，但忽略了文本中的语义信息（Naseeb等，2024）。而纯文本驱动的模型（如基于GPT的零样本预测）虽然能利用自然语言处理优势，但缺乏对国家间复杂交互关系的建模能力（Lakha等，2023）。此外，数据不平衡问题（攻击事件远少于非攻击事件）和动态时序关系建模困难，进一步制约了预测效果。

### 二、核心贡献与创新
#### 1. 多模态数据融合框架
研究构建了包含两类动态数据的多视图图结构：
- **攻击视图**：记录国家间历史网络攻击事件，包含攻击频率、持续时间等量化指标。
- **新闻视图**：通过爬取GDELT数据库的URL，提取并清洗了超过1000万篇新闻文本，利用LLM（如Qwen 2.5）进行语义分析，生成事件摘要、国家角色（发起方/目标方）、情感倾向（积极/消极）等结构化特征。
通过时间窗口聚合（7天滑动窗口）和合并重复事件，最终形成包含62万实例的多模态动态图数据集，显著优于现有单一数据源（如DAM或GDELT原始数据集）。

#### 2. 动态图神经网络与LLM的协同建模
**技术路线**：
- **动态GNN编码**：采用多视图动态图神经网络（DM-GNN），分别建模攻击事件和新闻事件的时间演化规律。例如，通过注意力机制捕捉不同时间步间的国家交互模式，并利用滑动窗口聚合技术减少噪声干扰。
- **跨模态对齐**：通过可学习的投影矩阵（Projector），将GNN生成的节点嵌入（如国家行为特征向量）与LLM的文本嵌入空间对齐。具体策略包括：
- **分层注入**：将节点嵌入注入LLM的Transformer各层输入，而非仅限第一层，确保结构信息贯穿整个推理过程。
- **软提示优化**：在LLM输入中设计专用占位符（如`〈SRayload〉`），动态替换为经过投影的节点嵌入，实现精准的跨模态交互。

#### 3. 地缘政治驱动的负采样策略
针对样本不平衡问题（非攻击事件占比超99%），提出了一种分层负采样方法：
- **正相关样本筛选**：基于国家间历史攻击频率、地理邻近度（首都间直线距离归一化）、经济/军事属性相似性（余弦相似度）等指标，构建正样本的权重融合公式：
\[
\text{Fused Score} = \alpha \cdot \text{Attack Frequency} + \beta \cdot \text{News Interaction} + \gamma \cdot \text{Geographic Proximity} + \delta \cdot \text{Attribute Similarity}
\]
其中α、β、γ、δ为可调权重参数，确保负样本的多样性。
- **分层采样机制**：首先按攻击频率从高到低排序国家对，再在每一层级内按相似性权重降序采样负样本，避免过度采样高相似性国家对（如相邻国家可能因地理邻近被误判为攻击关联）。

#### 4. 可解释性增强模块
通过预训练LLM生成自然语言解释，并设计以下优化流程：
- **指令设计**：要求模型根据事件时间线、国家角色（如发起方/目标方）、情感关键词（如“威胁”“抗议”）等生成结构化摘要。
- **反馈循环**：将生成解释与真实标签（攻击/非攻击）联合训练LLM，形成“指令-响应”对（约55,000条），并采用低秩适配（LoRA）技术减少微调参数量（如8B模型仅需新增56.6M参数）。
- **可解释性验证**：使用BERTScore-F1评估生成解释的语义一致性，结果显示模型生成的解释与真实事件相关性的F1值达到0.958（8B模型），优于纯文本模型（0.930）。

### 三、实验与结果
#### 1. 模型性能对比
在F1分数上，GeoDyG-LLM 8B达到0.888，显著优于三类基线模型：
- **纯GNN模型**（如DM-GNN）：F1 0.846，主要因缺乏文本语义的深度整合。
- **纯LLM模型**（如Qwen 2.5）：零样本时F1仅0.742，需依赖少量样本微调（如8-shot时F1 0.776）。
- **跨模态融合模型**（如GraphGPT）：F1 0.862，但生成解释的BERTScore-F1仅为0.912，低于本文模型。

#### 2. 模块化消融实验
- **数据源重要性**：仅保留攻击事件时F1为0.825（8B），加入新闻数据后提升至0.859，验证文本对上下文建模的关键作用。
- **图结构必要性**：移除图网络后，模型F1下降0.015（8B），证明动态关联建模对时序预测的贡献。
- **注入深度影响**：全层注入较浅层（仅输入层）注入的F1提升约0.025，表明深层结构信息对语义推理的增强效果。

#### 3. 实际应用验证
在真实场景测试中，模型表现出以下能力：
- **数据稀缺场景**：当缺乏近期攻击记录时（如案例1：伊拉克-意大利），仍能通过地缘政治关联（如两者均受中东局势影响）预测潜在攻击，解释生成“历史地缘摩擦可能引发新攻击”。
- **多源信息融合**：在案例4（沙特-美国）中，结合新闻事件“沙特 Crown Prince涉及亚马逊CEO电话窃取”和攻击历史，解释为“持续紧张关系可能升级为网络攻击”。

### 四、技术意义与局限性
#### 1. 理论创新
- **跨模态融合范式**：首次系统性地将动态图结构与LLM的语义理解结合，解决了以下难题：
- **信息衰减**：传统GNN的浅层语义表达难以捕捉文本中的隐含意图（如“威胁”隐含后续攻击风险）。
- **时序对齐**：动态图通过时间窗口建模，与LLM的生成式时序推理形成互补。
- **负采样策略优化**：通过地理、属性、历史攻击频率的多维度加权，使负样本更贴近真实风险场景。

#### 2. 实践价值
- **政策制定支持**：生成的解释文本可直接用于情报简报，例如案例3（伊朗-法国）中，模型通过新闻事件“伊朗拘押法国学者”推断出网络攻击可能性，为外交部门提供预警依据。
- **安全研究扩展**：框架可迁移至其他地缘行为预测（如武装冲突、贸易制裁），通过调整数据融合规则适配不同场景。

#### 3. 局限性
- **数据时效性限制**：训练数据截至2020年，需补充近年的攻击记录和新闻事件。
- **模型可解释性瓶颈**：尽管BERTScore显示解释质量优异，但生成文本仍存在部分逻辑跳跃（如案例1中“潜在紧张”与“历史摩擦”的关联需进一步验证）。
- **计算资源消耗**：8B模型在RTX 5090 GPU上单次预测耗时11.3秒，对边缘设备部署构成挑战。

### 五、未来研究方向
1. **领域自适应预训练**：在政治安全领域（如冲突预测、网络攻击历史）构建专用预训练语料库，提升跨任务泛化能力。
2. **动态图-文本时序对齐**：引入图神经网络的时间感知机制（如ST-GCN），解决LLM对长期时序依赖建模不足的问题。
3. **可解释性增强**：结合注意力可视化（如Grad-CAM）与生成解释，量化模型决策中的关键特征（如“军事合作中断”对攻击预测的影响权重）。

### 六、总结
GeoDyG-LLM通过多模态动态建模与可解释生成，为跨国网络攻击预测提供了新的方法论。其实验结果表明，在数据规模与质量有限的情况下，模型仍能捕捉到国家间复杂的互动模式（如案例4中沙特与美国的科技竞争如何通过网络攻击实现政治施压）。这一框架不仅提升了预测精度（F1达88.8%），更重要的是通过结构化解释（如案例3中“伊朗拘押法国学者”事件与攻击风险的逻辑关联），为安全决策者提供了可操作的情报支持，具有显著的实际应用价值。后续研究可结合强化学习，实现模型的主动式数据采集与持续迭代优化。