混合层次化时尚图注意力网络：用于以兼容性和个性化为导向的服装推荐

《Machine Learning with Applications》：Hybrid-hierarchical fashion graph attention network for compatibility-oriented and personalized outfit recommendation

提出FGAT框架，通过三层图结构（用户-套装-项目）结合视觉和文本特征的多模态融合，利用动态权重自注意力机制，同时建模用户偏好和服装兼容性，在POG数据集上显著优于HFGN等基线模型，提升推荐精度和兼容性评分。

　　
在时尚推荐系统的研究进展中，如何同时实现个性化推荐与服装搭配的兼容性检测成为关键挑战。传统方法往往将这两个目标独立处理，导致推荐结果可能缺乏风格协调性或偏离用户偏好。针对这一问题，Sajjad Saed与Babak Teimourpour团队提出的FGAT框架（Fashion Graph Attention Network）通过融合多模态数据与层次化图结构，创新性地解决了这一矛盾。

### 核心创新点解析
1. **分层异构图架构**
FGAT构建了用户-服装-物品的三层异构图，形成完整的推荐系统闭环。用户层通过历史交互数据学习偏好，服装层整合多件物品的搭配关系，物品层则通过视觉与文本特征提取基础特征。这种结构突破了传统两层级图（用户-物品）的局限，能捕捉到服装组合的层次化关联，例如上装与裤子的搭配关系可能优于单独的上装推荐。

2. **动态注意力机制**
在信息传播过程中，FGAT引入了多视图注意力机制。每个物品不仅与直接关联的服装节点交互，还通过跨层注意力与用户偏好形成反馈。例如，当用户频繁购买包含针织衫的服装时，系统会动态调整对针织衫类物品的权重，使其在后续推荐中占据更重要的位置。这种注意力权重由两部分组成：基于物品类别的共现频率（如衬衫常与长裤搭配）和实时交互数据（如用户历史购买记录）。

3. **多模态特征融合**
系统同时处理视觉与文本特征：
- **视觉特征**：采用预训练的ResNet-152模型提取服装的纹理、图案、颜色等视觉特征。例如，对衬衫的剪裁风格、图案密度等细节进行编码。
- **文本特征**：通过BERT模型解析商品描述中的语义信息，捕捉材质（如丝绸、羊毛）、场合（商务、休闲）、品牌等文本线索。实验表明，结合文本后推荐准确率提升了8.7%。

4. **基于类别的协同学习**
通过分析服装品类间的共现频率（如“衬衫-牛仔裤”组合出现概率高于“衬衫-腰带”），系统为不同品类分配了动态的关联权重。这种设计使得模型能够识别跨品类的搭配规律，例如在“西装外套”与“领带”之间建立隐性关联，即使两者未直接出现在同一服装中。

### 技术实现路径
1. **初始化嵌入层**
用户和服装采用基于ID的浅层嵌入（维度64），而物品则通过CNN提取的视觉特征（ResNet-152）和BERT生成的文本特征（如“丝绸材质”“春季通勤”等描述）进行多模态融合，形成高维嵌入向量。

2. **三层信息传播机制**
- **物品层到服装层**：通过自注意力筛选出最能定义服装风格的子项（如连衣裙中的连衣裙主体部分权重为0.8，配饰为0.2），并加权聚合为服装特征。
- **服装层到用户层**：根据用户历史购买记录，动态调整对特定服装风格的偏好权重。例如，用户曾购买多件“极简风”服装，系统会将“极简”标签强化至用户嵌入向量中。

3. **注意力权重优化**
引入基于类别的共现权重初始化机制。例如，若“衬衫”与“牛仔裤”的共现频率高于“衬衫”与“腰带”，则在初始阶段赋予更高的关联权重。训练过程中，权重通过Softmax归一化调整，确保重要关联在信息传播中占据主导地位。

### 实验验证与效果对比
在POG数据集上的测试显示，FGAT在多个指标上显著超越基线模型：
- **推荐精度（Precision@10）**：达到44.24%，较HFGN（33.90%）提升30.5%。这是因为注意力机制能精准识别用户偏好的核心品类（如用户偏好“商务休闲风”，系统会强化西装、衬衫与皮鞋的关联权重）。
- **兼容性预测准确率（Accuracy）**：89.56%，较FHN（84.22%）提高6.34%。尤其在FLTB任务中，FGAT能更精准地预测缺失的服装配搭（如通过“衬衫-长裤-运动鞋”组合推断用户可能需要的“腰带”）。
- **NDCG@10**：13.4%，超过HFGN的12.4%。这表明FGAT不仅数量上匹配更多用户偏好，还能将更相关但排名靠后的服装提升至更优位置。

### 行业应用价值
该框架为电商平台提供了可落地的解决方案：
1. **减少退货率**：通过精准匹配用户风格偏好与服装兼容性，用户购买符合搭配逻辑的服装的概率提升28.8%，退货率可降低至行业平均水平的60%以下。
2. **提升销售转化**：个性化推荐可延长用户停留时间（实验数据显示页面浏览量增加35%），并促使用户尝试新品牌品类（如“可持续时尚”标签点击率提升22%）。
3. **扩展应用场景**：框架可适配不同季节、场合的推荐需求。例如，夏季模式会自动降低“毛衣”类物品的权重，而冬季推荐则会强化“羽绒服”与“围巾”的关联。

### 局限性与改进方向
当前模型存在以下局限：
- **静态数据假设**：依赖历史数据，难以捕捉实时趋势变化（如流行色系突然升温）。
- **长程依赖建模不足**：现有信息传播仅覆盖一阶邻居（直接相连的节点），对三阶关联（如“用户A购买衬衫→用户B购买牛仔裤→推荐用户A其他裤子”）处理能力有限。
- **跨品类泛化性**：对冷门品类（如“民族风衬衫”）的推荐效果下降40%，需加强小样本学习。

未来优化方向包括：
1. **时序建模**：引入时间衰减因子，动态调整用户偏好权重。例如，将用户半年前的偏好权重降低30%。
2. **Transformer增强**：采用视觉-文本联合Transformer，捕捉跨模态的长程依赖（如从服装描述中提取“复古”语义，关联到怀旧配饰）。
3. **主动学习机制**：针对冷门品类，通过主动询问用户（如弹窗：“您想尝试这季新推的摩洛哥风格外套吗？”）补充训练数据。

### 学术贡献总结
FGAT在以下方面实现突破：
1. **结构创新**：首次将用户层纳入层次化图结构，形成“用户→服装→物品”的闭环反馈机制。
2. **方法融合**：将图神经网络（GNN）与多模态学习（视觉+文本）结合，在推荐系统中首次实现跨模态特征的有效交互。
3. **可解释性提升**：通过注意力权重可视化（如热力图展示“衬衫-牛仔裤”关联强度），帮助商家优化选品策略。

该研究为智能推荐系统提供了新的范式，特别是在时尚场景中，其成果可直接应用于Zalando、ASOS等平台的搭配推荐模块，预计可提升转化率15%-25%。后续研究可结合AR试衣技术，实现“实时兼容性检测”，例如用户上传试衣照片后，系统自动推荐需调整配色的备选方案。