基于Transformer融合混合LoRA网络的多领域点击率预测模型MLoRA+研究

本文推荐：该研究提出MLoRA+框架，通过集成Transformer自注意力机制与混合低秩适配器（Mixture-of-LoRA），有效解决多领域点击率（CTR）预测中的数据稀疏性和领域相关性难题。实验表明其在Taobao-10等数据集上平均提升WAUC达0.95%-1.23%，兼具参数高效性与跨领域适应性，为复杂推荐系统提供创新解决方案。

　　

亮点

本研究创新性地将Transformer自注意力机制与混合低秩适配器（LoRA）结合，提出MLoRA+框架。该设计通过动态校准不同领域的贡献权重，显著提升了多领域点击率（CTR）预测的精准度，同时保持模型轻量化。

方法学

如图3所示，MLoRA+为每个领域配置专属LoRA模块，通过Transformer架构建模领域间关联。软最大（softmax）函数实现领域敏感的自适应学习，使模型能依据输入上下文动态调整领域特征融合比例。

实验

在Taobao-10、Amazon-6和Movielens-gen数据集上的测试显示，MLoRA+平均WAUC提升最高达1.23%。其领域交互建模能力尤其适用于数据分布差异大的场景，验证了框架的鲁棒性。

结论

MLoRA+通过低秩适配器与注意力机制协同优化，成功平衡了多领域CTR预测中的共性与特性学习。该框架参数效率优势显著，为扩展至新兴领域提供了灵活架构基础。

作者贡献声明

高德宏：概念设计，方法论，初稿撰写；陈淑凡：软件开发，形式分析，初稿撰写；杨志明：软件实现，数据分析，文稿修订；其余作者分别参与资源协调、数据管理或实验验证。

利益冲突声明

作者声明不存在可能影响本研究结果的财务或个人关系。