基于旋转位置编码的Transformer霍克斯过程：提升事件型大数据预测的鲁棒性与准确性

《Big Data Mining and Analytics》：Rotary Position Embedding-Based Transformer Hawkes Process for Event-Type Big Data

本文针对传统Transformer霍克斯过程(THP)在时间戳噪声敏感性和序列预测任务中存在的性能不稳定问题，提出了一种新型的旋转位置编码Transformer霍克斯过程(RoTHP)。研究团队创新性地将旋转位置嵌入(RoPE)技术首次应用于霍克斯过程建模，通过理论证明和实验验证表明，RoTHP在时间戳平移或噪声干扰下具有更好的泛化能力，在金融交易、社交媒体等多个真实数据集上显著提升了序列预测的准确性和稳定性。

　　

在当今大数据时代，各类系统持续产生着海量的异步事件数据，从金融市场的交易记录到社交媒体的用户行为，从医疗诊断事件到网络传播动态，这些事件型大数据蕴含着丰富的时间动态信息。如何准确建模和预测这类数据的时间规律，对于风险管控、个性化推荐、疾病监测等应用具有重要意义。

传统上，时间点过程(TPP)特别是霍克斯过程(Hawkes Process)被广泛用于建模这类具有自激励特性的事件序列。随着深度学习的发展，基于神经网络的霍克斯过程(NHP)显示出强大的拟合能力，其中基于自注意力机制的Transformer霍克斯过程(THP)更是取得了显著的性能提升。然而，现有研究发现在实际应用中，当模型基于历史序列进行训练并对未来进行推断时，传统THP及其变体往往表现出预测精度不高、性能不稳定的问题。

问题的根源在于传统方法采用的正弦位置嵌入方式对时间变化或噪声极为敏感。现实世界中采集的事件序列数据往往伴随着时间戳的平移或系统精度偏差，例如大型无线网络中不同设备的时间同步误差。这种敏感性严重制约了模型在实际场景中的适用性。

为了突破这一技术瓶颈，来自深圳大数据研究院与香港中文大学（深圳）的研究团队在《Big Data Mining and Analytics》上发表了一项创新性研究，提出了基于旋转位置嵌入的Transformer霍kes过程(RoTHP)。该方法首次将旋转位置编码技术引入霍克斯过程建模，通过理论证明其平移不变性，并在多个真实数据集上验证了其优越性能。

研究团队采用的核心技术方法包括：旋转位置嵌入(RoPE)技术替代传统正弦编码，构建具有相对时间依赖性的注意力机制；设计适配霍克斯过程特性的强度函数；通过理论证明推导模型的平移不变性；在金融交易、Stack Overflow、Retweet等多个真实数据集上进行系统性实验验证。

理论创新与模型设计

研究团队首先从理论层面揭示了霍克斯过程似然函数对相对时间差的依赖性，指出传统THP采用绝对位置编码与霍克斯过程的本质特性存在不一致性。基于这一发现，研究人员将自然语言处理中表现优异的旋转位置嵌入(RoPE)技术引入事件序列建模。

RoTHP的核心创新在于其注意力计算方式：通过旋转矩阵_ti和_tj的变换，使得注意力得分仅依赖于时间差t_j-t_i，而非绝对时间戳。这种设计不仅保持了向量的长度和角度关系，减少了训练过程中的误差累积，更重要的是赋予了模型对时间平移的天然不变性。

强度函数优化

在强度函数设计上，研究团队直接采用时间差t-t_j而非传统THP中的t/t_j归一化方式，进一步强化了模型的相对时间依赖性。这种设计使得模型在保持表达能力的同時，更好地契合了霍克斯过程的本质特性。

平移不变性证明

通过严格的数学推导，研究团队证明了RoTHP具有重要的平移不变性：对于任意时间平移σ，模型在序列S和S_σ上的损失函数保持完全一致。这一理论性质确保了模型在面对时间戳系统偏差时的稳定性，为实际应用提供了坚实保障。

实验验证与性能评估

在六个数据集上的实验结果表明，RoTHP在多项指标上均显著优于现有方法。在对数似然度方面，RoTHP在金融交易数据集上达到1.076，明显优于THP的-1.11；在Stack Overflow数据集上达到0.39，优于THP的-0.04。在预测准确率方面，RoTHP在金融交易数据上达到0.623，在Mimic-II医疗数据上达到0.855，均表现出色。

鲁棒性测试

针对时间戳噪声的鲁棒性测试显示，RoTHP在面对时间平移和高斯噪声时表现出卓越的稳定性。当时间戳发生平移时，RoTHP的对数似然度保持不变，而THP则出现显著波动。在高斯噪声环境下，RoTHP的性能下降幅度远小于传统THP，证明了其在实际噪声环境中的适用性。

序列预测优势

在未来的序列预测任务中，RoTHP展现出明显优势。无论是基于历史数据预测未来事件（Case I），还是从短序列训练推广到长序列预测（Case II），RoTHP都显著优于传统方法。特别是在金融交易数据的Case II设置中，RoTHP的准确率达到0.606，明显高于THP的0.493。

研究的创新价值不仅在于提出了新的模型架构，更在于首次将旋转位置编码技术与霍克斯过程理论深度结合，从方法论层面解决了长期存在的时序建模问题。RoTHP的成功实践为事件型大数据的建模和预测提供了新的技术路径，在金融风控、社交网络分析、医疗健康等领域具有广泛的应用前景。

尽管RoTHP在时间戳噪声鲁棒性和序列预测方面表现出色，研究团队也指出了当前研究的局限性，包括对事件类型标签噪声的处理能力有限，以及在复杂非平稳环境下的适应性仍需进一步提升。这些挑战为未来研究指明了方向，包括将RoTHP与噪声鲁棒分类技术结合，以及开发能够处理异构噪声数据的元学习框架。

这项研究通过理论创新与方法改进，为解决事件型大数据建模中的关键难题提供了有效方案，为推动时序数据挖掘技术的发展做出了重要贡献。随着事件型大数据在各行各业的广泛应用，RoTHP为代表的先进建模方法将在数据驱动的智能决策中发挥越来越重要的作用。