COTIC：基于多层连续卷积的非均匀事件序列建模新框架

《IEEE Access》：COTIC: Embracing Non-uniformity in Event Sequence Data via Multilayer Continuous Convolution

本文针对传统神经时序点过程模型在强度函数建模中存在的参数化假设限制表达力问题，提出了一种名为COTIC的连续时间卷积网络。该模型通过堆叠扩张连续卷积层直接学习原始时间戳的强度函数，无需重采样或参数化插值，在七个公开基准测试中平均排名达1.5，显著优于Transformer和RNN基线，为不规则事件流建模提供了可扩展的基础框架。

　　

在当今数据驱动的世界中，从金融交易到医疗记录，从不规则间隔发生的事件中提取有意义的信息已成为一项关键挑战。这类事件序列数据具有显著的非均匀特性——事件间的时间间隔可能从毫秒到数天不等，这使得传统基于固定时间网格的分析工具难以直接应用。更复杂的是，每个事件可能带有类型标记，且后续事件的发生往往受到历史事件的复杂影响。

目前，时序点过程（TPP）是建模这类数据的主要理论框架，其中强度函数是核心对象。传统方法如霍克斯过程（Hawkes process）虽然能够捕捉事件间的相互激励作用，但其参数化形式限制了模型表达能力。近年来，深度学习模型为事件序列建模带来了新的可能，包括循环神经网络（RNN）、Transformer和卷积神经网络（CNN）等架构都被尝试应用于此领域。然而，现有方法大多在事件间采用指数或线性插值来近似强度函数动态，这种强参数化假设虽然简化了训练，却削弱了模型的时间表达能力，难以捕捉延迟反应、突发峰值或振荡模式等复杂行为。

为了解决这些挑战，来自斯科尔科沃科学技术研究院（Skolkovo Institute of Science and Technology）等机构的研究团队在《IEEE Access》上发表了题为"COTIC: Embracing Non-uniformity in Event Sequence Data via Multilayer Continuous Convolution"的研究论文，提出了一种全新的连续时间卷积架构。

研究人员开发的核心技术方法包括：基于连续核卷积的时序点过程建模框架，使用扩张卷积机制实现长程依赖捕捉；多层连续卷积堆叠架构，通过线性核参数化实现计算效率优化；基于蒙特卡洛积分的强度函数估计方法，支持端到端的非参数强度学习；以及针对事件时间和类型的期望积分预测机制。实验使用了七个公开数据集，包括Retweets、Amazon、StackOverflow等涵盖社交网络、电子商务、医疗记录等多领域数据。

模型架构设计

COTIC采用完全连续的一维卷积操作处理输入事件序列。如图1所示，连续时间卷积层在查询时间点t₃仅使用严格发生在该时间之前的事件进行计算，确保因果性。模型使用线性核函数k(t)=tW+B进行参数化，其中W和B为可学习参数，这种设计既保证了模型表达能力，又通过线性性质实现了计算优化。

训练与推理流程

如图2所示，COTIC采用端到端的训练方式，负对数似然损失函数包含强度函数对数项和积分项，其中积分项通过蒙特卡洛方法在时间网格S_sim上进行估计。推理阶段，模型在最后事件t_L到预设时间范围内均匀查询强度函数λ(t)，通过梯形积分计算期望返回时间和事件类型概率。

整体架构

图3展示了COTIC的完整架构，左侧编码器部分由多个扩张连续卷积层堆叠而成，仅在原始事件时间戳上进行评估；右侧最终层强度头可在事件间任意查询时间计算强度函数λ(t)。

实验结果表明卓越性能

在七个公开基准测试上的实验证明，COTIC在返回时间预测（MAE）和事件类型预测（准确率）两个任务上均表现优异。如表1所示，COTIC在返回时间预测任务中平均排名1.4，在事件类型预测任务中平均排名1.6，综合平均排名1.5，显著优于所有基线方法。

具体到各数据集，在Retweet数据集上，COTIC的返回时间MAE为0.0277±0.000，优于RMTPP（0.030±0.000）和Neural Hawkes（0.029±0.001）；在StackOverflow数据集上，COTIC的MAE为0.500±0.004，明显优于WaveNet（0.676±0.008）和THP（13.480±0.840）。对于事件类型预测，COTIC在Retweet、MIMIC-II和MemeTrack三个数据集上取得最佳准确率，分别为0.608±0.001、0.911±0.009和0.124±0.001。

下游任务验证表征学习能力

在Transactions数据集上进行的年龄分箱预测实验中，COTIC生成的嵌入在逻辑回归分类器上取得了0.459的准确率，优于所有TPP基线方法（NHP：0.254，THP：0.290）和专门设计用于均匀时间序列分类的MiniRocket模型（0.452）。这表明COTIC中间层产生的嵌入具有丰富的表征能力，可用于下游分类任务。

超参数敏感性分析

图4展示了在Retweet和StackOverflow数据集上不同核大小（k）和层数（L）组合的验证对数似然结果。研究发现，最佳配置取决于数据特性：对于短暂的Retweet级联，中等深度L=5和较宽核k=5效果最佳；而对于时间跨度较长的StackOverflow活动，需要更深的架构（L=9）来捕捉长期依赖。

合成数据验证强度恢复能力

在合成数据实验中，COTIC展示了出色强度函数恢复能力。如图5所示，对于指数核、正弦调制核和瑞利核三种不同形态的霍克斯过程，COTIC均能准确跟踪真实强度曲线，性能接近知道真实核形式的Oracle霍克斯拟合，且明显优于THP和NHP基线。

图6和图7进一步分析了序列长度和模型深度对性能的影响。研究发现，当训练序列长度超过约10个事件时，COTIC开始显现优势；当序列更长时，其优势更加明显。对于模型深度，增加层数初期能提升性能，但当感受野覆盖主要交互范围后，性能进入平台期。

研究结论与意义

本研究首次提出了完全连续卷积的时序点过程建模框架COTIC，通过多层扩张连续卷积架构直接在原始时间戳上学习非参数强度函数，避免了重采样或参数化假设带来的表达限制。实验证明，COTIC在多种真实场景和合成数据上均优于现有最佳方法，为不规则事件序列建模提供了强大且可扩展的解决方案。

该研究的创新性体现在三个方面：技术上，首次将连续卷积扩展到深度多层架构，实现长程依赖捕捉；方法上，提出端到端非参数强度学习框架，摆脱了传统参数化假设；应用上，生成的嵌入在下游任务中表现优异，展示了强大的表征学习能力。

对于实际应用，COTIC适用于金融风险交易预测、医疗并发症预警、电子商务推荐系统等多个领域。其线性计算复杂度特性使其能够处理大规模实时数据，为实际部署提供了可行性。

未来研究方向包括开发自适应感受野机制以更好处理短序列、改进不确定性量化方法以及扩展多模态事件标记处理能力。这些扩展将进一步增强连续卷积点过程模型的应用范围和实用价值。