一种用于多变量时间序列分类的新型动态图注意力聚合网络

《Pattern Recognition》：A Novel Dynamic Graph Attention Aggregation Network for Multivariate Time Series Classification

多变量时间序列分类面临高维数据和复杂变量关系挑战，传统方法存在信息扭曲和特征提取不足问题。本文提出DET-DyAGCN网络，通过双嵌入融合全局静态节点嵌入与局部动态时间嵌入，设计单步变量与1D时间混合卷积捕捉时空特征，结合可学习混合池化层实现高级特征抽象，实验验证其优于现有方法。

　　多变量时间序列分类（Multivariate Time Series Classification, MTSC）是数据科学和人工智能领域中的一个重要研究方向，尤其在处理高维数据和复杂变量关系时，面临着诸多挑战。随着智能设备和传感器技术的广泛应用，多变量时间序列数据在多个领域中变得愈发常见，例如经济分析、天气预测、医学信号处理以及工程系统监控等。这些数据不仅包含多个变量，还具有显著的时间连续性，因此对分类算法提出了更高的要求。传统方法在处理这类数据时往往表现出一定的局限性，尤其是在捕捉长期依赖关系和隐含变量间关系方面。尽管近年来深度学习方法在MTSC任务中取得了显著进展，但它们在建模变量间交互关系方面仍然存在不足。为了解决这些问题，本文提出了一种名为“双嵌入时序动态注意力图卷积网络”（Double-Embedded Temporal Dynamic Attention Graph Convolutional Network, DET-DyAGCN）的新方法。

### 多变量时间序列分类的挑战

多变量时间序列数据通常由多个变量组成，这些变量之间可能存在复杂的非线性关系。例如，在天气预测中，温度、湿度、风速和气压等多个变量共同作用，影响天气变化的模式。而在医学领域，脑电图（EEG）信号中，不同脑区的活动可能相互影响，形成特定的神经活动模式。这种多变量间的复杂关系使得传统的分类方法难以有效建模，尤其是在数据维度较高时，变量间的相互作用更加难以捕捉。此外，时间序列数据具有时间连续性，意味着当前的观测值不仅依赖于最近的输入，还可能受到过去多个时间点的影响，形成长期依赖关系。这种长期依赖关系在传统的基于距离或特征的方法中往往被忽略或处理不当，导致分类性能下降。

传统的MTSC方法可以分为三类：基于距离的方法、基于特征的方法以及基于深度学习的方法。基于距离的方法通常利用时间序列之间的相似性来进行分类，例如动态时间规整（Dynamic Time Warping, DTW）和基于最近邻的分类器（1-NN）。然而，这些方法在处理长序列时计算成本较高，且容易出现长距离信息的扭曲问题。此外，基于距离的方法往往依赖于特定的度量方式，如欧氏距离或DTW，这可能限制了其在不同数据集上的泛化能力。

基于特征的方法则试图通过提取具有代表性的子序列或特征来提升分类效果。例如，Bag of Symbolic Fourier Approximation Symbols（BOSS）利用符号傅里叶近似（Symbolic Fourier Approximation, SFA）方法将时间序列转换为符号序列，然后通过聚合这些符号序列来表示类别。Time Series Forest（TSF）则通过构建树结构，随机选择时间窗口和起始位置，从而降低计算复杂度并提高分类效率。MiniRocket作为一种基于随机卷积核的方法，进一步提升了训练速度和模型性能。然而，这些方法在处理高维时间序列数据时往往表现出一定的不足，特别是在捕捉非线性关系和长期依赖方面。

近年来，深度学习方法在MTSC任务中得到了广泛应用。例如，MLSTM-FCN通过结合多层长短期记忆网络（LSTM）和全卷积网络（FCN），有效捕捉时间序列中的长期依赖关系。ShapeNet则通过引入形状特征，解决了传统形状特征选择方法在多变量时间序列中的适用性问题。随着Transformer模型在自然语言处理（NLP）领域的成功应用，注意力机制也被引入到时间序列分类任务中，以更好地建模序列间的复杂关系。例如，Shape-Level Variable-Position Transformer（SVP-T）和Dual-attention Network（DA-Net）分别利用了双注意力机制和变量位置编码层，以捕捉时间序列中的长期依赖和隐含关系。此外，Densely Knowledge-Aware Network（DKN）通过结合残差多头卷积网络和Transformer模型，实现了对多变量时间序列数据的高效建模。然而，尽管这些方法在某些方面取得了进展，它们在建模变量间关系和时间序列内部的动态变化方面仍然存在不足。

### DET-DyAGCN方法概述

为了解决上述问题，本文提出了一种新的方法——DET-DyAGCN。该方法的核心思想是通过双嵌入机制，融合变量和时间序列的表示，从而更好地捕捉变量间的隐含关系和时间序列的长期依赖。具体而言，DET-DyAGCN引入了一种单步变量与一维时间混合卷积，用于特征提取，并结合了一种可学习的混合池化层，以实现更高级的特征抽象。此外，该方法还设计了一种基于滑动窗口的局部动态时间特征学习机制，以增强对时间序列动态变化的理解。

在方法设计上，DET-DyAGCN首先通过滑动窗口构建局部动态视角，从而捕捉时间序列中变量的局部动态关系。然后，通过全局静态节点嵌入学习，捕捉变量之间的静态关系。这两种嵌入方式分别对应于时间序列的局部动态特征和变量的全局静态特征，最终通过单步变量与一维时间混合卷积进行融合，形成更具代表性的特征表示。这种融合机制不仅考虑了时间序列内部的动态变化，还考虑了变量之间的相互作用，从而提升了模型的表达能力。

为了进一步提升特征表示的层次性和抽象能力，DET-DyAGCN引入了一种可学习的混合池化层。该池化层能够有效地整合不同尺度的特征信息，从而形成更高级的特征抽象。通过这种方式，模型可以更好地捕捉时间序列中的关键模式，提高分类的准确性。此外，DET-DyAGCN还采用了一种全局池化机制，以整合所有变量和时间点的特征，形成最终的分类决策。

### 方法的创新点

本文提出的DET-DyAGCN方法在多个方面进行了创新。首先，它是首个在MTSC任务中采用双嵌入融合表示的方法。传统的分类方法通常只关注单一变量或单一时间点的特征，而DET-DyAGCN则通过融合变量和时间序列的表示，捕捉更丰富的信息。这种双嵌入机制允许模型同时考虑变量间的静态关系和时间序列的动态变化，从而提升分类性能。

其次，本文设计了一种基于滑动窗口的局部动态时间特征学习机制。该机制通过滑动窗口捕捉时间序列中的局部动态关系，从而增强模型对时间依赖性的建模能力。滑动窗口的大小可以根据具体任务进行调整，以适应不同长度和复杂度的时间序列数据。通过这种方式，模型能够更好地适应不同场景下的时间序列特征，提高泛化能力。

第三，本文提出了一种可学习的混合池化层，用于实现更高级的特征抽象。传统的池化层通常只关注局部特征，而混合池化层则能够整合不同尺度的特征信息，形成更具代表性的特征表示。这种池化机制不仅提升了模型的表达能力，还增强了其对复杂模式的识别能力。

最后，本文在多个基准数据集上进行了广泛的实验验证，结果表明DET-DyAGCN在分类性能上优于现有的许多方法。通过实验，我们不仅验证了方法的有效性，还提供了可视化的支持，以帮助读者更好地理解模型的工作原理和性能表现。

### 实验与评估

为了验证DET-DyAGCN的有效性，本文在多个公开的基准数据集上进行了实验评估。这些数据集包括来自University of East Anglia（UEA）的30个真实世界数据实例，以及来自UCI的其他领域数据集。这些数据集具有不同的时间序列长度和变量数量，涵盖了从短期到长期、从低维到高维的多种情况。通过在这些数据集上的实验，我们能够全面评估DET-DyAGCN在不同场景下的性能表现。

在实验过程中，我们比较了DET-DyAGCN与其他多种方法的分类效果。这些方法包括传统的基于距离和特征的方法，以及近年来在深度学习领域取得较好效果的模型。实验结果表明，DET-DyAGCN在多个数据集上均表现出优越的分类性能，尤其是在处理高维数据和复杂变量关系时，其性能显著优于其他方法。此外，通过可视化分析，我们能够更直观地理解模型在不同数据集上的表现，以及其如何捕捉变量间的隐含关系和时间序列的长期依赖。

### 结论与未来展望

本文提出了一种新的方法——DET-DyAGCN，用于解决多变量时间序列分类中的核心问题。该方法通过双嵌入机制融合变量和时间序列的表示，结合滑动窗口和混合池化层，有效捕捉变量间的隐含关系和时间序列的长期依赖。实验结果表明，DET-DyAGCN在多个基准数据集上均表现出优越的分类性能，特别是在处理高维数据和复杂变量关系时。此外，通过可视化分析，我们能够更直观地理解模型的工作原理和性能表现。

未来的研究方向可能包括进一步优化模型的结构，以适应更多样化的时间序列数据。例如，可以探索更复杂的嵌入机制，以捕捉更丰富的变量关系。此外，还可以研究如何将DET-DyAGCN与其他先进的深度学习方法相结合，以提升模型的整体性能。另外，如何在实际应用中提高模型的可解释性也是一个值得深入研究的问题。通过引入更透明的特征提取和建模机制，可以更好地理解模型的决策过程，从而提升其在实际场景中的应用价值。

总之，DET-DyAGCN为多变量时间序列分类提供了一种新的解决方案，通过融合变量和时间序列的表示，结合滑动窗口和混合池化层，有效捕捉变量间的隐含关系和时间序列的长期依赖。该方法在多个基准数据集上的实验结果表明，其在分类性能上具有显著优势，为未来的多变量时间序列分析提供了新的思路和方法。