迈向可塑且稳定的增量学习：一种基于累积参数平均的双学习者框架

《Pattern Recognition》：Towards Plastic and Stable Incremental Learning: A Dual-Learner Framework with Cumulative Parameter Averaging

本文提出一种基于双学习器和累积参数平均的增量学习方法（DLCPA），有效解决传统单任务学习（STL）模型存储线性增长的问题。通过逐次初始化和参数平均，DLCPA实现多任务知识整合，在CIFAR-100、Tiny-ImageNet等数据集上显著优于现有基线，平衡了柔韧性与稳定性。

　　
在开放世界应用场景中，增量学习（Incremental Learning, IL）需要在不访问历史数据的前提下实现持续学习能力。针对这一核心挑战，研究人员提出了多种解决方案，但普遍存在两个关键矛盾：模型存储复杂度与知识保持能力的平衡，以及新任务学习与旧知识保留的动态协调。本文通过系统性研究揭示了参数空间平均技术的深层潜力，并在此基础上构建了双学习者协同框架，为解决增量学习中的可塑性与稳定性平衡问题提供了创新思路。

传统增量学习方法主要分为三类：记忆存储型、正则约束型和参数隔离型。记忆存储型方法需要保存大量历史样本，存在存储瓶颈；正则约束型方法通过设计复杂的损失函数来抑制知识漂移，计算成本较高；参数隔离型方法（如单任务学习STL）虽然能有效防止灾难性遗忘，但模型参数线性增长导致存储需求指数级膨胀。本文通过实证研究发现，当采用顺序初始化策略时，不同任务模型在参数空间中的分布存在显著关联性，这种特性为知识融合提供了新可能。

研究团队首先通过可视化分析揭示了关键规律：采用逐任务顺序初始化后，不同任务模型在损失曲面上的分布从分散状态转变为紧密关联。这种变化使得参数平均技术不再停留在理论层面，而是获得了实际应用价值。如图1(b)所示，当每个新任务模型都基于前序任务模型进行初始化时，所有模型最终都会收敛到同一区域，形成连续的参数空间。这种特性使得简单的参数平均能够有效整合不同任务的知识。

基于这一发现，研究团队构建了双学习者协同框架（Dual-Learner framework with Cumulative Parameter Averaging, DLCPA）。该框架的核心创新在于将增量学习过程解耦为两个并行支路：塑料学习器负责快速吸收新任务知识，稳定学习器则持续整合所有已学知识。具体实现包含三个协同模块：

1. **动态知识整合机制**：通过参数平均技术，稳定学习器持续融合所有历史任务模型。这种设计既避免了传统STL模型存储的线性增长问题，又通过参数空间平均实现了知识迁移。特别地，采用递进式初始化策略（每次新任务模型都以上次模型为起点）可有效保证参数空间连续性。

2. **双通道学习架构**：
- 塑料学习器采用自监督预训练结合任务监督的混合学习策略，快速适应新任务。这种设计在保证学习效率的同时，通过自监督模块提取通用表征。
- 稳定学习器通过参数平均持续积累知识，其结构参数保持固定，仅权重进行渐进式更新。这种分离式设计使得新任务学习不会破坏既有知识体系。

3. **协同优化过程**：系统采用循环交替优化策略，每个周期包含三个阶段：
(1) 塑料学习器通过监督学习更新特征提取器
(2) 稳定学习器执行参数平均操作，吸收新任务知识
(3) 任务特定分类器与稳定学习器进行特征校准
这种迭代过程确保了新旧知识在参数空间中的平滑过渡，并通过特征对齐机制维持分类器准确性。

实验验证部分采用四个标准数据集（CIFAR-100、Tiny-ImageNet、Sub-ImageNet、5-Datasets）进行对比测试。在任务增量（Task-IL）场景下，DLCPA较传统STL方法减少模型数量80%，同时保持98%以上的准确率；在类增量（Class-IL）场景中，其性能提升幅度达35%。特别值得注意的是，当任务数量超过20个时，参数平均策略仍能保持稳定性能，这有效解决了传统方法中的存储瓶颈问题。

该框架的理论突破体现在三个方面：首先，揭示了顺序初始化与参数空间连续性的内在关联；其次，证明了参数平均在任务维度上的可行性；最后，建立了双学习者协同更新的数学表征模型。实验数据显示，在5-Datasets跨领域数据集上，DLCPA的Top-1准确率达到89.7%，较最优基线提升4.2个百分点，验证了其在复杂场景下的泛化能力。

研究团队同时指出了当前方法的局限性：参数平均策略在任务边界模糊时可能出现知识干扰，且当前的离线更新机制难以适应实时在线学习场景。未来工作计划包括开发动态权重调整算法、引入在线参数平均技术，以及探索多模态增量学习等方向。

该研究为解决增量学习中的可塑性与稳定性矛盾提供了新的方法论。通过构建双学习者协同框架，不仅实现了存储复杂度的指数级降低，更在CIFAR-100等基准数据集上验证了参数平均技术的有效性。这种将传统参数平均思想与现代增量学习结合的创新尝试，为后续研究开辟了新的技术路径，特别是在大规模多任务场景中的应用潜力值得关注。