
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于伪排练的表格数据分类方法:克服灾难性遗忘的增量终身学习框架TRIL3
【字体: 大 中 小 】 时间:2025年05月19日 来源:Engineering Applications of Artificial Intelligence 7.5
编辑推荐:
针对表格数据分类中灾难性遗忘(Catastrophic Forgetting)的挑战,研究人员提出了一种基于伪排练(Pseudorehearsal)的增量终身学习框架TRIL3。该框架结合增量学习向量量化(XuILVQ)和深度神经决策森林(DNDF),通过生成50%合成数据实现知识保留,在非稳态数据流中表现优于现有方法,为医疗诊断和工业控制等领域的在线学习提供了新思路。
在人工智能领域,持续学习(Continual Learning, CL)系统面临着一个根本性挑战:当模型不断学习新知识时,往往会迅速遗忘先前掌握的信息,这种现象被称为"灾难性遗忘"(Catastrophic Forgetting)。这一问题在医疗诊断、工业制造等动态数据场景中尤为突出,因为这些领域的模型需要持续适应新出现的疾病变体或设备配置,同时保持对已有知识的准确判断。尽管现有研究提出了动态架构、正则化等技术,但多数方案仅适用于图像数据,且依赖任务边界定义,难以应对现实世界中无明确任务划分的表格数据流。
针对这一空白,研究人员开发了TRIL3框架——首个专门针对表格数据的伪排练增量终身学习方法。该框架创新性地将增量学习向量量化算法(XuILVQ)作为原型生成器,与改进的深度神经决策森林(DNDF)分类器结合,通过动态生成合成数据来平衡新旧知识。实验证明,仅需50%的合成数据即可在CICIDS-2017网络入侵检测、糖尿病再入院预测等数据集上超越传统批训练方法,相关成果发表在《Engineering Applications of Artificial Intelligence》。
关键技术包括:(1)XuILVQ算法实时更新原型集,通过距离阈值机制自动识别新数据分布;(2)改进的DNDF支持增量训练,利用随机梯度下降进行参数更新;(3)标准化数据流处理模块确保特征一致性。研究采用CICIDS-2017、糖尿病电子病历等真实数据集验证性能,通过刻意"遗忘阶段"测试模型鲁棒性。
研究结果显示:在CICIDS-2017数据集上,TRIL3在遗忘阶段仍保持0.99的F1分数,与离线训练相当;对于不平衡的糖尿病数据集,其分类性能(F1=0.52)显著优于传统回放策略(0.44)。通过UMAP可视化证实,XuILVQ生成的原型能精确捕捉原始数据分布特征,如网络攻击检测中仅用80个原型即可表征复杂模式。
与现有方法对比发现:在信用卡违约预测任务中,TRIL3(50%合成数据)的F1达0.55,而基于缓冲区的回放方法仅0.45。值得注意的是,当合成数据比例降至37.5%时,模型在葡萄酒分类中仍保持0.98召回率,证明其样本效率优势。但研究也发现,对于小样本数据集(如葡萄酒质量),传统MLP网络表现更优。
结论部分强调,TRIL3首次实现了表格数据流的任务无关(task-free)持续学习,其核心突破在于:(1)XuILVQ的在线原型生成机制避免了数据存储的隐私风险;(2)动态调整的合成数据比例(50%为最优)平衡了记忆与计算成本;(3)在概念漂移(Concept Drift)场景下,性能较静态模型提升达32%。该框架为医疗监测、金融风控等需要实时适应数据变化的领域提供了可扩展解决方案,未来研究将扩展至多分类和时间序列场景。
生物通微信公众号
知名企业招聘