
-
生物通官微
陪你抓住生命科技
跳动的脉搏
VFF-Net:基于前向-前向算法的卷积神经网络进化及其在计算视觉中的突破性应用
【字体: 大 中 小 】 时间:2025年06月17日 来源:Neural Networks 6.0
编辑推荐:
本研究针对反向传播(BP)算法存在的梯度消失/爆炸、过拟合及计算锁定等问题,创新性地提出视觉前向-前向网络(VFF-Net)。通过标签噪声标记(LWNL)、余弦相似度对比损失(CSCL)和层分组(LG)三大技术,成功将前向-前向算法(FFN)拓展至卷积神经网络(CNN),在CIFAR-10/100和MNIST数据集上分别实现最高8.31%和1.70%的错误率提升,为深度学习模型训练提供了BP替代方案。
在深度学习领域,反向传播(Backpropagation, BP)算法长期占据主导地位,但其固有缺陷如梯度消失/爆炸(Vanishing/Exploding Gradients)、过拟合(Overfitting)和计算锁定(Update Locking)始终制约着模型性能。近年来,Hinton提出的前向-前向网络(Forward-Forward Network, FFN)通过基于"Goodness"的贪婪算法规避了BP的缺陷,然而其在卷积神经网络(Convolutional Neural Network, CNN)中的应用仍面临三大挑战:空间信息丢失、输入图像信息损失以及深层网络优化困难。
针对这些瓶颈,来自韩国的研究团队在《Neural Networks》发表了突破性研究。他们开发的视觉前向-前向网络(VFF-Net)通过三大创新技术实现了FFN在CNN架构的完美适配:1) 标签噪声标记(Label-Wise Noise Labeling, LWNL)技术避免传统标签覆盖导致的像素信息损失;2) 专为卷积层设计的余弦相似度对比损失(Cosine-Similarity-based Contrastive Loss, CSCL)有效保留空间维度特征;3) 层分组(Layer Grouping, LG)策略通过通道数相同的层分组优化训练过程。
关键技术方法包括:采用CIFAR-10/100和MNIST基准数据集验证性能;在四层卷积网络架构上对比传统FFN;通过预训练ResNet18/34/50模型验证迁移学习能力;使用PyTorch框架实现余弦相似度计算和层间特征对比。
研究结果
架构设计:VFF-Net创新性地将原始图像、正样本(添加类特定噪声)和负样本(添加异类噪声)三路数据流结合,通过CSCL计算4维卷积特征的余弦相似度,显著提升空间特征区分度。
性能突破:在CIFAR-10数据集上,四层CNN架构的测试错误率较传统FFN降低8.31%;全连接(FC)版VFF-Net在MNIST上达到1.70%错误率,超越BP基准。ResNet系列模型的迁移实验证实其泛化能力。
机制解析:LWNL通过类条件噪声生成避免像素覆盖,使输入信息保留率提升92%;CSCL将传统Goodness函数改进为特征图间对比学习,空间特征利用率提高3.8倍;LG策略减少需优化的极小值数量,加速收敛达40%。
结论与意义
该研究首次实现FFN在CNN架构的性能超越,通过LWNL-CSCL-LG技术三元组解决信息保留、特征优化和训练效率三大核心问题。VFF-Net不仅为BP替代方案提供实证案例,其模块化设计更可直接嵌入ResNet等主流架构。特别值得注意的是,该方法在保持FFN并行训练优势的同时,首次在深层CNN实现超越BP的精度,为生物医学图像分析等需要可解释性的领域开辟新途径。研究团队强调,VFF-Net的层间独立训练机制可能为神经科学中的局部学习理论(Local Learning)提供计算模型支持。
生物通微信公众号
知名企业招聘