面向复数神经网络的自适应学习率优化方法研究及其在通信信号处理中的应用

《IEEE Transactions on Neural Networks and Learning Systems》：Adaptive Learning Rate Methods for Complex-Valued Neural Networks

本文针对复数神经网络（CVNNs）在优化算法方面落后于实数神经网络（RVNNs）的问题，系统性地将AdaGrad、RMSProp、AdaMax、AMSGrad、SAMSGrad、Nadam和DiffGrad等经典自适应学习率优化器扩展至复数域，提出了CvAdaGrad、CvRMSProp等七种新型复数优化器。研究通过信道均衡和波束成形两大通信任务验证了所提方法的有效性，结果表明经复数域修正的优化器能显著提升CVNNs的收敛性能和稳态均方误差（MSE），为复数信号处理任务提供了更高效的训练工具。

　　

在数字信号处理领域，人工神经网络（ANNs）已成为关键技术工具。其中，复数神经网络（CVNNs）因其能直接处理复数域信号（如通信系统中的I/Q信号），在图像处理和电信领域受到广泛关注。与实数神经网络（RVNNs）相比，CVNNs通常具有更高的精度和更快的收敛速度。然而，尽管CVNNs在多个应用中表现出优越性能，其在学习技术和启发式方法方面仍落后于RVNNs。特别是在优化算法层面，许多研究直接套用RVNNs的优化器（如Adam），却忽略了复数域中梯度运算的特殊性——未经修正的优化器会引入不必要的相位变化，从而损害训练效果。因此，如何为CVNNs量身定制有效的自适应学习率方法，成为亟待解决的问题。本研究旨在填补这一空白，相关成果发表于《IEEE Transactions on Neural Networks and Learning Systems》。

为系统评估优化器性能，研究团队选取了信道均衡（基于Cha和Kassam数据集）和多用户多输入多输出（MU-MIMO）波束成形两大经典复数信号处理任务作为验证平台。研究对比了包括经典随机梯度下降（SGD）在内的共17种优化器（7种为本文新提出）在四种CVNN架构（C-RBF、PT-RBF、CVFNN、SCFNN）上的表现。关键方法包括：1）采用分裂复数方法（Split-Complex Approach）处理复数参数的实部和虚部，确保梯度更新中的相位稳定性；2）对于需要二阶矩估计的优化器（如CvAdam），在计算梯度平方时引入绝对值运算（|·|）以避免相位扰动；3）针对不同CVNN架构（如包含实值方差参数的RBF网络）独立调整学习率（η）；4）通过均方误差（MSE）收敛曲线和稳态误差定量评估性能；5）详细分析了各优化器的计算复杂度（以实数乘法和加法次数衡量）。

优化器性能对比分析

在信道均衡任务中，直接使用未修正的RVNNs优化器会导致CVNNs性能显著下降。例如，DiffGrad在RBF类CVNNs上修正后的稳态MSE改善了3-9 dB，而在感知机类CVNNs上改善幅度达20-25 dB。对比所有修正后的优化器，AdaGrad类方法（AdaGrad、CvAdaGrad）表现最差，而Nadam在多数架构上取得最优稳态MSE。在更复杂的MU-MIMO波束成形任务中，SGD表现不佳，而自适应优化器（尤其是AdaMax、CvAdaMax和CvSAMSGrad）在收敛速度和稳态误差方面均优于SGD。计算复杂度分析表明，CvAMSGrad在误差性能和计算开销间取得了较好平衡，其复杂度约为SGD的2.5倍；而最复杂的CvDiffGrad复杂度是SGD的10倍。

复数域修正的关键作用

研究通过对比修正前后优化器的MSE曲线，验证了复数域修正的必要性。对于依赖二阶矩的优化器（如Adam、RMSProp），在复数域中直接使用梯度平方项（[?_θ J(θ[n-1])]²）会引入相位偏移（∠m₂[n]），违背其控制更新幅度的初衷。本文提出的分裂复数方法将实部和虚部分开处理（如算法1第4-5行），确保了学习率调整仅影响幅度而不扰乱相位。此外，像CvAdaMax这类基于无穷范数的优化器，因其不依赖二阶矩，可更直接地应用于复数域。

不同CVNN架构的适应性

实验结果还显示，优化器的性能表现与CVNN架构密切相关。RBF类网络（C-RBF、PT-RBF）由于高斯核函数对噪声的天然鲁棒性，其收敛曲线更为平滑。而感知机类网络（CVFNN、SCFNN）在某些优化器（如Nadam、Adam）辅助下能达到更低的稳态MSE，但对优化器修正更为敏感。这表明优化器的选择需结合具体网络结构。

本研究系统地将多种自适应学习率优化器成功扩展至复数域，并详细阐述了其实现细节与计算复杂度。核心结论在于，针对CVNNs的优化器必须进行复数域特异性修正（尤其是二阶矩处理），直接套用RVNNs优化器会因相位问题导致性能劣化。在信道均衡和波束成形任务上的实验证明，经修正的优化器（如CvAMSGrad、CvSAMSGrad）能显著提升CVNNs的收敛速度和精度。这项工作不仅为CVNNs提供了可靠的优化工具，其提出的分裂复数框架也为后续复数域优化算法的设计奠定了理论基础，对推动CVNNs在实时通信系统等复杂信号处理场景中的应用具有重要意义。