基于改进深度Q网络算法的仿生机器鱼洋流路径规划研究

本文提出一种改进的深度Q网络(DQN)算法，通过动态集成奖励机制和双步动作选择策略，解决仿生机器鱼(BRF)在三维复杂洋流环境中的多目标路径规划问题。算法创新性地引入动态双学习率机制，结合元梯度下降与Adam优化方法，显著提升了模型在未知环境中的泛化能力。研究为水下资源勘探、电缆检测等任务提供了高效路径规划方案。

　　

亮点章节

仿生机器鱼路径规划问题描述

仿生机器鱼(BRF)路径规划的核心目标是在水下三维环境中寻找避开地形障碍的最优路径。实际应用中，复杂地形与动态洋流会显著影响BRF的航行性能。为完成不同任务，规划路径需有效规避障碍，并通过设计策略消除、减弱或利用洋流影响（Tian等，2022c）。

仿生机器鱼路径规划优化模型

BRF路径规划优化模型表述为：

min f(X,Y,Z,U_c) = ω₁L + ω₂T + ω₃S

其中f为路径规划目标函数；L表示洋流干扰下的路径长度；T为航行时间；S代表路径平滑度；X,Y,Z为决策变量矩阵，包含系列路径坐标点；U_c为洋流矢量；ω_1-3为权重系数。

仿生机器鱼路径规划算法

本节首先阐述深度Q网络(DQN)算法原理，随后详细提出针对BRF的改进DQN算法。通过动态双学习率设计，在超参数和模型参数两个层面优化学习率，增强算法在动态洋流环境中的适应性。

结果讨论

为验证算法性能，建立包含随机障碍物、起始位置和动态洋流（通过公式2生成）的三维仿真环境。经过2000次训练周期后，在多种测试场景中评估表明：改进DQN算法在路径长度缩短12.7%的同时，能耗降低19.3%，且对未知环境表现出强泛化能力。

结论

本研究提出的改进DQN算法创新性地将洋流信息纳入状态空间，通过动态集成奖励机制平衡多目标优化。双步动作选择策略早期采用Boltzmann策略避免早熟收敛，后期结合ε-greedy策略高效利用已知信息，为复杂洋流环境下的BRF任务提供了可靠路径规划方案。