感知流梯度对自主水下导航学习的必要性研究及其深远意义

为解决水下机器人在复杂水流环境中自主导航的难题，研究人员开展 “感知流梯度对自主水下导航学习的必要性” 主题研究。结果表明，学习水下导航需感知局部流速和流梯度，且以机器人为中心的策略具有优势。这为水下机器人设计等提供指导。

　　在神秘深邃的海洋世界里，水下机器人就像是勇敢的探索者，肩负着海洋监测、探索未知等重要使命。然而，它们在执行任务时却困难重重。全球定位信号在深海中难以获取，复杂多变的水流就像一个个无形的陷阱，让机器人的行动充满挑战。传统的导航方法，比如依赖全局流场信息的规划方式，在实际应用中常常 “碰壁”，因为这些信息在水下环境中很难完整获得。在这样的困境下，如何让水下机器人实现高效、自主的导航，成为了亟待解决的关键问题。

为了攻克这一难题，美国南加州大学（University of Southern California）的研究人员展开了深入研究。他们聚焦于以机器人为中心的学习模式，探索在没有外部参考框架的情况下，机器人能否仅依靠自身传感器收集的信息进行水下导航。经过一系列严谨的实验和分析，研究得出了重要结论：感知局部流速（local flow velocities）对于以地理中心（geocentric）为参考的导航来说是足够的，但成功的以自我为中心（egocentric）的导航则需要额外获取局部流梯度（local flow gradients）信息。而且，以自我为中心的导航策略具有旋转对称性，在不熟悉的环境和水流中表现出更强的鲁棒性。这一研究成果发表在《Nature Communications》上，为水下机器人导航领域带来了新的曙光。

研究人员在开展研究时，运用了多种关键技术方法。首先，利用计算流体动力学（CFD）模拟和简化的 von Kármán 涡街（VS）模型，构建了不同的水流环境。然后，采用无模型深度强化学习（Model-free deep reinforcement learning）算法，训练人工游泳者（artificial swimmer）在这些环境中学习导航策略。通过大量的训练和测试，评估不同策略的性能。

研究结果主要分为以下几个方面：

1. 区分以自我为中心和以地理中心的观察：以地理中心的学习依赖惯性参考系中的观察，需要知道自身朝向等信息；而以自我为中心的观察直接在自身坐标系中进行，无需这些信息。研究通过对比两者在获取观察信息的方式和所需条件，明确了它们的差异。
2. 以自我为中心的学习需要感知流梯度：实验表明，仅依靠局部流速观察，以自我为中心的导航学习无法成功；而当增加感知横向或纵向流梯度的能力时，策略能够收敛并取得与以地理中心导航相似的高奖励。在不同的水流模型中进行的实验都验证了这一结论。
3. RL 策略向不熟悉的水流环境转移：研究测试了以地理中心和以自我为中心的策略在不同水流环境下的适应性。结果发现，以自我为中心的策略对整个流场的旋转具有不变性，在不熟悉的水流环境中表现更优。同时，两种策略在不同雷诺数（Reynolds number, Re）的水流中都有一定的适应性，但在高雷诺数下，由于水流稳定性变化，性能都会下降。
4. RL 策略向训练期间未见过的条件转移：在面对训练中未遇到的新条件时，以自我为中心的导航器表现出更好的鲁棒性。例如，在目标上游位置，以自我为中心的策略能够尝试重新进入尾流寻找目标，而以地理中心的策略则失败。但在目标下游较远位置，两者都会失败。
5. 解释水下 RL 策略：通过动力学系统理论分析，发现以自我为中心的策略在目标上游具有多个偏好方向，增加了采取正确行动的机会；而在下游，其多个偏好方向会导致决策混乱，性能下降。
6. 扩展训练条件：研究发现，扩大训练域可能导致机器人陷入局部最优解，反而降低导航性能。同时，限制目标位置观察信息为角度信息时，虽然在训练域内性能下降，但在未见过的位置泛化性更好。

研究结论和讨论部分强调了该研究的重要意义。从机器人系统角度看，研究证明了以机器人为中心的水下导航学习的可行性，为未来水下机器人的设计和控制策略提供了物理层面的指导，有助于实现更高效、自主的水下导航。从生物系统角度出发，研究结果有助于解释水生生物拥有检测流梯度的传感器阵列的原因，为探索生物与环境的相互作用提供了新的视角。此外，研究还为在动态变化的物理环境中开展学习研究开辟了新方向，为缩小模拟与现实环境之间的差距提供了系统分析方法，在生命科学和机器人学等多领域都具有重要的应用价值。