基于事件触发深度强化学习的层次化无人机自主导航算法

《IEEE Transactions on Vehicular Technology》：Hierarchical UAV Autonomous Navigation Algorithm Based on Event-Triggered Deep Reinforcement Learning

针对未知环境中无人机自主导航的挑战，提出分层导航框架，结合事件触发DRL生成局部目标，传统规划确保路径平滑可行，实验验证有效性。

　　

摘要：

在未知环境中，实现无人驾驶飞行器（UAV）的自主导航是一项复杂的任务。确保UAV安全高效地到达目的地仍然是一个关键挑战。当障碍物密集分布时，传统的运动规划算法由于问题复杂性的增加而难以找到可行的解决方案。基于深度强化学习（DRL）的导航策略以其泛化能力和鲁棒性而闻名。然而，通过端到端强化学习（RL）方法生成的轨迹往往缺乏平滑性，可能不符合UAV的动态可行性要求。本研究提出了一种分层导航框架，将事件触发的深度强化学习与传统运动规划技术相结合。在该框架中，DRL模块接收原始传感器输入以生成局部目标，而低级别的经典规划器确保通往这些目标的路径是平滑且无碰撞的。事件触发的循环软价值梯度（RSVG）算法仅在检测到障碍物时才激活目标生成，从而优化计算效率并提高实时决策能力。在随机放置静态障碍物的模拟环境中进行了大量实验，以验证所提出框架的有效性。

引言

在过去的几十年里，由于自主无人驾驶飞行器（UAV）具有敏捷性、轻量化结构以及多功能性，特别是在应急响应和物流等应用中，它们已成为不可或缺的工具[1]、[2]、[3]、[4]。智能UAV越来越多地被用于替代人类执行危险任务，这使得自主导航成为执行多样化任务的基本要求。传统的自主导航系统包括定位、全局路径规划和局部路径优化等模块，这些模块依赖于传感器数据来预测状态并做出导航决策。然而，这些方法通常需要预定义的环境设置，而构建详细的地图可能需要大量的计算资源。因此，开发具有更强适应复杂环境能力的无地图运动规划算法变得至关重要。与依赖环境先验知识的传统运动规划方法不同，深度强化学习（DRL）允许UAV通过与环境的直接交互来学习导航策略，从而在未知和动态场景中实现实时决策。DRL可以自然地处理避障、目标优先级排序和运动学约束，而无需手动设计的规则。