基于雷达-相机双模态动态融合与知识蒸馏的自动驾驶三维感知框架D3PD研究

本文提出创新性D3PD框架，通过雷达-相机特征增强（RCFE）模块与双蒸馏知识迁移（CRSD/SamD/DcRD/SMFD）技术，解决现有BEV（鸟瞰图）多模态融合中动态感知缺失问题。实验表明，该框架在nuScenes数据集实现49.6% mAP与59.2% NDS的SOTA性能，为低成本自动驾驶感知系统提供新范式。

　　

亮点

我们提出D³PD框架，通过融合雷达-相机数据与知识蒸馏技术，攻克现有方法在动态环境感知中的关键瓶颈。该框架在nuScenes基准测试中实现49.6% mAP和59.2% NDS的突破性表现，其创新设计为多模态感知网络提供全新解决方案。

核心架构

雷达-相机特征增强模块(RCFE)

采用双向增强策略P-Aug/C-Aug，结合动态采样技术优化BEV空间特征分布。该模块显著提升单模态特征在目标感知中的薄弱环节，使稀疏雷达数据与密集图像特征产生协同增强效应。

双蒸馏知识迁移

包含四大创新子模块：

1. 1.

   相机雷达稀疏蒸馏(CRSD)：通过师生网络对齐实现稀疏特征迁移

2. 2.

   位置引导采样蒸馏(SamD)：动态采样机制精炼融合特征知识

3. 3.

   检测约束结果蒸馏(DcRD)：强化前向传播中的空间位置关联性

4. 4.

   自学习掩膜聚焦蒸馏(SMFD)：通过自注意力机制锁定关键区域

实验验证

在nuScenes数据集测试中，学生检测器mAP提升1.7%，NDS提高2%。在占据预测任务中，D³PD-Occ以37.94% mIoU刷新性能记录，证实框架在复杂场景下的优越泛化能力。

结论

D³PD开创性地将动态特征融合与多层次蒸馏相结合，为自动驾驶感知系统提供高性价比解决方案。其模块化设计思想对多模态3D检测与占据预测网络具有普适指导意义。