基于双 4D 雷达的多模态自动驾驶数据集：突破感知局限，助力智能出行

为解决 4D 雷达研究难题，研究人员构建多模态数据集，分析其性能，推动自动驾驶技术发展。

　　### 自动驾驶领域的感知困境与新突破
在自动驾驶的 “智能世界” 里，环境感知就像是车辆的 “眼睛” 和 “大脑”，它能及时发现那些影响驾驶安全的外部事物，为后续的决策和控制提供关键依据，是自动驾驶技术的核心环节。近年来，随着传感器和计算机算力的飞速发展，摄像头、激光雷达（LiDAR）和雷达等传感器，都在自动驾驶领域 “各显神通”。

摄像头分辨率高，能提供真实的 RGB 信息，还能捕捉丰富的语义特征，比如颜色、类别和形状。但它也有 “软肋”，在光线变化快或光线弱的情况下，就 “力不从心” 了。而且单目摄像头无法精准获取距离信息，多摄像头或鱼眼摄像头又存在明显的镜头畸变问题。LiDAR 能收集密集的 3D 点云数据，精度高、密度大。可当车辆高速行驶时，LiDAR 机械全视角旋转采集数据，会导致点云失真。并且在恶劣天气下，LiDAR 依赖光学信号采集点云的特性，让它的性能大打折扣。

雷达凭借体积小、成本低、能全天候工作、具备高速测量能力和高距离分辨率等优势，在自动驾驶领域 “崭露头角”。尤其是 4D 雷达，相比传统 3D 雷达，它增加了物体高度维度，能提供更密集的点云数据和更多方位角信息，在复杂驾驶场景中优势明显。不过，4D 雷达也有自己的 “短板”，其点云稀疏，收集的信息比 LiDAR 少，存在漏检物体的风险。

目前，各类 4D 雷达在科研中广泛应用，不同工作模式下，其分辨率、点云密度和采集范围都有所不同。但现有的自动驾驶数据集，大多只研究一种 4D 雷达，缺乏对不同点云密度和噪声水平的 4D 雷达的对比分析，也缺少能处理不同类型 4D 雷达的感知算法研究。

为了填补这些空白，清华大学、北京理工大学等多家机构的研究人员携手开展研究，相关成果发表在《Scientific Data》上。

关键技术方法

研究人员为自动驾驶车辆配备了高分辨率摄像头、新型 80 线 LiDAR 以及两种 4D 雷达（ARS548 RDI 和 Arbe Phoenix）。通过离线校准的方式，完成摄像头 - LiDAR、摄像头 - 4D 雷达的联合校准，并利用硬件同步设备实现不同传感器的时间同步。

在数据集标注方面，研究人员基于摄像头和 LiDAR 点云，为每个物体提供 3D 边界框、物体标签和跟踪 ID，还给出了物体的相对坐标、绝对尺寸、方位角等信息。为验证数据集性能，研究人员选用基于 Ubuntu 18.04 系统的服务器作为硬件平台，采用基于 Pytorch 10.2 的 OpenPCDet 项目，以多个单模态和多模态基线模型进行实验。

研究结果

1. 数据集概况：该数据集包含 151 个连续时间序列，多数序列时长 20 秒，共有 10,007 个同步且标注的帧，以及 103,272 个高质量标注物体。数据涵盖多种具有挑战性的驾驶场景，如不同的道路状况（城市和隧道）、天气条件（晴天、多云、恶劣天气）、光照强度（正常光和背光）和时间段（白天、黄昏、夜晚）。
2. 数据统计分析：从标注物体类别来看，“汽车”“行人” 和 “自行车” 占比超四分之三。在距离方面，多数标注物体位于距车辆 20 - 60 米范围内，约 10% 的物体距离超过 60 米。分析点云数量可知，LiDAR 每帧通常有 110K - 120K 个点，Arbe Phoenix 雷达每帧有 6K - 14K 个点，ARS548 RDI 雷达每帧有 400 - 650 个点。
3. 模型检测实验结果：单模型实验中，LiDAR 点云检测效果出色，4D 雷达点云仍有提升空间。如 CasA - V 模型在 BEV 视图下，使用 LiDAR 点云对 “汽车”“行人”“自行车” 的检测准确率较高；而使用 4D 雷达点云时，检测准确率较低。不过，Arbe Phoenix 雷达点云在检测大型金属物体 “汽车” 时表现较好，ARS548 RDI 雷达点云在检测 “自行车” 时更具优势。

多模态实验中，M2 - Fusion 模型融合 LiDAR 和 4D 雷达数据后，对 “汽车” 类别的检测性能显著提升。VFF 模型将摄像头图像与 LiDAR 点云融合，在 “汽车” 类别的检测中，效果优于多数单模态基线模型。

在恶劣天气条件下，4D 雷达在 “汽车” 类别检测上表现优于 LiDAR，但在 “自行车” 和 “行人” 类别检测中未取得理想结果。不同 4D 雷达在恶劣天气下性能表现各异，为后续研究提供了数据支持。

研究结论与意义

研究人员构建的多模态数据集，包含两种 4D 雷达点云、摄像头数据和 LiDAR 点云，为研究不同类型 4D 雷达数据性能、开发相关感知算法以及探索单模态和多模态融合任务提供了有力支撑。通过对不同场景下 4D 雷达性能的分析，发现了不同 4D 雷达点云的特点和优势，为自动驾驶在复杂环境下的应用提供了更可靠的数据依据。

该数据集涵盖多种复杂场景，有助于研究人员深入了解 4D 雷达在不同条件下的表现，推动自动驾驶技术在复杂环境中的应用和发展。同时，研究结果也为开发能处理不同类型 4D 雷达点云的感知算法提供了重要参考，对提升自动驾驶系统的安全性和智能性具有重要意义。