上海交大秦通团队基于量产车辆数据集重建3D街景

　　

上海交通大学智能网联电动汽车创新中心秦通老师团队在智能驾驶领域顶刊IEEE Transactions on Intelligent Transportation Systems (T-ITS)上发表题为“Crowd-Sourced NeRF: Collecting Data From Production Vehicles for 3D Street View Reconstruction” 的研究论文。文章提出将众包方式收集的量产车辆图像与NeRF模型相结合，解决大规模3D场景重建数据难题。

3D场景重建是个长期研究热点，传统的Structure-from-Motion (SfM) 方法能够从多角度拍摄的2D图像中重建3D模型，但是忽略了逼真的纹理渲染。近年来，Neural Radiance Fields (NeRF) 作为一种基于学习的方法，通过隐式表示场景在新颖视角合成方面取得了显著成果，能够实现高保真度和逼真的图像合成。然而，NeRF在大规模城市建模中受限于数据收集的可扩展性和成本。Block-NeRF提出将城市划分为多个小块以扩展NeRF，但它依赖于配备高分辨率相机和精密定位硬件的专业车辆收集的数据，这使它在广泛城市环境中的扩展性受限。

为综合解决上述问题，本文提出了一种众包框架（CS-NeRF），利用量产车辆获取的大量数据来重建NeRF模型的场景。这个框架解决了大规模重建中数据来源及其使用方法的关键问题。文章首先对众包数据进行过滤，去除冗余并保持时空分布的平衡。然后执行从运动中恢复结构的模块来优化相机姿态。最终，使用这些图像和姿态来训练特定区块中的NeRF模型。

文章还提出了三个改进点：序列外观嵌入、地面表面深度监督和遮挡完成。通过大量众包数据的实验，验证了所提出系统的性能。此外，文章还提出了一个名为“首次视角导航”的应用，利用NeRF模型生成3D街景，并用合成视频指导驾驶员，为驾驶员带来了全新体验，丰富了智能车辆应用的范畴。

文章的贡献包括提出了一个综合框架，有效处理和从众包数据重建高质量的3D场景，以及提出的改进措施和在真实世界场景中应用NeRF模型的案例。

秦通，上海交通大学溥渊未来技术学院，长聘教轨副教授。博士毕业于香港科技大学电子及计算机工程系，曾任职华为车BU，致力于自动驾驶感知、地图、定位等方面研究。秦通被评选为华为公司首届“天才少年”。他在担任华为车BU感知SLAM技术专家期间，参与研发华为ADS智能驾驶系统，贡献了业界领先的智能驾驶方案，并在多款车型上实现了规模化商用。近年来以第一/通讯作者身份在TRO、JFR、RAL、ICRA等机器人领域顶级期刊和会议上发表高质量论文十余篇。曾获得IROS2018最佳学生论文奖和TRO最佳论文提名奖。

文章信息：T. Qin et al., "Crowd-Sourced NeRF: Collecting Data From Production Vehicles for 3D Street View Reconstruction," in IEEE Transactions on Intelligent Transportation Systems, doi: 10.1109/TITS.2024.3415394.

论文链接：https://ieeexplore.ieee.org/document/10570371

作者：

智能网联电动汽车创新中心

供稿单位：

溥渊未来技术学院