SOLAS 1.1：面向计算机视觉的汽车光学仿真——聚焦偏差对目标检测性能的影响与补偿研究

《IEEE Open Journal of Vehicular Technology》：SOLAS 1.1: Automotive Optical Simulation in Computer Vision

为解决实际车载相机因制造公差导致的焦点偏移与计算机视觉模型训练数据域不匹配问题，研究人员开展了基于光学仿真的汽车视觉感知鲁棒性研究。他们利用开源光线追踪库KrakenOS模拟了100°与150°视场的两种光学系统，在KITTI、Woodscape等四个公开数据集上生成九种离焦设置（Δz=±100μm），并系统评估了六种目标检测模型（如Align DETR、YOLOv11x）的性能变化。结果表明，离焦程度增大显著降低模型检测精度（mAP50:95），且Align DETR在轻微离焦（|Δz|≤20μm）下表现稳健，而YOLOv11x在极端离焦下更具鲁棒性。通过离焦增强训练，模型性能下降得以有效恢复，为自动驾驶感知系统的安全验证提供了重要仿真框架。

　　

在自动驾驶技术飞速发展的今天，车载摄像头如同汽车的“眼睛”，承担着感知周围环境的关键任务。然而，这些“眼睛”并非完美无缺。由于相机模块在生产过程中存在不可避免的制造公差，每个摄像头的实际焦点位置会与设计名义值产生微小但显著的偏差。这种看似微不足道的差异，却可能成为自动驾驶安全链条上的潜在薄弱环节。问题在于，当前用于训练感知模型的大规模数据集（如KITTI、Woodscape）通常仅由少数几台摄像头采集，且每台相机的焦点固定在一个设定值上。这意味着模型在学习过程中只“见识”过一种理想的、无偏差的焦点状态。当模型部署到成千上万辆配备着具有不同焦点偏差的摄像头的实车上时，就遭遇了所谓的“域不匹配”（Domain Mismatch）问题——模型在训练时见过的清晰世界与现实中可能有些模糊的世界存在差异，从而导致其感知性能下降，犹如一个习惯了佩戴精准度数眼镜的人，突然换上一副度数有偏差的眼镜，看东西自然会模糊不清。这种由光学缺陷引发的性能退化，在安全至上的自动驾驶领域是不可忽视的风险。

为了量化并应对这一挑战，由Daniel Jakab等多国学者组成的研究团队在《IEEE Open Journal of Vehicular Technology》上发表了题为“SOLAS 1.1: Automotive Optical Simulation in Computer Vision”的研究论文。他们开发了一套名为SOLAS（Superposition of Optical Lenses in Automotive Simulation，光学透镜在汽车仿真中的叠加）的创新仿真流程，旨在通过精确的光学模拟，揭示相机焦点偏差对目标检测模型的影响，并探索提升模型鲁棒性的方法。

研究人员为开展此项研究，主要运用了以下几项关键技术方法：首先，利用基于Python的开源光线追踪库KrakenOS进行光学系统建模与仿真，模拟了100°视场的Laikin镜头和150°视场的Sunex鱼眼镜头，并生成其在红（656 nm）、绿（588 nm）、蓝（486 nm）三个波长下的空间变化点扩散函数（Point Spread Function, PSF）网格（通常为9x7网格）。其次，将模拟得到的PSF与来自四个公开自动驾驶数据集（包括真实的KITTI和Woodscape，以及其对应的合成版本Virtual KITTI 2.0和Parallel Domain Woodscape）的测试集图像进行卷积操作，模拟出九种不同离焦量（Δz = [-100, -50, -20, -10, 0, +10, +20, +50, +100] μm）下的光学退化图像。最后，利用OpenMMLab工具包中的MMDetection框架以及YOLOv11架构，系统评估了六种主流目标检测模型（FCOS、YOLOv11x、Faster R-CNN、Cascade R-CNN、Deformable DETR、Align DETR）在这些退化图像上的性能表现（以mAP_50:95为指标），并对表现最佳的Align DETR模型进行了离焦数据增强训练，以验证性能恢复效果。

研究结果

KITTI数据集上的结果

在100° Laikin镜头模拟的离焦条件下，KITTI数据集的测试结果表明，所有六种目标检测模型的性能均随离焦量绝对值的增大而呈现下降趋势。值得注意的是，在轻微负离焦（Δz = -10μm, -20μm）位置，大多数模型的性能甚至略高于名义焦点（Δz=0μm），这可能与图像中心区域锐度变化对小物体检测的微妙影响有关。然而，在极端正离焦（Δz = +100μm）位置，所有模型均表现出最差的性能。在基线（未退化）测试中，Cascade R-CNN和Align DETR取得了最高的mAP_50:95（约68.3%-69.1%），但Align DETR在离焦条件下的性能下降相对平缓，显示出更好的鲁棒性，尽管在极端离焦时其性能会被YOLOv11x超越。

Virtual KITTI 2.0数据集上的结果

在合成数据Virtual KITTI 2.0上，由于数据量更大，模型整体基线性能高于真实KITTI数据。与KITTI类似，在Δz = -20μm处，除YOLOv11x外的大多数模型性能达到峰值。Align DETR在基线时取得了最高的84.3% mAP_50:95。同样，YOLOv11x在极端离焦（±100μm）下展现出超越Align DETR的鲁棒性。正离焦方向同样导致了最低的性能表现。

Woodscape数据集上的结果

将150° Sunex鱼眼镜头的离焦效果应用于真实鱼眼数据集Woodscape的前视摄像头图像后，由于鱼眼镜头的强径向畸变，模型整体性能低于 rectified（校正过畸变的）KITTI数据集。基线性能排名为：Align DETR (46.8%) > Cascade R-CNN (43.5%) > YOLOv11x (43%) > Faster R-CNN (41.8%) > Deformable DETR (36.2%) > FCOS (34.8%)。Align DETR依然领先，但YOLOv11x在整个离焦范围内的表现优于Cascade R-CNN，并且在Δz = -100μm时超越了Align DETR 1.5%，表明其在鱼眼图像处理中对极端离焦的适应性更强。

Parallel Domain Woodscape数据集上的结果

在合成的Parallel Domain Woodscape数据集上，性能曲线相对于离焦零点呈现较好的对称性，名义焦点处的性能最高。Align DETR以66%的mAP_50:95保持领先，其他模型性能集中在一个较窄的区间内。YOLOv11x在极端离焦位置几乎达到甚至略微超过了Align DETR的性能。

一般性讨论与性能恢复实验

综合四个数据集的实验结果，拥有第二少参数（47.65M）的Align DETR模型在大多数情况下建立了最强的性能基线，并且在|Δz| ≤ 20μm的轻微离焦范围内表现出卓越的稳定性。这凸显了基于Transformer的检测架构在处理复杂场景和小物体方面的优势，其引入的Align Loss有效缓解了原始DETR模型中的定位不对齐问题。然而，在极端离焦（±100μm）条件下，YOLOv11x则展现出更强的鲁棒性，其mAP_50:95反超Align DETR达1.5%至12.2%。研究人员将这一优势归因于YOLOv11x中C2PSA（Cross Stage Partial with Spatial Attention）空间注意力模块和C3k2块增强了模型对关键图像特征的聚焦能力。

更重要的是，研究团队通过离焦数据增强训练验证了性能恢复的可行性。他们使用涵盖全部九种离焦位置的退化图像重新训练了Align DETR模型。结果表明，在KITTI和Woodscape等数据集上，这种增强训练策略能够显著恢复模型在极端离焦位置（如±100μm）的性能（例如，在KITTI上Δz=-100μm时mAP_50:95从0.383提升至0.636，恢复率达126.5%），尽管在Woodscape等鱼眼数据上，对轻微离焦位置的性能略有 trade-off（小幅下降≤-3.3%）。这证明通过在训练阶段引入模拟生产公差范围内的光学变异，可以有效提升感知模型在真实世界中的鲁棒性。

研究结论与意义

本研究成功地将高保真光学仿真与计算机视觉模型评估相结合，系统量化了相机离焦这一关键制造公差对自动驾驶目标检测性能的影响。研究结论明确指出，忽略相机焦点偏差会导致感知模型性能显著下降，尤其是在极端离焦情况下。同时，研究揭示了不同模型架构对光学退化的响应差异：Align DETR在轻微离焦下稳健，而YOLOv11x在极端条件下更具韧性。最终，离焦增强训练被证明是补偿这种域 mismatch 的有效策略。

这项工作的重要意义在于：首先，它提出了一个可扩展的、基于开源工具（KrakenOS）的光学仿真管道，为低成本、高效率地评估自动驾驶感知系统在完整生产公差范围内的性能提供了可行方案。其次，研究结果为自动驾驶系统开发者和决策者提供了重要的参考依据，强调了在模型训练和测试中考虑实际光学特性的必要性，有助于推动更安全、更可靠的自动驾驶技术的发展。最后，该研究为未来探索其他光学像差（如渐晕、色差、像散等）对更复杂视觉任务（如语义分割、深度估计）的影响奠定了基础，指明了通过仿真增强数据多样性以提升模型泛化能力的研究方向。