CAMVA：一种用于多视图加速的CNN加速器扩展架构

《IEEE Transactions on Computers》：CAMVA: An Extension Architecture of CNN Accelerators for Multi-View Acceleration

自动驾驶系统通过多视角数据融合提升目标检测精度，但导致CNN加速器计算负载增加。本文提出扩展架构CAMVA，利用多视角近似增强输入特征稀疏性并动态复用特征提取结果。实验表明CAMVA在2D检测中牺牲约2.29%-4.26%精度换取性能提升，在3D检测中实现0.22%精度增益。硬件测试显示CAMVA在9.6%稀疏度下提升性能1.04-1.08倍，降低能耗4.23%-8.01%；19.8%稀疏度时性能提升1.13-1.34倍，能耗降低14.13%-25.97%。

　　

摘要：

自动驾驶车辆整合了额外的视图来捕获全面的特征信息，从而提高了目标检测的准确性。然而，这种整合给自动驾驶系统中的卷积神经网络（CNN）加速器带来了更大的计算负担，可能会增加自动驾驶系统的响应延迟，这对安全至关重要的自动驾驶系统来说是一个挑战。传统上，研究人员通过采用复杂的设计和工艺来提升芯片的算术处理能力来应对这一挑战。相比之下，本文提出了一种简单的技术，即CNN加速器的扩展架构——多视图加速（CAMVA）。该扩展架构利用多视图近似的特点来增强输入特征的稀疏性，并动态重用近似特征提取结果，从而加速CNN加速器的运行。本文使用多视图自动驾驶数据集（KITTI和nuScenes）设计了两个实验任务，并通过模拟数据流来评估CAMVA对2D和3D目标检测网络的影响。2D实验结果显示，对于KITTI任务，准确率下降了2.29%；对于nuScenes任务，准确率下降了0.37%。对于3D目标检测，KITTI任务的准确率下降了1.97%。随后，本文利用CAMVA的剪枝操作创建了两个子任务，这两个子任务的稀疏度分别为9.6%和19.8%，并基于这两个子任务在硬件架构层面评估了CAMVA的性能、能耗和实现难度。结果表明，在稀疏度为9.6%的子任务中，CAMVA使CNN加速器的性能提升了1.08倍，能耗降低了8.01%；在稀疏度为19.8%的子任务中，性能提升了1.13倍，能耗降低了25.97%。

显示更多

引言

自动驾驶技术依赖于配备目标检测模块的感知系统，以准确检测和识别周围环境中的物体。在特斯拉[1]、Mobileye[2]和Foresight[3]等自动驾驶公司中，目标检测模块包括图像特征检测和图像目标检测。图像特征检测提取关键特征，以支持自动驾驶系统的功能，如多传感器数据融合[4]和自主导航[5]。图像目标检测利用卷积神经网络（CNN）来执行感知任务，例如目标识别、道路识别和决策制定，确保自动驾驶车辆的安全性和高效性[6]。