一种用于神经渲染的能效高效边缘协处理器，具备显式数据重用策略

《IEEE Transactions on Very Large Scale Integration (VLSI) Systems》：An Energy-Efficient Edge Coprocessor for Neural Rendering With Explicit Data Reuse Strategies

该研究提出显式数据重用神经渲染架构EDR-NR，通过 rays、ray packets和samples三阶段空间局部性优化，设计四阶段调度器实现Z-order聚类、延迟射线优先处理、射线包空间邻近重排序及非顺序采样。结合四层递进式射线包行进（HRM）与轴对齐包围盒（AABB）空间跳转技术，减少冗余计算并提升吞吐量。在40nm工艺下，EDR-NR芯片相比SOTA加速器实现能效提升2.41倍，面积效率提升1.21倍，吞吐量提升1.20倍，SRAM消耗降低53.42%。

　　

摘要：

神经辐射场（NeRFs）彻底改变了3D重建和渲染技术，使得从稀疏视角生成逼真图像成为可能。本研究提出了一种显式数据重用神经渲染（EDR-NR）架构，该架构通过利用光线、光线包（RPs）和样本之间的空间局部性，减少了对外部内存的频繁访问（EMAs）和缓存未命中情况。EDR-NR架构包含一个四阶段调度器，该调度器根据Z-order对光线进行分组；在光线发散时优先处理延迟的光线；根据空间邻近性重新排序光线包；并根据片上特征数据的可用性以乱序（OoO）方式发出样本。此外，还集成了一种四层分层光线推进（HRM）技术以及轴对齐边界框（AABB），以实现空间跳过（SS），从而减少冗余计算并提高吞吐量。同时，提出了一种平衡的特征存储分配策略，以缓解SRAM银行冲突。该芯片采用40纳米工艺制造，芯片面积为10.5平方毫米，与现有最先进加速器相比，在归一化能效方面提升了2.41倍，在归一化面积效率方面提升了1.21倍，在归一化吞吐量方面提升了1.20倍，并且片上SRAM消耗降低了53.42%。