超越BNNs：利用RISC-V定制功能单元设计和加速亚比特神经网络

《IEEE Embedded Systems Letters》：Beyond BNNs: Design and Acceleration of Sub-Bit Neural Networks Using RISC-V Custom Functional Units

二进制神经网络通过极简精度实现高效计算，但压缩空间仍有提升空间。本文提出基于固定长度压缩的SBNN-nps方案，结合RISC-V定制功能单元（CFU）与FPGA内存中的代码书，利用XOR和人口计数操作实现亚比特级权重解码，在速度提升2倍的同时保持较低精度损失，为更高效压缩奠定基础。

　　

摘要：

二进制神经网络（BNN）以其极低的内存需求而闻名，这使它们成为资源受限环境中的理想选择。SBNN-nps 是一种较新的技术，通过进一步压缩 BNN 来提升其性能，实现了亚比特级别的表示以最大化效率。然而，有效地压缩和加速 BNN 存在挑战。在本文中，我们提出了一种使用固定长度压缩方案来压缩 BNN 的新方法，该方法可以在运行时高效解压缩。随后，我们提出了基于 RISC-V 架构的扩展方案，通过定制功能单元（CFU）来实现解压缩操作，该单元利用 FPGA 板载内存中的码本进行解压缩，并结合 XOR 操作和元素计数操作。与传统部署在 RISC-V 软核上的 BNN 相比，这种方法实现了高达 2 倍的速度提升，同时准确度损失显著降低，并为探索更高级别的压缩配置以进一步提升性能奠定了基础。

引言

机器学习的快速发展使得深度神经网络（DNN）在计算机视觉、自然语言处理和实时信号处理等广泛领域得到广泛应用。随着 DNN 复杂性的增加，在资源受限的硬件（如嵌入式系统或边缘设备）上部署它们变得困难。二进制神经网络（BNN）[1],[2] 是降低精度的一个极端例子，但它们的作用不仅仅是简单地压缩网络结构。作为所有神经网络处理工作的核心，乘法和累加操作可以通过硬件中的 XOR 和元素计数操作（popcount）来高效完成。与乘法和累加（MAC）操作相比，XOR 和元素计数操作在能耗方面更具优势[3]。另一种方法专注于进一步压缩 BNN，旨在用更少的比特数来表示神经网络权重，从而超越传统的 BNN 压缩技术。这类网络在 [4] 中被称为子 BNN（SBNN）。

“Popcount”（元素计数）是指二进制向量中非零比特的数量。