适用于资源受限环境的节能型概率贝叶斯神经网络

《ACM Journal on Emerging Technologies in Computing Systems》：Energy-Efficient Probabilistic Bayesian Neural Networks for Resource-Constrained Environments

在Cyber-Physical Systems中，基于概率的贝叶斯神经网络（ProbBNN）通过概率密度函数（PDF）描述参数分布，结合概率计算原理消除MAC运算，并采用Gaussian Mixture Models（GMM）压缩参数量，在FPGA实现中显著提升计算效率和能效比。

　　

摘要

在信息物理系统领域，计算元素与物理元素之间的紧密集成至关重要，因此对高效且可扩展的机器学习模型的需求始终存在。贝叶斯神经网络（BNN）为解决这类系统中的复杂任务提供了有前景的途径，但其广泛应用受到计算复杂性和资源限制的阻碍。为应对这些挑战，我们提出了一种基于FPGA实现的概率贝叶斯神经网络（ProbBNN），该架构利用概率计算原理来简化BNN中的推理过程。在ProbBNN中，每个神经元的参数不再表示为具有均值和方差的随机变量，而是由概率密度函数（PDF）来表示，该函数描述了这些随机变量的分布。遵循PDF的随机流通过概率计算原理在网络中传播不确定性。采用概率计算消除了对昂贵的乘累加（MAC）操作的需求，进一步提升了所提出的ProbBNN在现实应用中的可扩展性和成本效益。此外，高斯混合模型（GMM）被用来高效捕获权重的分布，从而减少了BNN参数的数量。通过与传统BNN架构的评估和比较，该实现显示出在计算效率、内存利用率和能源效率方面的显著提升，使其非常适合部署在资源受限的信息物理系统中，在这些系统中，高效可靠的决策制定至关重要。