使用保留符号的托普利茨滤波器和考虑输入激活密度的数据流来压缩和加速稀疏卷积神经网络（Sparse CNNs）

《ACM Transactions on Architecture and Code Optimization》：Compressing and Accelerating Sparse CNNs Using Sign-Reserved Toeplitz Filters and Input Activation Density-aware Dataflow

算法硬件协同设计通过托普利兹矩阵格式压缩稀疏卷积核，提升数据复用率至86%，实现5.31倍加速和80.68%能耗降低。

　　

摘要

利用卷积神经网络中的稀疏性对于加速计算和降低能耗至关重要。非结构化稀疏性因其能够适应任意稀疏模式而具有灵活性，通常能够实现更高的准确率，但它往往会引入卷积操作中的不规则性，从而复杂化控制逻辑并削弱稀疏化的优势。结构化稀疏性虽然可以缓解这些问题，但却牺牲了其应用灵活性，导致准确率下降。在本文中，我们提出了TSCNN，这是一种算法-硬件协同设计的解决方案，旨在压缩和加速稀疏卷积神经网络（CNN），同时平衡其对稀疏性的适应性和计算效率。在算法方面，TSCNN采用经过剪枝的滤波器，并采用保留符号的托普利茨矩阵格式（Tfilters）进行压缩，这系统地增强了数据重用的规律性，并通过$44\%$-$86\%$的方式灵活地减少网络参数，同时保持准确率。在硬件方面，TSCNN加速器适应Tfilters的结构，并利用感知密度的数据流来支持具有较大稀疏变化的输入激活，进一步优化了计算效率。实验表明，TSCNN的性能优于密集CNN加速器以及稀疏CNN加速器SCNN和CSCNN，分别实现了5.31倍、2.46倍和1.53倍的加速效果，并将能耗降低了$80.68\%69.13\%$和$53.52\%$。