面向忆阻器存算一体系统的资源高效权重量化与映射方法研究

《Integrated Circuits and Systems》：A Resource-Efficient Weight Quantization and Mapping Method for Crossbar Arrays in ReRAM-Based Computing-in-Memory Systems

本文针对ReRAM存算一体系统在扩展规模时面临的高IR压降和复杂逻辑控制等挑战，提出了一种基于梯度敏感度分析的渐进式剪枝策略与两种互补的权重量化映射方法。通过高位聚类和低位谱聚类技术，在MNIST数据集上实现42%的存储单元节约，精度损失仅3.2%。该研究为资源受限的边缘智能设备提供了可行的硬件部署方案。

　　

随着人工智能技术的快速发展，卷积神经网络（CNN）在图像识别、自然语言处理等领域的应用日益广泛。然而，传统冯·诺依曼架构存在内存墙问题，即数据在存储器和处理器间的频繁移动导致高延迟和高功耗。这严重制约了神经网络在资源受限的边缘设备上的部署效率。

为解决这一难题，存内计算（CIM）架构应运而生。其中，电阻式随机存取存储器（ReRAM）交叉阵列因其高比特密度、非易失性以及能够高效执行乘积累加（MAC）运算的特性，成为CIM系统的理想载体。在理想的ReRAM交叉阵列中，忆阻器电导值被编程为神经网络权重，通过基尔霍夫电流定律实现模拟域的MAC运算。但随着神经网络规模扩大，交叉阵列的扩展面临IR压降、潜行路径电流、外围电路复杂化等多重挑战，亟需创新的硬件优化方案。

针对上述问题，南京大学的研究团队在《Integrated Circuits and Systems》上发表论文，提出了一种资源高效的权重量化与映射方法。该研究首先通过梯度敏感度分析的渐进式剪枝策略提升网络稀疏度，进而针对高位和低位量化场景分别设计互补的映射方案：高位方法采用分组量化聚类合并零权重，低位方法利用差分特性进行谱聚类。通过在32×32 ReRAM阵列上的FPGA测试平台验证，该方法在MNIST数据集上实现88.6%识别精度，仅比浮点基准下降2.9%，同时节约42%硬件资源。

关键技术方法包括：（1）基于梯度敏感度的渐进式剪枝算法，通过层重要性评估和自适应剪枝率实现82.45%稀疏度；（2）高位聚类方法采用K-means算法对零点和缩放因子进行二维聚类；（3）低位合并方法利用谱聚类算法根据权重差异度合并负权重列。实验采用LeNet、AlexNet、VGG16等网络结构，在MNIST、CIFAR-10/100数据集上验证方法的鲁棒性。

渐进式剪枝性能：通过20次剪枝-重训练迭代，在目标稀疏度80%条件下最终达到82.45%稀疏度，精度维持在97.67%。该策略通过层重要性评分（公式11）和自适应剪枝率（公式13）实现精度与稀疏度的平衡。

高低位方法对比：高位量化在8比特时资源节约率稳定在50%，低位方法在3比特时节约率达25.8%-35.9%。

谱聚类方法通过二分算法（算法1）动态确定聚类数，显著提升低位量化下的权重合并效率。

设备容差分析：在 conductance variation（电导变异）达50%时，高位8比特和低位3比特方法精度损失均小于1.5%，证明方法对硬件非理想性的强鲁棒性（表1）。

交叉阵列规模影响：当行数从4增至16时，低位方法资源节约率从35.9%降至25.8%，表明较小阵列规模更利于聚类收敛（表3）。ADC/DAC分辨率实验表明，8比特激活量化配8比特转换器时可忽略量化误差。

FPGA部署验证：

搭载32×32 ReRAM芯片的载板-FPGA测试平台实现两层神经网络部署，深度wise全连接层（26通道）与全连接层（26×4权重矩阵）通过3比特量化达到88.6%实测精度，证实方法的实际部署可行性。

本研究通过软件域优化策略，在无需修改硬件架构的前提下显著提升ReRAM交叉阵列的资源利用率。高低位量化方法的互补性为不同精度需求的边缘智能场景提供灵活解决方案。尽管权重合并会引入一定信息损失，但通过梯度敏感度剪枝和聚类算法的协同优化，在资源节约与精度保持间达到良好平衡。该工作为存算一体系统的大规模应用奠定了技术基础，特别适用于物联网、移动设备等资源受限场景的神经网络部署。未来研究可进一步探索异构量化策略与动态重配置机制的深度融合。