综述：神经网络模型与内存计算架构的演变

《ARCHIVES OF COMPUTATIONAL METHODS IN ENGINEERING》：Evolution of Neural Network Models and Computing-in-Memory Architectures

人类大脑计算能力启发智能系统发展，从早期二进制神经元模型（如McCulloch-Pitts）到现代人工神经网络（ANNs）及CNN、RNN、SNN等变体，其并行矩阵运算优势受限于CMOS架构的von Neumann瓶颈。研究转向计算内存（CIM）范式，通过忆阻器交叉阵列实现内存内计算，提升能效比和集成度，并探索编译器映射、量化感知训练等硬件优化策略，挑战包括非理想器件特性及跨领域应用拓展。

　　

摘要

人类大脑卓越的计算能力长期以来一直激励着智能系统的开发。正如基础性的McCulloch-Pitts模型所描述的那样，这种能力源自通过轴突、突触和树突相互连接的神经元网络，其中神经元被建模为由加权输入激活的二进制开关。随着时间的推移，这一概念发展出了可变的突触强度和多层架构，为现代人工神经网络（ANN）及其特殊形式（如卷积神经网络（CNN）、循环神经网络（RNN）、脉冲神经网络（SNN）以及如今驱动许多先进AI系统的Transformer神经网络）铺平了道路。这些模型在并行矩阵-向量计算方面表现出色。然而，它们的可扩展性受到传统基于互补金属氧化物半导体（CMOS）架构中固有的冯·诺依曼瓶颈的严重限制，即内存和处理单元之间的物理分离导致了延迟和能源效率低下，尤其是在处理大型动态数据集时。为了解决这个问题，研究人员正在采用“计算在内存中”（CIM）的范式，该范式旨在通过直接在内存阵列中执行计算来消除这种分离。忆阻器交叉开关架构是这一转变的核心，它利用基于物理定律的模拟并行处理来实现高效的矩阵运算。忆阻器作为可调谐的突触，支持高密度集成并模仿生物学习机制。本文追溯了从早期神经元模型到尖端神经架构的演变过程，并强调了基于忆阻器的CIM系统如何能够弥合生物学灵感与硬件效率之间的差距，为数据密集型、类脑计算开辟了新的前景。为此，本文介绍了将大规模神经网络映射到有限CIM硬件上的最新策略，以及为应对忆阻器设备的非理想特性而设计的先进训练方法。特别强调了编译器驱动的映射、量化感知和设备感知训练以及负反馈稳定化作为实现稳健人工智能（AI）硬件的关键因素。最后，还概述了关键挑战和研究趋势，包括混合精度架构、受生物学启发的学习方法，以及超越传统AI任务、扩展到先进生物医学工具、智能传感系统和可扩展工业应用的多功能CIM平台。