通过学习到学习的方法实现基于相变存储器的内存计算的快速学习

作者将生物学启发的学习技术与神经形态硬件结合起来，实现了一个节能系统，该系统展示了对不同领域的未知任务的快速学习。

　　

基于相变内存的内存计算快速学习：学习到学习的创新应用

在当今科技蓬勃发展的时代，人工智能（AI）的进步不断重塑着人们的生活与工作模式。然而，随着 AI 应用场景的日益拓展，尤其是在边缘计算领域，低功耗、能自主学习且可快速适应环境变化的 AI 系统需求愈发迫切。在此背景下，IBM Research Europe - Zurich 的 Thomas Ortner 等研究人员在Nature Communications上发表了题为 “Rapid learning with phase - change memory - based in - memory computing through learning - to - learn” 的论文，为解决这一难题开辟了新的方向。该研究通过将学习到学习（L2L）技术与基于相变内存（PCM）的内存计算神经形态硬件（NMHW）相结合，构建出高效的 AI 模型，在图像分类和机器人手臂运动控制等任务中展现出卓越的快速学习能力，为未来 AI 系统的发展奠定了坚实基础。

一、研究背景

现代 AI 模型大多依赖深度学习，这使得计算需求急剧增加，当前技术在满足这些需求时面临诸多挑战。与此同时，低功耗、可自主学习且能在边缘部署的 AI 系统需求却与日俱增，其应用范围涵盖移动设备、自主移动机器人、智能传感器以及物联网等多个领域。神经形态硬件（NMHW）因其能效优势，成为解决这些场景需求的潜在方案。特别是基于模拟忆阻器的内存计算神经形态硬件系统，通过交叉开关配置的模拟忆阻器执行深度学习的核心运算 —— 矩阵向量乘法（MVM），能在恒定时间内完成计算，展现出优异的性能和效率。

然而，NMHW 也存在一些问题。设备和电路的非理想性导致其精度有限，这就需要采用硬件感知训练例程、芯片在环微调方法或在训练过程中集成精确的硬件模型。此外，边缘应用通常要求在线适应，但神经形态硬件系统大多针对推理应用设计，几乎不需要或仅需极少的适应，因为这些适应可能会损害其高能源效率。为了赋予神经网络快速学习能力，使其在少量适应步骤下就能学习新任务，且对硬件非理想性具有鲁棒性，研究人员提出将学习到学习（L2L）应用于基于 PCM 设备的神经形态硬件。

二、研究材料与方法

（一）神经形态硬件

研究采用的模拟内存神经形态硬件，灵感来源于人类大脑，将计算和存储集成在同一物理位置，属于非冯?诺依曼计算架构。该硬件利用忆阻器（如 PCM 和电阻式随机存取存储器）的模拟特性，通过改变其电导来编码神经网络的权重信息。在交叉开关拓扑结构中，将矩阵元素编码在设备电导中，向量元素编码在施加于阵列行的电压刺激中，根据欧姆定律和基尔霍夫定律，阵列列上感应的电流与矩阵向量乘法的结果成正比，这种计算方式高效且可高度并行化。

实验使用的 NMHW 平台包含两个基于 PCM 的核心，每个核心有一个 256×256 的交叉开关阵列。每个单元采用 4R8T 差分配置，两个设备表示正权重，两个表示负权重，每个核心共有 262,144 个设备。核心还集成了数字 - 模拟转换器、模拟 - 数字转换器和本地数字处理单元，由板载现场可编程门阵列（FPGA）模块控制，在本研究中被抽象为 8 位输入 / 8 位输出的 MVM 单元。

（二）模型部署

神经网络在该平台上的部署借助自动化软件栈实现，该软件栈基于 PyTorch 模型定义及其运行时。首先解析模型以识别包含 MVM 操作的层，然后将这些层分配到两个核心并映射到交叉开关的不同区域。对于线性层，直接将权重数组放置在交叉开关中；对于卷积层，采用 im2col 策略，将滤波器扁平化为单个权重数组，并对输入特征图的补丁进行相应变换。若权重数组尺寸超过交叉开关，软件栈会将其分割成合适的段。部署过程还包括各种训练后与硬件相关的校准步骤，以确保 MVM 精度，最后利用 PyTorch 运行时在神经形态硬件上执行包含 MVM 的模块。

（三）ED - Scorbot 机器人手臂

ED - Scorbot 平台源自改良的 Scorbot ER - VII 商业机器人，运行在事件驱动的神经形态系统上。其具备六个自由度的关节，每个关节由直流电机驱动，并配备双光学编码器以精确确定关节位置。原控制电路被 Zynq - 7100 FPGA 板、光耦合逻辑和新的 12V 电源取代，实现了六个基于脉冲的比例 - 积分 - 微分（SPID）控制器。在 3D 控制中，仅使用机器人的前两个关节（基座和肩部），其他关节固定。训练时，通过 Python 中的正向运动学模型执行 3D 机器人手臂轨迹，评估时则使用模拟模型和真实机器人手臂，通过计算目标轨迹与实际轨迹在欧几里得空间中的均方误差来评估 SNN 性能。

（四）少样本图像分类

研究人员使用模型无关元学习（MAML）算法在两个数据集上进行少样本图像分类实验。在 Omniglot 数据集实验中，采用具有四个卷积层和一个全连接层的卷积神经网络（CNN）。网络训练使用交叉熵损失函数，元训练进行 30,000 次迭代，批量大小为 40，学习率 β = 0.001，内循环执行 4 次梯度更新步骤，学习率 α = 0.1。训练完成后，在 100 个任务上进行评估，内循环训练和评估过程中仅调整全连接层的权重。

在 CIFAR100 - FS 数据集实验中，使用的 CNN 包含四个卷积层、两个全连接层和偏置。网络同样使用交叉熵损失函数，元训练进行 37,000 次迭代，批量大小为 4，学习率 β = 0.001，内循环执行 5 次梯度更新步骤，学习率 α = 0.1。评估时也仅更新最后一个全连接层的权重和偏置，由于发现内循环训练在第四次梯度更新后准确率接近 100%，因此也对仅进行 4 次内循环梯度更新的模型进行了评估。

（五）基于自然 e - prop 的一次性学习

自然 e - prop 算法中，学习信号生成器 SNN（LSG）和训练 SNN 协同工作。训练阶段，二者在一系列任务上联合训练，使用 BPTT 算法训练 LSG 和训练 SNN 的初始权重。内循环中，仅根据 LSG 发出的学习信号和训练 SNN 的资格迹调整训练 SNN 的权重。

训练 SNN 由 250 个泄漏积分激发（LIF）神经元和一个线性读出层组成，接收时钟状信号，目标是生成机器人手臂的角速度以匹配目标轨迹。LSG 由 LIF 和自适应泄漏积分激发（ALIF）神经元混合组成，共 800 个神经元，其中 30% 为 ALIF 神经元，接收时钟状信号和目标轨迹，任务是生成合适的学习信号，使训练 SNN 在一次权重更新后能跟踪目标轨迹。两个 SNN 均在离散时间下以 1ms 的分辨率进行模拟，突触延迟固定为 1ms。模型训练使用 ADAM 优化器，共进行 100,000 次迭代，小批量包含 90 条轨迹。

三、研究结果

（一）学习到学习与神经形态硬件

学习到学习（L2L）旨在从一系列相关任务中概括学习过程，通过元训练和适应两个阶段实现。元训练阶段在软件中进行，训练神经网络的所有参数；适应阶段将模型部署到神经形态硬件上，根据具体任务对少量参数进行更新。研究采用两种不同的 L2L 方法应用于不同任务，以展示基于 PCM 的 NMHW 的快速学习能力。一种是基于初始化的方法 MAML，用于元训练卷积神经网络的权重；另一种是基于参数生成的方法，使受生物启发的脉冲神经网络仅通过一次适应步骤就能生成目标轨迹的运动命令。

（二）基于 PCM 的神经形态硬件的少样本图像分类

利用 MAML 在基于 PCM 的 NMHW 上进行少样本图像分类实验，以 Omniglot 数据集为例，通过外循环和内循环训练优化模型初始权重。实验结果表明，该方法在使用低精度 PCM 设备实现突触的情况下，分类性能与纯软件解决方案相当。元训练可以在不考虑硬件精确模型的情况下进行，4 位权重模拟训练的模型与 32 位权重训练的模型分类准确率相近，且硬件模型的分类准确率与软件模型相当，这表明在该任务中，精确的硬件模型并非必要。

在 CIFAR100 - FS 数据集上的实验也得到了类似结果。虽然该数据集更为复杂，需要更大的网络架构，但同样仅训练最后一个全连接层的权重和偏置。实验发现，在元训练后，模拟硬件模型的性能与全精度软件模型相当，4 次内循环梯度更新的模型与 5 次更新的模型性能相近，且在第四次梯度更新后准确率已接近 100%。

（三）生物启发神经网络中机器人手臂轨迹的快速在线学习

使用自然 e - prop 算法训练脉冲神经网络生成机器人手臂的运动命令，通过元训练学习信号生成器和训练网络的初始权重。实验结果显示，在元训练后，网络在一次权重更新后就能生成接近目标轨迹的运动命令。在模拟和真实机器人实验中，基于 NMHW 的模型生成的轨迹与高精度软件模型生成的轨迹匹配良好，尽管 NMHW 模型的权重精度较低，但产生的轨迹与目标轨迹的偏差仍在可接受范围内。

四、研究结论与讨论

研究通过将 L2L 与基于 PCM 的内存计算 NMHW 相结合，成功展示了在两个不同任务（少样本图像分类和机器人手臂运动控制）中的快速学习能力。在少样本图像分类任务中，基于 MAML 的方法不仅实现了快速学习，还证明了无需精确硬件模型即可获得良好性能，通过仅调整全连接层权重，简化了硬件上的权重更新过程。在机器人手臂运动控制任务中，自然 e - prop 算法使脉冲神经网络能够在一次权重更新后有效学习生成目标轨迹的运动命令，且对硬件精度的降低具有一定的鲁棒性。

从生物学角度看，元训练可被视为塑造大脑神经回路以高效学习相关任务的进化过程。未来研究可进一步探索明确建模包含无监督学习的第二层循环。此外，除了本研究采用的基于初始化和基于参数生成的 L2L 方法，基于模型的 L2L 方法也是一个有前景的研究方向，基于 PCM 设备的内存计算架构可能适合表示外部内存，为基于模型的 L2L 与 NMHW 的结合提供了可能。

该研究成果对于推动神经形态硬件在 AI 领域的应用具有重要意义。它表明 L2L 能够使基于 PCM 的神经形态硬件在极少训练示例和更新步骤下快速适应新任务，降低了计算负载，提高了硬件的实用性。同时，研究揭示了 L2L 框架在面对硬件可变性时的鲁棒性，为未来高效神经网络训练提供了新的思路和方法，即基于模拟的元训练结合少量芯片上的参数更新，有望成为神经形态硬件上神经网络训练的有效策略，为人工智能的发展注入新的活力。