利用神经启发的动态稀疏性实现高能效智能感知的边缘计算新范式

《Nature Communications》：Exploiting neuro-inspired dynamic sparsity for energy-efficient intelligent perception

本视角文章针对边缘AI部署中日益严峻的能耗挑战，提出了一种受大脑启发的动态稀疏性利用新范式。研究系统阐述了如何通过算法-硬件协同设计，挖掘并利用源于数据冗余的动态稀疏性，以显著提升智能感知系统的能效。该工作为构建下一代超低功耗边缘智能设备提供了重要的理论框架与技术路径。

　　

在人工智能（AI）浪潮席卷全球的今天，深度神经网络（DNN）的规模呈指数级增长，虽然它们在处理复杂感知任务上表现出色，但其巨大的计算成本和能耗已成为其在移动计算、智能可穿戴设备和自主机器人等边缘平台广泛部署的主要障碍。这好比给一个需要轻装上阵的探险家背上了沉重的行囊，严重限制了其行动能力与续航。面对这一瓶颈，我们能否从自然界最精巧的“计算设备”——大脑中汲取灵感？大脑在严格的能量预算和极低的延迟约束下，通过稀疏且动态的神经活动高效处理信息，这一机制为下一代高能效AI的设计指明了方向。

为此，发表在《Nature Communications》上的这篇视角文章《Exploiting neuro-inspired dynamic sparsity for energy-efficient intelligent perception》提出，借鉴大脑的动态稀疏性原理是提升AI感知系统能效的关键。研究人员系统性地探讨了如何利用类似大脑的动态稀疏性来显著提高智能感知系统的能量效率。他们指出，传统基于静态稀疏化（如网络剪枝）的方法无法适应运行时动态变化的数据特性，而新兴的数据驱动动态稀疏方法则能根据输入数据的结构和任务上下文，选择性激活计算资源，从而在保证性能的同时大幅降低能耗。

为了开展这项研究，作者团队主要运用了理论框架构建与分类学方法，系统梳理了动态稀疏性的不同类型（包括空间、时间、时空稀疏性；结构化与非结构化稀疏性；有状态与无状态稀疏性）。他们通过分析生物神经系统（如视网膜、听觉皮层）的信息处理机制，并结合神经形态工程（如事件相机、脉冲神经网络SNN加速器）和深度学习（如Transformer中的动态注意力、混合专家模型MoE）等领域的最新进展，提出了一个统一的动态稀疏性增强与利用的技术路线图。研究还涉及对现有硬件架构（如内存计算IMC）如何支持动态稀疏性的分析。

神经启发

动物大脑的能量效率极高，其关键机制之一是神经活动的稀疏性。大脑皮层神经元的平均放电频率约为1赫兹（Hz），这意味着在1毫秒（ms）的时间尺度上，其活动稀疏度高达99.9%。

这种稀疏性源于自然刺激固有的时空冗余。例如，图1B中奔跑的马序列帧间信息高度重复，图1C驾驶场景中大部分背景区域是高度可预测的。大脑通过预测编码和注意力机制等，优先处理意外或显著的信息（即“惊喜”），从而实现高效计算。

动态稀疏性的类型

研究团队对动态稀疏性进行了系统的分类学阐述（图3），主要依据三个维度：

1. 1.1.
   维度：分为空间稀疏性（同一时间窗口内神经元或像素的稀疏活动）、时间稀疏性（单个神经元或像素随时间变化的稀疏活动）以及时空稀疏性（两者结合）。
2. 2.2.
   结构性：分为非结构化稀疏性（任意稀疏模式）和结构化稀疏性（具有规则模式的稀疏性，如整行/整列同时激活或抑制）。
3. 3.3.
   状态性：分为无状态稀疏性（仅依赖当前输入，如ReLU产生的零激活）和有状态稀疏性（依赖内部状态记忆过去信息，如脉冲神经元模型）。

动态稀疏性的增强与利用技术

文章详细阐述了如何在智能感知系统的各个子系统层面增强和利用动态稀疏性（图4）。

• ••
  传感器子系统：在感知 pipeline 的最前端利用动态稀疏性可以带来显著的能效和延迟优势。代表性技术是神经形态事件传感器，如动态视觉传感器（DVS）（图2）。DVS像素模仿视网膜功能，仅在亮度变化超过阈值时产生稀疏的异步事件流，而非连续帧，从而将输出带宽和后续处理负担降低数个数量级。
  
• ••
  内存子系统：内存访问是现代计算系统的主要能耗瓶颈。通过利用激活值的动态稀疏性，可以对数据进行压缩后再写入内存，减少内存容量和带宽需求。此外，内存计算（IMC）架构通过将权重存储在计算单元附近，并结合激活稀疏性（如零值跳过），能进一步节省能量和延迟。
• ••
  神经计算子系统：在神经网络计算中，可以通过稀疏激活函数（如ReLU）、排序阈值方法或门控机制诱导动态稀疏性。硬件层面则可以利用零门控、零跳过等技术来利用这些稀疏性，跳过冗余计算。有状态的稀疏网络，如脉冲神经网络（SNN）和Delta网络，通过维护神经元状态（如膜电位、先前激活值），仅在状态变化显著时进行计算，从而引入时间维度的稀疏性。
• ••
  模块化系统级动态稀疏性：超越单个组件，在系统级别动态激活或休眠整个功能模块。例如，一个跌倒检测智能传感器可以分层级激活：平时只有极低功耗的被动红外（PIR）运动探测器工作；检测到运动后，唤醒事件相机和轻量级CNN进行关节检测；仅当识别出跌倒模式时，才短暂开启高功耗的无线通信模块。这种策略能将系统平均功耗维持在极低水平。

研究结论与展望

该视角文章的核心结论是，动态稀疏性，特别是上下文感知或任务感知的稀疏性，对于提升在自然环境中运行的感知系统的能效具有巨大潜力。与静态稀疏性相比，动态稀疏性能够更好地适应实时变化的数据特性，从而实现更精细化的能效优化。

短期内，基于无状态动态稀疏性（如激活值跳过）的技术因其对现有软硬件架构改动较小，更容易实现并带来效益。但从长远看，有状态动态稀疏性蕴含着更大的潜力，因为它能更好地利用上下文信息（通过内部状态），更接近生物神经网络的工作机制，有望在更复杂的多模态感知任务中实现更高的能效。

为了充分发挥神经启发动态稀疏性的潜力，文章最后指出了未来需要重点探索的研究方向（图6），涵盖从神经科学机理、应用场景、算法创新、架构设计、电路技术到器件工艺等多个层面。例如，需要更深入理解大脑的注意力、显著性、工作记忆等机制如何实现动态稀疏化；需要开发支持动态稀疏性的新型训练方法（如预测编码）；需要设计能够进行动态调度、负载均衡的硬件架构；需要利用新兴存储器和三维集成技术来降低状态存储和数据移动的成本。

总之，这项研究为构建下一代高能效、低延迟的边缘智能感知系统提供了一个清晰且富有前景的技术蓝图。通过跨学科的协同努力，将神经科学的深刻见解与先进的硬件算法设计相结合，动态稀疏性有望成为推动AI在资源受限的边缘环境中广泛落地的关键使能技术。