基于超带隙光电压的铁电光传感器实现集图像记忆、低层处理与高层计算于一体的感内计算新架构

《Nature Communications》：In-sensor image memorization, low-level processing, and high-level computing by using above-bandgap photovoltages

本研究针对传统机器视觉系统中传感、存储与处理单元分离导致的高延迟与高能耗问题，开发了一种基于铁电光传感器（FE-PS）的感内计算系统。通过利用铁电体块体光伏效应（BPV）产生的超带隙、动态响应且电可切换的光电压，该传感器阵列成功整合了图像记忆、低层预处理（如视觉适应）和高层计算（如图像识别）功能。实验证明，该阵列在4类图像识别任务中可实现100%的准确率（噪声水平≤10%），且具备多级可编程性和可检索性。这项研究为构建多功能感内计算系统提供了新思路，有望广泛应用于多种机器视觉场景。

　　

在人工智能时代，机器视觉已成为人脸识别、自动驾驶和智能制造等领域的核心技术。然而，传统的机器视觉系统通常采用传感、存储和处理单元分离的架构，导致海量数据在单元间频繁传输，引发高延迟和巨大能耗。为突破这一瓶颈，感内计算技术应运而生，其核心思想是将视觉信息直接在光传感器内部进行处理，从而大幅提升处理速度和能效。尽管已有研究开发出能够实现图像记忆与低层预处理的感内系统，或专注于高层图像识别任务的感内计算方案，但构建一个集图像记忆、低层处理和高层计算于一体的多功能感内计算系统仍面临严峻挑战。其关键在于缺乏同时具备动态光响应和可编程光响应特性的多功能光传感器。

近日，发表于《Nature Communications》的一项研究成功攻克了这一难题。研究团队开发出一种基于块体光伏效应（Bulk Photovoltaic Effect, BPV）的铁电光传感器（Ferroelectric Photosensor, FE-PS），该传感器能够产生超带隙、动态响应且电可切换的光电压。基于此，他们构建了一个FE-PS阵列，作为概念验证，展示了集图像记忆、低层处理和高层计算于一体的多功能感内计算系统。

为实现上述研究目标，研究人员主要采用了以下几项关键技术方法：利用PLZT（(Pb_0.97La_0.03)(Zr_0.52Ti_0.48)O₃）陶瓷材料制备铁电光传感器，并通过金叉指电极构建器件阵列；通过测量光伏电流-电压（I-V）特性、时间分辨光电压响应等电学表征手段，系统评估器件的光伏性能、动态行为和可切换特性；基于FE-PS阵列，设计并实验验证了图像记忆、视觉适应等低层处理功能，以及模拟人工神经网络（Artificial Neural Network, ANN）进行乘累加（Multiply-Accumulate, MAC）运算和图像识别等高层次计算任务；结合软件模拟，对大规模FE-PS阵列在图像预处理和高层识别任务中的性能进行了拓展性研究。

Basic photovoltaic properties of FE-PS

研究首先展示了FE-PS的基本光伏特性。器件基于PLZT陶瓷和金叉指电极构成。研究发现，通过FE-PS和外部电容（C_ex）的充放电过程，光电压（V_ph）会随时间逐渐上升和衰减，表现出动态响应行为。更重要的是，FE-PS基于BPV效应产生了超过材料带隙（3.35 eV）的高光电压（开路电压V_OC~15 V），并且该光电压可通过铁电极化进行切换（开关幅度约30 V）。这种高且可切换的光电压为后续的高精度计算奠定了基础。

Image memorization and low-level processing based on dynamic photovoltage response of FE-PS

利用FE-PS的动态光电压响应，研究人员成功实现了图像记忆和低层处理功能。FE-PS的光电压在光脉冲刺激下表现出类似于生物突触的兴奋性突触后电流（Excitatory Postsynaptic Current, EPSC）和双脉冲易化（Paired-Pulse Facilitation, PPF）行为，即光电突触特性。通过施加不同强度、宽度和数量的光脉冲，可以诱导其短期可塑性（Short-Term Plasticity, STP）向长期可塑性（Long-Term Plasticity, LTP）转变。这种突触行为还可以通过铁电极化进行调控。基于这些特性，构建的3x3 FE-PS阵列能够记忆字母图像（如“T”），并且记忆效果（如图像清晰度和留存时间）可通过极化状态进行调节，更好地模拟了人类视觉记忆。此外，FE-PS表现出视觉适应能力，即对不同光照强度的响应差异会随着脉冲次数的增加而减小。模拟结果表明，利用FE-PS阵列对非均匀光照下的手写数字图像进行预处理后，后续软件ANN的识别准确率得以提升（例如，经过6次脉冲适应后准确率从约85%提升至约90%），且该适应行为同样受极化状态调控。

High-level image processing based on switchable photovoltage of FE-PS

FE-PS的可切换光电压特性使其能够用于高层图像处理。通过施加不同极性和幅度的极化电压，FE-PS的光电压可以被编程到多个状态（如4比特）。尽管光电压具有光照历史依赖性，但通过短路操作可以轻松检索到编程的光响应度（R_pv），而无需重新编程，这大大简化了操作。通过选择适当的读取时间，FE-PS在特定电容下表现出准线性的光电压-光强（V_ph-I_light）关系，确保了乘法运算的准确性。基于此，研究人员构建了FE-PS阵列作为感内人工神经网络。实验演示了使用1x2阵列进行乘累加（MAC）运算，以及使用4x9阵列对字母“S”、“C”、“N”、“U”进行图像识别，实现了100%的识别准确率（噪声水平≤10%）。模拟结果进一步表明，784x10的大规模FE-PS阵列对Fashion-MNIST数据集中的时尚产品图像识别准确率可达80.2%，接近软件基准的80.8%。

讨论与结论

该研究成功验证了基于FE-PS的阵列作为多功能感内计算系统的概念可行性。该系统通过调整电路连接即可快速重构功能模式，硬件复杂度低。FE-PS作为核心器件，其超带隙光电压保证了图像记忆和处理的精度与可靠性，自供电的光电压工作模式避免了电流-电压转换和外部偏置，降低了硬件复杂度和能耗。尽管目前基于陶瓷的FE-PS在器件面积、编程电压和响应速度方面存在局限，但研究表明基于薄膜的垂直结构FE-PS有望解决这些问题，实现与CMOS电路的良好兼容、低功耗（~1.6 nJ）和快速响应（<100 ms）。

总之，该研究利用具有超带隙、动态响应和电可切换光电压的铁电光传感器，成功地将图像记忆、低层处理和高层计算功能集成到一个感内计算系统中。这不仅为克服传统机器视觉系统的固有瓶颈提供了创新解决方案，而且展示了铁电体在先进感内计算应用中的巨大潜力，为开发适用于多场景机器视觉的多功能感内计算系统奠定了基础。