编辑推荐：
在智能机器视觉领域，高效处理多维视觉信息面临挑战。研究人员开展基于范德华异质结构的可编程光电器件研究。结果显示该器件可实现传感器内数据压缩，推动边缘智能视觉系统发展。
在科技飞速发展的当下，智能机器视觉正成为众多领域的关键技术。从自动驾驶汽车在复杂路况中的精准识别，到工业生产线上对产品的高精度检测，再到安防监控系统对异常情况的快速捕捉，智能机器视觉的应用无处不在。然而，这一领域却面临着诸多棘手的问题。随着物联网（IoTs）和人工智能（AI）的蓬勃发展，多维视觉信息处理的需求呈爆发式增长，这些信息涵盖了空间分布、时间演变、相位和波长等多个维度。但传统的信号处理方式在应对如此庞大复杂的数据时，显得力不从心。传统的全帧传感器在记录多维视觉信息（如高速视频和高光谱数据）时，不仅需要复杂的模块，还对存储容量和传输带宽有着极高的要求，这无疑增加了系统的成本和复杂性。此外，现有的压缩感知技术虽然在一定程度上缓解了这些问题，但仍存在诸多不足，如光学调制器价格昂贵、编码器和积分器物理分离导致的精确对准困难等。
为了解决这些难题，来自香港城市大学、香港大学、南方科技大学等多所高校的研究人员携手展开了深入研究。他们致力于开发一种新型的光电器件，以实现高效的智能机器视觉。经过不懈努力，研究人员成功制备出一种基于范德华（vdW）异质结构的可编程光致记忆传感器（PPMS）。这一成果意义非凡，它为构建紧凑高效的光电器件提供了新的思路，有望推动边缘智能视觉系统的进一步发展，相关研究成果发表在《Nature Communications》上。
研究人员在此次研究中运用了多种关键技术方法。在材料制备方面，通过改进的物理气相沉积（PVD）方法制备了厚度为 30 - 50nm 的单晶三角硒（t - Se）纳米片，并利用干转移法将多层六方氮化硼（h - BN）和二硫化钼（MoS?）纳米片依次转移到硒纳米片上，构建出 PPMS 的核心异质结构。在器件表征环节，使用光学显微镜、高分辨率透射电子显微镜（HRTEM）、拉曼光谱仪等多种设备对材料和器件的形貌、结构和光学性能进行了全面分析。同时，借助半导体分析仪和源表对器件进行电学和光学测量，获取关键性能数据。
下面让我们深入了解一下研究的具体结果：
- 传感器内动态压缩和计算：PPMS 能够集成经电掩模调制的二维帧，将三维视频或高光谱数据压缩为二维数据。该传感器具有独特的光致记忆特性，在光电共调制下可实现非易失性的多级沟道电导变化，从而具备感知（Pij）和记忆（Mij）两种工作模式，为三维视觉信息的动态编码和压缩奠定了基础。
- 工作原理展示：PPMS 在光照和黑暗条件下，通过扫描控制栅极（Vcg）展现出不同的特性。光照下，其记忆窗口较大，存储电荷密度可达5.62×1012cm?2 ，与传统闪存相当。同时，该传感器的存储容量与光功率相关，在不同光功率下，阈值电压（Vthp和Vthn）会发生明显变化。此外，PPMS 还可配置为感知模式，在该模式下对可见光具有超高灵敏度，能作为高性能的光电探测器。
- 基于动态电光调制的 SCI 实现：传统 SCI 系统存在效率低、延迟大等问题。而 PPMS 利用光致记忆行为，在单个器件内实现了动态场景的感知、编码和压缩。通过设计光电与门，只有在光传感和像素编码同时作用时，传感器电导才会发生非易失性变化并积累，从而实现 SCI。研究人员通过实验验证了该原理，在不同光脉冲强度和电脉冲强度下，传感器电导变化表现出良好的线性度和稳定性，为后续的高质量图像解压提供了保障。而且，PPMS 对不同波长的光（如 450nm、532nm、635nm）均有响应，为三维高光谱数据压缩奠定了基础。
- 基于光电器件的视频和光谱 SCI：PPMS 可实现视频和光谱的 SCI。在视频 SCI 中，对二进制高速场景的像素值和相应掩模进行共调制，积累的电导变化代表压缩像素值。经实验验证，其压缩重建视频的平均峰值信噪比（PSNR）可达 15.81dB，与软件压缩的 16.21dB 相近。在光谱 SCI 方面，PPMS 能对 3D 高光谱数据进行压缩，虽然其重建图像的 PSNR（16.73dB）低于软件压缩（21.49dB），但从结构相似性指数（SSIM）来看，二者重建质量相近，表明该方法在实际应用中具有潜力。
- 压缩图像的 CNN 分类：通常视频分类前需解压数据，而该研究利用 PPMS 压缩的二维图像直接进行视频分类，减少了时间和能量消耗。研究人员通过实验证明，PPMS 的传感器阵列可进行传感器内卷积，对压缩图像分类的准确率高达 93.18% ，远高于单帧输入的 83.43% ，且与全帧分类的 94.21% 准确率相当，同时减少了 69% 的卷积参数，为资源受限的边缘设备实时处理提供了可能。
综上所述，研究人员成功开发出具有可编程存储容量和功能的光电器件 PPMS。该器件基于 t - Se 的光敏特性，可在光学感知和记忆模式下工作。通过设计特殊的光电与门，实现了动态信息的同步感知、编码、压缩和存储。压缩后的二维图像可通过 PnP 算法重建为三维数据，且压缩图像保留了视频的语义信息，能直接在传感器内用 CNN 进行分类，降低了能耗、缩短了处理时间并减少了硬件成本。这项研究揭示了二维 vdW 异质结构在未来智能视觉系统中作为紧凑节能硬件的巨大潜力，为智能机器视觉领域的发展开辟了新的道路，有望推动相关技术在更多实际场景中的广泛应用。
