基于物理信息的神经网络结合芯片光谱探测器，提升了多光谱单像素成像技术

《Optics & Laser Technology》：Physics-informed neural network enhanced multispectral single-pixel imaging with a chip spectral detector

便携式多光谱单像素成像系统融合芯片级多光谱检测器和未训练物理信息神经网络（PINN），无需标注数据即可实现12通道高质量光谱图像重建（采样率10%），并通过实验验证其在不同采样率下的性能，并成功应用于基于多光谱特性的图像分割任务，硬件紧凑低成本适合移动平台。

　　

Muchen Zhu|Baolei Liu|Yao Wang|Linjun Zhai|Jiaqi Song|Nana Liu|Zhaohua Yang|Lei Ding|Fan Wang

北京航空航天大学物理学院，中国北京102206

摘要

多光谱成像（MSI）能够捕获多个光谱带的数据，与传统的RGB成像相比，提供了更丰富的信息深度，适用于农业、医学诊断和工业检测等多个领域。然而，传统的MSI系统存在成本高、复杂性高以及在低光照条件下性能受限的问题。此外，基于数据驱动的MSI方法严重依赖大型、带标签的训练数据集，并且在泛化能力方面存在不足。在这项工作中，我们提出了一种便携式的单像素多光谱成像（MS-SPI）方法，该方法集成了芯片级多光谱探测器以实现系统小型化，并利用物理信息驱动的神经网络（PINN）在无需标记训练数据的情况下重建高质量的光谱图像。该网络的物理信息结构使得可以直接利用多光谱探测器的原始测量数据来进行自校正的光谱图像重建。我们的概念验证原型实现了12通道高质量光谱图像的重建，采样率为10%。我们还通过与传统压缩感知算法的比较，实验验证了该方法在不同采样率条件下的性能。此外，我们还展示了该技术在基于MSI的图像分割任务中的应用，其中根据特征光谱特征对空间区域进行了区分。这种紧凑、高保真度和便携性的方法为移动平台上的轻量化和低成本光谱成像提供了可行的途径。

引言

多光谱成像（MSI）在农业[1]、医学诊断[2]、工业检测[3]、环境监测[4]和天文学[5]等领域得到了广泛应用。这些系统能够获取多个离散光谱带的图像，比传统的RGB相机提供更丰富的信息。随着紧凑型镜头阵列[6]、快照式MSI传感器[7,8]和计算成像技术[9]的发展，MSI技术在空间分辨率、光谱覆盖范围和采集速度方面在过去十年中取得了显著进步。然而，传统的MSI技术仍存在一些局限性，如成像系统成本高、复杂性高、在低光照条件下的信噪比低以及数据存储需求大等问题，这些问题阻碍了MSI技术在便携式设备和消费产品中的应用。

单像素成像（SPI）作为一种快速发展的计算成像技术，成为传统基于相机成像技术的一个有前景的替代方案[10]。SPI通过非空间分辨的探测器捕获一系列时变单像素光强度来重建空间信息，不同于依赖像素化探测器阵列的传统成像方法[11,12]。SPI利用压缩感知（CS）技术，用比像素数量更少的测量数据实现高保真度的图像重建，从而减少了数据采集时间和系统复杂性。在过去几十年中，SPI的光谱响应范围已经从可见光扩展到紫外线[13]、红外线[14]，甚至X射线[15]或太赫兹波长[16]。与传统MSI系统相比，基于SPI的光谱成像也可以用简化的硬件实现[17]。最近在多光谱单像素成像（MS-SPI）方面的进展包括使用多个单像素探测器[18]、光谱编码照明模式[19]和频率复用照明[20]。例如，MS-SPI技术通过使用单像素探测器对时间信号进行傅里叶分解，实现了低成本和宽光谱的多光谱成像[21]。通过在数字微镜设备上调制空间信息和色散光谱，MS-SPI系统能够在低带宽下实现高通量的光谱视频记录[22]。级联的压缩感知单像素相机实现了6.2纳米的光谱分辨率的高光谱成像[23]。这些进展凸显了单像素方法在实现灵活且低成本光谱成像方面的优势。此外，深度神经网络与MS-SPI的结合进一步提高了从欠采样测量数据中重建图像的质量[24],[25],[26],[27]。然而，基于数据驱动的神经网络方法仍受限于对大规模、带标签数据集的依赖[28]，这些数据集的获取成本高且需要大量人力。此外，由于缺乏物理约束，数据驱动的网络在面对未见场景或光谱分布时泛化能力较差，从而降低了其可靠性。

在这项工作中，我们提出了一种基于物理信息驱动的神经网络（PINN）的改进型便携式MS-SPI方法，该方法与芯片级光谱探测器集成，实现了小型化硬件实现和高质量重建，无需预训练。我们利用紧凑型数字投影仪和多光谱芯片探测器来获取多个光谱带的空间调制光强度。多光谱成像系统首先使用非空间分辨的芯片级光谱探测器获取每个波长带的单像素强度测量值，然后通过PINN算法和输入的单像素强度及相应的调制模式来重建光谱图像。通过将MS-SPI的物理模型嵌入重建神经网络中，我们实现了无需标注数据集的光谱图像物理校正重建。我们的原型系统在低至10%的采样率下实现了12通道高质量光谱图像的重建。我们还通过实验评估了该方法在不同采样率和迭代步骤下的性能。此外，我们通过一个概念验证的多光谱辅助图像分割应用示例展示了该方法的应用，其中重建的光谱图像用于后续分析任务。我们的方法采用了消费级芯片级多光谱探测器，没有传统方法中可能使用的任何移动机械部件。我们的MS-SPI系统将探测器和微型照明调制器集成在一个3D打印的外壳中，实现了紧凑且便携的设计。所提出的基于PINN的MS-SPI框架在无需大量配对数据的情况下实现了高质量重建。这种方法为资源受限环境下的便携式光谱分析提供了可能性，实现了轻量化和成本效益高的实际应用。

结果

MS-SPI系统的示意图如图1所示。图1(a)展示了硬件设置。设备将空间调制的二进制图案投影到目标上，然后我们使用包含多个内置多光谱滤波器的单像素探测器单元（底部部分）来测量从目标反射的光强度。从探测器获得的单像素测量值通过物理信息驱动的神经网络进行处理

结论

总结来说，我们提出了一种便携式的计算单像素多光谱成像方法，该方法采用芯片级光谱探测器实现紧凑的硬件系统，并采用物理信息驱动的未经训练的神经网络来提高重建质量。我们证明了在重建过程中使用物理信息驱动的未经训练的神经网络可以显著减少对大型训练数据集的需求，并提高精度。该方法能够重建12通道的高质量光谱图像

CRediT作者贡献声明

Muchen Zhu：撰写 – 审稿与编辑、撰写 – 原稿、可视化、验证、方法论、研究、数据管理、概念化。Baolei Liu：撰写 – 审稿与编辑、监督、资源管理、项目协调、资金获取、形式分析、概念化。Yao Wang：撰写 – 审稿与编辑、可视化、资源管理、方法论、形式分析、概念化。Linjun Zhai：撰写 – 审稿与编辑、可视化、研究。Jiaqi Song：

资助

本研究得到了国家自然科学基金（62503032, U23A20481, 62275010, 62573029）和中央高校基本科研业务费（KG16-3549-01）的支持。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。