用于光子神经网络的多功能低阈值非线性激活函数

《Journal of Lightwave Technology》：Multi-Functional Low-Threshold Nonlinear Activations for Photonic Neural Networks

提出了一种全模拟光电非线性激活单元，通过连续调节偏置电压和参考光强度，实现了Sigmoid、ELU及其变体等六种非线性激活函数。实验将该单元嵌入卷积神经网络，在MNIST和Fashion-MNIST手写数字分类任务中分别达到99.21%和89.47%的识别精度。该器件结构简单、成本低廉且易于光子神经网络集成，可在-24 dBm超低光功率下稳定工作，为大规模光子神经网络奠定了硬件基础。

　　

摘要：

近年来，随着光计算技术的进步，光电激活函数已成为高性能光计算系统的关键组成部分。在这里，我们提出了一种全模拟的光电非线性激活单元。通过连续调节偏置电压和参考光强度，可以实现多种激活函数，包括Sigmoid、指数线性单元（ELU）、漏电ELU、逆ELU、对数-对数函数以及其他非典型函数。将这些非线性激活函数嵌入到卷积神经网络中，用于修改后的国家标准与技术研究院（MNIST）手写数字分类和Fashion-MNIST任务中，我们分别获得了99.21%和89.47%的高推理准确率。该连续可编程单元具有结构简单、成本低廉且易于集成的特点。它可以在低至-24 dBm的光功率下工作，适用于低光照条件。该设备非常适合在硬件层面作为光子神经网络中的非线性单元使用，为未来大规模光子神经网络的实际应用奠定了技术基础。

引言

随着人工智能（AI）的发展，对高性能计算的需求日益增加。光计算[1]、[2]、[3]、[4]、[5]、[6]、[7]由于其高速度、低能耗和与传统电子计算相比的固有并行性，成为神经网络的最佳加速方法。然而，尽管将光计算应用于线性神经元组件已经取得了显著成果[8]、[9]、[10]、[11]、[12]、[13]，但由于光子的固有特性，非线性激活函数仍然面临诸多挑战。目前，光子神经网络中的非线性激活组件通常采用光电信号直接转换为数字信号的方法，然后通过计算机进行处理以实现非线性激活[14]、[15]、[16]。这种繁琐的转换过程加剧了整个光系统的能耗、复杂性和运行时间。因此，探索实现所需非线性激活函数的其他方法已成为光计算领域的一个重要研究方向。