用于神经计算电路的神经网络：一项关于机器学习材料属性时对噪声容忍度和激活函数非均匀性的计算研究

《Artificial Intelligence Chemistry》：Neural networks for neurocomputing circuits: A computational study of tolerance to noise and activation function non-uniformity when machine learning materials properties

神经形态计算电路中噪声与非均匀激活函数形状对回归任务的影响研究。通过材料信息学应用验证，单层隐藏网络及较大网络架构在噪声环境下表现更优，模型重构可有效缓解激活函数非均匀性带来的误差。

　　在当今科技快速发展的背景下，机器学习（ML）和人工智能（AI）已经成为解决科学与技术问题的重要工具。特别是在需要高吞吐量和低能耗的场景中，专用的模拟神经计算电路展现出了巨大的潜力。这些电路能够以极低的功耗运行，并且可以在远离传统计算设备的环境中部署，如偏远地区、小型移动设备或自主设备等。然而，尽管这些电路在性能上具有优势，它们也面临一些挑战，尤其是电路噪声和神经元激活函数（NAF）形状的非均匀性。这些问题可能严重影响神经网络（NN）模型的准确性，特别是在对精度要求极高的应用中。本文旨在探讨这些因素如何影响神经网络在回归问题中的表现，并提出相应的解决方案。

### 1. 神经网络与模拟神经计算电路的背景

神经网络是机器学习中最常用的一种模型，广泛应用于人工智能领域。然而，随着模型复杂度的增加，其训练和推理所需的计算资源和时间也随之增长。对于大规模的神经网络，特别是那些用于文本、语音和图像识别与生成的模型，它们可能包含数百万个参数，这使得训练和使用成本变得非常高昂。因此，开发能够高效运行的神经网络模型成为研究的一个重要方向。

在某些科学应用中，如材料信息学（materials informatics），神经网络被用来预测材料的性质，如形成能、带隙和零点振动能量（ZPVE）。这些模型通常需要处理大量的化学描述符（descriptors），这些描述符来源于分子的结构和组成信息。在这些应用中，模型的训练和部署需要极高的计算效率，因此，模拟神经计算电路成为一种可行的替代方案。这种电路可以将神经网络的计算过程硬件化，从而实现更快的推理速度和更低的能耗。

然而，模拟神经计算电路的实现并非没有挑战。其中，电路噪声和神经元激活函数形状的非均匀性是两个关键问题。电路噪声可能来源于元件制造过程中的不稳定性，例如半导体器件在不同批次之间的性能差异。而神经元激活函数的非均匀性则可能由于器件的电流-电压（I-V）特性曲线的波动，导致不同神经元之间的行为不一致。这些因素可能显著降低神经网络模型的准确性，尤其是在对精度要求较高的任务中。

### 2. 激活函数非均匀性对神经网络的影响

为了研究这些因素对神经网络的影响，本文采用了一种计算方法，模拟了电路噪声和激活函数形状的非均匀性。具体来说，我们通过引入随机噪声和光滑变化的激活函数形状来模拟实际电路中的这些影响。激活函数是神经网络中决定神经元输出的重要组件，其形状的变化可能对模型的预测能力产生显著影响。

在模拟中，我们使用了常见的双曲正切函数（tansig）作为激活函数，因为它在实际应用中表现出良好的性能，并且可以在模拟神经计算电路中实现。通过引入随机噪声和光滑形状变化，我们观察到这些扰动对模型的准确性产生了显著的影响。例如，即使是非常微小的噪声扰动（在激活函数图上几乎不可见），也可能在高精度任务中严重降低模型的性能。而对于精度要求较低的任务，模型则表现出更强的鲁棒性。

为了进一步分析这些影响，我们考虑了不同结构的神经网络，包括单隐藏层网络、双隐藏层网络以及多隐藏层网络。我们发现，单隐藏层网络和比最优规模更大的网络在一定程度上具有更高的噪声容忍度。这可能是因为在单隐藏层网络中，噪声对输出的影响可以通过加权平均来部分抵消，而多隐藏层网络则由于非线性层之间的误差累积，表现出更低的鲁棒性。此外，我们还发现，模型的过拟合程度与其对噪声的容忍度之间存在一定的关联。过拟合程度较低的模型（即训练误差与测试误差的比值较小）在面对噪声时表现得更为稳定。

### 3. 通过重新训练缓解激活函数非均匀性的影响

在实际应用中，神经网络的激活函数形状可能因制造过程中的不一致性而发生变化。然而，如果我们能够在训练阶段就考虑到这些非均匀性，并使用实际的激活函数形状进行重新训练，那么模型的预测能力可以得到显著提升。本文提出了一种通过重新训练来缓解激活函数非均匀性影响的方法。

在模拟中，我们展示了如何通过使用实际的激活函数形状重新训练神经网络，从而恢复其在扰动下的准确性。例如，在激活函数形状发生0.05和0.1幅度的变化时，重新训练后的模型在测试集上的相关系数（R值）和均方根误差（RMSE）都得到了显著改善。对于单隐藏层网络，重新训练后的模型在测试集上的误差甚至可以恢复到接近原始模型的水平。这一结果表明，重新训练可以有效地补偿激活函数非均匀性带来的负面影响。

此外，我们还发现，重新训练不仅适用于单隐藏层网络，也可以用于多隐藏层网络。通过使用实际的激活函数形状进行训练，模型在面对不同的非均匀性时表现出更强的适应能力。这为在实际应用中部署模拟神经计算电路提供了一个可行的解决方案，即在电路制造完成后，通过重新训练来调整模型的参数，使其能够更好地适应实际的硬件特性。

### 4. 实验数据与结果分析

为了验证上述结论，我们使用了多个代表性的材料信息学数据集。这些数据集包括：形成能与最低能量异构体之间的关系、双钙钛矿材料的形成能和带隙、以及来自QM9数据集的分子零点振动能量（ZPVE）。通过分析这些数据集，我们能够评估不同神经网络结构在面对噪声和激活函数形状变化时的表现。

在实验中，我们发现，即使是非常小的噪声扰动，也会对模型的准确性产生明显的影响。对于单隐藏层网络，当噪声幅度增加到0.03时，测试集的误差开始显著上升。而对于多隐藏层网络，同样的误差水平可能在更小的噪声幅度下就出现。这表明，多隐藏层网络在面对噪声时的容忍度较低，因此在实际应用中可能需要更多的保护措施。

另一方面，光滑的激活函数形状变化对模型的影响相对较小。通过重新训练，模型能够适应这些变化，并恢复其预测能力。例如，在激活函数形状变化幅度为0.05和0.1的情况下，重新训练后的模型在测试集上的误差显著降低，甚至接近于原始模型的水平。这表明，重新训练是一种有效的策略，可以显著提高模型在面对非均匀性时的鲁棒性。

### 5. 不同数据集的对比分析

我们进一步分析了不同数据集在面对噪声和激活函数形状变化时的表现。例如，在预测双钙钛矿材料的形成能和带隙时，模型的准确性随着噪声幅度的增加而下降。然而，通过重新训练，模型的预测能力得到了恢复。这表明，无论数据集的性质如何，重新训练都是一种有效的策略。

此外，我们还研究了ZPVE的预测情况。在没有噪声的情况下，模型的准确性较高，约为0.9 meV。然而，当引入噪声和激活函数形状变化后，模型的准确性显著下降。通过重新训练，模型的预测能力得到了恢复，甚至在某些情况下超过了原始模型的水平。这表明，重新训练不仅可以缓解噪声的影响，还可以提高模型对激活函数非均匀性的容忍度。

### 6. 实际应用中的挑战与解决方案

尽管模拟神经计算电路在理论上具有诸多优势，但在实际应用中仍面临一些挑战。例如，某些类型的半导体器件（如有机和无机材料）可能会表现出较大的激活函数形状变化，这可能导致模型的预测能力显著下降。因此，如何在这些情况下保持模型的准确性成为研究的一个重点。

本文提出了一种通过重新训练来解决这一问题的方法。具体来说，可以在电路制造完成后，使用实际的激活函数形状进行重新训练，从而调整模型的参数，使其能够更好地适应实际的硬件特性。这种方法不仅能够提高模型的鲁棒性，还可以减少对高精度训练的依赖，从而降低计算成本。

此外，我们还探讨了在实际应用中如何实现这一目标。例如，可以通过开发快速且可扩展的I-V曲线测量技术，来获取实际的激活函数形状。这些技术可以结合当前研究中的一些创新方法，如芯片上的训练技术（例如通过偏置电压和电流进行调整），或者在确定重新训练后的参数后，再进行电路的制造。这些方法的实现需要在材料科学和工程方法上取得进展，例如通过分子设计和载流子注入来提高器件的性能，或者通过可控的厚度和可调的退火温度来优化电路的制造过程。

### 7. 结论与未来研究方向

综上所述，本文研究了激活函数非均匀性和电路噪声对神经网络模型的影响，并提出了一种通过重新训练来缓解这些问题的方法。我们发现，即使是非常微小的噪声扰动，也可能显著降低模型的准确性，尤其是在高精度任务中。而通过使用实际的激活函数形状进行重新训练，模型的预测能力可以得到显著恢复，从而提高其在实际应用中的鲁棒性。

尽管本文的研究主要集中在材料信息学领域，但其结论对于其他需要高吞吐量和低能耗的神经网络应用同样具有参考价值。例如，在环境监测、生物医学工程和智能制造等领域，模拟神经计算电路的应用潜力巨大。然而，如何在这些领域中有效应对激活函数非均匀性和电路噪声仍然是一个重要的研究方向。

未来的研究可以进一步探索不同神经网络结构对激活函数非均匀性的容忍度，以及如何通过优化训练方法来提高模型的鲁棒性。此外，研究动态扰动（如温度变化）对模型的影响，以及如何在实际应用中实现高效的重新训练，也是值得进一步探讨的方向。本文希望为未来在模拟神经计算电路领域的研究提供一些启示，并推动更多关于回归问题的研究。