高效人工智能方法的新训练技术

ChatGPT等人工智能应用基于人工神经网络，在很多方面模仿了我们大脑中的神经细胞。他们在高性能计算机上接受大量数据的训练，在这个过程中消耗了大量的能量。脉冲神经元的能量消耗要少得多，它可能是解决这个问题的一种方法。然而，在过去，用于训练它们的常规技术只有在明显的局限性下才能发挥作用。波恩大学（University of Bonn）最近的一项研究为这一困境提供了一个可能的新答案，可能为更节能的新人工智能方法铺平道路。研究结果发表在《物理评论快报》上。

　　

ChatGPT等人工智能应用基于人工神经网络，在很多方面模仿了我们大脑中的神经细胞。他们在高性能计算机上接受大量数据的训练，在这个过程中消耗了大量的能量。脉冲神经元的能量消耗要少得多，它可能是解决这个问题的一种方法。然而，在过去，用于训练它们的常规技术只有在明显的局限性下才能发挥作用。波恩大学（University of Bonn）最近的一项研究为这一困境提供了一个可能的新答案，可能为更节能的新人工智能方法铺平道路。研究结果发表在物理评论快报．

我们的大脑是一个非凡的器官。它消耗的能量相当于三个LED灯泡，重量比笔记本电脑还轻。然而，它可以创作音乐，设计像量子理论这样复杂的东西，并对来世进行哲学思考。

尽管ChatGPT等人工智能应用程序也非常强大，但它们在解决问题时消耗了大量的能量。就像人类的大脑一样，它们基于一个神经网络，在这个网络中，数十亿的“神经细胞”交换信息。然而，标准的人工神经元在没有任何中断的情况下完成这一过程，就像铁丝网一样，电流永远不会停止流过。

波恩大学遗传学研究所的Raoul-Martin Memmesheimer教授解释说：“生物神经元的工作方式不同。”“它们通过被称为动作电位或尖峰的短电压脉冲进行交流。”这种情况很少发生，所以网络的能量要少得多。”因此，开发同样以这种方式“尖峰”的人工神经网络是人工智能研究的一个重要领域。

刺网——效率高，但很难训练

如果要让神经网络能够完成某些任务，就必须对其进行训练。想象一下，你有一个人工智能，想让它学会区分椅子和桌子。所以你给它看家具的照片，看看它的答案是对还是错。根据结果，神经网络中的一些连接将被加强，而另一些连接将被削弱，其效果是错误率从一个训练轮到下一个训练轮下降。

在每一轮之后，这种训练会改变哪些神经元影响其他神经元以及影响程度。“在传统的神经网络中，输出信号是逐渐变化的，”Memmesheimer说，他也是生命与健康跨学科研究领域的成员。“例如，输出信号可能从0.9下降到0.8。然而，对于尖峰神经元来说，情况就不同了：尖峰要么存在，要么不存在。你不能有半个钉子。”

你可能会说，神经网络中的每个连接都有一个控制器，它可以使神经元的输出信号稍微向上或向下调节。然后对所有控件的设置进行优化，直到网络能够准确地区分椅子和桌子。然而，在尖峰网络中，控制刻度盘不能逐渐改变输出信号的强度。“这意味着调整这些联系的权重也不那么容易，”Memmesheimer的同事、该研究的第一作者Christian Klos博士指出。

以前人们认为，通常的训练方法（研究人员称之为“梯度下降学习”）对尖峰网络来说是有很大问题的，但最新的研究表明，情况并非如此。“我们发现，在一些标准的神经元模型中，尖峰不能像那样简单地出现或消失。相反，他们所能做的就是把时间提前或推迟，”克洛斯解释说。然后，峰值出现的时间可以通过连接的强度来调整——事实证明是连续的。

微调尖峰网络中连接的权重

脉冲的不同时间模式影响着它们所指向的神经元的反应行为。简而言之，一个生物神经元或人造脉冲神经元越是“同时”地接收来自其他几个神经元的信号，它自己产生脉冲的可能性就越大。换句话说，一个神经元对另一个神经元的影响可以通过连接的强度和峰值的时间来调整。克洛斯说：“我们可以在我们研究过的尖峰神经网络中使用同样高效的传统训练方法。”

研究人员已经能够证明他们的技术在实践中是有效的，成功地训练了一个脉冲神经网络来准确地区分手写数字。对于下一步，他们想给它一个更复杂的任务，即理解语音，Memmesheimer说：“虽然我们还不知道我们的方法在未来训练尖峰神经网络中会扮演什么角色，但我们相信它有很大的潜力，因为它很精确，它精确地反映了在非尖峰神经网络中工作得非常好的方法。”