研究发现，改进人工智能大型语言模型有助于更好地与人类大脑活动保持一致

　　

近年来，随着生成式人工智能(GenAI)改变了社会互动格局，使用深度学习算法训练GenAI平台处理语言的大型语言模型(llm)成为人们关注的焦点。香港理工大学(PolyU)最近的一项研究发现，法学硕士在接受与人类处理语言更相似的训练时，表现得更像人类大脑，这为大脑研究和人工智能模型的开发带来了重要的见解。

当前的大型语言模型(llm)主要依赖于一种类型的预训练-上下文词预测。这种简单的学习策略在与大量训练数据和模型参数相结合时取得了惊人的成功，正如ChatGPT等流行的llm所显示的那样。最近的研究还表明，法学硕士中的单词预测可以作为人类如何处理语言的合理模型。然而，人类并不是简单地预测下一个单词，而是在自然语言理解中整合高级信息。

理大人文学院院长兼冼伟坚基金会人文及科技教授李平教授带领的研究小组，研究了“下一句预测”(NSP)的模型预训练，并研究了模型的数据与大脑活动之间的关系。NSP是模拟人脑中话语层面理解的一个核心过程，以评估一对句子是否连贯。这项研究最近发表在学术期刊《科学进展》上。

研究小组训练了两个模型，一个有NSP增强，另一个没有，它们都学会了单词预测。功能磁共振成像(fMRI)数据是从阅读连接句子或断开句子的人身上收集的。研究小组检查了每个模型的模式与fMRI大脑数据的大脑模式的匹配程度。很明显，NSP培训提供了好处。与只训练单词预测的模型相比，具有NSP的模型在多个区域匹配人类大脑活动的效果要好得多。它的机制也很好地映射到人类话语理解的既定神经模型上。研究结果为我们的大脑如何处理完整的话语(如对话)提供了新的见解。例如，部分右脑，而不仅仅是左脑，帮助理解较长的话语。用NSP训练的模型还可以更好地预测某人的阅读速度，这表明通过NSP模拟话语理解有助于人工智能更好地理解人类。最近的法学硕士，包括ChatGPT，都依赖于大量增加训练数据和模型大小来获得更好的性能。李平教授说:“仅仅依靠这种规模是有局限性的。进步的目标还应该是提高模型的效率，依赖更少而不是更多的数据。我们的研究结果表明，NSP等不同的学习任务可以使法学硕士更像人类，并可能更接近人类的智力。”他补充说:“更重要的是，这些发现表明，神经认知研究人员可以利用法学硕士来研究我们大脑的高级语言机制。它们还促进了人工智能和神经认知领域研究人员之间的互动和合作，这将导致未来对人工智能的大脑研究以及大脑启发的人工智能的研究。”