高级人工智能可以解决视觉难题并进行抽象推理吗?

　　

人工智能已经学会了掌握语言，创造艺术，甚至在国际象棋中击败大师。但它能否破解抽象推理的密码——那些让人类摸不着头脑的棘手的视觉谜题?南加州大学维特比工程学院信息科学研究所(ISI)的研究人员正在测试人工智能的认知能力，推动多模态大型语言模型(mllm)解决曾经为人类智商测试而留的视觉问题。结果呢?一窥人工智能已经走了多远，以及它还在哪里磕磕绊绊。

南加州大学Viterbi ISI研究助理Kian Ahrabian和Zhivar Sourati最近调查了mlm是否可以执行非语言抽象推理，这是需要视觉感知和逻辑推理的任务，并在2024年10月7日至9日在宾夕法尼亚州费城举行的语言建模会议(COLM 2024)上发表了他们的研究结果。

该论文的作者之一、南加州大学维特比工程学院计算机科学研究副教授杰伊·普哈拉(Jay Pujara)说:“每天我们都被关于人工智能能做什么(不能做什么)的新标题轰炸，这些标题往往令人惊讶。我们对新的人工智能模型的理解仍然有限，在我们理解这些限制之前，我们无法让人工智能变得更好、更安全、更有用。这篇论文有助于填补人工智能在哪里挣扎的缺失部分。”

挑战:人工智能能看见和思考吗?“我们想看看新一代能够处理图像的大型模型是否能够独立推理，”Ahrabian解释说。“例如，如果你看到一个黄色的圆圈变成了一个蓝色的三角形，这个模型能在不同的场景中应用相同的模式吗?”

为了回答这个问题，该团队测试了24种不同的MLLMs，这些MLLMs基于Raven 's Progressive Matrices(一种著名的抽象推理测试)的谜题。他们发现，开源模型的表现非常糟糕。“他们真的很糟糕。他们什么也得不到，”阿赫拉比安坦率地说。

相比之下，封闭源代码的模型，如私人公司开发的gpt - 4v模型，不能公开修改，表现更好。这些模型通常使用更先进的资源进行训练，包括更大的数据集和更强大的计算系统，这使它们具有明显的优势。“我们在闭源模型上看到了一些重要的结果，”Ahrabian补充说，“具体来说，GPT-4V在推理方面相对较好，但还远远不够完美。”

这项研究的一个关键部分是剖析这些模型失败的地方。其中一个关键问题是人工智能准确处理视觉信息的能力。“我们想知道模型是否能看到细节——比如颜色或线条的碰撞——以及这是否就是他们出错的地方，”Ahrabian说。

为了解决这个问题，研究人员提供了图像的详细文本描述，以确保模型以不同的格式拥有所有必要的信息。“即使我们删除了视觉元素，只给它们文本，许多模型仍然不能有效地推理，”苏拉蒂解释说。这揭示了一个至关重要的见解:问题不仅仅在于视觉处理，还在于推理本身。现在，团队更清楚地了解了什么是不工作的，这使他们能够改进他们的重点并指导未来的改进。

研究人员探索的一种很有前途的方法是“思维链提示”，即通过推理任务提示人工智能一步一步地思考。这种方法在某些情况下带来了显著的改进。Ahrabian指出:“通过用提示指导模型，我们能够看到性能提高100%。

尽管仍然存在挑战，但研究人员仍持乐观态度。这项研究的发现既强调了人工智能目前的局限性，也强调了未来发展的令人兴奋的可能性。随着这些模型的不断发展，南加州大学的研究可以为人工智能铺平道路，人工智能不仅可以理解，而且可以推理——模糊机器智能和人类认知之间的界限。

Thomas Lord计算机科学系的博士生Ahrabian和Sourati本周在COLM上发表了一篇论文，题为《基于多模态大型语言模型的非语言抽象推理的奇怪案例》，这是该会议的首届会议。

同时担任ISI知识图谱中心主任的Pujara评论道:“随着语言模型的出现，人工智能正在经历一场重大转变。像COLM这样的新会议的出现支持了这一演变，这是促进合作和激励学生渴望为这一快速发展的领域做出贡献的好方法。”