PNAS：科学家通过模仿大脑创造了“观看”视频的人工智能

想象一下，一个人工智能（AI）模型可以像人类大脑一样敏锐地观察和理解运动图像。现在，斯克里普斯研究中心的科学家们通过创建MovieNet实现了这一目标：一种创新的人工智能，它处理视频的方式就像我们的大脑随着时间的推移解读现实生活中的场景一样。

　　

想象一个人工智能（AI）模型，它可以用人类大脑的敏锐观察和理解运动图像。现在，斯克里普斯研究中心的科学家们通过创建MovieNet实现了这一目标：一种创新的人工智能，它处理视频的方式就像我们的大脑随着时间的推移解读现实生活中的场景一样。

2024年11月19日发表在《美国国家科学院院刊》上的一项研究详细介绍了这种受大脑启发的人工智能模型，该模型可以通过模拟神经元或脑细胞如何实时感知世界来感知移动场景。传统的人工智能擅长识别静止图像，但MovieNet为机器学习模型引入了一种方法，可以识别复杂的、不断变化的场景——这一突破可能会改变从医疗诊断到自动驾驶等领域，在这些领域，随着时间的推移，识别细微的变化是至关重要的。MovieNet也比传统的人工智能更准确，更环保。

“大脑不仅看到静止的画面；它创造了一个持续的视觉叙事，”资深作者霍利斯·克莱恩博士说，他是多里斯神经科学中心的主任，也是斯克里普斯研究所的哈恩神经科学教授。“静态图像识别已经取得了长足的进步，但大脑处理流动场景的能力——比如看电影——需要一种更复杂的模式识别形式。通过研究神经元如何捕捉这些序列，我们已经能够将类似的原理应用于人工智能。”

为了创建MovieNet，克莱恩和第一作者、斯克里普斯研究所（Scripps Research）的研究员平本正明（Masaki Hiramoto）研究了大脑如何将现实世界的场景处理成短序列，类似于电影片段。具体来说，研究人员研究了tadpole神经元对视觉刺激的反应。

平本解释说：“tadpole有一个非常好的视觉系统，而且我们知道它们可以有效地探测到移动的刺激并做出反应。”

他和克莱恩发现，神经元对类似电影的特征做出反应——比如亮度的变化和图像的旋转——并能识别物体的移动和变化。这些神经元位于被称为视觉顶盖的大脑视觉处理区域，它们将运动图像的各个部分组装成一个连贯的序列。

把这个过程想象成一个类似于透镜拼图的过程：单独的每一块可能都没有意义，但它们合在一起就形成了一个完整的运动图像。不同的神经元处理现实生活中运动图像的各种“拼图”，然后大脑将其整合成一个连续的场景。

研究人员还发现，随着时间的推移，tadpole的视觉顶盖神经元能分辨出视觉刺激的细微变化，在大约100到600毫秒的动态片段中捕捉信息，而不是静止的帧。这些神经元对光和影的模式高度敏感，每个神经元对视野特定部分的反应有助于构建场景的详细地图，形成“电影剪辑”。

克莱恩和平本训练MovieNet模拟这种类似大脑的处理过程，并将视频片段编码为一系列小的、可识别的视觉线索。这使得AI模型能够区分动态场景之间的细微差异。

为了测试MovieNet，研究人员给它播放了蝌蚪tadpole在不同条件下游泳的视频片段。MovieNet不仅在区分正常和异常游泳行为方面达到了82.3%的准确率，而且比训练有素的人类观察者的能力高出约18%。它甚至超过了现有的人工智能模型，比如b谷歌的googlenet，尽管它有大量的训练和处理资源，但准确率仅为72%。

克莱恩指出：“这是我们看到真正潜力的地方。”

该团队认为，MovieNet不仅在理解不断变化的场景方面优于当前的人工智能模型，而且使用的数据和处理时间也更少。MovieNet在不牺牲准确性的情况下简化数据的能力也使其有别于传统的人工智能。通过将视觉信息分解成基本的序列，MovieNet有效地压缩数据，就像压缩文件一样，保留了关键的细节。

除了高精度之外，MovieNet还是一个环保的人工智能模型。传统的人工智能处理需要巨大的能量，留下沉重的环境足迹。MovieNet降低了数据需求，提供了一种更环保的替代方案，在高标准运行的同时节省了能源。

“通过模仿大脑，我们已经设法使我们的人工智能大大降低了要求，为不仅强大而且可持续的模型铺平了道路。”“这种效率也为在传统方法成本高昂的领域扩大人工智能的规模打开了大门。”

此外，MovieNet有可能重塑医学。随着技术的进步，它可能成为一种有价值的工具，用于识别早期疾病的细微变化，比如检测不规则的心律，或发现帕金森等神经退行性疾病的最初迹象。例如，与帕金森氏症相关的微小运动变化通常很难被人眼识别，而人工智能可以在早期标记出来，为临床医生提供宝贵的干预时间。

此外，MovieNet在蝌蚪接触化学物质时感知蝌蚪游泳模式变化的能力，可能会导致更精确的药物筛选技术，因为科学家可以研究动态细胞反应，而不是依赖于静态快照。

平本说：“目前的方法错过了关键的变化，因为它们只能分析每隔一段时间拍摄的图像。”“随着时间的推移观察细胞意味着MovieNet可以追踪药物测试过程中最细微的变化。”

展望未来，克莱恩和平本计划继续完善MovieNet适应不同环境的能力，增强其多功能性和潜在的应用。

克莱恩说：“从生物学中获取灵感将继续是推进人工智能的肥沃领域。”“通过设计像生物体一样思考的模型，我们可以达到传统方法无法达到的效率水平。”