Nature子刊：一个大脑活动解码器能揭示你头脑中无法描述的故事

一种名为语义解码器的基于人工智能的新系统可以将一个人在听故事或默默地想象讲述故事时的大脑活动翻译成连续的文本流。与其他正在开发的思想解码系统不同，该系统不需要受试者进行手术植入，使过程无创。

　　

一种名为语义解码器的新型人工智能系统可以将一个人在听故事或默默地想象讲述故事时的大脑活动翻译成连续的文本流。德克萨斯大学奥斯汀分校(University of Texas at Austin)的研究人员开发的这一系统可能会帮助那些有精神意识但无法说话的人，比如那些因中风而身体虚弱的人，再次进行清晰的交流。

这项研究发表在《Nature Neuroscience》杂志上，由计算机科学博士生Jerry Tang和德克萨斯大学奥斯汀分校神经科学和计算机科学助理教授Alex Huth领导。这项工作部分依赖于一个改变的模型，类似于驱动Open AI的ChatGPT和谷歌的Bard的模型。

与其他正在开发的语言解码系统不同，该系统不需要受试者进行手术植入，使过程无创。参与者也不需要只使用规定列表中的单词。大脑活动是在解码器经过大量训练后使用功能磁共振成像扫描仪测量的，在解码器中，个人在扫描仪中收听数小时的播客。之后，如果参与者愿意让自己的想法被解码，他们听一个新故事或想象讲述一个故事，机器就能从大脑活动中产生相应的文本。

Huth说:“对于一种非侵入性的方法来说，这是一个真正的飞跃，相比之下，以前的方法通常是单个单词或简短的句子。我们正在让这个模型在很长一段时间内解码具有复杂思想的连续语言。”

结果并不是一字不差的文字记录。相反，研究人员设计它是为了捕捉所说或所想的要点，尽管不完美。大约有一半的时间，当解码器被训练来监控参与者的大脑活动时，机器产生的文本与原始单词的意思非常接近(有时甚至精确)。

例如，在实验中，一个参与者听到说话者说“我还没有驾照”，他们的想法被翻译成“她甚至还没有开始学开车。”但当其听到“因为我不知道应该尖叫、哭泣还是逃跑，因此我说‘别靠近我’”时，机器解读道：“开始尖叫和哭泣，然后她说‘我告诉过你，别靠近我’。”

研究人员从网上出现的一篇早期预印本开始，解决了有关该技术可能被滥用的问题。本文描述了解码如何仅在自愿参与培训解码器的合作参与者中工作。对于没有接受解码器训练的个体，结果是不可理解的，如果接受解码器训练的参与者后来出现抵抗——例如，通过思考其他想法——结果同样是不可用的。

Tang说:“我们非常重视对它可能被用于不良目的的担忧，并努力避免这种情况发生。我们希望确保人们只在他们想要的时候使用这些技术，而且这些技术对他们有帮助。”

除了让参与者听故事或思考故事外，研究人员还要求受试者在扫描仪中观看四个简短的无声视频。语义解码器能够利用他们的大脑活动来准确描述视频中的某些事件。

由于该系统依赖于功能磁共振成像仪的时间需求，因此目前在实验室之外的应用并不实用。但研究人员认为，这项工作可以转移到其他更便携的脑成像系统，如功能性近红外光谱(fNIRS)。

Huth说:“fNIRS测量的是不同时间点大脑中血流的多少，结果证明，这与fMRI测量的是完全相同的信号。因此，我们的确切方法应该转化为fNIRS，”尽管他指出，fNIRS的分辨率会更低。

这项工作得到了白厅基金会、阿尔弗雷德·p·斯隆基金会和巴勒斯惠康基金会的支持。该研究的其他合著者是Huth实验室的前研究助理Amanda LeBel和UT Austin的计算机科学研究生Shailee Jain。Alexander Huth和Jerry Tang已经提交了与这项工作相关的PCT专利申请。

Jerry Tang, Amanda LeBel, Shailee Jain, Alexander G. Huth. Semantic reconstruction of continuous language from non-invasive brain recordings. Nature Neuroscience, 2023