人工智能神经网络辅助听力=人造听觉

机器学习模型让神经科学家研究听觉处理对现实听力的影响。

　　

当声波到达内耳时，内耳的神经元接收到振动并提醒大脑。在他们的信号中编码了丰富的信息，使我们能够跟上对话，识别熟悉的声音，欣赏音乐，快速定位铃声或哭泣的婴儿。

神经元通过发出尖峰信号来传递信号——沿神经纤维传播的电压的短暂变化，也被称为动作电位。值得注意的是，听觉神经元每秒可以发射数百个尖峰，并精确计时，以匹配传入声波的振荡。

借助强大的人类听觉新模型，麻省理工学院麦戈文大脑研究所的科学家们已经确定，这种精确的时间对于我们理解听觉信息的一些最重要的方式至关重要，包括识别声音和定位声音。

12月4日发表在《自然通讯》（Nature Communications）杂志上的开放获取研究结果显示，机器学习可以帮助神经科学家了解大脑在现实世界中如何使用听觉信息。麻省理工学院教授、麦戈文研究员Josh McDermott是这项研究的负责人，他解释说，他的团队的模型使研究人员能够更好地研究不同类型的听力障碍的后果，并设计出更有效的干预措施。

声音科学

神经系统的听觉信号计时非常精确，研究人员长期以来一直怀疑时间对我们对声音的感知很重要。声波的振荡速率决定了它们的音高：低音调的声音以慢波传播，而高音调的声波振荡频率更高。听觉神经将声音探测毛细胞的信息传递给大脑，产生与这些振荡频率相对应的电脉冲。“相对于刺激波形的峰值，听觉神经中的动作电位在非常特定的时间点被激发，”McDermott解释说，他也是麻省理工学院大脑和认知科学系的副主任。

这种关系被称为锁相，它要求神经元以亚毫秒的精度来计时它们的峰值。但科学家们还不知道这些时间模式对大脑的信息量有多大。McDermott说，除了在科学上引人入胜之外，这个问题还具有重要的临床意义：“如果你想设计一种向大脑提供电信号的假肢，以重现耳朵的功能，那么了解正常耳朵中哪些信息真正起作用是非常重要的，”他说。

这很难通过实验来研究；动物模型无法提供很多关于人类大脑如何提取语言或音乐结构的信息，而且听觉神经也无法用于人类的研究。因此，McDermott和研究生Mark Saddler转向了人工神经网络。

人工听觉

长期以来，神经科学家一直使用计算模型来探索大脑如何解码感官信息，但直到最近计算能力和机器学习方法的进步，这些模型才局限于模拟简单的任务。目前在丹麦技术大学（Technical University of Denmark）工作的Saddler说：“这些先前模型的一个问题是，它们往往太好了。”例如，一个计算模型的任务是识别一对简单音调中的较高音调，它可能比被要求做同样事情的人表现得更好。“这不是我们每天在听证会上做的那种任务，”Saddler指出。“大脑还没有优化到可以解决这种人工任务的程度。”这种不匹配限制了可以从上一代模型中得出的见解。

为了更好地了解大脑，Saddler和McDermott想挑战一个听觉模型，让它做一些人们在现实世界中使用听觉做的事情，比如识别单词和声音。这意味着开发一个人工神经网络来模拟大脑中接收耳朵输入的部分。该网络从大约32,000个模拟声音探测感觉神经元中输入信息，然后针对各种现实世界的任务进行优化。

研究人员表明，他们的模型很好地复制了人类的听觉——比以往任何听觉行为模型都要好。在一项测试中，人工神经网络被要求在几十种背景噪音中识别单词和声音，从飞机机舱的嗡嗡声到热烈的掌声。在每种情况下，该模型的表现都与人类非常相似。

然而，当研究小组降低模拟耳朵中尖峰的时间时，他们的模型不再能够与人类识别声音或识别声音位置的能力相匹配。例如，虽然McDermott的团队之前已经证明，人们利用音高来帮助他们识别别人的声音，但该模型显示，如果没有精确的定时信号，这种能力就会丧失。“你需要相当精确的峰值时间，以便解释人类行为并在任务中表现良好，”Saddler说。这表明大脑使用精确定时的听觉信号，因为它们有助于听觉的这些实际方面。

研究小组的发现表明，人工神经网络可以帮助神经科学家理解，无论是在听力完好无损还是受损的情况下，耳朵提取的信息是如何影响我们对世界的感知的。“将听觉神经的放电模式与行为联系起来的能力打开了很多大门，”McDermott说。

“现在我们有了这些将耳朵中的神经反应与听觉行为联系起来的模型，我们可以问，‘如果我们模拟不同类型的听力损失，这会对我们的听觉能力产生什么影响？’”McDermott说。“这将帮助我们更好地诊断听力损失，我们认为还可以扩展到帮助我们设计更好的助听器或人工耳蜗。例如，人工耳蜗在很多方面都有局限性——它可以做一些事情，而不能做其他事情。设置人工耳蜗使你能够调节行为的最好方法是什么？原则上，你可以用模型来告诉你这一点。”