编辑推荐:
在日常交流中,多任务场景常见,认知负荷对语音归一化(extrinsic normalization)的影响尚不明确。研究人员以粤语为研究对象,利用脑电图(EEG)展开研究。结果显示,语音归一化涉及多阶段,且受认知负荷调制。该研究为理解相关神经机制提供新视角。
在日常生活里,人们常常会遇到各种各样的说话者,同样的字词从不同人嘴里说出来,声音却大不相同。就拿粤语来说,女性和男性的声带生理结构有差异,导致女性发出的低音调,其基频(F
0)可能比男性的高音调还高,这使得仅依靠内在的声学线索来识别词汇声调变得不太可靠。为了应对这种情况,人们会借助外在语境线索来适应语音的变化,实现对语音的稳定感知,这个过程被称为语音归一化(extrinsic normalization) 。它就像是大脑的一个智能 “翻译器”,帮助我们在复杂的语音环境中准确理解他人的话语。
然而,现实生活中的交流往往伴随着各种干扰。比如,开车时和乘客聊天,人们既要注意路况,又要理解对方的话语。这种多任务场景下的认知负荷是否会影响语音归一化过程呢?此前的研究对此尚无定论。而且,以往的研究大多集中在元音和辅音的感知上,对像粤语声调这样的超音段成分关注较少。同时,现有研究多为行为学研究,难以揭示认知负荷与语音归一化不同阶段的相互作用机制。
为了解开这些谜团,香港理工大学的研究人员开展了一项别出心裁的研究。他们招募了 32 名以粤语为母语的香港人作为参与者,采用双任务范式,让参与者在单任务和双任务条件下,借助语境线索感知不同说话者发出的粤语声调。实验中的双任务包括一个粤语单词识别任务(primary task)和一个视觉搜索任务(secondary task) 。通过脑电图(EEG)技术,研究人员记录了参与者在任务过程中的大脑电活动,试图从神经生理学角度揭示认知负荷对语音归一化的影响。
该研究主要运用了以下关键技术方法:首先是双任务范式,通过设置不同难度的视觉搜索任务,改变参与者的认知负荷;其次是脑电图(EEG)技术,用于记录大脑电活动,获取与语音感知相关的神经信号;此外,研究人员还对实验数据进行了多种统计分析,如多项式逻辑回归模型、线性混合效应回归模型等,以探究不同因素对语音归一化的影响。
研究结果如下:
- 行为数据:在行为层面,研究发现参与者在有语音语境时,无论单任务还是双任务条件下,都能成功利用语境线索调整对粤语声调的感知,表现出典型的语境依赖模式。例如,在低 F0的语音语境中,他们更多地将目标词识别为 /ji55/;在高 F0语境中,则更多识别为 /ji22/ 。然而,非语音语境对他们的声调感知几乎没有影响。进一步分析发现,双任务中的视觉搜索任务难度不同,并未对参与者的语音归一化行为表现产生显著影响,即认知负荷在行为层面未对粤语声调的外在归一化产生明显作用。在视觉搜索任务中,参与者在低负荷条件下的准确率显著高于高负荷条件,这表明视觉搜索任务的难度确实影响了该任务的完成情况。
- ERP 结果:在神经层面,脑电图(EEG)数据却呈现出不一样的结果。研究人员分析了与语音感知相关的事件相关电位(ERP)成分,包括 N1、P2、N400 和低频负波(LFN)。结果发现,在语音语境和非语音语境中,N1 成分没有显著差异,这说明语音归一化不太可能主要发生在声学处理阶段。而 P2、N400 和 LFN 成分在语音语境和非语音语境中表现出显著差异,且在单任务和双任务条件下也有所不同。具体来说,双任务条件下,P2 振幅显著减小,N400 和 LFN 振幅显著增大。这表明认知负荷在神经层面确实对语音归一化过程产生了调制作用,影响了从语音处理、词汇检索到决策等多个阶段。
研究结论和讨论部分指出,该研究首次为语音归一化的多阶段模型提供了神经证据,表明语音归一化是一个从早期语音处理阶段开始,到中间的词汇检索阶段,再到最后的决策阶段的复杂过程。认知负荷会干扰这个过程,使参与者在语音 / 音系阶段的感知调整参与度降低,词汇检索变得更加困难,决策阶段也需要更多的认知努力。尽管认知负荷没有影响语音信号的声学处理(N1 成分在不同条件下保持一致),但对依赖工作记忆的高级语音处理过程影响显著。这一研究成果丰富了人们对多任务场景下声调语言中语音归一化神经机制的理解,强调了语音归一化对认知资源可用性的敏感性。不过,研究也存在一定的局限性,例如当前的视觉搜索任务可能没有充分体现不同认知负荷对归一化过程的差异影响。未来的研究可以采用更具挑战性的干扰任务,进一步探究认知负荷对说话者归一化在行为层面的影响。
总的来说,这项发表在《Brain and Language》上的研究,为语音感知领域打开了新的大门,让我们对大脑在复杂交流环境中的工作机制有了更深入的认识,为后续相关研究奠定了坚实的基础。