基于时序预测编码模型的句子处理认知努力机制研究

《Journal of Memory and Language》：A predictive coding model for online sentence processing

本研究针对传统语言处理模型难以解释认知努力动态变化的问题，引入时序预测编码（tPC）这一神经生物学启发的计算框架，通过建立分层生成模型和变分推断算法，系统量化了句子理解过程中不同认知努力表征（如推理迭代次数、弧长、线积分等）。研究发现tPC模型能有效预测自然阅读数据中的阅读时间变化，揭示了认知努力与预测误差最小化过程的紧密关联，为理解人类语言处理的认知机制提供了新视角。

　　

人类大脑如何高效处理连续语言输入一直是认知科学的核心问题。传统语言处理模型主要关注词汇预测概率（如surprisal理论），但难以全面解释阅读过程中认知努力的动态变化。近年来，受神经科学启发的预测编码理论认为，大脑通过不断生成并更新内部模型来预测感官输入，并通过最小化预测误差进行推理。然而，如何将这一框架应用于自然语言处理，并量化其与认知努力的关系仍不清楚。

为此，研究团队在《Journal of Memory and Language》上发表论文，引入时序预测编码（temporal Predictive Coding, tPC）模型来模拟句子理解过程。该模型将语言处理视为一个序列推理问题：在每个时间步，系统基于先前语境（潜在状态x_k-1）生成对当前词语（观测y_k）的预测，并通过迭代更新潜在状态x_k来最小化预测误差。研究人员通过变分推断和拉普拉斯近似，推导出状态更新规则（公式25），将认知努力量化为多个计算指标，如推理迭代次数（InfIters）、潜在状态轨迹弧长（Arclen）以及预测误差的线积分等。

为验证模型，研究采用Glove静态词向量，在两个自然阅读数据集（Brown语料库和Dundee语料库）上测试了tPC模型预测阅读时间的能力。通过分层贝叶斯回归分析，比较了tPC提出的认知努力指标与传统surprisal指标的预测效果。结果显示，tPC的多维努力表征（尤其是弧长和线积分）显著提升了阅读时间的解释力，表明认知努力不仅与预测意外性有关，更与推理过程的动态特征紧密相关。

本研究的关键方法包括：①构建分层生成模型，将先验p(x_k|x_k-1)和似然p(y_k|x_k)定义为高斯分布；②通过变分自由能最小化实现近似贝叶斯推断；③采用梯度下降法迭代更新潜在状态；④从动力学系统角度量化多种认知努力指标。

模型验证与阅读时间预测

通过分析两个语料库中名词短语解歧和动词-论元结构等句法现象，发现tPC模型能捕捉到阅读时间的细微变化。例如，在"the coach smiled at the player tossed the Frisbee"这类歧义句中，弧长指标在解歧点（"tossed"）显著升高，反映了认知负荷的增加。

认知努力的多维表征比较

研究发现，不同努力指标捕获了认知过程的不同方面：弧长与状态更新幅度相关，线积分反映了自上而下和自下而上信息的整合效率，而推理迭代次数则体现了计算复杂度。这些指标共同提供了比传统surprisal更丰富的认知努力表征。

模型参数敏感性分析

通过调整先验和似然的协方差矩阵（Σ_x和Σ_y），验证了模型对噪声水平的鲁棒性。当先验不确定性增加时，认知努力更依赖于感官输入，这与预测编码理论中精度加权预测误差的处理机制一致。

研究结论表明，时序预测编码框架为理解句子处理的认知机制提供了统一的计算解释。它不仅将传统surprisal理论纳入更广泛的预测误差最小化框架，还通过多维努力指标揭示了语言理解中动态推理过程的重要性。该模型将认知努力重新定义为主动推理过程的计算成本，为连接计算模型、神经机制和行为数据搭建了桥梁。未来工作可扩展模型到更复杂的语言现象（如语篇理解）和神经影像数据验证，进一步推动基于预测编码的认知架构理论发展。