熵加权双过程模型：解锁不确定性决策中策略转换的奥秘

《Communications Psychology》：Distributional dual-process model predicts strategic shifts in decision-making under uncertainty

在决策研究中，传统强化学习（RL）模型常忽视人们在不确定性下策略的转变。研究人员开展 “分布双过程模型预测不确定性决策中的策略转换” 研究，提出熵加权双过程模型。结果显示该模型能捕捉策略转变，这为多系统决策研究提供新框架。

　　在生活中，人们常常面临各种充满不确定性的决策场景，比如投资时选择哪只股票、求职时挑选哪家公司。在这些情况下，如何做出最优决策是一个复杂的问题。长久以来，研究人员试图通过预期价值（EV）或预期效用（EU）来解释人类决策行为，然而在不确定性和信息不完整的条件下，这种方法存在诸多局限性。并且，许多传统的强化学习（RL）模型也无法很好地解释人们在不同决策场景下策略的转换，例如在高价值不确定性时，人们为何会从基于价值的决策转向基于奖励频率的决策。为了解开这些谜团，来自美国德克萨斯农工大学（Texas A&M University）等机构的研究人员开展了相关研究，其成果发表在《Communications Psychology》上。

研究人员为了深入探究人类在不确定性决策中的行为机制，构建了熵加权双过程模型。该模型创新性地利用狄利克雷（Dirichlet）分布和多元高斯（multivariate Gaussian）分布，分别代表基于频率和基于价值的决策过程。研究人员通过精心设计实验，让 293 名德克萨斯农工大学的本科生参与，设置了三种不同奖励方差水平的任务，分别为低方差（LV）、中等方差（MV）和高方差（HV）。参与者需要在不同阶段选择不同的选项组合，并根据反馈学习以获取更多奖励。

在研究方法上，主要采用了以下关键技术：一是模型构建，利用 Dirichlet 和 multivariate Gaussian 分布构建双过程模型，并与 Delta、Decay 等五种已有的 RL 模型进行对比；二是实验设计，设置不同奖励方差的实验条件，收集参与者在训练和转移阶段的选择数据；三是模型评估，运用最大似然（ML）方法进行模型拟合，通过计算赤池信息准则（AIC）、贝叶斯信息准则（BIC）等指标评估模型性能 。

研究结果如下：

• 先验模型模拟：双过程模型对奖励比率和方差均敏感，能预测随着方差增加和奖励比率降低，在 CA 试验中选择 C 的次数减少，以及模拟主体显示频率效应的比例增加。而其他模型主要关注奖励价值差异，忽略了不确定性的影响。通过逻辑回归分析进一步证实，只有双过程模型中奖励方差与奖励比率对选择 C 的比例存在显著交互作用。
• 行为结果：参与者在高不确定性（HV）条件下，选择最优选项的准确性更低，学习速度更慢。在关键的 CA 试验中，低方差（LV）条件下参与者偏好理论上更好的选项 C，中等方差（MV）条件下无明显偏好，高方差（HV）条件下则偏好奖励频率更高但价值较低的选项 A，这与双过程模型的预测相符。
• 模型拟合结果：在所有奖励方差水平下，双过程模型在拟合效果上总体优于其他模型，其在高方差（HV）条件下优势尤为明显。事后模拟也表明，双过程模型能最成功地复制参与者在 CA 试验中的选择模式，且模型恢复和参数恢复性能良好。
• 事后分析：随着奖励方差增加，双过程模型中逆对数温度参数（c）显著下降，表明随机选择行为增加。更高的 Dirichlet 权重与选择 C 的可能性降低密切相关，且随着方差增加，Dirichlet 权重显著增加，客观 Dirichlet 权重在不同条件下变化显著，而主观 Dirichlet 权重变化不明显。此外，反应时间分析表明，价值 - based 决策可能比频率 - based 决策计算需求更高，当涉及多个过程时认知负荷最高。

研究结论和讨论部分指出，该研究揭示了参与者在高价值不确定性条件下，从以价值为主导的策略转变为越来越依赖奖励频率的双过程策略。双过程模型通过熵加权在线加权方法，能够有效捕捉这种策略转变，为理解人类决策行为提供了新的视角。与其他试图开发双过程框架的研究相比，该模型具有独特优势，它利用分布函数来表示预期，通过熵来衡量不确定性，使模型更加严谨和具有普遍性。不过，该模型也存在一定局限性，例如主观 Dirichlet 权重参数在参数恢复过程中稳定性相对较低。但总体而言，这项研究对于解释人类在复杂、多变量环境中的决策行为具有重要意义，为未来的决策研究和强化学习建模开辟了新的道路，有助于进一步探索人类决策过程中的认知机制。