《Psychiatry Research》：Illustrating a framework for assessing generative artificial intelligence-based conversational agents for mental health
编辑推荐：
该研究通过Thera Turing测试框架，比较人类治疗师与AI聊天机器人Pat在家长管理培训中的治疗一致性和共同因素效果。结果显示两者治疗一致性均较高（94.44%和86%），但人类治疗师在共同因素评分（90.80%）上优于AI，表明AI在情感互动层面仍需改进。该测试方法为评估AI心理治疗工具提供了有效范式。
C. Desage|T. Patterson|Y. Wu|A. Bechtel|A. Bharat|D. Vaclavik|E. Bunge
帕洛阿尔托大学，儿童与青少年心理治疗与技术实验室，美国加利福尼亚州帕洛阿尔托
摘要
背景
基于生成式人工智能（AI）的对话代理（CAs）在扩大心理健康服务可及性方面具有潜力。
目的
本研究旨在通过比较人类治疗师和CA提供的对话质量来展示Thera Turing测试的实施方式。
方法
该研究考察了由AI CA（Pat）通过在线书面对话进行的两次对话：家长管理培训、心理教育以及特殊时光。所有对话均由心理学研究生使用Thera Turing测试框架进行评估，同时评估了治疗的忠实度及共同的治疗因素。
结果
在两次对话中（心理教育和特殊时光），人类治疗师和Pat的治疗忠实度均较高（分别为94.44%和86%）。在共同治疗因素方面，人类治疗师的得分为90.80%，高于Pat的所有对话。
讨论
这些初步结果表明，在比较人类治疗师和Pat进行的会话时，两者的治疗忠实度均达到了较高水平。就共同治疗因素而言，Pat的评分低于人类治疗师，这表明仍有改进空间。总体而言，本报告展示了使用Thera Turing测试评估CA质量并指导改进措施的好处。
部分内容摘录
对话代理
Pat是由ParenteAI开发的生成式AI CA。Pat经过训练，能够运用家长管理培训的原则（Barkley, 2000; Bunge et al., 2008; Chorpita and Weisz, 2009; Kazdin, 2008），采用代理架构进行教学：该架构由一组具有特定目标的子代理组成，并由中央决策模块协调。这使得Pat能够在基于规则策略和强化学习的基础上一致地执行治疗协议。
伦理声明
根据联邦法规，本研究不涉及人类受试者（IRB #2024–064）。
评分者间一致性
对于心理教育部分的治疗忠实度，评分者之间的一致性分别为：人类-权威型（87%）、Pat-权威型（94%）、Pat-抵抗型（89%）、Pat-宽容型（98%）、Pat-专制型（93%）。特殊时光部分的治疗忠实度评分者一致性模式类似：人类-权威型（84%）、Pat-权威型（99%）、Pat-抵抗型（99%）、Pat-宽容型（84%）、Pat-专制型（92%）。在共同治疗因素分析中，ICC值为人类-权威型（?0.00）。
讨论
本研究展示了如何应用Thera Turing测试来评估Pat在提供家长管理培训方面的质量，并为生成式AI CA的未来发展提供参考。与Thera Turing测试的第一阶段一致，首先在安全环境中使用模拟客户对Pat的对话质量进行了评估，之后才让真实家长参与。结果显示，Pat和人类治疗师都达到了较高的治疗效果。
作者声明
Christina Desage和Eduardo Bunge提出了研究概念，并负责设计、数据收集、分析和手稿撰写。Tyrique Patterson在研究设计、数据收集和手稿起草方面做出了重要贡献。YingHua Wu主要协助进行了统计分析和解释工作。Alexis Bechtel和Arjun Bharat参与了研究设计、数据收集和手稿修订。Daniella Vaclavik参与了手稿编辑和评审工作。
资金来源
本研究未获得公共部门、商业机构或非营利组织的任何特定资助。
作者贡献声明
C. Desage：写作 – 审阅与编辑、初稿撰写、项目管理、数据管理、概念构思。T. Patterson：写作 – 审阅与编辑、初稿撰写、数据管理。Y. Wu：写作 – 审阅与编辑、方法论、数据管理。A. Bechtel：写作 – 审阅与编辑、初稿撰写、数据管理。A. Bharat：写作 – 审阅与编辑、初稿撰写。D. Vaclavik：写作 – 审阅与编辑、初稿撰写。E. Bunge：写作
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Eduardo Bunge与Parente AI存在关系，包括持有股权或股票。如果还有其他作者，他们声明没有已知的可能影响本文研究结果的财务利益或个人关系。
