GPT、Bard 和 Bing 聊天机器人在基础生命支持（BLS）场景中回复的正确性与可靠性评估

首页今日动态人才市场新技术专栏中国科学人云展台
BioHot
云讲堂直播会展中心特价专栏技术快讯免费试用

生物通官微
陪你抓住生命科技
跳动的脉搏

生物通首页 > 今日动态 > 正文

《Scientific Reports》：Evaluation of correctness and reliability of GPT, Bard, and Bing chatbots’ responses in basic life support scenarios

【字体：大中小】 时间：2025年04月04日 来源：Scientific Reports 3.8

编辑推荐：

　　在人们健康信息获取转向网络的当下，为评估 GPT-3.5、GPT-4、Bard 和 Bing 等聊天机器人在基础生命支持（BLS）场景中回复的可靠性，研究人员开展了相关研究。结果显示，各聊天机器人在儿科和婴儿场景表现不佳且未严格遵循 BLS 指南。这为 AI 在医疗领域的应用提供重要参考。

动物模型在心血管疾病领域的应用最新文献下载

婵犵數濮烽弫鎼佸磻閻愬搫鍨傞柛顐ｆ礀缁犳彃霉閿濆懎顥忔繛瀛樼墵閺屾洘绻涜濡鐨梻鍌欑劍閺嬪ジ寮插☉銏犵柈濞村吋娼欓悡妯尖偓骞垮劚椤︿即鎮￠弴銏＄厵濞寸厧鐡ㄥ☉褎顨ラ悙鐦佺細缂佽鲸甯￠幃鈺呭传閸曨偅鍎紓鍌欐祰妞村摜鏁Δ鈧銉╁礋椤撴稑浜鹃柨婵嗙凹缁ㄨ棄霉閻樿櫕缍戞い顏勫暣婵″爼宕卞Δ鍐惧剬闂備礁鎽滄慨鐢告偋閻樿崵宓侀柛鈩冪☉缁€鍐┿亜閺冨洤浜规い锔芥緲椤啴濡堕崨顖滎唶濠碘槅鍋呴惄顖氱暦閹扮増鍊烽柣鎴炃氶幏娲⒑闂堚晛鐦滈柛娆屽亾濠碉紕鍋撻幃鍌炲蓟濞戞ǚ鏋庨煫鍥ㄦ礈椤斿﹤鈹戦垾鍐茬骇闁告梹娲熼崺鐐哄箣閻橆偄浜鹃柨婵嗛娴滄粌霉閻樿櫕銇濇慨濠呮缁辨帒螣閼姐倕寮抽梻浣告贡閳峰牓宕戞繝鍥ф槬婵炴垯鍨归崘鈧銈嗘尵閸熷潡骞忛崫鍕垫富闁靛牆妫楁慨褏绱掗煫顓犵煓鐎规洦鍋勭叅妞ゅ繐鎳愰崢閬嶆⒑閹稿海绠撻悗姘煎墮閻ｇ敻宕卞Ο璇插伎婵犵數濮撮崐褰掑磻閵壯€鍋撶憴鍕濞存粏娉涢锝夊箻椤旇棄浜归梺鍛婄懃椤︿即鎮甸敃鍌涒拻濞达絽鎲￠幆鍫熴亜閿旇浜扮€殿喗褰冮オ浼村醇閻旇渹鐢婚柣鐔哥矋濡啴鐛崱妯肩懝闁逞屽墴閻涱噣骞掗幊铏閸┾偓妞ゆ巻鍋撻摶鐐存叏濡炶浜鹃梺鍝勬湰閻╊垱淇婇悜钘夘潊闁斥晛鍟拌ぐ鍥煟閻斿摜鐭嬫繝銏∶玻鍧楁晸閻樿尪鎽曢梺闈浨归崕顔嘉ｉ崼鐔剁箚妞ゆ牗姘ㄦ禒銏°亜韫囷絽骞栨い顏勫暣婵″爼宕掑☉娆愵唭闂備焦鎮堕崕娲偂閸繍娼栭柛褎顨嗛埛鎴︽⒑椤愩倕浠滈柤娲诲灡閺呭爼骞橀鐣屽幍閻庤娲栧ú銈夊几閹寸偟绠鹃柣鎾虫捣缁犺鈹戦埄鍐╁€愰柡浣稿€块弻銊╊敍濮橆偄顥氭俊鐐€栧ú宥夊磻閹剧粯鐓涢悘鐐插⒔閳藉鎽堕敐澶嬬厽闁规儳鍟块銏ゆ煟鎼淬劎鐣烘慨濠冩そ瀹曨偊宕熼棃娑樺闂備礁鎽滈崰鎰板箰閸愬樊鍤曟い鎰╁焺閸氬鏌涘☉鍗炵仭婵炲牊娲熷娲川婵犲倸顫嶉梺绋块閸熷潡鍩㈤幘璇茶摕闁靛鑵归幏铏圭磽閸屾瑧鍔嶉柨姘攽椤旂⒈妯€闁哄瞼鍠栭幖褰掝敃閿濆懐锛撻柣搴ゎ潐濞叉粓寮繝姘モ偓浣割潩鐠鸿櫣鍔﹀銈嗗笒鐎氼剟寮告担琛″亾楠炲灝鍔氭い锔垮嵆瀵煡骞栨担鍦弳闂佺粯娲栭崐鍦偓姘炬嫹闂傚倸鍊峰ù鍥х暦閸偅鍙忛柟鎯板Г閳锋梻鈧箍鍎遍ˇ顖炲垂閸岀偞鐓㈡俊顖滃皑缁辨岸鏌ㄥ┑鍡╂Ц缂佲偓閸曨剚鍙忔繝鍨尵椤斿槗ot缂傚倸鍊搁崐鎼佸磹瀹勯偊娓婚柟鐑樻⒒閻岸鏌涢锝嗙闁搞劌鍊婚惀顏堫敇閻愭潙娅℃繛瀛樼矊缂嶅﹪寮诲☉銏犖ㄦい鏃傚帶椤晠姊虹粙鑳潶闁告梹鍨垮濠氭晲婢跺﹥顥濋梺鍦规鎼佸汲閸儲鈷戦悹鍥ㄥ絻閸ら亶鏌熼崙銈嗗

在当今数字化时代，健康信息的获取渠道发生了巨大变化，人们越来越倾向于从网络获取健康知识。基础生命支持（Basic Life Support，BLS）在紧急医疗服务到达前，对挽救生命和改善神经功能结局至关重要。像美国心脏协会（American Heart Association，AHA）等组织一直致力于推广心肺复苏（Cardiopulmonary Resuscitation，CPR）和自动体外除颤器（Automated External Defibrillator，AED）的培训。然而近年来，随着人们健康信息搜索习惯向网络转移，由生成式人工智能（Artificial Intelligence，AI）驱动的聊天机器人逐渐兴起，有望成为提供即时健康指导的工具。但目前并不清楚像 GPT-3.5、GPT-4、Bard 和 Bing 这些通用聊天机器人在 BLS 场景中的表现如何。为了解决这一问题，来自伊朗德黑兰医科大学（Tehran University of Medical Sciences）的研究人员开展了相关研究。
研究人员采用了横断面研究的方法。他们从联合医学教育（United Medical Education，UME）的 BLS 客观结构化临床考试（Objective Structured Clinical Examination，OSCE）中选取并改编了 6 个场景，涵盖成人、儿科和婴儿的紧急情况。通过 Microsoft Edge 浏览器访问 Bing，使用 Google Chrome 浏览器访问 Bard、ChatGPT-3.5 和 ChatGPT-4，每个场景向各聊天机器人展示两次，间隔一周。由德黑兰医科大学一位精通 AHA BLS 指南的急诊医学教授，依据 UME OSCE 标准清单对聊天机器人的回复进行评估，并利用 Cohen's kappa 系数衡量可靠性。
研究结果如下：

领取义翘神州CRO技术服务资料婵犵數濮烽。钘壩ｉ崨鏉戠；闁告洦鍓氶崕鐔哥節婵犲倻澧曠紒鐙€鍨堕弻銊╂偆閸屾稑顏� 闂傚倸鍊搁崐椋庣矆娓氣偓楠炲鏁撻悩鍐蹭画闂備緡鍓欑粔瀵哥不椤栫偞鐓ラ柣鏇炲€圭€氾拷

濠电姴鐥夐弶搴撳亾濡や焦鍙忛柣鎴ｆ绾剧粯绻涢幋娆忕仾闁稿﹨鍩栫换婵嬫濞戝崬鍓扮紓浣哄Х閸犳牠寮婚妸鈺傚亞闁稿本绋戦锟� Standard BioTools全新发布的X9™一站式微流控基因分析系统，可在单次运行中建立超过9000个独立纳升级反应体系，确保高成本效益的全面样本分析，并将人工操作的影响降至最低。欢迎索取详细资料

正确性：在成人场景中，GPT-4 首次尝试时的正确回答率最高，达 85%，Bard 为 60%，其他聊天机器人正确率低于 50%；儿科场景中，Bard 第二次尝试的正确率为 52.17%，其余聊天机器人低于 44% ；婴儿场景中，所有聊天机器人的正确率均低于 27%。综合来看，Bard 的第二次回复正确回答率最高，为 42.42%，GPT-4 的首次回复次之，为 37.88%。
对 BLS 场景的识别及建议：所有聊天机器人都能正确识别 BLS 场景并提出适当的 CPR 顺序，但只有 Bing 能在婴儿场景中区分单救援者和双救援者情况，且 Bing 建议在寻求额外帮助和获取 AED 之前先进行一分钟 CPR，这与 AHA 指南不一致。此外，虽然部分聊天机器人在成人场景中考虑使用 AED，但都未建议旁观者尽可能获取 AED。
可靠性：Cohen's kappa 系数显示，GPT-4（）和 GPT-3.5（）具有较高可靠性；Bing（）可靠性中等；Bard（）可靠性一般。
研究结论和讨论部分指出，GPT-4 在成人 BLS 场景中表现最佳，但在儿科和婴儿场景中表现较弱。Bard 在成人场景有一定表现，但在儿科和婴儿场景同样表现不佳。Bing 和 GPT-3.5 在儿科和婴儿紧急场景中表现未达预期，这表明当前的生成式 AI 模型可能并不适合涉及年轻患者的危急情况。这可能是因为聊天机器人的训练数据主要基于成人场景或非临床对话，对儿科和婴儿 BLS 协议的细微要求理解有限。此外，研究还强调了 AI 系统在高风险环境（如 BLS）中的信任问题，尽管部分聊天机器人可靠性较高，但在关键场景中的失误仍让用户难以完全信任。本研究为 AI 在医疗领域的应用提供了重要参考，提示在将聊天机器人用于实际医疗场景时需谨慎，并强调了人类监督的必要性。同时，也为未来 AI 聊天机器人在医疗领域的改进和发展指明了方向，如利用更有针对性的数据集进行训练、开发专门的医疗聊天机器人架构等。
这项研究发表在《Scientific Reports》上，为后续相关研究奠定了基础，对推动 AI 在医疗急救领域的合理应用具有重要意义。