基于检索增强生成技术的大语言模型在评估手术适宜性中的应用及泛化性研究

首页今日动态人才市场新技术专栏中国科学人云展台
BioHot
云讲堂直播会展中心特价专栏技术快讯免费试用

生物通官微
陪你抓住生命科技
跳动的脉搏

生物通首页 > 今日动态 > 正文

《npj Digital Medicine》：Retrieval augmented generation for 10 large language models and its generalizability in assessing medical fitness

【字体：大中小】 时间：2025年04月07日 来源：npj Digital Medicine 12.4

编辑推荐：

　　为解决大语言模型（LLMs）在医疗应用中缺乏领域专业知识、易产生幻觉等问题，研究人员开展了利用检索增强生成（RAG）技术优化 LLMs 用于术前医学的研究。结果显示，GPT4^LLM-RAG模型在评估手术适宜性上准确性达 96.4%，优于人类。该研究为术前评估提供了新方向。

濠电姷鏁告慨鐑藉极閸涘﹥鍙忛柣鎴ｆ閺嬩線鏌熼梻瀵割槮缁炬儳顭烽弻锝夊箛椤掍焦鍎撻梺鎼炲妼閸婂潡寮诲☉銏╂晝闁挎繂妫涢ˇ銉х磽娴ｅ搫校鐟滄澘鍟村﹢渚€姊洪幐搴ｇ畵闁瑰啿閰ｈ棢闊洦姊荤粻楣冩倵濞戞瑡缂氬褏鏁婚弻锛勪沪閻愵剛顦ㄧ紓浣虹帛缁嬫牠藝閸欏绻嗘い鎰剁秵濞堟棃鏌ｉ…鎴濆⒋婵﹤顭峰畷鎺戔枎閹存繂顬夐梻浣告惈椤戝懘濡剁粙娆惧殨闁圭粯宸诲Σ鍫ユ煏韫囨洖啸闁哄苯鐗婄换娑㈠级閹存繃鍊┑鐐插悑閻熲晠骞冮垾婢勭喓浜搁弽褌澹曞Δ鐘靛仜閻忔繈宕濆顓滀簻闁挎柨鐏濆畵鍡涙煙椤曞棛绡€鐎殿喗鎸虫慨鈧柨娑樺楠炲秴鈹戦悙宸殶闁告鍥ㄥ仱闁靛ǹ鍎Σ鍫㈡喐鎼淬劊鈧啴濡烽埡鍌氣偓鐑芥煟閿旇儻鍏岀紒杈ㄥ缁辨挻鎷呮禒瀣懙闁汇埄鍨界换婵嬬嵁閸愵喖鐓涢柛娑卞幒缁卞爼姊洪崨濠冨闁稿鎳樺畷鏇㈩敂閸℃瑧锛濋梺绋挎湰閻燂妇绮婇弶娆炬富闁哄鍨堕幉鎼佹煛娓氬洤鏋涢摶鏍煃瑜滈崜鐔笺€佸璺何ㄩ柍杞拌兌椤︽澘顪冮妶鍡樺鞍缂佸鍨剁粋宥嗐偅閸愨晝鍙嗗┑鐘绘涧濡盯宕欓崷顓犵＜闁靛ǹ鍔嶉ˉ澶愭婢舵劖鐓熸俊顖涘閻濐亞绱撳鍡楃仸闁靛洤瀚伴、鏃堝礋椤愶絾顔掑┑鐘殿暯閳ь剙纾崺锝団偓瑙勬礀瀹曨剝鐏冮梺鍛婂姈閸庢娊宕滈鍕拻闁稿本鐟чˇ锕傛煙閼恒儳鐭嬮柟渚垮姂閹粙宕ㄦ繝鍌欑綍闂備胶绮灙鐎规洟娼ч悾鍨瑹閳ь剟寮诲☉銏犵労闁告劦浜栧Σ鍫㈢磽娴ｆ彃浜鹃梺鍛婂姀閺傚倹绂嶅⿰鍫熺厸闁告劑鍔嶉幖鎰瑰⿰鍡╂綈闁靛洤瀚伴弫鍌炴嚍閵壯冨殥婵＄偑鍊ゆ禍婊堝疮鐎涙ü绻嗛柛顐ｆ礀瀹告繃銇勯弽銊х煠闁哥偠鍩栫换婵堝枈濡椿娼戦梺绋款儏閹虫﹢骞嗛崟顖ｆ晬婵ǹ椴稿▓楣冩⒑鐟欏嫬顥嬪褎顨婂畷鎰版倻閼恒儳鍘介梺鐟邦嚟閸婃垵顫濈捄铏诡唵濠电偛妯婃禍婵嬪煕閹达附鈷掗柛顐ｇ濞呭懘鏌ｉ敂鐣岀煉闁哄本绋戦埢搴ｄ沪閹存帒顥氭繝鐢靛Х椤ｎ喚妲愰弴銏犵；闁规崘顕х粻鏍煕瀹€鈧崑娑㈡嫅閻斿摜绠鹃柟瀵稿€戝璺哄嚑閹兼番鍔庨崣鎾绘煕閵夛絽濡界紒鈧崼鐔翠簻闁哄倸灏呭銉╂煃鐟欏嫬鐏撮柛銊╃畺瀹曟﹢鎳犻鍕礈闂傚倷绀侀幉鈥愁潖閻熸噴娲偄閻撳孩妲梺缁樺姇閹碱偆绮婚敐澶嬬厽婵妫楁禍婊兠瑰⿰鍫㈢暫闁哄被鍔岄埞鎴﹀幢濞戞墎鍋撳Δ鈧湁婵犲﹤瀚惌濠囨婢舵劖鐓熸俊顖涘閻濐亪鏌曢崶銊х畺闁逛究鍔嶇换婵嬪川椤曞懍鍝楃紓鍌欐祰妞村摜鏁幒鏇犱航闂備胶鍘ч～鏇㈠磹閺囩儐鍤曢柟鎯板Г閳锋帒霉閿濆懏鍟為悹鎰剁節閺屽秴鐣￠幍顔尖叺閻庤娲橀崹鍓佹崲濠靛鐐婄憸搴∥ｉ鈧埞鎴︽倷閺夋垹浠ч梺鎼炲妼缂嶅﹤鐣峰鈧崺鈧い鎺嗗亾妞ゎ亜鍟存俊鍫曞幢濡儤娈梻浣告憸閸犲骸岣块敓鐘靛祦闊洦绋戞导鐘绘煕閺囩偟浠涢悗闈涚焸濮婃椽妫冨☉姘暫濠碘槅鍋呴〃鍡涘箞閵婎煈妲剧紓浣介哺鐢繝鎮￠锔绘晣闁绘ḿ鏁搁崢顖炴煟鎼淬値娼愭繛璇х畵瀹曟垿宕熼鐐茬柧濠碉紕鍋戦崐鏇犳崲閹版澘绠犻柟鐗堟緲閸屻劑姊洪鈧粔鐢稿煕閹达附鐓欑紒瀣閹癸絿绱掗悩铏磳闁诡喗顨呴～婵嬫偂鎼粹槅娼婚梻浣风串缁插潡寮拠鑼殾闁告鍊ｉ悢鐑樺珰闁圭粯甯婄槐鐔哥節閻㈤潧啸闁轰礁鎲￠幈銊╁箻椤旇偐锛欓悷婊呭鐢帞澹曟繝姘厪濠㈣鍨崑鎾绘煕鐎ｎ偅灏甸柟鍙夋尦瀹曠喖顢楅崒銈喰ф繝鐢靛仜閻°劎鍒掕箛鎾灃婵炴垯鍩勯弫瀣煥濠靛棭妲哥紒鐘电帛閵囧嫰寮崶顭戞婵炲瓨绮岀紞濠傤潖濞差亜宸濆┑鐘插閸Ｑ冾渻閵堝繒绱伴柛妤佸▕楠炲啴鎮介崨濠冩珖闂佺ǹ鏈粙鍫ュ箯缂佹ḿ绠鹃弶鍫濆⒔閸掍即鏌熺拠褏绡€妤犵偛妫濆畷濂告偄缂堢姷鐩庨梻浣瑰濡線顢氳缁傚秹骞嶉鐟颁壕婵炲牆鐏濋弸鐔烘喐閺夊灝鏆ｉ柕鍫簼鐎靛ジ寮堕幋锕€鏁归梻浣虹帛濡礁銆掕ぐ鎺撳仺濠电姵纰嶉悡鐔兼煟閺傛寧鎲搁柣顓烆儐娣囧﹪顢曢姀鐘虫闂佺粯渚楅崳锝呯暦閸楃倣鐔兼嚃閳哄倸娈為梻鍌欑窔閳ь剛鍋涢懟顖涙櫠閹绢喗鐓熸繛鎴濆船濞呭秵顨ラ悙鏉戞诞妤犵偛锕幖褰掝敃閿濆孩顥堥梻浣虹《閺備線宕戦幘鎰佹富闁靛牆妫楅崸濠囨煕鐎ｎ偅宕岄柟钘夌埣閹瑧鈧稒锚瀵灝鈹戦敍鍕哗妞ゆ泦鍕洸濡わ絽鍟埛鎴︽煕濠靛棗顏繝鈧导瀛樼厽闁冲搫锕ら悘鈥城庨崶褝韬柟顔界矒閹稿﹥寰勫Ο鑽ょП闂傚倷鐒﹂弸濂稿疾濞戙垹鐤柟宄拌娴滃綊鏌涢妷顔煎闁绘挾鍠栭弻锝夊棘閹稿孩鍠愰梺娲诲幖椤戝棛鎹㈠┑瀣潊闁愁參顤傛禍婊堟偝婵犳艾閿ゆ俊銈勭劍濞呫垽姊虹紒妯撳湱浜搁鍫濈闁哄洢鍨洪埛鎴︽⒒閸喕鍎愮憸鐗堝笒绾炬寧銇勯弬鎸庮潔闁挎繂顦柋鍥煟閺傚灝顣崇紒鐘宠壘椤啴濡堕崱娆忣潷濠殿喗菧閸斿秶绮嬮幒妤€顫呴幒铏濠婂牏鍙撻柛銉╊棑閸掔増顨ラ悙瀵稿闁靛洤瀚伴、鏃堝礋椤愶絾顔掑┑鐘殿暯閳ь剙纾崺锝団偓瑙勬礃鐢帡鍩ユ径濞炬瀻闁逛即娼ч弫顏堟⒒閸屾艾鈧兘鎮為敃鍌氱畺闁割偅娲栫壕鎸庣箾瀹割喕绨奸柛瀣€块弻娑㈩敃閿濆洨顓煎┑鐐插悑閻楃娀寮诲☉婊庢Ъ濡炪們鍔屽Λ婵嬪春濞戙垹绠ｉ柨鏃囆掗幏鍝勵渻閵堝棗濮傞柛濠冩礃缁傛帒饪伴崼鐔哄幘濠电偠灏褔鎮橀敓鐘崇厸闁告侗鍘鹃崺锝嗩殽閻愯揪鑰挎い銏＄懇閹墽浠﹂挊澶岊吋闂備浇顕у锕傦綖婢跺⊕娲冀椤剝妞芥俊鑸靛緞婵犲倸娈ら梻浣烘嚀椤曨參宕戦悢铏逛笉濡わ絽鍟悡鐔兼煙閹规劖鐝柟鐧哥悼缁辨帡鎮╂笟顖氭闂佸疇顫夐崹鍧楀春閸曨垰绀冮柍杞拌閸嬫捇骞囬悧鍫㈠幐婵炶揪绲挎灙闁逞屽墮濞尖€愁嚕婵犳艾惟闁冲搫锕ラ弲顒€鈹戦鏂や緵闁稿瀚拌棢婵﹩鍘虹换鍡涙煟閹板吀绨婚柍褜鍓氶悧鏇犲弲閻庡箍鍎遍ˇ顖滃婵犳碍鐓欓柛鎾楀懎绗￠梺缁樻尰閻╊垶骞冨鈧幃娆撳箵閹哄棙瀵栭梻浣哥枃濡嫰藝閻㈢ǹ绠洪柛顐ｆ礃閺呮彃顭跨捄渚剳闁告ü绮欏铏规喆閸曨偄濮㈤梺鍝ュ枎濞硷繝銆佸Δ鍛潊闁靛牆妫涢崢浠嬫煙閸忚偐鏆橀柛鏂块叄閹箖鎮滃Ο璇插伎婵犵數濮撮崯顖炲Φ濠靛牃鍋撶憴鍕闁稿锕ら悾鐑芥偄閸忕⒈妫冨┑鐐村灦閿氭い銉ョЧ濮婂宕掑▎鎴М闂佺濮ょ划鎾崇暦娴兼潙绠涢柡澶庢硶椤斿洭姊洪崨濠傚婵☆垰锕畷鐢稿即閻旂繝绨婚梺瑙勫閺呮盯鎮炲ú顏呯厱婵﹩鍓﹂崕鏃堟煛鐏炲墽鈽夐柍钘夘樀瀹曪繝鎮欓崗鍝ユ暰濠电姷鏁搁崑娑㈡偋婵犲伅娲偄婵傚缍庡┑鐐叉▕娴滄粌顔忓┑鍡忔斀闁绘ɑ褰冮埀顒佹倐閿濈偛顓兼径瀣ф嫼缂備礁顑呭ḿ锟狀敁濡ゅ懏鐓曢柣鏃堟敱閸嬨儵鏌涢埞鍨伈妤犵偞岣块幏鐘绘嚑閼稿灚鍟洪梻鍌欑窔濞佳嚶ㄩ埀顒勬煠闂堟稓绉烘鐐茬箻閹煎綊宕烽鐙呯闯闂備胶枪閺堫剟鎮疯瀹曟繂顓兼径瀣弳濠殿喗锕╅崗姗€寮ㄩ懞銉ｄ簻闁哄啫鍊甸幏鈩冧繆椤栨浜鹃梻鍌欑閹碱偊鎯夋總绋跨獥闁哄稁鍘肩粻鍦喐閻楀牆淇柡浣稿暣閺屻劌鈹戦崱妯烘闂佹寧绋掗幑鍥蓟閿濆棙鍎熼柕鍫濆缂嶅牆鈹戦悙鎻掔骇缂侇喗鎸搁锝夘敃閿濆洨鐦堝┑顔角滈崕顕€宕戦幘瀛樺闁告挸寮堕崓鐢告煟閻樿崵绱版繛鍜冪秮瀹曟繈鏁冮埀顒勨€旈崘顔嘉ч柛鈩冾殘閻熴劑鏌ｆ惔銏犲毈闁告挾鍠庨锝夊川婵犲啫顎撻柣鐐寸▓閳ь剙鍘栨竟鏇炍旈悩闈涗粶闁诲繑绻堝畷婵嗩潩椤撴粈绨婚梺鎸庢煥閻忔繂鐣甸崱娆屽亾濞堝灝鏋熼柣鎿勭節閻涱噣寮介妸锕€顎撻梺闈╁瘜閸樼厧顕ｉ幎鑺モ拻濞达綀娅ｇ敮娑欑箾閸欏澧电€规洘鍔欏畷鐑筋敇濞戞ü澹曞┑顔结缚閸嬫挾鈧熬鎷�闂傚倸鍊搁崐鎼佸磹閹间礁纾圭€瑰嫭鍣磋ぐ鎺戠倞鐟滃繘寮抽敃鍌涚厱妞ゎ厽鍨垫禍婵嬫煕濞嗗繒绠婚柡宀€鍠栭獮鍡涘级閸熷啯鎹囬弻宥夋煥鐎ｎ偀鎷婚梺閫炲苯澧紒鐘茬Ч瀹曟洟鏌嗗畵銉ユ喘椤㈡盯鎮欓幓鎺斺偓顓㈡⒑缁嬭法鐏遍柛瀣仱閹繝濮€閳ヨ尙绠氬銈嗙墬缁矂鎯冮幋鐘电＜閺夊牄鍔岄崫娲煛鐏炶濡奸柍瑙勫灴瀹曢亶鍩￠崒鍌﹀缁辨挻鎷呴幓鎺嶅闂備礁鎲″ú锕傚礈濮樿泛鐭楅煫鍥ㄦ⒒缁♀偓闂佸壊鐓堥崑鍛焊閸偁浜滈柡鍌涘椤笝t缂傚倸鍊搁崐鎼佸磹閹间礁纾归柟闂寸绾惧綊鏌熼梻瀵割槮缁炬儳婀遍埀顒傛嚀鐎氫即宕戞繝鍌樷偓鎺撶節濮橆厾鍘甸梺缁樺灦钃遍柍閿嬪浮閺岋綁顢橀悢宄版懙闂佸搫鏈惄顖炪€侀弴銏℃櫜闁糕剝鐟Σ顒勬⒒娴ｈ鍋犻柛鏂跨焸瀹曟劖绻濆顓炲墻濡炪倕绻愰悧婊堝极閸ヮ剚鐓熼柟閭﹀幗缂嶆垶绻涢崨顏勫⒉缂佺粯绋撻埀顒佺⊕宀ｅ潡鎯屾繝鍕＝鐎广儱鎷戦煬顒傗偓娈垮枦椤曆囧煡婢舵劕顫呴柣妯荤墦閸斿秹濡甸崟顖氱睄闁稿本鑹炬禒妯侯渻閵堝骸浜愰柡鍛Т椤繘鎼归崷顓犵厯闂佸吋鍓氶崹鐓庒缚閸洘鈷戦柛娑橈攻閳锋劙鏌涢妸銉т虎妞ゆ洩绲剧换婵嗩潩椤撶喐鐝冲┑鐘灱濞夋盯鏁冮妷鈹у鈹戠€ｎ偀鎷洪梺闈╁瘜閸樻劗鎲撮崟鍨啍闂佸綊妫跨粈浣感ч弻銉︾厱妞ゆ劗濮撮崝婊堟煃闁垮鐏撮柟顔肩秺瀹曞爼濡搁妷褏銈烽梻浣规偠閸婃繃绂嶉崼鏇炶摕闁绘梻鍘х粈鍕煏閸繃顥滄い蹇ユ嫹

　　在医疗领域，大语言模型（LLMs）的出现为临床应用带来了新的可能，其在一些基础临床任务中表现出与人类相当的能力，比如对患者美国麻醉医师协会（ASA）身体状况评级。然而，LLMs 在处理复杂临床任务时，仅依赖预训练知识，无法依据机构实践指南给出可靠回复，并且其产生的幻觉现象引发了严重的安全和伦理担忧。同时，手术因患者医学不适取消、医生指令错误以及患者不遵守术前指令等问题，不仅造成了巨大的经济损失，传统的术前评估方式也存在人力成本高、效率低的缺陷。

为了改善这一现状，新加坡总医院（Singapore General Hospital）、杜克 - 国大医学院（Duke-NUS Medical School）等多个机构的研究人员开展了一项针对 LLMs 结合检索增强生成（RAG）技术在术前医学应用的研究。研究成果发表于《npj Digital Medicine》。该研究旨在开发并评估一种用于术前医学的 LLM-RAG 流程，主要评估其判断患者手术适宜性的准确性，以及提供准确、一致和安全的术前指导的能力。

研究人员运用了多种关键技术方法。首先，使用 Python 3.11 开发了先进的 LLM-RAG 框架，利用 LlamaIndex 实现高效的文本处理和检索，通过设置 “similarity_top_k” 参数为 30 来平衡信息检索和计算资源消耗。其次，遵循特定的提示工程原则优化提示，以引导 LLMs 生成更符合要求的回复。此外，选择了包括 GPT3.5、GPT4 等 10 种预训练的基础 LLMs 进行实验，在标准化的推理参数设置下生成回复。

研究结果

模型准确性：研究共评估了 3682 个组件（448 个人工生成和 3234 个 LLM 生成）。结果显示，GPT4^{international}模型预测手术适宜性的准确率最高，达到 96.4%，显著高于人类评估者的 86.6%，也优于其非 RAG 版本和使用本地指南的 RAG 版本。例如在评估 ASA 3 级患者手术适宜性时，GPT4 模型的准确性远高于 Gemini 和 LLAMA2-13b 等模型。
其他术前评估指标：在预测患者是否应由护士或医生接诊方面，使用本地指南的 GPT-4 RAG 模型准确率达到 93.0%，高于其非 RAG 版本。在生成所需医学优化建议时，GPT4^{international}模型表现优于人类，但在生成药物指令顺序上，人类生成的答案更准确。总体而言，在所有次要结果综合准确性上，GPT4^{international}模型与人类无显著差异。
模型可靠性和安全性评估：通过 S.C.O.R.E 评估框架（包含安全性、共识性、客观性、可重复性、可解释性）评估，GPT4 RAG 模型结果可重复性得分为 4.86（满分 5 分），提供安全指令的得分为 4.93（满分 5 分）。此外，人类评估者的假阴性率为 62.5%，而 GPT4^{international}模型仅为 25%。
模型一致性评估：GPT-4^{International}在预测医疗适宜性、为医护人员提供指导以及识别优化需求类型等方面，组内相关系数（IRR）分别达到 0.93、0.96 和 0.92，一致性表现优于人类评估者。
模型幻觉率和语言多样性评估：包括 GPT3.5、GPT4 等在内的多个 LLM 系统幻觉率较低，在 0% - 2.9% 之间，而 LLAMA2 的幻觉率显著较高，尤其是其 RAG 增强版本。通过 n-gram 分析发现，GPT-3.5、GPT-4 等模型在 2-gram 和 3-gram 指标上平均得分较高，语言多样性较强。