基于提示工程优化大语言模型在miRNA信息提取中的性能研究

本研究针对大语言模型(LLM)在microRNA(miRNA)等生物医学细粒度信息提取中的性能瓶颈，通过构建Re-Tex、Re-miR和miR-Cancer三个高质量数据集，系统评估了GPT-4o、Gemini和Claude等模型在实体识别和关系抽取任务中的表现。研究发现生成知识提示策略可使F1值最高提升至76.6%（实体）和54.8%（关系），但LLMs整体表现仍逊于传统计算方法，为生物医学文本挖掘提供了重要方法论参考。

　　

在生物医学研究的浩瀚文献海洋中，microRNA（miRNA）作为重要的基因调控分子，已成为癌症等复杂疾病诊断和治疗的关键靶点。然而，面对每年数以万计新发表的miRNA研究论文，传统人工提取信息的方式效率低下，而现有计算模型在识别miRNA-基因-疾病复杂关系网络时仍存在显著局限。这就像在基因组的迷宫中寻找关键线索，研究者们急需更智能的"指南针"。《Computational and Theoretical Chemistry》最新发表的研究，通过创新性地将提示工程应用于大语言模型，为这一难题提供了突破性解决方案。

研究团队首先构建了三个特色鲜明的基准数据集：包含临床相关miRNA标记物的miR-Cancer（聚焦前列腺癌和乳腺癌）、基于MEDLINE摘要的Re-miR，以及文档级标注的Re-Tex。这些数据集共包含2807个实体和837对关系，为模型评估提供了黄金标准。通过设计基线提示、5-shot思维链提示和生成知识提示三种策略，系统比较了GPT-4o、Gemini和Claude在实体识别和关系抽取中的表现。关键技术包括：基于PubMed文献的专家标注流程、多模型API调用参数标准化（temperature=1.0）、以及精确率/召回率/F1值的三重评估体系。

在"结果"部分，研究揭示了多项重要发现：实体识别方面，GPT-4o在miR-Cancer数据集达到最高F1值76.6%，其中miRNA识别准确率显著高于基因/疾病（p<0.01），显示模型对规范化命名实体的优势。关系抽取表现则相对较弱，最优F1值仅54.8%，特别是miRNA-疾病关系识别困难，反映出现有模型理解复杂生物机制的局限性。引人注目的是，生成知识提示策略通过整合专家标注规则和示例字典，使性能平均提升12.3%，显著优于传统思维链方法。

讨论部分深入分析了误差来源：23.09%的幻觉性错误（虚构实体）、40.53%的遗漏错误（尤其非特异性miRNA），以及疾病缩写误标等关键错误。与传统方法对比显示，虽然CRF模型在miRNA识别上F1值达93.5%，但LLMs无需人工特征工程的特性展现出独特优势。研究特别指出，模型在2024年最新文献上的稳健表现（仅比旧数据集低4.2%），验证了其处理时效性数据的能力。

这项研究的创新价值体现在三方面：首次系统评估LLMs在miRNA网络构建中的潜力，为生物医学知识发现提供了新范式；创建的临床导向数据集填补了该领域空白，特别包含miR-379-AR轴等治疗相关互作；提出的生成知识提示框架，为其他生物医学信息提取任务提供了可迁移的方法论。正如通讯作者Bairong Shen教授强调的，尽管当前LLMs尚未超越传统方法，但其在自动化处理和知识整合方面的优势，将加速从海量文献中发现诊断标志物和药物靶点的进程。这项工作为人工智能驱动的精准医学研究树立了重要里程碑。