基于k-mer标记化策略的基因组语言模型在植物基因组注释与调控元件强度预测中的应用研究

本研究针对当前基因组语言模型(gLM)资源消耗大的问题，系统评估了k-mer标记化策略（窗口大小3-8、重叠方案）对基于Transformer的基因组语言模型性能的影响。研究人员通过多组植物基因组任务测试发现，优化的k-mer标记化设计（特别是重叠策略）能显著提升剪接位点、多聚腺苷酸化位点等预测准确率，其性能媲美大型AgroNT模型。该研究为计算资源有限的研究者提供了高效基因组分析方案，对植物生物学研究具有重要指导意义。

　　

在植物基因组学研究快速发展的今天，高通量测序技术已解码200余种植物基因组，但如何高效注释这些海量数据仍是重大挑战。传统基因组注释方法依赖大量实验验证，而新兴的基因组语言模型(gLM)虽展现出强大潜力，但其庞大的计算需求限制了广泛应用。日本筑波大学生命环境科学系Tsukuba-Plant Innovation Research Center的Shosuke Suzuki团队在《Plant Molecular Biology》发表研究，通过创新性优化k-mer标记化策略，成功开发出计算高效且性能优异的基因组分析工具。

该研究采用轻量级预训练策略，选取拟南芥、水稻等6种代表性植物基因组构建训练集，系统比较3-8-mer窗口大小下重叠与非重叠标记化效果。关键技术包括：（1）基于Hugging Face Transformers构建BERT模型；（2）设计510bp序列滑动窗口采样策略；（3）采用15%掩码率的自监督学习；（4）建立包含RNA-seq数据的剪接位点新基准；（5）应用LoRA和(IA)³参数高效微调方法。

研究结果部分：

剪接和多聚腺苷酸化位点基准测试

重叠k-mer标记化在拟南芥剪接位点预测中表现优异，Matthews相关系数(MCC)达0.929-0.950（供体位点）和0.924-0.943（受体位点）。在5种植物多聚腺苷酸化位点预测中，4-mer重叠策略对蒺藜苜蓿(M. truncatula)预测MCC达0.803。

启动子和终止子强度结果

6-mer重叠策略使高粱(S. bicolor)启动子在玉米原生质体系统中的预测决定系数(R²)达0.647；而3-mer重叠策略使玉米(Z. mays)终止子在烟草叶系统中的R²达0.628，均优于非重叠方案。

RNA-seq剪接位点预测新数据集

构建的拟南芥RNA-seq数据集显示，重叠标记化宏平均精确度(MAP)达0.996-0.997。注意力机制分析发现非重叠策略虽能增强剪接位点token关注度（p<0.001），但会增加假阳性。

讨论与结论

该研究揭示k-mer标记化策略对模型性能的影响常超过模型规模本身：重叠策略通过保留局部序列上下文提升预测精度，而特定非重叠配置在部分任务中兼顾效率与准确性。研究创新性地证明：（1）短k-mer（3-6）更适合植物基因组任务；（2）标记化设计应与基因组元件特征匹配（如剪接位点依赖6-10nt精确定位）；（3）注意力可视化显示非重叠策略更易定位功能位点但需平衡假阳性率。

这项研究为资源受限实验室提供了媲美大型gLM的解决方案，其提出的标记化优化框架不仅适用于植物基因组，对动物和医学基因组研究也有借鉴意义。未来工作可探索：（1）长序列处理的注意力机制优化；（2）零样本预测能力提升；（3）k-mer与字节对编码(BPE)的协同效应，进一步推动基因组语言模型在精准农业和功能基因组学中的应用。