基于条件变换的分子优化反应感知化合物探索与强化学习

设计具有理想性质的分子是药物发现的关键，然而，在现有的化合物探索模型中，合成可及性仍然有限。在这里，作者报告TRACER作为一个框架，将分子性质优化与合成途径生成相结合，生成靶向DRD2， AKT1和CXCR4的具有高回报价值的化合物。

　　

基于条件 Transformer 和强化学习的分子优化研究解读

在药物研发领域，设计出具备理想特性的分子至关重要。近期，来自东京理科大学（Institute of Science Tokyo）生命科学与技术系的 Shogo Nakamura、材料与信息融合研究院（Academy for Convergence of Materials and Informatics，TAC-MI）的 Nobuaki Yasuo 以及计算机科学系的 Masakazu Sekijima 等研究人员，在Communications Chemistry期刊上发表了题为 “Molecular optimization using a conditional transformer for reaction-aware compound exploration with reinforcement learning” 的论文。该研究提出了一种创新的分子生成模型 TRACER，将条件 Transformer 和蒙特卡罗树搜索（MCTS）相结合，为药物研发中的分子优化提供了新的思路和方法，有望加速新型化合物的优化进程，推动药物发现领域的发展。

研究背景

小分子在药物研发中占据着关键地位，但新药研发面临着诸多挑战。一方面，新的药物候选物越来越难以发现，研发周期漫长，平均耗时超过 12 年，成本高达 26 亿美元。另一方面，在药物研发的早期阶段，从大量化合物中筛选出具有高抑制活性的命中化合物后，如何高效地对其进行结构拓展，以探索具有理想特性的药物候选化合物，成为了提高药物研发效率的关键。

深度学习的发展促使了分子生成模型的诞生，这些模型能够用于全新设计和命中到先导物的优化。然而，大多数现有方法仅关注 “制造什么”，却未能充分考虑 “如何制造” 的问题。例如，基于循环神经网络（RNNs）、变分自编码器（VAEs）和生成对抗网络（GANs）等架构的分子生成模型，以及明确考虑与靶蛋白相互作用的分子设计方法，在生成分子时都没有考虑合成的可行性。虽然存在一些评估合成难易程度的方法，如 SA 评分以及在此基础上改进的方法，但这些拓扑方法只能大致估计合成的难易程度，无法真正考虑合成的可行性。此外，尽管有逆合成模型可用于预测合成途径，但它们难以考虑化学反应的复杂性，在合成规划过程中仍离不开人类专家的知识和经验。

为了解决这些问题，研究人员提出了多种方法，如通过预定义的反应模板构建虚拟库，以及基于机器学习的类似方法与优化算法相结合等。然而，这些方法也存在一定的局限性，如反应模板过于简化，难以考虑化学选择性和区域选择性等重要因素。

研究材料和方法

实验材料

研究使用了多个数据集，其中 USPTO 1k TPL 数据集源自 USPTO 数据库，包含 445,000 个反应及相应的反应模板，经过处理后用于训练模型，以学习化学反应知识。QSAR 建模数据集则针对不同的靶蛋白（DRD2、AKT1 和 CXCR4）进行构建，从多个数据库中获取活性和非活性化合物数据，用于训练预测靶蛋白活性概率的模型。此外，为了展示模型从未见分子开始生成优化化合物的能力，还构建了一个不包含在训练集中的分子数据集，该数据集来自 ZINC 数据库，并经过筛选和对接模拟。

实验方法

1. 条件 Transformer 模型：基于 Transformer 架构构建条件 Transformer 模型，利用注意力机制学习 SMILES 字符串中的长程依赖关系。通过在输入的 SMILES 序列开头添加从 USPTO 1k TPL 数据集中提取的 1,000 个反应模板的索引作为条件令牌，训练模型预测对应反应的产物，以此控制虚拟化学反应的多样性。模型的超参数根据原始 Transformer 模型设定，如批量大小为 128、模型维度为 512 等。
2. 图卷积网络（GCN）：GCN 模型用于预测反应物适用的反应模板。分子通过邻接矩阵、节点特征矩阵和边张量进行表示，经过图卷积层、密集层和聚合层的计算，最终预测反应模板。通过 Optuna 优化 GCN 模型的超参数，在测试数据上评估得到 top - 1 准确率为 0.483，top - 5 准确率为 0.771，top - 10 准确率为 0.862。
3. 蒙特卡罗树搜索（MCTS）：MCTS 算法用于生成针对奖励函数优化的化合物。在该框架中，节点代表分子，路径代表合成路线。MCTS 算法包含选择、扩展、模拟和反向传播四个步骤。选择步骤基于 UCB 分数选择最有前景的节点；扩展步骤利用 Transformer 通过虚拟化学反应生成产物并添加为新的子节点；模拟步骤对新生成的分子进行多次虚拟化学反应，评估其潜力；反向传播步骤将模拟得到的值传播回根节点，以高效生成优化化合物。
4. QSAR 模型：使用随机森林分类器训练定量结构 - 活性关系（QSAR）模型，基于 2048 位 ECFP6 从化学结构预测靶蛋白的活性概率。针对 DRD2、AKT1 和 CXCR4 三种靶蛋白，分别使用相应的活性 / 非活性标记数据集进行训练，并通过 Optuna 优化超参数。训练后的模型在测试数据集上进行评估，在 DRD2、AKT1 和 CXCR4 上分别取得了 0.984、0.958 和 0.974 的准确率以及 0.703、0.897 和 0.924 的 AUC 值。

研究结果

条件令牌对化学反应的影响

通过计算验证数据的部分准确率（每个 SMILES 令牌的准确率）和完美准确率（每个分子的准确率），评估模型识别部分和整体产物结构的能力。研究发现，无论是否存在反应模板信息，部分准确率都能迅速达到约 0.9，这表明模型能够从反应物中学习部分产物结构，因为反应物的骨架通常会保留在产物中。然而，完美准确率的增长速度较慢，条件模型的完美准确率稳定在约 0.6，无条件模型则为 0.2。这说明在没有反应模板的情况下，模型难以从训练数据中重现化学反应，而提供反应模板信息能够提高准确率。此外，计算测试数据的 top - n 准确率发现，添加反应模板信息后，模型的 top - 1、top - 5 和 top - 10 准确率均有所提高，表明化学反应知识能够缩小预测分子的化学空间，提升模型生成合适产物的能力。在生成产物时，无条件 Transformer 存在偏差，而条件 Transformer 结合 GCN 预测的反应模板，能够生成通过多种化学反应得到的化合物，包括训练数据中未出现的组合，这表明条件 Transformer 可以从条件令牌中提取化学反应知识，为未知的反应物和化学反应组合提出合理的产物。

基于 QSAR 模型的化合物优化及合成路线生成

从 USPTO 1k TPL 数据集中为 DRD2、AKT1 和 CXCR4 选择了五种起始材料，以这些起始材料为根节点，执行 MCTS 计算 200 步，扩展步骤中预测的反应模板数量设置为 10。研究发现，TRACER 能够有效地生成与 USPTO 数据库中不同的化合物，生成具有高 QSAR 值（超过 0.5）化合物的效率受起始化合物的显著影响。对于 DRD2 和 AKT1，当起始材料的 QSAR 值较高时，更易发现高奖励值的分子；对于 CXCR4，从低 QSAR 值的起始材料发现优化化合物较困难，但从部分起始材料（如 13 - 15）仍能以约 15% 的速率生成 QSAR 值超过 0.5 的化合物。此外，通过调整 Transformer 推理过程中的波束宽度，可以影响化合物的生成。在一些情况下，缩小波束宽度促进深度探索更有利于发现高奖励值的分子；而在另一些情况下，增加波束宽度促进广度探索更有助于生成高奖励值的分子。同时，研究还发现增加波束宽度对生成分子的多样性在某些情况下有降低趋势，而对其他情况影响不明显。

研究进一步考察了模型生成的反应途径，以具有最高奖励值的化合物及其合成路线为例，发现所有起始材料均为商业可得，表明模型即使在隐式学习部分反应物的情况下，也能捕捉到反应物的可用性特征。并且，模型能够正确预测化学反应的选择性，如在多个反应实例中，准确预测了芳香亲核取代反应、Friedel - Crafts 酰基化反应等的选择性，这是基于反应模板的方法难以做到的。与之对比，无条件 Transformer 生成的合成路线因存在不合理的转化而不实用，其反应物 Murcko 骨架的保留率仅为 43.3%，而条件 Transformer 的保留率高达 94.5%，进一步证明了基于化学反应进行条件设定的重要性。

与其他分子生成模型的比较分析

将 TRACER 与 Molecule Chef、DoG - Gen、CasVAE 和 SynFlowNet 等基准模型进行比较。在针对 DRD2、AKT1 和 CXCR4 的结构优化实验中，TRACER 在化合物独特性和生成 USPTO - 独特分子的比例方面表现出色，尤其在生成与训练数据不相似的化合物方面具有优势，其 FCD 值较高。对于不同的靶蛋白，各模型在生成化合物的比例、多样性和 SA 分数等方面表现各异。例如，CasVAE 在某些情况下生成高 QSAR 值化合物的比例较高，但由于其仅在化合物结构的潜在空间进行贝叶斯优化，不考虑反应树的潜在表示，导致在生成反应树时存在问题，高通量能力不足。DoG - Gen 虽然能够处理多步转化并显式学习化学反应，但生成的化合物与训练数据重叠较多。SynFlowNet 则因反应模板应用方式导致生成大量重复化合物。综合来看，TRACER 在考虑真实化学反应的情况下，能够在广阔的化学空间中进行稳健探索，尽管在生成高 QSAR 值化合物的比例上处于中等水平，但该能力与起始化合物的选择密切相关。

从未见分子开始的结构优化实验

为模拟实际药物发现过程，从 ZINC 数据库中获取非专利类化合物数据集，选择具有最高配体效率的化合物作为起始材料，分别为 DRD2 和 AKT1 选择了化合物 16，为 CXCR4 选择了化合物 17。尽管这些起始化合物的 QSAR 值较低，但 TRACER 通过优化其结构提高了奖励值。在不同的波束宽度下，均能生成 QSAR 值超过阈值的化合物，且生成的化合物大多不在训练数据集中。将 TRACER 生成的化合物与已知配体进行比较，发现即使已知配体不在训练数据中，仍能生成具有较高 Tanimoto 相似性的化合物，并为这些化合物生成了合理的合成路线。这表明 TRACER 能够从不在训练数据中的分子开始，有效地为奖励函数生成优化化合物，生成与未包含在训练数据中的活性配体结构相似的化合物，并生成相应的反应途径。

研究结论与讨论

本研究成功开发了一种条件 Transformer 模型，用于预测多种化学反应。与无条件模型相比，该模型显著提高了输出产物预测的准确性。通过纳入反应模板信息，模型能够通过多种化学反应生成分子。TRACER 作为条件 Transformer、GCN 和 MCTS 的组合模型，在针对特定蛋白质的化合物优化方面展现出了良好的性能。利用 QSAR 模型预测 DRD2、AKT1 和 CXCR4 活性的 MCTS 分子生成实验，证明了条件 Transformer 在药物发现中的适用性。不同搜索宽度的 MCTS 实验表明，在某些情况下，扩大搜索宽度能够高效生成高奖励值的化合物；而在另一些情况下，缩小搜索宽度则有助于进行更深入的搜索，从而发现高奖励值的分子。此外，模型虽然隐式学习了数据集中的部分反应物，但仍能通过添加商业可得的构建块进行结构转化。在基准实验中，TRACER 比其他模型更能探索远离训练数据的化学空间，并且即使从训练数据中不存在且 QSAR 值接近零的化合物开始，也能成功生成高奖励值的化合物，这充分体现了该框架对起始化合物和靶蛋白变化的鲁棒性。

该研究的成果对于药物研发具有重要意义。传统的分子生成模型在考虑合成可行性方面存在不足，而 TRACER 模型的出现弥补了这一缺陷，为药物研发提供了一种更有效的分子优化方法。通过将化学反应知识融入分子生成过程，TRACER 能够生成更具实际合成可能性的化合物，减少了后续实验验证的工作量，有望加速药物研发的进程。此外，该模型在处理不同起始化合物和靶蛋白时表现出的鲁棒性，使其能够适应多样化的药物研发需求。未来，通过整合更多的模型，如反应条件推荐模型或多目标优化模型，有望进一步加速药物发现任务中新型化合物的优化过程。同时，利用更大的数据集对模型进行优化，探索其在更多样化奖励函数下的应用潜力，将有助于进一步提高模型的性能和适用性，为药物研发领域带来新的突破。