编辑推荐：
深度学习模型决策过程的透明性至关重要，尤其在高风险决策场景。研究人员开展了关于浅层原型部分网络（Shallow-ProtoPNet）的研究，结果显示其性能与其他不可完全透明的可解释模型相当，为构建更透明的深度学习模型迈出重要一步。
在人工智能飞速发展的当下，深度学习模型广泛应用于各个领域，然而其 “黑箱” 特性却成为阻碍。在医疗诊断、司法决策等关键场景中，模型决策缺乏透明性，使得人们难以知晓其推理依据。例如在医疗领域，错误的数据输入可能导致误诊，影响患者的治疗；在司法领域，像格伦?罗德里格斯（Glen Rodriguez）因错误的 COMPAS 评分被拒绝假释的案例，更是凸显了黑箱模型的弊端。为了打破这一困境，来自美国威斯康星大学麦迪逊分校（University of Wisconsin-Madison）和加拿大里贾纳大学（University of Regina）的研究人员开展了关于可解释深度学习模型的研究，相关成果发表于《Scientific Reports》。
研究人员提出了浅层原型部分网络（ShallowProtoPNet）这一全新的深度学习模型。该模型的关键技术方法主要包括：其一，独特的网络架构，由一个广义卷积层（用于生成原型）和一个全连接层组成，不依赖任何黑箱模型作为基线，与传统的原型部分网络（ProtoPNet）使用黑箱模型的卷积层作为基线形成鲜明对比；其二，采用特定的训练优化方法，通过求解特定的优化问题，最小化交叉熵并聚类原型，以此来训练模型 ；其三，使用胸部 X 射线图像数据集进行实验，该数据集涵盖了 COVID-19 患者、肺炎患者和正常人的图像，并将图像统一调整为 224×224 大小。
研究结果如下：
- 模型性能评估：研究人员使用准确率、精确率、召回率和 F1分数等指标，对 ShallowProtoPNet 与其他 37 个模型进行对比。结果显示，ShallowProtoPNet 的准确率为 86.24%，在部分指标上表现出色。例如，当以 Normal 为正类时，其 F1分数在与其他 ProtoPNet 模型的比较中，除了与基于 VGG-19 的 NP-ProtoPNet 相近外，优于其他模型。而且，通过统计分析表明，没有其他 ProtoPNet 模型的准确率在统计学上显著优于 ShallowProtoPNet。
- 模型稳定性分析：研究发现，所有 ProtoPNet 模型和基础模型在训练过程中，准确率在稳定后仍会波动，但 VGG-16 和 VGG-19 的准确率相对稳定。
- 模型尺寸与适用性分析：ShallowProtoPNet 尺寸极小，仅约 50KB，远小于其他 ProtoPNet 模型（最小 28000KB），非常适合内存有限的嵌入式系统。同时，它在相对小尺寸的 X 射线图像数据集上表现良好，适用于数据收集成本高或难以获取大量数据的场景，如罕见疾病的影像分类。
研究结论与讨论部分指出，ShallowProtoPNet 是一个完全透明的模型，与其他 ProtoPNet 模型相比，它不依赖黑箱模型，这是其独特优势。尽管在大尺寸数据集上性能不如其他模型，但在小尺寸 X 射线图像数据集上的良好表现，使其在实际应用中具有重要价值，尤其是在对模型透明性要求极高的场景中。不过，ShallowProtoPNet 也存在一定局限性，如由于层数少、训练参数少，在大尺寸数据集上难以超越其他模型；并且在使用训练图像的补丁替换原型时，准确率会下降。未来，研究人员计划探索最优的原型空间维度理论界限，尝试增加更多透明层以加深模型，使其能适用于更大规模的数据集。这一研究成果为深度学习模型的发展开辟了新方向，有望推动更透明、更可靠的人工智能技术的进步，在医疗影像诊断、嵌入式系统等领域具有广阔的应用前景。
