研究人员采用 5 折交叉验证评估模型性能,比较 Resnet50 和 ViT large 两种模型架构。结果发现,Resnet50 模型在 5 折交叉验证中的准确率范围是 0.59 - 0.81,ViT large 模型的准确率范围是 0.60 - 0.81,两者均在第 5 折达到最高准确率 0.81,因此选择第 5 折数据进行进一步分析。
3. 聚合方法
研究人员评估了多种聚合方法,发现多数投票(Majority Voting)、平均类别(Average Class)等方法虽有一定准确率(0.55 - 0.81),但不完全适合研究的生物学背景。自定义聚合方法(Custom Aggregation Method)和最大置信度(Max Confidence)方法是重点研究对象。通过比较不同模型在不同聚合方法下的表现,发现 ViT large 模型在使用最大置信度方法且在 ImageNet 上预训练时,整体表现出色,尤其在区分聚合体(Aggregate)和 GC-TLS 方面表现突出。
4. 模型架构
比较 ResNet50 和 ViT large 两种模型架构,以及不同预训练方法的效果。结果表明,ResNet50 模型在 ImageNet 上预训练并使用最大置信度方法时,准确率为 0.836,kappa 值为 0.747;ViT large 模型在 ImageNet 上预训练并使用最大置信度方法时,准确率达到 0.845,kappa 值为 0.761,性能优于 ResNet50。而 ViT large 模型在 UNI 上预训练时表现较差。
5. 数据可视化
通过生成彩色图块来可视化模型对测试集的分类结果。结果显示,ResNet50 - ImageNet 模型存在一些误分类,尤其是在 GC 和聚合体区域之间;ViT large 模型在 ImageNet 上预训练后,准确率更高,误分类较少;ViT 模型在 UNI 上预训练时性能较低,误分类明显。