用于草莓采收机检测的深度学习：结合地面和空中成像技术

《Smart Energy》：Deep Learning for Strawberry Runner Detection Integrating Ground and Aerial Imaging

草莓匍匐茎检测中，基于YOLO的深度学习模型通过整合地面（0.5米）和空中（5米、10米）多源数据训练，验证了模型在复杂田间环境下的泛化能力。实验采用三种成像平台（GI、AI5、AI10）采集不同生长阶段草莓图像，构建了包含420和1594株植物的训练集，并开发了YOLOv8x-seg和YOLOv11x-seg双模型。结果显示，集成数据集训练的YOLOv11x-seg模型在GI、AI5、AI10三个验证集上F1值达0.79-0.82，优于单平台训练模型，且在5米高度航拍数据中实现最佳平衡（F1=0.81）。该研究为自动化草莓田间管理提供了高精度检测方案，并验证了多尺度数据对模型鲁棒性的提升作用。

　　草莓匍匐茎（runners）的准确和高效检测对于科研应用和商业生产中的匍匐茎移除方案开发至关重要。本研究提出了一种基于深度学习的自动化检测方法，用于在田间条件下通过多种平台采集的图像进行匍匐茎识别。通过整合不同品种、生长阶段和季节的草莓植物图像，构建了一个全面的训练数据集，以提高深度卷积神经网络（DCNN）模型在匍匐茎检测和分割任务中的准确性和效率。图像采集采用了三种不同的方法：地面成像（GI）在距离地面0.5米的前视角度，以及空中成像（AI5）和（AI10）在距离地面5米和10米的正视角度。这些平台为不同分辨率的草莓植物图像提供了数据，从而训练了YOLO-based模型，用于检测和分割匍匐茎。

在验证结果中，我们发现基于综合数据集训练的检测和分割模型表现优于仅基于特定平台的模型，显示出更强的跨不同成像条件的泛化能力。具体而言，检测模型在GI、AI5和AI10验证数据集上分别达到了0.79、0.81和0.82的F1分数，优于对应的分割模型，突显了多源训练的优势。值得注意的是，空中成像在5米高度（AI5）表现出较高的检测准确性和成像效率之间的平衡，F1分数为0.81，优于基于地面和更高海拔的空中图像。本研究提升了草莓匍匐茎检测的自动化水平，提供了可用于训练DCNN模型的公开数据集，还突出了中等高度空中成像作为高通量匍匐茎检测的实用解决方案。

在农业应用中，草莓匍匐茎的检测和分割对于植物育种、商业育苗和自动化系统集成具有重要意义。匍匐茎作为植物的无性繁殖结构，对草莓的生长和产量产生重要影响。它们的出现可能导致母株能量被分流，从而导致果实变小、品质下降，最终影响产量。此外，匍匐茎会增加人工移除的劳动成本，并且如果未被移除，它们会在田间生长，干扰作物管理和收获过程。因此，开发高效的自动化检测方法对于减少人工成本、提高操作效率具有重要意义。

传统的草莓种植者通常使用剪刀或手动修剪工具手动移除匍匐茎，这不仅耗费大量人力和时间，而且效率低下。因此，迫切需要自动化移除技术来降低劳动力成本。自动化技术的基础在于准确识别匍匐茎。为了实现这一目标，本研究采用深度学习方法，利用不同平台的图像数据，构建了涵盖多个品种、生长阶段和多个生长季节的多样化数据集。通过这种方式，模型能够更好地适应不同环境和成像条件，提高检测的准确性和鲁棒性。

为了提高图像数据的多样性，我们使用了三种不同的平台在不同的高度进行图像采集。这些平台包括地面车辆（GI）、空中无人机（AI5）和更高海拔的空中无人机（AI10）。通过调整飞行高度，无人机能够提供不同分辨率的图像，这在草莓产量预测、成熟度分类和农药喷洒等应用中具有重要意义。例如，低空无人机图像能够提供更详细的植物信息，适用于草莓果实和花朵的检测，而高空图像则适用于大面积的快速数据采集，从而提高农业监测的效率。

在图像预处理方面，我们采用了一系列步骤，以确保数据的质量和一致性。地面图像从视频中提取帧，并通过定义矩形窗口进行裁剪，以减少土壤和车辆的干扰。对于空中图像，我们通过分割技术提取单个植物的区域，并使用HSV色彩空间进行处理，以去除非绿色像素。通过这种方式，我们能够确保模型训练时的数据背景干净，从而提高检测和分割的准确性。

在模型训练和验证方面，我们使用了YOLOv8x-seg和YOLOv11x-seg两种模型，它们是YOLO系列中最新的模型，提供了更高的准确性和分割能力。这些模型支持一步检测和分割，相较于多阶段模型如Mask R-CNN，更适用于高通量田间表型分析。模型的训练和验证过程采用了统一的图像尺寸（320×320像素），以确保数据的一致性。通过训练和验证数据集的比较，我们发现基于综合数据集训练的模型在检测和分割任务中表现最佳，说明多源训练数据对于提高模型的泛化能力和跨领域性能至关重要。

在模型性能评估方面，我们采用了F1分数、精确度（Precision）、召回率（Recall）和平均精确度（AP50）等指标。这些指标能够全面评估模型在不同数据集上的表现。结果显示，YOLOv11x-seg在检测和分割任务中均优于YOLOv8x-seg，尤其是在跨数据集的评估中，其表现更为稳定和准确。此外，模型在AI5数据集上的表现尤为突出，说明中等高度的空中成像在检测准确性和成像效率之间提供了良好的平衡，适用于大规模田间监测。

在误差分析方面，我们发现最常见的错误是漏检（missed detections），特别是在低分辨率数据集中，如AI10，漏检率高达91.26%。这主要是由于匍匐茎较短，难以识别，或者与其他匍匐茎重叠，增加了检测的难度。其次，误检（misidentifications）也是常见的问题，例如将植物茎、花萼、轮胎痕迹、支撑杆等误认为匍匐茎。最后，过分割（over-segmentation）问题相对较少，但在某些情况下，模型会将单个匍匐茎分割为两个独立的部分，这可能会影响后续的分析和管理决策。

为了减少这些误差，我们建议在训练数据集中增加更多样化的对象类别，以帮助模型更好地区分匍匐茎和其他类似结构。此外，改进图像采集技术，如捕捉更多的光谱和形态特征，并利用多视角成像，可以为模型提供更清晰的特征，从而提高检测的准确性。我们还发现，使用YOLOv11x-seg模型在综合数据集上的表现最佳，这表明模型的结构和优化策略对于提高检测和分割性能至关重要。

本研究的结论表明，基于深度学习的自动化检测方法在草莓匍匐茎识别中具有显著的优势。通过构建多样化数据集和使用先进的YOLO-based模型，我们实现了在不同田间条件下的高精度检测。这些成果为未来的自动化作物管理实践提供了重要的基础，有助于提高草莓生产的效率和可持续性。此外，本研究还强调了中等高度空中成像在高通量检测中的实用性，以及多源训练数据对模型泛化能力的重要性。

总之，本研究不仅提升了草莓匍匐茎检测的自动化水平，还为其他草莓相关对象识别和表型分析提供了宝贵的资源。通过结合多种成像平台和先进的深度学习技术，我们为未来的农业自动化应用提供了可行的解决方案，有助于推动精准农业的发展。