一种基于UWB-IMU导航技术的自动喷洒机器人的开发与田间测试——应用于木瓜温室

《Smart Energy》：Development and field evaluation of a UWB-IMU navigated autonomous spraying robot for papaya greenhouses

本研究提出轻量级RSCDet模型，集成NVIDIA Jetson TX2 NX嵌入式设备与TensorRT加速，结合ROS通信实现端到端农业害虫实时监测。实验表明RSCDet在Jetson上达345 FPS，mAP达95.8%，较YOLO系列减少56.6%的绝对误差，在 aphid高密度场景下计数准确率仍保持84.5%，验证了其在资源受限环境下的有效性。

　　在农业生产中，及时且准确的害虫监测对于保护作物健康和确保农业生产力至关重要。尽管深度学习模型在害虫检测方面展现出了巨大潜力，但在实际的农业应用场景中，其部署仍面临诸多挑战。这些问题主要源于复杂的光照条件、杂乱的背景环境以及资源受限的硬件平台。为了克服这些障碍，研究人员提出了一种名为RSCDet（RepGhostConv-Subpixel Fusion-Cascading Attention-Detection）的轻量化深度学习架构，旨在实现高性能和边缘计算部署。该研究不仅聚焦于RSCDet模型的系统级优化和部署，还通过实地测试验证了其在嵌入式设备上的应用效果。研究团队开发了一个完整的害虫监测平台，该平台集成了RSCDet模型与NVIDIA Jetson TX2 NX硬件、TensorRT推理加速、基于机器人操作系统（ROS）的异步通信机制以及4G LTE连接功能。这一系统实现了从图像采集、实时推理到远程结果可视化的一体化流程。在资源受限的条件下，RSCDet实现了超过30帧每秒（FPS）的推理速度，保持了检测准确率高于90%，并且相比YOLO系列模型将平均绝对误差降低了高达56.6%。在实际的蚜虫监测任务中，该系统在高密度蚜虫情况下实现了84.5%的计数准确率，并且远程结果反馈的延迟仅为0.25秒。这项研究为在具有挑战性的田间环境中部署智能系统提供了经过验证的设计和部署策略，同时提出了一个可扩展且节能的实时监测与早期干预解决方案，具备在地面和空中自主控制设备上的应用潜力。

在农业害虫监测领域，蚜虫是最常见且危害严重的害虫之一。它们可以影响超过200种作物，包括小麦、玉米、油菜、棉花和多种蔬菜。蚜虫的威胁不仅在于降低作物产量，还在于损害植物健康，进而影响整个农业、林业和园艺产业。传统的蚜虫识别方法通常依赖人工，这不仅成本高昂，而且主观性强，准确率较低。随着深度学习技术的发展，其在害虫检测中的应用显著提升了效率和准确性。然而，将深度学习模型部署在嵌入式设备上仍然面临挑战，因为这些模型通常需要大量的计算资源和存储空间，这在资源受限的农业环境中尤为突出。

近年来，视觉传感技术的进步推动了从人工监测向自动化识别系统的转变。传统的监测方法由于其低准确性和高人力投入而逐渐被技术密集型的解决方案所取代。例如，Qing等人设计了一个自动监测系统，用于水稻田中的害虫识别，并将图像传输至云端进行训练。Sun等人则开发了一个智能监测系统，通过将检测结果发送至网页客户端，实现了89.6%的平均精度（mAP）。Bian等人利用黄色粘虫板吸引茶小绿叶蝉，并结合摄像头和服务器获取图像。这些研究都表明，基于物联网（IoT）技术的自动监测系统可以显著提高运营效率。然而，这些系统的实现通常依赖于强大的服务器，且由于高昂的生产与计算成本以及数据传输过程中的长周期，难以满足实时识别的需求。

为了应对这些挑战，嵌入式设备成为一种有前景的解决方案。它们能够提供更及时、高效的自动化监测，从而解决固定监测站存在的检测范围局限问题。例如，Genaev等人开发了一款移动应用程序，能够在大约4秒内处理一张图像。Ahmed等人将Raspberry Pi安装在无人车上，用于检测番茄植株上的害虫。Sheng等人则提出了利用增强现实（AR）眼镜与人工智能模型结合的方案，用于田间水稻飞虱的调查。这些案例表明，嵌入式设备在大规模农业害虫监测中具有可行性。

然而，现有的研究在部署方案上仍存在一些不足。一方面，推理效率的优化不够充分；另一方面，远程可视化与设备端推理之间的耦合性较差。此外，这些模型在检测小型或密集分布的害虫方面的能力有限，且多局限于室内或半控制环境的评估。例如，Doan等人在Jetson Nano上部署了YOLOv7，但在实验室环境下仅达到约4 FPS的推理速度，远低于田间应用所需的实时检测要求。Yin等人通过引入注意力机制改进了YOLO架构，但其方法依赖于高性能计算平台（>100 TOPS），这在可扩展和节能的农业部署中并不实用。Chen等人在Jetson TX2 NX平台上实现了Pest-PVT模型，但仅支持离线检测，且没有进行模型压缩，导致模型体积较大（24.7 MB）。Annapoorna等人则在Raspberry Pi或Jetson Nano上部署了MobileNetV2或YOLO-tiny变种，支持离线识别，但仅能通过Wi-Fi/LoRa进行短距离警报，缺乏远程可视化功能。同样，Nguyen等人通过TensorRT优化EfficientDet-Lite和YOLOv3-tiny，在Jetson TX2上实现了62.9 FPS，但未考虑能耗和长距离通信的问题。Xu等人则利用ConvNeXt-Tiny和特征融合，实现了压缩后的1.47 MB模型，但其研究主要集中在分类而非目标检测，且不支持多目标或多尺度场景。

为了解决上述问题，本研究提出并部署了RSCDet模型，这是一种专为轻量化设计的深度学习架构，适用于嵌入式设备。研究团队采用了一种分层优化策略，结合轻量级模块设计和平台特定优化，以提高推理效率而不牺牲准确率。RSCDet模型的结构包括多个改进模块，如轻量化的主干网络、细粒度设计、颈部网络通道调整、检测头更新、PAFPN网络优化以及CIoU损失函数的改进。这些优化使得模型在保持较高检测精度的同时，显著降低了计算复杂度，提高了推理速度。

在硬件平台设计方面，系统集成了多种关键组件，包括电源模块、图像采集单元、边缘计算设备和通信接收终端模块。电源模块选用了适用于农田环境的移动电源，容量为3600 mAh，确保了嵌入式设备和摄像头的持续稳定运行。图像采集单元使用了HIKVISION DS-UVC-U168R工业相机，具备800万像素的图像传感器、5.8-46.4毫米的变焦镜头和30 FPS的录像帧率。所采集的视频数据被传输至计算单元进行后续分析。边缘计算设备选用了NVIDIA Jetson TX2 NX，其功耗范围为7.5-15 W，尺寸为100 mm × 80 mm × 29 mm，适用于智能机器人、无人机和无人车等移动平台。Jetson设备作为深度学习模型的载体，采用了TensorRT作为可编程推理加速库，通过C++和Python等接口程序提高模型兼容性。在农田部署前，模型首先在实验室中进行测试，以验证其可行性。在实际应用中，摄像头采集的蚜虫视频被实时传输至Jetson设备进行检测。

为了支持远程可视化和数据分析，系统集成了Qualcomm 4G LTE模块，利用4G蜂窝网络进行不同系统组件之间的数据交互。相比传统的WiFi技术，4G移动通信有效克服了距离限制，确保了实时检测视频的稳定传输。终端设备使用定制接口实现数据可视化，使用户能够监控和分析检测结果，并迅速采取针对性措施。此外，研究团队还采用了基于ROS的异步通信框架，实现了设备间的数据高效传输和处理。ROS通过管理节点，实现了分布式通信，包括节点注册、网络拓扑和系统消息协调。这种设计不仅简化了低层套接字管理，还确保了跨异构硬件的数据流畅传输。为增强网络鲁棒性，研究团队对主题队列长度和发布频率进行了细致配置，以在带宽波动或不稳定网络环境下缓冲数据，减少帧丢失和延迟。

在模型部署方面，RSCDet模型通过TensorRT进行了优化，以提高推理效率并平衡模型复杂度和准确率。优化过程包括两个阶段：编译和推理。在编译阶段，RSCDet的最优模型参数被提取并生成“.wtf”文件。网络结构则通过C++与TensorRT API结合构建。在推理阶段，序列化引擎文件被加载到内存缓冲区，以恢复模型结构和参数信息。执行单元基于优化后的模型创建，包括设置并行CUDA流、执行缓冲区以及不同CUDA流之间的信息同步。在推理过程中，输入数据在反序列化部署框架中进行预处理，随后应用非极大值抑制（NMS）、置信度阈值确定和坐标映射等后处理技术，以提高推理效率。最终结果通过硬件设备输出。

为了支持动态系统调整和运行时自我管理，关键算法参数，如置信度阈值、NMS重叠阈值和图像缩放等，被暴露为ROS服务接口。这些参数可以通过rqt_reconfigure实时调整，而无需重启节点。此外，一个集中的ROS参数服务器存储了关键配置，如网络设置、模型版本和设备标识，以确保实验室和田间部署的一致性。系统还通过rosbag实现了实时日志记录和诊断功能，用于后续处理、性能评估和调试。结合ROS诊断和actionlib，系统持续监控CPU/GPU使用率、消息队列长度和通信延迟。当检测到异常情况，如推理时间延长或消息拥堵时，系统会自动记录日志、触发警报并重置节点，以确保在复杂田间环境中保持高可用性和稳定性。ROS架构支持模块化、可扩展和容错的组件间通信，为农业环境中的智能害虫监测提供了坚实的基础。

在环境设置方面，为了优化模型的运行效率，研究团队在弹性计算服务平台上进行了离线训练。具体来说，使用了配备24 GB VRAM的NVIDIA RTX 4090作为图形处理器。开发环境基于PyCharm平台，结合CUDA 11.3架构和cuDNN v8.2.1库，以加速计算能力并提升神经网络运算性能。网络模型使用PyTorch 1.11.0框架，并用Python 3.8进行编程。训练过程中使用的超参数详见表1。

在验证平台方面，系统部署在本地高性能计算机和轻量级、低计算能力的嵌入式设备上。具体的硬件配置和环境设置详见表2。表中列出了验证平台和部署平台的硬件配置及环境参数，包括设备型号、操作系统、CPU、GPU、VRAM、CUDA版本等。这些配置为系统的性能评估和部署提供了参考依据。

在实验设置中，研究团队对嵌入式边缘设备（即NVIDIA Jetson）进行了全面的硬件评估，重点考察了YOLOv5、v7、v8、v11、v12和RSCDet模型在实时性能、模型压缩效率和计数准确率方面的表现。通过TensorRT技术，研究团队对比了FP16和FP32格式下的模型性能，以评估其在边缘设备上的效率。优化后的模型进一步用于评估计数准确率，以确定其在现实场景中的适用性。

为了验证系统平台的鲁棒性，研究团队在农田中进行了现场实验，测试了传输延迟和三种蚜虫的检测准确率。ROS主题在带宽限制和网络不稳定的情况下容易出现数据拥堵和传输延迟。为此，研究团队评估了三种压缩方法（空间压缩、JPEG压缩和Theora压缩）及其组合对视频传输性能的影响。实验平台包括NVIDIA Jetson TX2 NX嵌入式设备、HIKVISION DS-UVC-U168R工业相机、Xiaomi Pro14接收计算机和三脚架。这些实验在江苏省常州市武进区洛阳镇的现代农业示范园进行，地理坐标为31°38′54.36″N，120°05′45.11″E。

在性能评估方面，研究团队对不同模型的硬件检测性能进行了定量分析，使用了均方根误差（RMSE）、平均绝对误差（MAE）和平均相对误差（MRE）作为评估指标。这些指标用于衡量TensorRT优化模型的检测能力。研究团队还评估了模型压缩率（MCR），以衡量模型优化的效果。在实验中，RSCDet在保持较高检测准确率的同时，显著降低了模型体积和计算复杂度，使其成为边缘设备部署的理想选择。

在田间测试中，研究团队对不同压缩方法进行了实验，以评估其对视频传输性能的影响。原始视频（F0）的传输延迟高达10.50秒，且帧丢失率高达97.88%。通过空间压缩（F1）将视频分辨率降低至600 P*，带宽利用率下降了61.90%。然而，帧丢失和延迟仍然较高。编码压缩技术（F2、F3）则显著降低了帧丢失率和带宽需求。值得注意的是，F1与F3的组合在保持较低帧丢失率的同时，将传输延迟降至0.25秒，并将带宽利用率降至0.85 KB/s，成为最有效的视频传输方法。虽然在初始接收阶段存在一定的模糊度和误检，但这些问题并未显著影响最终结果。综合考虑带宽、延迟、总帧丢失率和初始模糊度，F1+F3组合被证明是最优选择。

在检测性能方面，研究团队对系统在不同作物类型上的检测能力进行了分类评估，包括窄叶作物和宽叶作物。这一区分对于评估蚜虫行为和分布的影响至关重要。在窄叶作物上，系统对CA和BCA的检测准确率分别达到了95.14%和90.79%，在宽叶作物上，对SCA的检测准确率在低密度情况下超过了90%，在中密度情况下保持在85%至91%之间，而在高密度情况下，准确率下降至80%至85%。这些结果表明，RSCDet在不同密度和环境条件下均表现出较强的适应性和鲁棒性。

在讨论部分，研究团队对比了RSCDet与其他硬件平台的性能。通过Roofline模型（图12a），研究团队评估了算法性能与底层硬件能力之间的关系。Roofline模型以对数坐标表示，用于展示计算系统的性能边界。在此背景下，模型的操作强度（"I"）被定义为计算操作与内存操作的比率，是关键因素。RSCDet模型的操作强度比基准模型（YOLOv7s）降低了67.1%，表明其在边缘计算环境中的优化性能。在所有五个平台中，基准模型始终运行在计算受限区域，尤其是在Raspberry Pi 4B的嵌入式CPU上，检测时间超过了1000 ms。相比之下，RSCDet模型在推理延迟方面表现显著更好。对于RTX 3060和RTX 4090，RSCDet的检测时间分别减少了2.8 ms和0.7 ms。对于基于CPU的平台，如AMD Ryzen 7和Broadcom BCM2711，RSCDet的检测时间分别减少了20.6%和43.0%。然而，尽管有这些改进，CPU平台的固有计算限制和缺乏加速硬件导致最大延迟达到832.2 ms，这在实时应用中仍不够理想。

GPU在处理多数据流并行计算方面具有天然优势，使其适用于高吞吐量任务。尽管RTX 4090在训练阶段通过批量处理实现了高吞吐量，但在推理阶段的表现却不尽如人意，导致其计算资源的利用率不足。这突显了高性能GPU在训练和推理之间存在的重要权衡。相比之下，RTX 3060在推理阶段表现出最小的延迟（12.1 ms），证明了其作为验证改进后的RSCDet模型的推理平台的适用性。对于部署，NVIDIA Jetson TX2 NX被证明是移动应用的理想平台，因为它在功耗和计算效率之间取得了良好的平衡。尽管其计算能力不如RTX 4090，但Jetson TX2 NX的推理时间仅在0.02至0.04秒之间，延迟非常低。与Raspberry Pi平台相比，其推理时间减少了95%，进一步证明了其高效性。然而，RTX 3060和RTX 4090的高功耗和大体积限制了它们在移动和长期离线应用中的适用性。在这种情况下，低功耗、紧凑型设备如Jetson TX2 NX更为实用。

在边缘设备上优化模型需要综合考虑计算和存储限制。基准模型的操作强度显著超过了嵌入式平台的性能容量，尤其是在低端GPU上，导致了计算过载。然而，RSCDet模型的操作强度与Jetson TX2 NX平台的性能拐点相匹配，有效避免了计算浪费，显著减轻了平台资源的负担。这种匹配不仅提高了模型的便携性，还增强了其在移动和资源受限环境中的效率。从能效角度来看，RSCDet检测系统在所有硬件平台上均表现出显著的节能效果。在Jetson TX2 NX上，单帧推理延迟从66.8 ms降低至43.2 ms。在Raspberry Pi 4B上，推理时间从1459.3 ms（基准模型）降至832.2 ms。在RTX 3060、RTX 4090和AMD Ryzen 7平台上，分别减少了2.8 ms、0.7 ms和30.5 ms。这些改进直接转化为固定功耗条件下的每帧能耗降低。例如，在Jetson TX2 NX以约8 W运行时，每帧能耗从0.54 J（0.067秒 × 8 W）降至0.34 J（0.043秒 × 8 W），每帧节省了约0.20 J的能量。在连续30 FPS的帧率下，每分钟可节省高达360 J的能量。对于依赖电池供电的部署，如使用3600 mAh电源，这些节省显著提高了田间续航能力和减少充电频率。

尽管RSCDet模型在实时蚜虫检测方面表现出色，但其在视频传输和极端光照条件下的表现仍存在一定局限性。例如，在视频传输的早期阶段，帧丢失、误检和漏检问题更为突出，尤其是在弱光和强直射光等极端光照条件下。虽然在最佳光照条件下，识别系统表现良好，但在蚜虫聚集、遮挡和光照变化的场景中，其效果会有所下降。这些条件使得准确检测变得更加复杂，需要进一步的改进以确保系统在各种田间环境中的稳定性和可靠性。

综上所述，RSCDet模型在NVIDIA Jetson TX2 NX上部署，展现了在复杂农田环境中进行实时害虫检测的卓越效果。在部署过程中，RSCDet实现了35 FPS的检测速度和0.25秒的传输延迟，且在极端自然环境中仍保持了84.5%以上的计数准确率，满足了实时害虫检测的严格要求（FPS > 30，Acc > 80%）。相比现有主流模型，RSCDet在准确率和速度方面均表现出色，使其成为资源受限嵌入式设备部署的理想选择。其高效的架构支持移动和自主应用，为农业精准害虫监测提供了可扩展的解决方案。未来的研究将致力于进一步提高推理速度，并使系统适应不稳定或低带宽的网络环境。此外，设计更加模块化和灵活的模型架构将有助于快速集成和替换不同功能模块，从而在不进行大量系统重构的情况下扩展害虫检测能力。这些改进将进一步提升RSCDet在现实场景中的实用性，并为现代农业中智能化、可持续和适应性害虫管理策略提供更强的技术支持。