EHAPZero：基于集成层次属性提示的零样本学习方法，用于害虫识别

《IEEE Internet of Things Journal》：EHAPZero: Ensemble Hierarchical Attribute Prompting-Based Zero-Shot Learning for Pest Recognition

提出基于集成分层属性提示的零样本害虫识别框架EHAPZero，集成属性生成、分层提示和语义视觉交互模块，结合IoT设备采集图像并传输结果，实验表明在真实世界基准测试中达到新SOTA。

　　

摘要：

害虫识别对于实现农业的可持续发展具有重要意义。然而，由于害虫种类繁多、物种间的细微差异以及物种内的显著变异，现有的人工智能和物联网（IoT）技术只能有效识别少数已知害虫。在本文中，我们提出了一种基于集成层次属性提示的零样本学习害虫识别框架，称为EHAPZero。EHAPZero能够识别由物联网设备收集的害虫图像，并将识别结果传输到物联网平台进行终端显示。具体而言，图像识别功能由属性生成模块（AGM）、层次提示模块（HPM）和语义-视觉交互模块（SVIM）共同实现。AGM利用大型语言模型构建害虫的知识图谱，并结合节点重要性评估算法和人工方法对图谱中的属性节点进行双重过滤。受人类知识推理的启发，HPM在Transformer的中间层动态预测输入图像的不同层次属性，这些预测属性随后作为提示注入Transformer的中间层特征中。为了实现语义消歧和知识迁移，SVIM采用视觉引导的语义表示方法和语义引导的视觉表示方法来加强语义与视觉之间的跨领域交互。最终，通过不同层次的预测结果集成得到最终预测分数。大量实验表明，EHAPZero在真实害虫识别基准测试中取得了新的最佳性能。代码可在此处获取：https://github.com/jinqiwen/EHAPZero。

引言

农作物害虫是影响农业生产可持续性和稳定性的主要因素。害虫识别是农业保护中的重要任务，对于确保作物的健康生长和农业生产的稳定发展具有重要意义[1]。然而，由于害虫种类众多、物种间的细微差异以及物种内的显著差异（例如成虫和幼虫），害虫识别在很大程度上依赖于农业专家的专业知识[2]，这既耗时又成本高昂。人工智能和物联网（IoT）技术的快速发展为准确识别害虫和实时监测作物提供了有力支持，使农民能够及时发现害虫入侵的迹象并采取针对性措施，从而有效促进可持续农业的高质量发展。