基于姿态估计和关键点特征区分的群养猪的喂养行为识别

《Computers and Electronics in Agriculture》：Feeding behavior recognition of group-housed pigs based on pose estimation and keypoint features discrimination

精准养殖中基于姿态估计和关键点特征的猪采食行为识别方法，提出Pig-HRNet模型引入COT注意力模块解决密集场景关键点检测问题，通过鼻关键点与采食区的关联分析实现行为分类，数据集已开源。

　　在现代智能农业领域，特别是针对智能畜牧养殖的研究中，准确识别群养猪的进食行为对于实现精准养殖和改善猪只福利具有重要意义。当前，猪只进食行为的识别主要依赖于基于检测框的方法，然而这些方法在识别过程中存在一定的局限性，特别是在进食区域中难以区分非营养性访问行为与真正的进食行为。为了解决这一问题，本研究提出了一种基于姿态估计与关键点特征判别的进食行为识别方法，旨在提高识别的准确性，并为智能畜牧养殖提供更可靠的技术支持。

随着猪养殖产业的快速发展，传统的养殖方式正在逐步被精准养殖所取代。精准养殖的核心在于对群养猪行为的实时监测，尤其是其进食行为。通过观察猪只的进食行为，不仅可以了解其进食规律和摄入量，还能在出现异常进食行为时及时采取人工干预措施。然而，目前在猪养殖过程中，进食行为的监测主要依赖于人工观察，这种方法不仅效率低下，而且难以实现自动化和持续性的监测，限制了其在实际生产中的应用。

近年来，研究人员开始尝试利用智能感知技术来识别猪只的进食行为。这些技术主要包括基于传感器和计算机视觉的方法。在基于传感器的识别方法中，研究者通过为猪只佩戴独特的RFID标签来识别其进入进食区域的行为，并通过测量猪只进入和离开进食区域前后食物的变化来判断其是否在进食。然而，这种方法不仅增加了养殖成本，还可能对猪只造成一定的伤害。特别是在群养环境下，大规模部署传感器会显著增加养殖成本，同时猪只频繁尝试移除传感器也容易导致设备损坏，进一步增加维护和更换成本。此外，耳部标签的使用可能对猪只的耳部组织造成损伤，而猪只撕扯标签的行为也可能导致耳部受损。

随着计算机视觉技术的进步，非接触式、低压力的猪只进食行为识别成为可能。目前，基于计算机视觉的猪只进食行为识别方法主要分为两类：基于个体猪检测框的方法和基于猪头检测框的方法。在基于个体猪检测框的方法中，研究者通过标注不同行为并使用目标检测模型来识别猪只的行为。例如，某些研究将YOLOX模型与Squeeze-and-Excitation（SE）注意力模块结合，构建了SE-YOLOX模型，用于检测猪只的进食行为。这种方法在检测精度和召回率方面取得了一定的成果，但仍然存在识别不准确的问题。此外，基于猪头检测框的方法虽然关注了猪只头部信息，但无法准确区分猪只头部进入进食区域但未实际进食的情况，导致识别结果不够精确。

为了更准确地识别群养猪的进食行为，本研究提出了一种基于姿态估计与关键点特征判别的方法。首先，设计了一种名为Pig-HRNet的姿态估计网络，该网络特别引入了上下文Transformer（COT）注意力模块，以提高在拥挤环境中对猪只关键点的检测精度。其次，通过分析关键点与进食区域之间的相关性，将群养猪的行为分为进入进食区域和非进食行为（NFB）。对于进入进食区域的行为，进一步将其分为进食行为（FB）和非营养性访问行为（NNVB）。实验数据采集自商业猪场，共包含1400个视频帧。实验结果表明，Pig-HRNet模型在姿态估计方面的平均精度（AP）达到了97.1%，相较于其他常见的姿态估计网络模型，如KAPAO、HigherHRNet、DeepLabCut和HRNet，检测精度分别提高了69.0%、16.3%、12.3%和0.5%。此外，本文提出的进食行为识别方法在识别精度和召回率方面分别达到了98.8%和99.9%，表明该方法在识别准确性方面具有显著优势。

在实际养殖环境中，猪只的头部进入进食区域但并未实际进食的行为被称为非营养性访问行为（NNVB）。目前的进食行为识别方法主要依赖于检测框，难以准确区分进食行为（FB）和非营养性访问行为（NNVB）。为了克服这一问题，本文提出了一种基于姿态估计与关键点特征判别的方法，能够更准确地识别猪只的进食行为。首先，通过设计Pig-HRNet模型，解决了在拥挤环境中对猪只关键点的误检问题。其次，利用关键点与进食区域之间的关系，对进入进食区域的猪只进行分类，区分出真正的进食行为和非营养性访问行为。此外，通过计算不同类别之间的最优超平面，作为判断进食行为和非营养性访问行为的依据。该方法在识别精度和召回率方面均表现出色，为智能畜牧养殖提供了更加可靠的解决方案。

本文的主要贡献包括三个方面：首先，提出了一种新的姿态估计网络Pig-HRNet，以提高在拥挤环境中对猪只关键点的检测精度；其次，通过结合姿态估计与关键点特征判别，实现了对进食行为（FB）、非营养性访问行为（NNVB）和非进食行为（NFB）的准确识别；最后，构建了一个群养猪进食行为的数据集，并将其公开共享，以便于智能畜牧养殖研究社区的使用。该数据集的建立为后续的研究提供了宝贵的数据支持，有助于推动智能畜牧养殖技术的发展。

本研究的数据采集工作在2018年10月于哈尔滨红福猪场进行。猪舍的尺寸为4.3米长、2.3米宽，每个猪舍设有两个进食区域，并饲养了10头混合品种的仔猪。这些仔猪的年龄在35至42天之间，且未进行性别区分。考虑到刚断奶的仔猪仍然有自由进食的习惯，研究者使用了Hikvision DS-2CD3345D-I型号的摄像头，对这10头仔猪进行了连续72小时的视频记录，以确保数据的充分性和代表性。视频采集过程中，研究者特别关注了猪只在进食区域内的行为模式，包括其头部运动、身体姿态以及与其他猪只的互动情况。

在姿态估计方面，本文对Pig-HRNet与不同卷积神经网络（CNN）模型进行了比较。准确的姿态估计是识别群养猪进食行为的基础，因此有必要对不同模型在姿态估计方面的表现进行分析。为了验证引入COT模块的效果，本文基于自建的姿态估计数据集，对改进后的HRNet与引入COT模块的HRNet进行了性能对比，并将其与其他常用的姿态估计模型进行了比较。通过实验结果可以看出，Pig-HRNet在姿态估计方面的平均精度达到了97.1%，相较于其他模型，其检测精度显著提高。这一结果表明，引入COT模块能够有效提升在拥挤环境中对猪只关键点的识别能力，为后续的进食行为识别提供了更加可靠的基础。

在实验结果分析部分，本文展示了Pig-HRNet模型在姿态估计和进食行为识别方面的具体表现。通过对比实验，Pig-HRNet在检测精度和召回率方面均优于其他模型，这表明其在识别准确性方面具有明显优势。此外，本文提出的进食行为识别方法在识别精度和召回率方面分别达到了98.8%和99.9%，表明该方法能够有效区分进食行为和非营养性访问行为，为精准养殖提供了技术支持。这些实验结果不仅验证了方法的有效性，也为后续研究提供了参考依据。

在实验过程中，研究者还对不同类别之间的边界进行了分析。通过计算不同类别之间的最优超平面，研究者能够更准确地判断猪只是否在进食。这一方法在识别精度和召回率方面均表现出色，表明其在区分进食行为和非营养性访问行为方面具有较高的准确性。此外，研究者还对数据集进行了详细分析，确保其在数据质量和多样性方面符合研究需求。该数据集的建立为后续研究提供了宝贵的数据资源，有助于推动智能畜牧养殖技术的发展。

本文的研究不仅在方法上有所创新，还在数据采集和实验设计方面进行了充分考虑。通过长期的视频记录和多维度的数据分析，研究者能够全面了解猪只在进食区域内的行为模式。此外，研究者还对不同模型在姿态估计和进食行为识别方面的表现进行了详细比较，为选择最优的模型提供了依据。这些研究工作为智能畜牧养殖提供了更加可靠的技术支持，有助于提高养殖效率和改善猪只福利。

综上所述，本研究提出了一种基于姿态估计与关键点特征判别的进食行为识别方法，通过改进姿态估计网络Pig-HRNet，解决了在拥挤环境中对猪只关键点的误检问题。此外，该方法能够有效区分进食行为（FB）和非营养性访问行为（NNVB），提高了识别的准确性。实验结果表明，该方法在姿态估计和进食行为识别方面均取得了显著成果，为精准养殖提供了技术支持。本文的研究不仅在方法上有所创新，还在数据采集和实验设计方面进行了充分考虑，为智能畜牧养殖的发展提供了重要的参考依据。