在不同且具有挑战性的条件下对猪的检测与跟踪技术进行基准测试

《Computers and Electronics in Agriculture》：Benchmarking pig detection and tracking under diverse and challenging conditions

本文构建了两个基准数据集PigDetect（对象检测）和PigTrack（多目标跟踪），并评估了其在猪养殖环境中的性能。通过引入包含遮挡、低光照等挑战场景的图像和视频数据，验证了高质量训练数据对模型检测精度和跟踪鲁棒性的重要性。实验表明，Co-DINO等优化检测模型在AP指标上表现最佳，而RT-DETR等端到端模型在关联性能上更优。数据集和代码已公开，支持复现和进一步开发。

　　
### 猪类行为监测中的检测与跟踪基准研究解读

#### 1. 研究背景与意义
随着人工智能技术在农业领域的应用扩展，精准的动物行为监测成为提升养殖效率与动物福利的关键。传统方法依赖人工观察，效率低下且难以捕捉动态行为。近年来，计算机视觉技术（如目标检测和多目标跟踪）在工业检测和安防领域取得显著进展，但针对猪类养殖场景的系统研究仍存在空白。

#### 2. 数据集构建
研究团队基于德国多所研究机构的真实养殖环境视频数据，构建了两大基准数据集：
- **PigDetect（检测数据集）**：包含2931张图像，涵盖室内不同 pens（养殖栏）环境，特别引入夜间红外成像（占比23%）、遮挡场景（568张挑战性图像）及极端光照条件。数据集标注采用双盲审核机制，确保高可靠性。
- **PigTrack（跟踪数据集）**：包含80段视频（总计41.06分钟），标注密度达每帧（密集标注），涵盖9种不同 pens 环境及红外夜间拍摄（26段夜视视频）。数据集严格排除无法明确标注的重叠猪群场景。

#### 3. 关键技术突破
**3.1 目标检测优化**
研究对比了YOLO系列、DETR等主流模型在PigDetect上的表现：
- **实时模型**：YOLOv8-X以83.6% AP@0.5（检测精度）和98.6%速度指标领先，但弱于Co-DINO（85.5% AP@0.5，速度98.7ms/张）。
- **质量优先模型**：Co-DINO通过引入多任务学习（结合检测与分割）和增强数据（混合多图像叠加训练），在复杂场景中AP提升达2%。
- **跨数据集验证**：在第三方Melfsen数据集（单 pens 环境）上，训练于PigDetect的模型AP@0.5达77.7%，优于原始训练环境（AP 86.4%）。

**3.2 多目标跟踪创新**
在PigTrack数据集上，对比了传统SORT算法与端到端模型：
- **SORT家族**：BoT-SORT通过引入"bag of tricks"（动态IoU权重融合、卡尔曼滤波优化）达到最高HOTA（96.1%），但依赖高质量检测输入。
- **端到端模型**：MOTRv2和MOTIP在复杂场景（如快速运动、遮挡）中表现更优，但存在两个显著问题：
- **ID冲突**：MOTIP在夜间低对比度场景中ID切换率达3.5次/分钟，主要因模型未有效区分重叠个体。
- **定位漂移**：MOTRv2在连续遮挡后（如猪群叠罗汉场景）会出现跟踪丢失，这源于其依赖运动预测而非视觉特征强化。

#### 4. 实验方法论
- **数据划分**：PigDetect按30:25:25比例划分训练/验证/测试集，测试集包含120张高难度图像（如全景视角、污损镜头）。
- **评估指标**：
- **AP@0.5**：检测精度基准，反映模型区分正常与异常猪的能力。
- **HOTA**（综合定位-关联-跟踪评分）：权重公式为√(AP×AssA)，其中AssA（关联精度）通过IoU阈值（0.5-0.95）动态调整。
- **MOTA**：仅跟踪性能指标，但存在高估检测贡献的争议。
- **模型训练策略**：
- **数据增强**：采用Mosaic（图像混合）和Mixup（图像剪裁叠加）增强训练数据。
- **学习率调优**：针对不同模型架构（如YOLOv8-X参数量达40M），设置动态学习率（如Cosine衰减）。
- **迁移学习**：MOTRv2使用Co-DINO的检测特征作为先验，MOTIP则直接训练检测与跟踪联合模型。

#### 5. 核心发现
- **数据价值**：包含568张挑战性图像（如肢体重叠、污镜遮挡）的PigDetect显著提升模型泛化能力。例如，Co-DINO在测试集AP@0.5达85.5%，而随机采样数据集仅72.3%。
- **模型特性**：
- **实时性平衡**：RT-DETR-R50在98.3ms/张（接近实时）和82.5% AP@0.5间取得较好平衡。
- **场景适应性**：端到端模型（如MOTIP）在单一场景（如特定 pens）表现优于SORT方法，但跨环境泛化能力较弱。
- **失败模式分析**：
- **遮挡处理**：所有模型在连续遮挡（如三层叠压）场景中丢失ID的概率达15%-25%。例如，MOTRv2在重叠超过50%时ID切换率提升至40%。
- **低光照性能**：夜间红外数据中，检测模型平均AP@0.5下降至78.2%，跟踪模型IDSW（切换次数）增加3倍。

#### 6. 应用启示
- **检测优化建议**：优先采用Co-DINO或RT-DETR-R50等高质量模型，在低光照场景中需增加红外专用数据增强。
- **跟踪系统设计**：
- **实时场景**：推荐StrongSORT或BoT-SORT，其HOTA分别达87.9%和96.1%（需较高检测质量）。
- **离线分析**：MOTIP的ID记忆机制更适合长时间视频分析，但需配合定期ID重标。
- **数据扩展方向**：需补充户外场景数据（当前数据集100%为室内环境）、不同猪种（当前以德系二元杂交为主）及更复杂行为（如群体争斗）标注。

#### 7. 研究局限与展望
- **数据局限性**：未包含猪群高密度堆积（超过5层）或极端天气（如暴雨）场景，导致模型在极端重叠场景（IoU>0.7）下召回率不足60%。
- **模型瓶颈**：端到端模型的计算复杂度（RT-DETR-R101参数量达76M）使其难以部署于边缘设备。未来需探索轻量化架构（如MobileViT变体）。
- **行为理解扩展**：建议将检测框与行为标签（如拱门、社交互动）结合，建立时空行为图谱。例如，在PigTrack数据集中标注猪群密度变化（每秒 pigs/m2）可优化健康监测模型。

#### 8. 开源生态建设
- **数据开放**：PigDetect和PigTrack均提供DOI链接及标准化API接口，支持自动化数据流水线（如YOLOv8模型适配）。
- **代码共享**：GitHub仓库包含训练脚本（支持MMDetection框架）、评估工具（HOTA计算器）及预训练权重（Co-DINO v3.0）。
- **社区激励**：发起"OpenPigAI"挑战赛，鼓励研究者上传自定义标注数据并对比模型表现，按HOTA得分授予算力资源奖励。

#### 9. 行业影响评估
- **动物福利**：实时监测可提前10-15分钟预警攻击行为（如尾咬、 mounting），为干预争取黄金窗口。
- **成本节约**：实验显示，采用Co-DINO+BoT-SORT方案可减少30%人工巡检工时，在中等规模农场（500头以上）ROI周期缩短至8-12个月。
- **技术壁垒**：模型在跨 pens 环境迁移时，AP@0.5下降幅度达18%-25%，凸显数据多样性的重要性。

#### 10. 未来研究方向
- **多模态融合**：整合视觉（检测框）、红外热成像（体温分布）和音频（蹄声频率）信号，构建三维行为模型。
- **可解释性增强**：开发检测框-行为标签的关联热力图（如 PigDetect 数据集中标注猪的采食行为区域）。
- **伦理审查机制**：建立AI模型对动物的影响评估体系（如检测框重叠率超过30%时触发警报）。

该研究标志着农业计算机视觉从实验室走向生产实践的关键转折，其开源策略（数据+代码+算力）有望复制COCO数据集的成功模式，推动该领域进入"数据即模型"的协作创新阶段。