嵌入式伊辛机赋能车载多目标跟踪系统：突破遮挡难题的NP-hard组合优化新策略

《Nature Communications》：Enhancing vehicle-mountable multiple object tracking systems with embeddable Ising machines

本研究针对自动驾驶车辆在多目标跟踪（MOT）中因物体遮挡导致的跟踪失效问题，提出了一种基于嵌入式伊辛机（Ising Machine）的柔性分配框架。通过将跟踪问题转化为NP-hard组合优化问题（QUBO formulation），并利用模拟分岔（Simulated Bifurcation）算法实时求解，系统在车载计算平台上实现了超过20帧/秒的跟踪速率，显著提升了复杂遮挡场景下的跟踪鲁棒性。该研究为车载边缘计算设备实现高效组合优化提供了新思路。

　　

在自动驾驶和移动机器人领域，实时追踪周围环境中的多个动态目标是一项核心挑战。尤其在复杂的城市交通场景中，车辆、行人等物体的频繁交叉与遮挡会导致目标短暂消失，传统多目标跟踪（MOT）系统基于线性分配算法（如匈牙利算法），假设跟踪目标（tracks）与当前帧检测结果（detections）之间存在严格的一一对应关系。然而，当发生遮挡时，多个目标可能被误判为同一检测结果，或因无法匹配而被错误删除，造成跟踪轨迹中断。尽管近年来机器学习技术在目标相似度计算方面取得显著进展，但分配问题本身作为组合优化难题，其求解效率与精度仍受限于传统计算架构。

为解决这一问题，日本东芝公司等机构的研究团队在《Nature Communications》上发表了一项创新研究，提出将车载多目标跟踪系统的分配环节建模为二次无约束二进制优化（QUBO）问题，并利用嵌入式伊辛机进行实时求解。该框架通过引入“柔性分配”机制，允许系统在遮挡发生时暂缓删除目标，而是将其标记为“潜在匹配”（potentially-match）状态，从而维持轨迹连续性。系统每帧处理时，会使用不同权重系数（λ_large和λ_small）两次求解QUBO问题，通过对比两次分配结果的差异，动态识别遮挡事件及其位置。

为实现这一功能，研究团队设计了基于模拟分岔（SB）算法的嵌入式伊辛机，并将其部署在车载FPGA平台上。该伊辛机支持512个自旋的全连接配置，通过2,048个并行处理单元实现高效计算，单次求解耗时仅284微秒，整体系统功耗为3.4瓦。实验表明，该系统在标准MOT挑战数据集和自定义复杂遮挡场景下均优于基线方法（SORT算法），其中关联准确率（AssA）最高提升89%，整体跟踪精度（HOTA）提升11%。

关键技术方法包括：（1）基于YOLOv2的目标检测模块；（2）卡尔曼滤波框架下的运动预测与校正；（3）以交并比（IOU）为相似度度量的关联器；（4）模拟分岔伊辛机求解QUBO问题；（5）双权重系数分配仲裁机制。实验数据来源于CARLA仿真平台生成的定制化遮挡序列及MOT17公开数据集。

研究结果

柔性分配机制

通过调整惩罚函数权重λ，系统能够在不满足一一对应约束时仍选择全局最优解。当λ_small=0.1时，伊辛机可输出包含多对一匹配的分配表，而λ_large=1.0时则强制满足约束。仲裁器通过对比两表差异，将未匹配但可能被遮挡的目标标记为“潜在匹配”，从而避免误删。

系统架构与实时性

系统采用双FPGA平台分工协作：一块FPGA专用于目标检测，另一块搭载伊辛机处理分配问题。在处理600帧“MOT17-02-FRCNN”序列时，系统平均帧处理时间为44.2毫秒，等效于23帧/秒的实时吞吐量，其中伊辛机计算时间（568微秒）不构成瓶颈。

遮挡场景下的跟踪增强

在自定义的五目标交叉遮挡实验中（Supplementary Movie 2），传统方法因无法处理长期遮挡而丢失目标，而本研究系统通过“潜在匹配”机制成功维持所有轨迹。当三个目标同时被遮挡时，系统将其状态标记为“潜在匹配”，并在遮挡结束后重新关联。

精度量化分析

在9个自定义交叉场景基准测试中，系统在高速、高密度遮挡条件下（如Cross-DHVH序列）的HOTA评分达到68.1，较基线提升20%。关联准确率（AssA）提升尤为显著，表明柔性分配机制有效缓解了遮挡引起的轨迹断裂问题。

结论与展望

本研究首次实现了基于嵌入式伊辛机的车载多目标跟踪系统，通过将NP-hard组合优化问题融入实时处理流程，显著提升了复杂遮挡场景下的跟踪鲁棒性。柔性分配框架突破了传统线性分配的局限性，为自动驾驶环境感知提供了新范式。未来工作可进一步探索多模态传感器信息融合、高阶目标函数设计（如引入时间序列关联奖励），并将该计算架构扩展至同步定位与地图构建（SLAM）、路径规划等车载优化任务中。