穿戴式避障新突破:跨模态学习助力视障人士安全出行

《Nature Communications》:

【字体: 时间:2025年03月25日 来源:Nature Communications

编辑推荐:

  视障人士独立出行常因障碍物受限,为解决此问题,研究人员开展可穿戴避障设备(WOAD)研究。WOAD 融合多模态数据,实现超可靠、超快速响应及超低功耗避障,能有效平衡可靠性、响应性、续航和可用性,为视障人士安全出行提供有力支持。

  在生活中,视障人士的出行安全面临诸多挑战。世界卫生组织统计显示,全球超 10 亿人存在视力障碍或失明问题,他们在日常出行时,常因无处不在的障碍物而面临危险,如在中国长沙的一项研究中,1.8 公里区域内就有 205 处障碍物,近 40% 的视障人士每年至少遭遇一次严重碰撞伤害。目前常用的白色拐杖和导盲犬在避障方面存在明显不足,白色拐杖难以实时应对突然出现的障碍物,而导盲犬因严格的筛选标准和漫长的申请流程,数量稀少,在中国 1700 万视障人群中,导盲犬仅有约 200 只。
为了改善视障人士的出行状况,南京邮电大学的研究人员开展了一项关于可穿戴避障设备(Wearable Obstacle Avoidance Device,WOAD)的研究。该研究成果发表在《Nature Communications》上,为视障人士的安全出行带来了新的希望。

研究人员采用了多种关键技术方法开展研究。在数据采集方面,利用集成红外(IR)相机和飞行时间(TOF)雷达的紧凑型多模态传感器收集视频和深度数据。数据处理上,通过深度辅助视频压缩模块和交叉模态障碍物检测模块,实现数据的高效处理和可靠的障碍物检测。硬件设计上,定制基于 FPGA 的计算单元,采用多浮点向量单元(MFVU)流处理架构,以提升处理速度和降低功耗。此外,研究还招募了 20 名视障志愿者参与实验,通过实际测试评估 WOAD 的性能。

1. WOAD 的设计与工作原理


WOAD 由自研眼镜和智能手机组成。眼镜负责收集多模态数据,执行深度辅助视频压缩,并将压缩数据传输至智能手机;智能手机则运行交叉模态障碍物检测模块,根据检测结果触发听觉和触觉警报。

  • 多模态数据收集:眼镜集成的多模态传感器可同时收集视频和深度数据,增强对环境的感知能力。视频数据提供障碍物的形状和纹理细节,深度数据则能精确测量障碍物的距离、速度和危险等级。
  • 深度辅助视频压缩:该模块通过实时获取障碍物状态、自适应选择压缩配置和时空视频压缩三个步骤,实现超过 95% 的视频压缩比,同时确保 100% 的碰撞避免率。其利用连续深度帧差异获取障碍物状态信息,通过强化学习(RL)的离散软演员 - 评论家(D - SAC)算法自适应选择压缩配置,根据配置对视频信号进行时空压缩,并通过运动补偿弥补动态压缩导致的视频特征时空损失。
  • 交叉模态障碍物检测:在智能手机上设计并部署了交叉模态障碍物检测模块,通过分离特征提取、交叉模态特征融合和决策网络三个步骤,利用 Transformer 块全面挖掘视频和深度模态之间的固有相关性,实现跨场景可靠且轻量级的障碍物检测。
  • 多感官反馈警报:检测结果通过无线反馈到头戴式设备和眼镜上的振动触觉电机,触发多感官警报。通过触觉刺激显示障碍物的方向和距离,通过听觉反馈传达危险等级,为视障人士提供全面的信息。

2. WOAD 的性能测试


研究人员对 WOAD 在室内和室外环境进行了广泛的性能测试。

  • 室内环境测试:选择了密集障碍物、突然出现障碍物和上下楼梯三种典型场景。在这些场景中,WOAD 与白色拐杖相比,显著提高了视障志愿者的行走速度,减少了行走时间和距离。同时,WOAD 在所有场景中均保持 100% 的碰撞避免率,而白色拐杖在突然出现障碍物场景中的碰撞避免率仅为 26%。WOAD 的端到端(E2E)延迟低于 320 ms,平均功耗比要求的小于 8 W 节省了 56%。
  • 室外环境测试:选取了白天和夜晚的占用触觉铺路和无交通信号灯的繁忙十字路口四种典型场景。测试结果表明,WOAD 在室外环境中同样表现出色,能显著提高视障志愿者的行走速度,减少行走时间和距离。在面对快速移动的车辆时,WOAD 的碰撞避免率达到 100%,而白色拐杖的碰撞避免率仅约 40%。WOAD 的 E2E 延迟小于 320 ms,功耗不超过 4 W,可实现约 11 小时的续航,满足约 8 小时的消费级日常使用需求。

3. 用户研究


研究人员对 8 名有丰富辅助工具使用经验的视障志愿者进行了调查。结果显示,志愿者对 WOAD 在可靠性、响应性和续航方面的评分显著高于白色拐杖。在可靠性方面,WOAD 平均得分 4.125,白色拐杖为 2.75;响应性方面,WOAD 在快速避障和及时反馈警报上的平均得分分别为 4.25 和 4.125,白色拐杖分别为 2.875 和 3.125;续航方面,WOAD 的 11 小时续航获得了 4.625 的平均高分。不过,在设备可用性方面,部分志愿者认为 WOAD 的外观可能会吸引他人注意,且存在少量误判情况,同时对设备的熟悉度也有待提高。

4. 研究结论与讨论


WOAD 通过集成深度辅助视频压缩模块、交叉模态障碍物检测模块和定制的 FPGA 板,实现了超可靠、超快速响应和超低功耗的避障功能。在多种室内和室外场景测试中,WOAD 保持 100% 的碰撞避免率,E2E 延迟低于 320 ms,功耗小于 4 W,且眼镜总重约 400 克,提供非干扰性的听觉和触觉警报,有效平衡了可靠性、响应性、续航和可用性之间的关系。此外,WOAD 的技术成果还可拓展应用于微型无人设备,如无人机和机器人,帮助它们在复杂环境中实现低功耗快速自主决策和全面环境理解。未来,研究人员计划从设备外观入手,利用柔性电子技术和多学科研究成果,将眼镜设计成时尚、紧凑的太阳镜,进一步提升用户接受度和社会融合度。这项研究为视障人士的安全出行提供了创新解决方案,有望显著改善他们的生活质量。
相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号