迈向动态计算：用于视觉智能的多动态神经元-突触晶体管

《Nano Energy》：Towards dynamic computing: Multi-dynamic neuronal-synaptic transistors for visual intelligence

视网膜敏感化/去敏感化与皮层神经动态的单芯片集成MDNST实现动态计算与记忆融合，在复杂视觉场景中显著提升语义分割准确率与自适应碰撞检测性能

　　

徐晨辉|朱志伟|曾汉新|薛静茹|杨倩|陈慧鹏

福州大学平板显示技术国家与地方联合工程实验室光电显示研究所，中国福州350002

摘要

受生物启发的动态计算赋予机器自适应预处理和高级识别的能力，这对于感知多样化的视觉环境并做出准确决策至关重要。然而，在单一设备中统一动态计算所需的全谱动态仍然是一个重大挑战。在这里，我们通过巧妙地定制其电子特性，提出了一种单一的多动态神经元-突触晶体管（MDNST），使得可以通过带电粒子（包括银离子、氧空位和空穴）来独特地控制界面和体动态。该设备高度统一了视网膜的敏感化和脱敏过程以及皮层神经元和突触的动态，实现了动态处理和内存计算。我们成功地在两个典型的视觉智能任务中展示了基于MDNST的神经形态动态计算的应用，包括自适应碰撞检测和复杂场景的语义分割。我们证明MDNST可以显著提升计算硬件的感知和决策能力，并显著提高复杂视觉环境中语义分割的交并比（IoU）和准确性。这种集成动态处理、记忆和计算的多功能设备范式为实现与生物视觉相当的机器视觉铺平了道路。

引言

作为人工智能的一个重要分支，视觉智能在许多前沿领域展示了巨大的应用潜力，如自动驾驶、仿生机器人和扩展现实[1]、[2]、[3]、[4]。然而，现实世界的场景在视觉事件上表现出多样性和不可预测性，这对传统的机器视觉硬件提出了重大挑战。动态计算作为一种有前景的范式，旨在整合人类视网膜-皮层路径，实现从自适应预处理到高级识别的多维动态[5]、[6]、[7]、[8]，为机器感知多样化的视觉环境并做出准确决策提供了理想方案。

在人类视觉系统中，视网膜可以自适应地预处理传入的视觉刺激[9]、[10]，包括敏感化和脱敏。随后，处理后的信息被发送到颞叶进行高级处理，如学习和识别。高级视觉处理源自整合了神经元和突触动态的皮层电路，这对于学习、记忆和识别至关重要[11]、[12]、[13]、[14]。然而，当前的实现依赖于复杂的冯·诺依曼架构或基于多种异构神经形态组件的新兴架构[1]、[2]、[15]、[16]，从而限制了小型化和集成。尽管近年来有关神经形态计算设备的报道很多[17]、[18]、[19]、[20]、[21]、[22]、[23]、[24]、[25]、[26]，但尚未有能够统一动态计算所需全谱动态的单片电子设备得到验证。由于动态能力有限，传统设备只能执行静态计算，因此难以捕捉物体的明暗细节。这限制了它们在需要强大处理和场景识别的视觉智能应用中的潜力。

在这里，我们报道了一种多动态神经元-突触晶体管（MDNST），它使用相同的晶体管结构和制造工艺整合了视网膜的敏感化和脱敏过程以及皮层神经元和突触的动态，打破了用于动态计算的不同功能模块之间的物理界限。利用基于TaO_x的电化学反应和核壳量子点陷阱效应分别实现类似神经元的数字计算和类似突触的模拟计算。此外，通过调节偏置条件可以选择敏感化和脱敏过程，从而灵活控制计算操作。将如此丰富的功能集成到单一电子组件中，MDNST能够用高度均匀的元件优雅地实现动态计算，提高感知和决策能力。与传统的静态计算方法相比，我们的方法显著提高了复杂视觉环境中语义分割的交并比（IoU）和准确性。我们坚信，这些成就不仅将为神经形态动态计算提供设备级解决方案，还将为在复杂视觉环境中运行的视觉智能系统的发展铺平道路。

材料

PDVT-10从1-Materials购买。CdSe@ZnS量子点（QDs）从西安宇瑞太阳能有限公司购买。

设备制造

Si基底依次用丙酮、异丙醇和去离子水清洗5分钟，最后用氮气干燥。然后，通过直流磁控溅射在清洁后的Si基底上沉积TaO_x介电层。溅射功率为110 W，溅射压力为1.0 Pa，溅射时间为600秒，Ar: O₂比例为20:5。

用于动态计算的MDNST设计

图1a展示了人类视网膜中的自适应预处理过程以及大脑皮层中的特征提取和识别过程。在视网膜中，主要由锥细胞和杆细胞组成的感光细胞将光刺激转换为电信号。锥细胞和杆细胞分别负责日视和暗视[27]、[28]、[29]，使人类能够在不同的光照强度下看到物体。水平细胞在视网膜中起着关键作用

结论

我们的研究介绍了一种新型的MDNST设备范式，它无缝融合了生物视觉系统的四种动态。单一设备中的独特多维动态使得在高度均匀的硬件上实现高效的生物启发式动态计算成为可能，具有显著的可适应性和可扩展性。灵敏度的动态调节使MDNST能够适应不同的视觉环境，实现日视和暗视的适应。在此基础上，我们

CRediT作者贡献声明

杨倩：撰写 – 审稿与编辑、可视化、监督、概念化。陈慧鹏：撰写 – 审稿与编辑、资源获取、概念化。朱志伟：可视化、研究、数据管理。徐晨辉：撰写 – 原稿撰写、可视化、软件开发、方法论、研究、形式分析、数据管理。薛静茹：研究、形式分析、数据管理。曾汉新：可视化、形式分析、数据管理。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

本工作得到了国家自然科学基金（T2525007, 62304039, 62374033）的支持。