基于 Transformer 和 Mamba 模型量化与蒸馏的 TinyML 优化，实现边缘设备室内定位

《Scientific Reports》：Optimising TinyML with quantization and distillation of transformer and mamba models for indoor localisation on edge devices

为解决资源受限的边缘设备室内定位问题，研究人员开展基于 Transformer 和 Mamba 模型的 TinyML 优化研究，结果表明优化后模型能有效平衡性能与内存，对医疗健康监测意义重大。

　　在当今数字化时代，医疗健康领域正发生着深刻变革。随着人们对健康管理需求的不断提升，精准的室内定位技术在医疗场景中的重要性愈发凸显。想象一下，在医院或养老机构中，能够实时准确地掌握患者或老人的位置，对于及时提供医疗救助、预防意外发生有着极大的帮助；在智能家居环境里，持续追踪使用者的位置，能为个性化医疗服务和健康监测提供有力支持。然而，传统的室内定位系统却存在诸多弊端。以往，准确的室内定位通常依赖于从低功耗设备（如可穿戴设备）收集数据，再传输到中央远程服务器进行处理，这不仅导致数据传输延迟，还引发了隐私担忧，同时增加了整个系统的运营成本。

为了攻克这些难题，来自英国布里斯托大学工程数学与技术学院以及阿伯丁大学自然与计算科学学院的研究人员，展开了一项极具意义的研究。他们致力于开发小型高效的机器学习模型（TinyML），以满足资源受限的边缘设备在室内定位方面的需求，相关成果发表在《Scientific Reports》上。

在研究过程中，研究人员采用了多种关键技术方法。首先是模型压缩技术，包括量化（Quantization）和知识蒸馏（Knowledge Distillation，KD）。量化通过降低模型权重和激活值的精度来减小模型大小，知识蒸馏则是将大型复杂模型（教师模型）学到的知识转移到小型简单模型（学生模型），使小型模型在较少资源下也能有良好表现。此外，研究人员还运用了两种典型的模型架构，即基于 Transformer 的多头部双卷积自注意力（MDCSA）模型和基于 Mamba 的模型。

研究结果如下：

1. 室内定位模型性能评估：在家庭室内定位场景下，对不同架构和压缩技术的模型进行性能评估。结果显示，在 64KB RAM 的约束下，量化后的 MDCSA 模型表现出色，F₁分数在不同房屋中可达 73.84 - 84.36，模型大小为 44KB，能有效平衡模型大小和定位精度。而 Mamba 模型在内存限制更严格（如小于 32KB）的环境下表现更优，F₁分数在不同房屋中为 72.79 - 83.89 。这表明 MDCSA 模型凭借其卷积和自注意力结合的架构，能更好地捕捉详细模式；Mamba 模型则因其更简单紧凑的结构，在高约束环境下能保持合理精度。
2. 不同模型在大型建筑定位中的表现：在 UJIIndoorLoc 数据集（包含大型建筑和 520 个接入点）的实验中，64KB RAM 约束下，Mamba 模型表现最佳，利用知识蒸馏的 Mamba 模型大小为 44KB，F₁分数达到 64%，而 MDCSA 模型性能较差，量化后模型大小仍超过 64KB。在 32KB RAM 约束下，所有模型表现不佳，F₁分数低于 45%，这凸显了复杂模型在适应大型空间和大量数据点环境时的挑战。
3. 模型压缩技术的效果及局限性：量化技术在减小模型大小方面效果显著，能将模型大小减少近一半，且性能与基线模型相当，但对极小的基线模型效果不佳，甚至可能增加模型大小。知识蒸馏在本研究中效果有限，虽能在一定程度上提升模型性能，但未达到预期，训练时间长且复杂。

研究结论和讨论部分指出，该研究为室内定位提供了新的解决方案。在 64KB RAM 约束下，隐藏层大小为 16 且单层的 MDCSA 模型结合量化是家庭室内定位的最佳选择；在 32KB RAM 约束下，隐藏层大小为 8 或 16 的单层 Mamba 模型更合适。此外，研究还揭示了模型压缩技术在不同场景下的优缺点，为后续研究提供了方向。这项研究的重要意义在于，它为在资源受限的边缘设备上实现高效室内定位提供了可能，推动了医疗健康领域的发展。通过精准的室内定位，能够实现对患者的连续追踪、监测和个性化护理，同时增强了数据隐私保护，降低了运营成本，使医疗健康服务更加高效、便捷、个性化，对未来医疗健康产业的发展有着深远的影响。