基于压电声学传感的键盘输入窃取威胁：一种新型深度学习攻击方法及其安全风险评估

《IEEE Access》：Keystroke Estimation via Piezoelectric Acoustic Sensing

本研究针对压电麦克风在键盘输入窃取方面的新型安全威胁，开发了一种基于深度学习的攻击方法。研究人员通过设计键盘布局感知的损失函数和数据增强技术，实现了高达89.2%的击键识别准确率，揭示了压电声学传感在密码窃取方面的重大安全隐患，为数字隐私保护提供了重要警示。

　　

在数字化时代，键盘作为人机交互最普遍的接口，经常处理包含敏感信息的输入，如个人数据和密码。随着人工智能技术的飞速发展，基于键盘敲击产生的声音和振动进行击键估计的声学传感技术，正成为一种新的安全威胁。传统攻击方法通常利用智能手机等设备中的常规麦克风，而近年来，压电麦克风作为一种接触式麦克风，在声学传感中的应用日益广泛。由于其体积小、成本低且隐蔽性高，压电麦克风在击键窃听方面可能构成显著风险。

为了揭示这种新型攻击的潜在威胁，日本东京科学大学的研究团队在《IEEE Access》上发表了题为"Keystroke Estimation via Piezoelectric Acoustic Sensing"的研究论文，首次系统探索了基于压电声学传感的击键估计方法，并评估了其准确性和安全影响。

研究人员设计了一个真实的攻击场景：攻击者将压电麦克风秘密安装在受害者使用的桌面上，捕获键盘敲击产生的机械振动信号。这些信号通过桌面传播，被隐蔽安装的传感器获取，随后通过深度学习模型进行离线分析，以估计输入的键位。

研究团队开发了一套完整的压电声学传感系统，包括四个压电麦克风、音频电缆和连接PC的多通道音频接口。这些麦克风可以灵活地安装在桌面的不同位置，包括键盘周围区域或桌面下方，以满足隐蔽性要求。

关键技术方法包括：音频片段提取，通过检测信号幅度超过预定阈值的时刻来识别击键起始点，并提取0.05秒的片段覆盖最具信息量的击打峰；基于键盘布局的损失函数，鼓励网络对物理位置相邻的键产生更相似的输出；基于键盘布局的数据增强，优先选择空间邻近的键对进行插值，生成更可靠的合成样本。

音频片段提取

研究人员观察到击键波形包含三个明显峰值：接触峰、击打峰和释放峰。其中击打峰包含最丰富的击键信息。通过分析数据集，确定0.05秒的片段长度足以在97%以上的情况下捕获击打峰，同时有效排除释放峰。

基于键盘布局的损失函数

基于"物理位置相邻的键产生更相似声音"的声学观察，研究人员提出了邻近感知损失函数。该损失函数通过引入基于键位欧几里得距离的相似性矩阵，鼓励模型对键盘布局中空间相邻的键产生更相似的输出表示。

实验结果

比较结果显示，所有基于压电声学传感的方法的Top-1准确率均超过84.0%，表明使用压电声学传感进行击键估计高度可行。重新实现的智能手机方法准确率约为69%，突显了压电传感作为一种可行且强大的攻击策略。

提出的方法在Top-1准确率上达到89.2%，显著优于所有基线方法。统计检验证实了这一改进的显著性(t=5.25，p<0.001)。

消融研究

消融研究评估了损失函数和数据增强技术两个关键组件的贡献。每个组件单独都能提高Top-1准确率，组合使用可产生进一步增益，证实了两种技术的有效性和互补性。

与监督流形学习损失的比较

与监督拉普拉斯特征映射损失相比，提出的基于邻近度的损失在Top-1准确率上达到86.1%，优于监督流形学习损失的85.1%，表明显式编码键之间的几何邻近度为该任务提供了更有效的归纳偏差。

更严格的用户分割评估

在50-50用户分割下，提出的方法达到86.4%的Top-1准确率和98.9%的Top-5准确率，而基线模型分别为82.0%和97.9%，证实了所提出的布局感知技术即使在训练数据中用户变异性减少的情况下也具有鲁棒性和有效性。

麦克风数量的敏感性

研究表明，估计准确率随着麦克风数量的增加而提高，更多麦克风增强了声源定位质量，从而带来击键估计性能的改善。

超参数η的敏感性

分析超参数η（控制交叉熵和基于邻近度的损失之间的权衡）的影响表明，当η=0.7时达到最高Top-1准确率。当η<1.0时，提出的损失函数一致地提高了性能，证明了其在增强估计准确率方面的有效性。

错误倾向

基于正确键和预测键之间的欧几里得距离将错误分类案例分为三组，结果表明提出的方法在所有距离组上均提高了准确率，显著减少了中距离和远距离组的错误分类率，同时有效抑制了近距离组的错误。

混淆矩阵分析显示，基于邻近度的方法不仅降低了总体错误率，而且改变了错误的性质，将剩余错误集中在物理上邻近的键上。

学习特征空间的可视化

t-SNE可视化显示，与基线模型相比，使用基于邻近度的损失使得集群更加紧凑和分离，其全局排列反映了物理布局的邻近性，提供了定性证据表明基于邻近度的损失成功鼓励模型学习不仅具有判别性而且保留键盘布局空间关系的表示。

密码窃取的成功率

对于由26个字母字符组成的8字符密码，使用Top-1估计恢复正确密码的概率约为40%，而使用Top-5预测时，成功恢复的概率升至约88%。与随机猜测8字符密码的概率（约4.7×10^-10%）相比，突显了拟声学攻击构成的重大威胁。

麦克风附着位置的影响

将麦克风安装在桌面下方导致Top-1准确率比表面安装下降8%，但仍保持在76.1%的相对较高水平，表明即使在高度隐蔽的安装条件下，使用压电声学传感进行击键估计仍然构成重大安全威胁。

键盘位移的敏感性

键盘位移5毫米产生适度的Top-1下降（85.4%→78.9%），而位移10毫米导致显著性能下降（Top-1：44.6%），与几何失配解释一致。

环境变化的鲁棒性

在不同实验环境（不同桌子和键盘）下的评估表明，估计准确率在不同环境下保持稳定，在所有测试条件下Top-1准确率超过83.9%，证明击键估计通过压电声学传感无论声音采集环境如何都构成一致的安全威胁。

跨设备泛化评估

跨设备评估显示，当测试于同一模型的不同实例时，方法保持相对较高的Top-1准确率73.9%，表明对小的物理变异性具有强容忍性。在更具挑战性的不同模型设置下，准确率进一步降至52.0%，反映了对内部组件更深层次机械和声学变化的敏感性。

研究结论与意义

这项研究首次探索了使用压电麦克风进行击键估计的可行性。基于"空间相邻键的击键产生更相似声音"的声学观察，研究人员提出了两种关键技术：基于邻近度的损失函数鼓励模型对邻近键产生更相似输出；数据增强方法优先在空间接近的击键对之间进行插值。实验结果表明，提出的方法达到89.2%的Top-1准确率，强调了使用压电声学传感进行击键推断的显著安全风险。

该研究揭示了压电声学传感在击键窃取方面的潜在威胁，为开发防御机制提供了重要参考。针对这一威胁，可能的对策包括物理防御（如使用减震垫）、声学掩蔽技术（如生成随机振动）以及行为措施（如定期改变键盘位置）。结合多因素认证（MFA）的分层方法可能是最有效的风险缓解策略。

这项研究不仅展示了一种新型攻击方法的可行性，更重要的是为理解和防御这类新兴安全威胁提供了重要基础，对保护数字隐私和安全具有深远意义。