多变量时间序列信号到图像的转换方法，用于识别飞行员的补偿行为

《Knowledge-Based Systems》：Multivariate Time-series Signals to Image for Recognizing Pilot Compensation

本研究提出基于多变量生理信号图像转换与通道注意力融合的深度学习方法识别飞行员补偿能力，实验表明短时傅里叶变换结合通道注意力在验证集（98.82%）和测试集（84.33%）中表现最佳，克服传统手工特征和端到端方法的局限性，多变量信号在鲁棒性和泛化性上具有优势。

　　本文研究了一种利用多变量生理信号转化为图像，以识别飞行员补偿行为的方法。飞行员补偿是衡量飞行性能的重要指标，它反映了飞行员在面对飞机性能不足时所付出的额外努力和注意力。研究中采用四种信号到图像的转换技术：短时傅里叶变换（STFT）、Gramian角度场（GAF）、功率谱密度（PSD）和连续小波变换（CWT）。为了提高分类效果，研究还引入了多种通道信息融合方法，包括通道注意力（Channel Attention）、多头注意力（Multi-Head Attention）、多通道卷积核（Multi-Channel Convolutional Kernels）和深度可分离卷积（Depth-Separable Convolution），以增强特征学习能力。

实验结果表明，STFT结合通道注意力方法在验证集和测试集上分别达到了98.82%和84.33%的准确率，优于传统的手工特征提取和端到端方法。研究还发现，肌电图（EMG）、皮肤电反应（GSR）和心电图（ECG）是飞行员补偿识别中最为关键的信号，而多变量信号在鲁棒性和泛化能力方面表现出优势。这些发现强调了信号到图像转换和通道注意力在生理数据分析中的有效性，为飞行员补偿识别提供了一种可扩展的解决方案，并推动了飞行性能评估方法的发展。

飞行员补偿的概念在航空领域具有重要意义。飞行员在执行任务时，面对飞机性能不足或操作界面设计不合理等情况，需要额外的注意力和努力来维持操作水平。这种补偿行为不仅反映了飞行员在特定任务中的工作负荷，还直接关联到飞行性能的评估。因此，飞行员补偿的识别对于理解飞行员在复杂环境下的表现具有关键作用。特别是在新兴的电动垂直起降飞行器（eVTOL）等飞行构型中，由于飞行数据有限，传统的飞行性能评估方法难以准确反映飞行员的实际状态，而飞行员补偿则成为了一个重要的评估指标。

传统上，飞行员补偿的评估主要依赖于主观指标，如Cooper-Harper评估量表（CHR）和Bedford飞行员工作负荷量表（BPWS）。然而，这些方法容易受到个人偏见的影响，从而限制了其可靠性。因此，开发一种稳健且客观的指标，用于量化飞行员补偿，一直是飞行性能评估领域的重要挑战。过去的研究已经尝试使用控制攻击频率和稳定控制参数等指标来评估飞行员控制补偿，并探索了利用脑电图（EEG）和心电图（ECG）信号预测飞行性能的可行性，以及通过神经肌肉反应分析飞机与飞行员之间的不良耦合。这些研究确认了使用生理数据评估飞行员补偿的可行性，因为补偿动作通常会反映在可测量的变化中，如心率变异性、肌肉活动和眼动等。

尽管生理数据在飞行员补偿评估中的潜力巨大，但仍然存在一些挑战。首先，飞行员补偿的关键指标尚未明确。大多数以往的研究集中在整体工作负荷上，而整体工作负荷通常与任务相关，不能直接反映飞行员补偿或飞机性能不足。因此，那些与整体工作负荷高度相关的生理信号可能无法有效反映飞行员补偿行为。其次，现有研究通常分析主观评分的波动，而非建立从生理测量到补偿水平的映射关系。解决这些局限性需要能够自动从多变量信号中提取与补偿相关的特征的方法，而不依赖于手工提取的特征。

深度学习（Deep Learning）因其自动学习隐藏特征的能力，为解决这一问题提供了有力工具。以往的研究已经展示了变压器网络在压力检测中的应用，循环神经网络（RNN）和长短时记忆网络（LSTM）在认知负荷评估中的作用，以及结合强化学习的神经网络在疲劳检测中的潜力。然而，大多数研究仍集中在工作负荷或疲劳评估上，而未深入探讨飞行员补偿的识别，并且往往依赖于手工提取的特征或任务特定的特征，这降低了方法的效率和泛化能力。此外，虽然信号到图像的转换技术在其他领域已有应用，但其在飞行员补偿识别中的适用性尚未被充分研究，因为航空环境下的操作需求和生理反应与医疗或一般生物信号环境存在显著差异。因此，需要一种方法，既能减少手动特征提取的负担，又能保留最具有泛化能力的生理信息，以反映飞行员的补偿行为。

为了解决高效且具有广泛适用性的飞行员补偿评估问题，本研究提出了一种基于深度学习的方法，将生理信号映射到飞行员补偿水平。与以往在医疗或一般生物信号领域中的信号到图像研究不同，本研究提供了一个专门针对航空环境的框架，并在eVTOL模拟器数据集上进行了验证，突出了飞行员在特定操作环境下的独特需求和生理反应。本研究的创新之处在于，通过建立多变量生理数据集，系统评估了四种信号到图像转换技术在航空环境下的适用性，并分析了四种通道信息融合方法对提高飞行员补偿识别效果的影响。此外，还通过与传统方法和端到端方法的比较，验证了所提出方法的有效性。

本研究首先建立了一个飞行测试数据集，通过收集不同补偿水平下的多变量生理数据。由于目前尚无专门针对飞行员补偿的公开数据集，研究团队设计了一项飞行测试实验。实验招募了25名符合特定标准的工程测试飞行员，他们参与了三种代表性的飞行任务，以评估不同情境下的补偿行为。实验得到了德国慕尼黑技术大学飞行系统动力学研究所的支持，并获得了相关伦理审查的批准。通过这种方式，研究团队能够获得高质量的生理信号数据，为后续分析提供坚实的基础。

在模型开发方面，研究团队对生理信号分析方法进行了分类。传统方法通常包括预处理、特征提取和特征选择，然后进行分类。特征提取是从时间、频率和空间域中提取描述符，而特征选择则是识别最具信息量的特征以提高模型性能。在以往的研究中，已经证明了手工提取的特征在某些任务中的有效性。然而，这些方法依赖于特定任务的特征，难以推广到其他情境。因此，开发一种能够自动提取补偿相关特征的方法，对于提高模型的泛化能力和效率至关重要。

本研究在信号到图像转换技术与通道信息融合方法的结合上进行了深入探索。实验结果表明，STFT在不结合通道信息融合的情况下，已经表现出优于其他方法的性能。这可能是由于STFT在时间-频率分辨率上的平衡，能够同时保留动态时间变化和频谱信息，同时减少噪声的放大。当STFT与通道注意力结合时，其整体性能进一步提升，这表明通道注意力在提高模型分类能力方面具有重要作用。此外，研究还评估了其他三种信号到图像转换技术在航空环境下的适用性，发现它们在不同情境下的表现各有差异，但总体上不如STFT有效。

在通道信息融合方法的分析中，研究团队探讨了不同方法对提高飞行员补偿识别效果的影响。实验结果显示，通道注意力在增强模型分类能力方面最为有效，而多头注意力、多通道卷积核和深度可分离卷积在不同任务中也表现出一定的优势。研究还发现，多变量信号的融合对于提高模型的鲁棒性和泛化能力至关重要。通过结合多种生理信号，研究团队能够更全面地捕捉飞行员的生理状态，从而提高补偿识别的准确性。

此外，本研究还对所提出的方法与传统方法进行了比较。结果显示，所提出的方法在准确性和鲁棒性方面均优于传统手工特征提取和端到端方法。这表明，基于深度学习的信号到图像转换方法能够更有效地识别飞行员补偿行为，并且具有更好的泛化能力。研究团队还发现，多变量信号的融合在提高模型性能方面具有重要作用，而通道信息融合方法则能够增强模型对复杂信号的处理能力。

本研究的成果不仅为飞行员补偿识别提供了一种新的方法，也为飞行性能评估领域带来了新的思路。通过将生理信号转化为图像，并结合通道信息融合方法，研究团队开发了一种高效的模型，能够在不同的飞行任务和操作环境中准确识别飞行员的补偿行为。这一方法的应用，有助于提高飞行安全性，优化飞行员培训和评估流程，并为未来智能飞行系统的发展提供支持。

总之，本研究通过建立多变量生理数据集，系统评估了四种信号到图像转换技术在航空环境下的适用性，并分析了四种通道信息融合方法对提高飞行员补偿识别效果的影响。研究结果表明，STFT结合通道注意力方法在验证集和测试集上分别达到了98.82%和84.33%的准确率，优于传统方法和端到端方法。同时，研究团队发现，EMG、GSR和ECG是飞行员补偿识别中最为关键的信号，而多变量信号的融合在提高模型的鲁棒性和泛化能力方面具有显著优势。这些发现为生理数据分析在航空领域的应用提供了新的方向，并为未来智能飞行系统的开发奠定了基础。