基于混合注意力并行同步Transformer的大规模MIMO信道预测方法研究

《IEICE Transactions on Communications》：Channel prediction via hybrid-attention parallel synchronous transformer

为解决大规模MIMO系统中由信道老化引起的和速率下降问题，研究人员开展了基于混合注意力机制的并行同步Transformer信道预测研究。该研究通过混合位置编码和混合注意力机制，实现了对多帧未来信道的同步预测，在高速移动场景下预测NMSE低于-15 dB，系统可达和速率接近理想CSI性能，为5G毫米波通信系统提供了有效的信道老化解决方案。

　　

在第五代(5G)和未来无线网络中，毫米波(mmWave)大规模多输入多输出(MIMO)系统发挥着重要作用。然而，在高速移动场景下，信道相干时间会因载波频率升高和用户移动性增强而减少，导致信道老化问题——即过时的信道状态信息(CSI)与实际时变信道条件不匹配。这种不匹配会严重降低系统性能，特别是影响和速率最大化。传统基于模型或神经网络的预测方法依赖顺序预测，存在误差传播问题，在多帧信道预测中会导致显著的和速率损失。虽然Transformer模型最近通过编码器自注意力机制实现了并行处理，但其在大规模MIMO系统中的应用仍有待探索。

针对这些问题，发表在《IEICE Transactions on Communications》上的研究提出了一种融合混合位置编码的混合注意力并行同步Transformer模型。该研究创新性地结合了全注意力和概率稀疏注意力，通过基于熵的稀疏性度量动态聚焦最具信息量的查询，实现了计算效率与预测精度的平衡。

研究人员采用了几项关键技术方法：首先建立了包含混合位置编码的编码器-解码器架构，其中位置编码结合了绝对和相对位置嵌入；其次开发了基于混合注意力机制的并行预测算法，能够同步预测多帧未来信道；此外还利用3GPP CDL-A信道模型生成训练数据，并采用归一化均方误差(NMSE)作为损失函数进行模型优化。

在研究结果方面，系统模型部分建立了动态天线配置的毫米波大规模MIMO系统框架，采用TDD模式和可配置帧结构。通过混合波束成形架构将RF链从N_BS减少到N_RF，有效降低了功耗。

信道预测问题建模部分提出了并行同步预测方法，通过建立历史CSI与预测CSI之间的数学映射，以约束优化方式最小化多步预测的NMSE损失。与顺序预测方法不同，该方法能一次性预测未来Q帧信道，有效避免了误差传播。

Transformer模型结构部分设计了基于混合注意力机制的编码器-解码器架构。编码器负责提取历史信道的特征，解码器则基于这些特征预测未来信道状态。混合注意力机制通过融合全注意力和概率稀疏注意力，在保持全局上下文建模的同时降低了计算复杂度。

混合注意力机制部分详细介绍了其工作原理。该机制通过基于熵的稀疏性度量量化每个查询的判别能力，动态选择最具信息量的查询，实现了自适应的高效注意力计算。具体包括稀疏性估计、查询选择和稀疏注意力三个步骤。

编码器设计部分提出了混合位置编码器，结合了绝对位置嵌入和相对位置嵌入。绝对位置嵌入基于传统的正弦方法，而相对位置嵌入源自时间步距离差异的均值，能更好地捕捉历史CSI中的长程依赖关系。

解码器设计部分采用掩码操作防止信息泄露，确保在预测第(T+t)帧时只能访问该帧之前的信道信息。通过编码器与解码器之间的混合注意力机制，模型能够自适应地关注历史信道中最相关的帧。

仿真结果表明，在用户移动速度为30km/h和50km/h两种典型场景下，所提Transformer模型的NMSE均低于-15dB。特别是在多帧预测中，该模型表现出优异的稳定性，第五帧预测的NMSE比RNN方法提高近5-10dB。

和速率性能方面，该模型在预测的5帧内均能达到接近理想CSI的和速率，显著优于其他对比方法。在高速移动条件下，该模型对信道波动表现出良好的耐受性，保持了可靠的预测性能。

复杂度分析表明，混合注意力机制的计算复杂度为O(n lnn·max(d_k,d_m))，显著低于传统自注意力机制的O(n²max(d_k,d_m))，在保持预测精度的同时提升了计算效率。

该研究的重要意义在于为解决大规模MIMO系统中的信道老化问题提供了创新性解决方案。通过并行同步预测架构避免了顺序预测中的误差传播问题，结合混合注意力机制和混合位置编码，实现了在高移动性场景下的准确信道预测。这不仅为5G毫米波通信系统的实际部署提供了技术支撑，也为未来无线通信系统的智能信道估计方法开辟了新方向。