Viewport-Patch 提取增强技术（360°） 视频质量评估

《IEEE Signal Processing Letters》：Viewport-Patch Extraction Enhanced 360° Video Quality Assessment

360视频VR应用中，传统滑动窗口裁剪方法导致高纬度内容失真，本文提出基于视口块采样的新型视频质量评估方法，结合球面采样与gnomonic投影消除投影畸变，设计两流网络联合建模高频失真与残差信息，并通过SE注意力机制优化时空特征，实验表明在VQA-ODV和BIT360数据集上PLCC/SROCC分别达到0.9603/0.9628和0.9585/0.9400，参数量仅0.22M。

　　

摘要：

随着360°视频在虚拟现实（VR）应用中的普及程度不断提高，由于其投影方式（等角投影ERP）导致的失真问题，评估其感知质量仍然面临挑战。传统的滑动窗口裁剪方法往往会扭曲高纬度区域的图像，无法真实反映用户的观看体验。为了解决这一问题，我们提出了一种基于视口块的视频质量评估（VQA）新方法。该方法通过在球面上采样不同的观看方向，并应用球极投影技术，提取出无失真且感知效果一致的视口块，从而同时保持空间精度和全帧覆盖率。此外，我们还设计了一个双流网络，该网络能够联合建模高频失真和随时间变化的残差信息，并通过挤压-激励（SE）注意力机制来捕捉时空特征。实验和分析表明，我们的方法显著提升了360°视频质量评估的准确性和可靠性，在VQA-ODV数据集上的PLCC/SROCC值达到了0.9603/0.9628，在BIT360数据集上达到了0.9585/0.9400，且仅使用了220万个参数。代码可在以下链接获取：https://github.com/yeonhw/VP-VQA。