360度视频超分辨率与质量提升挑战：方法与结果

《Signal Processing: Image Communication》：360-degree video super resolution and quality enhancement challenge: Methods and results

360度视频实时流媒体因带宽和低延迟限制面临质量与计算效率难题，传统压缩和分辨率调整方法易导致画质下降。本文发起360度视频超分辨率与质量提升挑战赛，构建统一评估框架衡量画质增强（WS-PSNR）、比特率增益和计算效率，引入ODVista数据集模拟真实低比特率场景。最终四支团队提交的轻量级单帧模型在2×和4×超分辨率下平衡了视觉质量与实时性，为移动端高分辨率360视频流媒体提供基准参考。

　　随着沉浸式技术的迅速发展，例如虚拟现实（VR）和扩展现实（XR），360度视频正逐渐受到广泛欢迎。这种视频形式为用户提供了更加丰富的视觉体验，使他们能够身临其境地探索数字环境，仿佛置身于真实世界。然而，在实际应用中，尤其是像无人机（UAV）这样的移动场景中，360度视频的实时流媒体传输面临诸多挑战。主要问题包括有限的带宽和严格的延迟限制。传统的视频增强方法，如压缩和自适应分辨率调整，虽然在一定程度上有助于视频传输，但往往会对视频质量造成影响，甚至引入压缩伪影，从而降低观众的观看体验。此外，360度视频独特的球形几何结构，其广阔的视野范围也带来了不同于传统2D视频的挑战。

为了应对这些挑战，我们启动了“360度视频超分辨率与质量增强挑战”项目。该挑战旨在鼓励参与者开发高效的机器学习（ML）驱动解决方案，以提升低比特率压缩360度视频的质量。项目设置了两个主要赛道，分别针对360度视频的2倍和4倍超分辨率（SR）进行优化。本文将详细阐述该挑战的框架，介绍两个赛道的具体内容，并展示表现优异模型所提出的SR解决方案。我们通过一个统一的评估框架对这些模型进行了综合评估，包括三个方面：（i）质量提升，（ii）比特率优化，以及（iii）计算效率。研究结果表明，在受限条件下，轻量级的单帧模型能够在视觉质量和运行性能之间取得良好的平衡，为未来研究设定了坚实的基础。这些发现为推动实时360度视频流媒体技术的发展提供了实际的指导，特别是在带宽受限的沉浸式应用中。

近年来，沉浸式视频技术的快速发展彻底改变了用户在数字环境中的体验，使他们能够更加真实地感受虚拟世界。多种视觉媒体格式，如360度视频（ODV）、光场和体视频，被广泛用于创造沉浸式的观看体验。其中，360度视频因其捕获和显示技术的日益普及，以及相关标准的制定，使得其在实际应用中获得了越来越多的关注。然而，尽管360度视频提供了广阔的视野，其捕获方式却存在一定的局限性。通常，使用鱼眼镜头拍摄的360度视频在转换为平面图像时，会导致角分辨率的下降。这种限制可能会造成细节和清晰度的损失，从而影响观众的沉浸感。因此，捕获和传输高质量的360度视频对于确保沉浸式环境中的用户体验至关重要。

然而，高分辨率360度视频的实时流媒体传输，尤其是在移动场景中，如无人机应用，仍然面临巨大的挑战。主要限制因素包括带宽和延迟的约束。虽然压缩和自适应分辨率技术试图在质量和延迟之间取得平衡，但缩放和编码过程不可避免地会导致质量下降，并在带宽严重受限的情况下引入压缩伪影。因此，需要更加高效和智能化的解决方案来应对这些问题。

基于深度学习的方法在图像和视频超分辨率（SR）质量提升方面取得了显著的成果。利用卷积神经网络（CNN）、循环神经网络（RNN）、生成对抗网络（GAN）、视觉Transformer（ViT）以及扩散模型等技术，这些方法在图像质量和细节增强方面推动了技术的进步。然而，360度视频和图像通常被转换为2D平面表示，如等距投影（ERP）或地图投影（CMP），以便于实际应用。这种转换过程引入了固有的失真，而传统2D SR算法通常并未解决此类问题。因此，开发专门针对360度视频的超分辨率算法显得尤为重要。

本文提出的“360度视频超分辨率与质量增强挑战”旨在解决低比特率下360度视频传输的关键问题。挑战的目标是通过增强机器学习算法的实时超分辨率能力，从而提升用户在实时低比特率流媒体场景中的观看体验。该挑战与2024年IEEE国际图像处理会议（ICIP）联合举办，包含两个赛道，分别针对360度视频的2倍和4倍分辨率增强。此外，该挑战旨在评估超分辨率算法在现实条件下的效果，包括带宽受限和实时处理的环境。在挑战初期，共有47名参与者注册，其中10名团队参与了评估阶段。最终，有四支团队成功进入决赛，并提交了有效结果，包括其研究成果、代码和说明文件。

与以往的工作相比，本挑战引入了多个创新方面。首先，我们提出了一种新颖的统一评估框架，该框架整合了一个综合评分指标，兼顾视觉质量和计算效率，特别是在实时应用的限制条件下。其次，我们明确关注低比特率压缩360度视频流媒体的独特需求，填补了现有SR挑战中的重要空白。最后，我们引入了“ODVista”数据集，该数据集通过包含多种压缩级别、缩放因子和多样化的场景，使得实际流媒体场景的基准测试更加真实。

为了评估所提出的解决方案，我们对比了多种现有的SR方法，包括传统插值方法和最先进的机器学习方法。这些方法在不同的场景中表现各异，各有其优缺点。例如，双三次插值是一种常用的图像缩放方法，它通过加权平均16个相邻像素的值来计算新像素的值。这种方法虽然在传统SR技术中被广泛应用，但在处理360度视频时，由于其特殊的球形结构，可能会导致图像失真和细节丢失。因此，我们需要更先进的算法来应对这些问题。

通过本挑战，我们希望激发研究者对开发适用于360度视频实时超分辨率技术的兴趣，同时为不同SR方法提供一个标准化的比较平台，特别是在考虑压缩失真和实时处理条件的情况下。此外，我们还希望促进学术界与产业界之间的知识交流与创新合作，共同推动360度视频技术的发展。

综上所述，本挑战通过设定两个赛道，分别针对360度视频的2倍和4倍超分辨率，旨在解决低比特率下360度视频传输的关键问题。通过统一的评估框架，我们对参赛团队的解决方案进行了全面评估，涵盖了视觉质量、比特率优化和计算效率等多个方面。研究结果表明，轻量级的单帧模型能够在受限条件下实现视觉质量与运行性能的平衡，为未来研究设定了坚实的基础。这些发现不仅为360度视频的实时流媒体传输提供了实际的指导，也为相关技术的发展提供了新的方向。