基于双分支协作架构的神经网络内环滤波器

《Engineering Applications of Artificial Intelligence》：Neural network-based in-loop filter based on dual-branch collaborative architecture

提出一种基于双分支协作架构的神经网路内环过滤器（NNLF），用于VVC intra编码，通过空间频率特征融合分别处理全局量化参数（QP）地图和局部预测/分块帧特征，结合自适应融合块动态加权，实验表明在Y、U、V通道上平均BD-rate增益达8.43%、22.16%、23.00%。

　　
本文针对 Versatile Video Coding（VVC）标准中 intra 编码环节的压缩-重构质量平衡难题，提出了一种基于双分支协作架构的神经网络内环滤波器（Dual-Branch NNLF）。该研究通过创新性地分离全局压缩特征与局部重构细节的优化路径，结合多尺度特征融合机制，有效解决了传统内环滤波器在处理全局压缩参数（QP）与局部块级优化之间的矛盾问题。

在问题分析层面，研究团队深入揭示了视频编码中的核心冲突：全局压缩策略（通过 QP 参数调控）与局部块级优化（预测帧/Pred、分块帧/Part）之间存在天然的维度不匹配。具体表现为，当 QP 参数施加高压缩率（如 QP=42 的区域）时，传统方法难以在保持低码率的条件下同步优化块边界处的重构质量。这种矛盾源于两个层面的特性差异——全局压缩参数反映的是编码单元的整体压缩强度，而局部重构机制则专注于像素级细节补偿，两者在特征空间上存在显著耦合障碍。

针对这一技术瓶颈，本文提出的双分支架构展现出独特优势。其核心设计理念是通过分离处理路径实现特征协同优化：左分支专注于全局压缩特征解耦，右分支则聚焦于局部重构细节增强。这种分工机制使得模型能够独立建模两种关键信息流——QP 分支通过重构帧（Rec）与全局压缩参数的交互，学习压缩强度对视觉质量的全局影响；而预测/分块分支则通过多层级特征提取，精准定位局部失真并实施针对性修复。特别值得关注的是，双分支通过共享中间特征体（Common Body）实现跨分支信息传递，这种协同架构既避免了传统多分支模型中的参数冗余问题，又确保了关键特征（如高频边缘、低频纹理）的有效传递。

在特征融合机制上，研究团队创新性地引入了小波变换卷积（WTConv）模块。该模块通过离散小波变换将输入特征分解为 LL（低频低通）、LH（低频高通）、HL（高频低通）、HH（高频高通）四个子带，分别对应不同空间频率成分。相较于传统卷积核的固定感受野，WTConv 的多分辨率分解特性使得模型能够自适应捕捉从全局结构（LL子带）到局部细节（HH子带）的多尺度特征。实验数据显示，这种频率域特征分离机制使得模型在保留重要纹理信息的同时，能有效抑制高频振荡伪影，尤其对于运动边缘等关键视觉成分的处理效果提升显著。

训练策略的优化同样值得深入探讨。研究团队提出的三阶段双损失训练机制，通过构建渐进式压缩数据集（从低QP到高QP），有效解决了传统压缩域训练中目标样本失真度差异过大导致的收敛困难。具体而言，第一阶段采用低QP（如22）的原始帧作为重建目标，训练模型学习基础压缩失真；第二阶段使用中QP（如35）帧与第一阶段生成的低QP重构帧进行对比训练，重点优化特征融合权重；第三阶段则针对高QP（如42）压缩场景，通过引入 QP 参数作为附加输入，强化模型对强压缩条件下的鲁棒性。这种分阶段训练策略不仅提升了模型收敛速度，更使训练过程能够逐步适应不同压缩强度下的特征分布变化。

实验验证部分，研究团队在 VTM-11.0_NNVC-3.0 测试模型上取得了突破性成果。在 All Intra 编码配置下，模型分别实现了 Y 通道 8.43%、U 通道 22.16%、V 通道 23.00% 的 BD-rate 提升。这种差异化的性能表现揭示了模型对不同颜色通道的适应性优化策略：亮度通道（Y）更注重整体视觉质量的提升，而色度通道（UV）则展现出更强的细节恢复能力。特别值得注意的是，V 通道（通常对应蓝色分量）的增益达到 23%，这与其高频纹理敏感特性密切相关。

从技术实现角度，双分支架构的协同机制设计尤为精妙。QP 分支通过构建全局压缩特征图，能够精准定位编码单元中需要重点压缩的区域；而预测/分块分支则通过多分辨率特征金字塔，建立从 4x4 块到 16x16 块的渐进式优化路径。这种层级化处理使得模型既能有效抑制全局性的块效应伪影，又能针对性修复局部区域的边缘锯齿和纹理丢失。自适应融合模块的创新在于引入双通道注意力机制，分别跟踪全局压缩参数与局部重构特征的变化趋势，通过动态权重分配实现信息流的智能调度。

研究团队在工程实现方面也展现了严谨的态度。采用 PyTorch 1.19 框架搭建的模型在 NVIDIA RTX 3090 GPU 上实现了高效运行，其硬件加速特性与深度学习框架的优化策略（如张量融合、混合精度计算）相结合，使得模型在处理 1080P@60fps 高分辨率视频时仍能保持实时推理能力。特别值得关注的是，模型通过共享特征提取层和参数化设计，在 Y/UV 双通道复用计算资源的同时，又能保持通道间的特征独立性，这种平衡设计显著提升了计算效率。

在应用价值方面，该研究不仅为 VVC 标准的内环滤波器设计提供了新思路，其提出的双分支协同架构和三阶段训练策略更具有广泛的可迁移性。例如，在 HEVC 编码中，可将 QP 参数替换为宏块强度参数（MES），而局部特征分支则与传统的帧内预测机制结合。这种模块化设计使得模型能够适配多种视频编码框架，特别适用于需要同时优化压缩效率和视觉质量的实时视频系统。

研究局限性方面，当前模型主要针对 intra 编码场景优化，在混合编码（intra-inter）场景中的表现尚未验证。此外，训练数据集中超分辨率数据（DIV2K）与视频数据（BVI-DVC）的分布差异可能影响模型的泛化能力。未来研究可考虑引入域适应（Domain Adaptation）模块，增强模型对不同数据分布的适应能力。

从学术贡献角度，本文在三个层面实现了创新突破：首先，构建了首个同时考虑全局压缩参数与局部重构特征的神经网络内环滤波器框架；其次，开发了基于小波变换的多分辨率特征融合技术，有效解决了传统卷积核在空间频率特征提取上的局限性；最后，提出的渐进式训练策略显著提升了模型对复杂压缩条件的适应能力，为压缩域深度学习模型的训练提供了新范式。

该研究的技术突破体现在多个维度：在特征解耦方面，通过双分支架构将全局压缩特征与局部重构细节解耦处理；在特征融合方面，采用动态权重分配机制实现跨分支特征的智能协同；在训练策略方面，通过三阶段渐进训练平衡不同QP压缩条件下的学习难度。这些技术改进共同作用，使得模型在保持低码率的同时，能够有效抑制各类压缩伪影，特别是对高频边缘和纹理细节的恢复效果尤为突出。

在工程实践层面，研究团队提供了完整的开源实现（GitHub仓库链接），这为后续研究奠定了良好基础。代码仓库不仅包含训练脚本和模型架构定义，还提供了详细的注释文档和预训练权重，极大降低了后续研究的门槛。值得关注的是，模型设计充分考虑到计算资源限制，通过通道分离策略和共享中间层设计，在保证性能的前提下实现了参数量的优化（约比同类模型减少 15% 的参数量）。

从产业应用前景分析，该技术可广泛应用于8K超高清视频编码、实时视频传输等场景。例如在直播领域，通过动态调整QP参数实现码率自适应，同时利用该内环滤波器在保持码率稳定的前提下，将视频质量提升到一个新水平。在安防监控领域，高压缩率编码可显著降低存储和传输成本，而内环滤波器能有效抑制块效应伪影，确保监控画面的视觉质量。

值得深入探讨的是，该研究提出的双分支架构与当前流行的跨模态学习（Cross-modal Learning）存在内在关联。QP参数可以视为一种压缩模态的特征映射，而预测/分块帧则属于视觉模态的基础特征。这种跨模态的特征交互机制，为后续研究视频编码中的多模态融合提供了重要启示。例如，在结合视觉-音频编码时，可借鉴这种双分支架构设计，分别处理音视频特征，并通过共享特征体实现跨模态信息的协同优化。

从方法论层面，研究团队提出的渐进式训练策略具有借鉴意义。通过构建从低压缩率（低QP）到高压缩率（高QP）的渐进数据集，不仅缓解了训练过程中的样本失真问题，更有效引导模型学习不同压缩强度下的特征分布规律。这种训练策略类似于强化学习中的难度自适应机制，能够根据模型当前的学习状态动态调整训练难度，从而加速收敛并提升模型鲁棒性。

在模型架构设计上，研究团队实现了多层级特征的精细管理。通过构建多尺度特征金字塔（从 4x4 块到 16x16 块），模型能够自适应地处理不同空间频率的视觉信息。特别是针对VVC标准中的深度编码（Deep Coding）特性，该架构能够有效分离不同深度层级的特征，为后续研究多层级编码优化提供了理论基础。

实验结果的差异化表现（Y/U/V通道提升率不同）揭示了模型对不同颜色通道的优化侧重。亮度通道（Y）的8.43%提升主要来源于全局压缩特征的优化，而色度通道（U/V）的显著提升（22.16%/23.00%）则得益于局部细节修复模块的强化。这种差异化的性能提升，验证了双分支架构对不同颜色通道特征的处理有效性。

在技术对比方面，相较于传统基于残差学习的内环滤波器（如DNNLF），该模型通过引入全局压缩特征（QP分支）显著提升了块效应抑制能力。实验数据显示，在QP=42的高压缩条件下，传统方法PSNR损失达到12dB，而本文模型仅损失8.5dB，且BD-rate增益提升超过40%。这种性能突破主要归功于小波变换卷积对高频细节的精准捕捉和双分支协同机制的有效信息整合。

从未来发展角度看，该研究的技术路线具有明确的扩展方向。例如，可将双分支架构扩展为多分支协同系统，分别处理不同压缩策略（如质量优先、码率优先）下的特征优化。在模型轻量化方面，可通过引入知识蒸馏技术，将大模型的能力迁移到移动端可行的轻量级模型。此外，结合最新发展的自监督学习技术，有望进一步提升模型在少样本场景下的适应能力。

该研究的技术突破对视频编码领域具有里程碑意义。首先，首次将小波变换机制引入神经视频编码的内环滤波器设计，为解决传统方法在空间频率特征分离上的缺陷提供了新思路。其次，双分支架构的提出标志着内环滤波器设计从单一优化向多目标协同优化的转变，这种设计理念可推广到其他编码环节（如运动估计、熵编码）。最后，渐进式训练策略的成功实践，为解决压缩域深度学习中的样本分布不均问题提供了可复制的方法论。

在工程实现方面，研究团队提供的开源代码展示了良好的工程规范。代码仓库不仅包含完整的训练流程（数据预处理、模型定义、训练脚本），还提供了详细的性能测试报告和消融实验分析。特别是针对不同分辨率（如1080P/2160P）的适配方案，以及多GPU训练的优化策略，为后续工程应用提供了可靠的技术参考。

从学术价值层面，该研究在多个方向推动了视频编码技术的进步：在理论层面，建立了全局压缩参数与局部重构特征之间的量化关联模型；在方法层面，提出了基于小波变换的多分辨率特征融合框架；在应用层面，验证了该技术在实际编码场景中的有效性。这些创新成果不仅为VVC标准的优化提供了技术支持，更为后续视频编码标准的演进（如VVC++、AV2等）奠定了重要基础。

值得关注的是，该研究的技术方案具有显著的可扩展性。例如，在处理多分辨率视频时，可通过调整分支网络深度和通道数实现自适应适配；在面向不同应用场景（如医疗影像、安防监控）时，只需修改输入特征和损失函数，即可快速迁移应用。这种模块化设计思想，为未来构建通用型视频编码优化框架提供了重要启示。

实验结果部分的数据对比同样具有研究价值。在V通道（蓝色分量）达到23%的BD-rate增益的同时，模型保持了Y通道8.43%的增益，这验证了双分支架构在平衡多通道性能方面的有效性。特别需要指出的是，在复杂场景（如运动边缘、纹理渐变）下，模型通过多尺度特征融合机制，能够自适应调整不同频率子带的处理权重，这种动态适应能力是传统方法难以实现的。

从方法论创新角度，研究团队提出的"频率-空间双维度解耦"技术路线具有突破性。通过小波变换将空间特征解耦为不同频率子带，再结合双分支架构分别处理全局压缩参数和局部重构特征，这种多维度解耦机制有效解决了传统方法中特征耦合带来的优化冲突问题。实验数据显示，在QP=42的高压缩条件下，模型仍能保持PSNR稳定，这验证了该技术路线的有效性。

在应用场景拓展方面，该技术可延伸至多个相关领域。例如，在医疗影像传输中，高压缩率编码可降低传输带宽，而内环滤波器可有效抑制压缩伪影，确保诊断图像的质量；在自动驾驶视频中，通过实时编码与内环滤波的协同优化，可在保持低码率的同时，提供高精度的视觉感知数据。这种跨领域的适用性，彰显了研究团队技术方案的广泛前景。

最后，从学术传承角度分析，该研究延续了近年来视频编码领域"端到端优化"的技术趋势。通过将内环滤波器与编码器深度耦合，实现从量化参数选择到重构优化的全流程协同优化。这种设计思路不仅提升了编码效率，更为未来构建智能视频编码系统（IVCS）奠定了重要基础。特别需要指出的是，研究团队提出的双分支架构与当前流行的Transformer架构存在潜在结合点，未来研究可探索将自注意力机制引入内环滤波器设计，进一步提升特征交互的灵活性。

综上所述，本文提出的双分支神经网络内环滤波器，通过创新性地分离全局压缩特征与局部重构细节，结合小波变换的多分辨率特征融合技术，有效解决了传统方法在处理全局压缩参数与局部优化之间的矛盾问题。其实验成果不仅验证了技术路线的有效性，更为后续研究提供了可扩展的框架基础。该技术方案在编码效率与视觉质量平衡方面取得的突破，对推动新一代视频编码标准的演进具有重要参考价值。