H2-Cache：一种用于生成式扩散模型高性能加速的新型分层双级缓存机制

《IEEE Open Journal of the Computer Society》：H2-Cache: A Novel Hierarchical Dual-Stage Cache for High-Performance Acceleration of Generative Diffusion Models

本文针对扩散模型迭代去噪过程计算成本高、现有缓存技术在速度与保真度之间存在权衡难题的问题，推荐研究人员开展了一项名为“H2-Cache”的分层双级缓存主题研究。该研究基于去噪过程可功能分离为结构定义阶段（BL1）和细节细化阶段（BL2）的关键洞察，提出了采用独立阈值（τ1, τ2）选择性缓存各阶段的新方法，并引入了池化特征摘要（PFS）技术进行轻量级相似性估计。实验结果表明，H2-Cache在COCO数据集上实现了高达7.01倍的加速，在CUTE80数据集上100步时达到5.08倍加速，同时图像质量与基线几乎相同，显著优于现有缓存方法。这项工作为高保真扩散模型的实际应用提供了强大而实用的解决方案。

　　

在人工智能生成内容（AIGC）浪潮中，扩散模型（Diffusion Models）凭借其生成图像的高保真度和多样性，已成为图像合成领域的佼佼者。然而，这些模型背后的迭代去噪过程却是一把双刃剑——正是这种逐步精炼的机制赋予了模型强大的生成能力，同时也带来了沉重的计算负担。想象一下，模型需要从纯噪声开始，一步步“雕刻”出最终图像，每一步都涉及复杂的神经网络计算。这种高度迭代的特性导致生成单张图像耗时漫长，严重阻碍了扩散模型在实时应用场景中的部署，如交互式设计工具或需要快速响应的内容生成平台。

为了破解这一效率瓶颈，研究人员尝试了多种加速技术，其中缓存策略因其能够重用相邻步骤中相似的计算结果而备受关注。早期的方法如块缓存（Block Caching）通过跳过输出变化微小的整个网络层块来减少计算量，确实带来了一定的加速效果。但这种方法显得过于“粗暴”，常常以牺牲图像细节为代价，导致生成结果缺乏精细度。更棘手的是，频繁的缓存命中检查本身也会引入不小的计算开销，有时甚至可能抵消掉加速带来的收益，尤其是在总步数较少的情况下，加速效果大打折扣。因此，如何在保证图像质量不受明显影响的前提下，实现更高效、更智能的缓存，成为当前扩散模型加速领域一个亟待解决的核心挑战。

针对这一挑战，发表在《IEEE Open Journal of the Computer Society》上的研究论文《H2-Cache: A Novel Hierarchical Dual-Stage Cache for High-Performance Acceleration of Generative Diffusion Models》提出了一种创新的解决方案。由Mingyu Sung、Il-Min Kim、Sangseok Yun和Jae-Mo Kang组成的研究团队，基于对现代扩散模型架构（特别是Flux架构）的深入分析，发现其去噪过程在功能上可以清晰地分离为两个阶段：负责奠定图像整体布局和主体结构的“结构定义阶段”（B_L1），以及专注于丰富纹理、边缘等高频信息的“细节细化阶段”（B_L2）。这一关键洞察成为了H2-Cache的设计基石。

为了回答如何实现高效且保真的加速这一问题，研究人员开展了系统性的研究。他们提出的H2-Cache框架核心在于其分层双级缓存机制。该机制不再将网络块视为一个整体进行缓存决策，而是对上述两个功能阶段实施独立的缓存策略。具体来说，系统设置两个独立的阈值τ₁和τ₂。首先，检查当前输入潜在表示（z_t）与缓存中输入（z_cache-in）的相似度，若小于τ₁，则判定图像结构已稳定，直接重用整个缓存结果，跳过B_L1和B_L2的全部计算。若此检查未命中，则执行B_L1计算得到中间特征z‘_t，随后进行第二级检查，比较z’_t与缓存的中间特征（z‘_cache）的相似度，若小于τ₂，则说明尽管结构有变，但细节特征足够相似，可以跳过B_L2的计算，直接重用缓存的噪声预测（ε_cache）。这种分层决策提供了对速度-质量权衡的精细化控制。

然而，双级检查意味着在每个去噪步骤中每个块需要进行两次相似性比较，这无疑增加了计算开销的风险。为了确保该策略在计算上的可行性，研究人员引入了池化特征摘要（Pooled Feature Summarization, PFS）这一轻量级技术。PFS的核心思想并非直接比较高维特征张量本身，而是先通过平均池化（Average Pooling）操作将其下采样为小巧的“摘要”或“缩略图”，然后在这些紧凑的表示上计算相对差异度量。池化核大小由原始特征图高度H和预设的除数D_p1（用于B_L1阶段）或D_p2（用于B_L2阶段）决定（S_k= ?H / D_pi?）。这种方法的优势在于，硬件加速的平均池化操作非常迅速，且通过对局部区域取平均，生成的摘要对高频噪声不敏感，能为缓存决策提供更稳定的信号，同时显著降低了比较操作的计算复杂度（从O(BC_*HW)降至约O(BC_*D_pi²)）和缓存状态的内存占用。

本研究主要采用了以下几种关键技术方法：首先是基于Flux架构的去噪网络功能阶段分解方法，将DDIM（Denoising Diffusion Implicit Models）采样步骤明确分解为B_L1和B_L2两个连续阶段。其次是上述的分层双阈值缓存决策机制。第三是池化特征摘要（PFS）技术，用于高效、低开销的相似性估计。实验评估在nunchaku框架上进行，使用Flux.1-dev模型，在NVIDIA A5000 GPU和Intel i9-14900K CPU的硬件环境下，主要针对1024x1024分辨率图像生成进行评估，并使用从CUTE80数据集提取的提示词（Prompts）和LAION-Aesthetics V2数据集的部分样本进行定量分析。

实验结果表明，H2-Cache在加速性能和图像质量方面均表现出色。

• •
  与基线及现有缓存方法的比较：在CUTE80数据集上，100步DDIM采样时，H2-Cache实现了5.08倍的加速（基线55.72秒 vs H2-Cache 10.97秒），同时其CLIP-IQA（一种基于CLIP模型的图像质量评估指标）得分达到0.7688，与基线（0.7693）相比仅有-0.07%的微小回归，几乎保持了原始质量。相比之下，BlockCache加速比为4.35倍，CLIP-IQA为0.7681（-0.16%）；TeaCache加速比为4.99倍，但CLIP-IQA下降至0.7462（-3.00%）。H2-Cache在速度和质量的综合权衡上最优。
• •
  在多数据集上的泛化性：在COCO-Val2017数据集上，H2-Cache取得了惊人的7.01倍加速（52.84秒→7.54秒），并且CLIP-IQA得分反而提升了+1.06%（从0.7643到0.7724）。在LAION数据集上，加速比为5.39倍，CLIP-IQA有-3.25%的下降。这表明H2-Cache的性能具有一定数据集依赖性，但在不同数据集上均能实现显著加速。
• •
  在U-Net架构上的通用性验证：为了验证方法的普适性，研究还在SDXL U-Net架构上进行了测试。结果表明，H2-Cache（τ_1,2=0.08）在CUTE80数据集50步采样时实现了2.20倍加速，CLIP-IQA下降-4.49%，显著优于DeepCache（加速高但质量严重下降）和TGATE（质量保持较好但加速有限）等对比方法，证明了其分层缓存策略对不同模型骨架的有效性。
• •
  消融实验分析：对关键参数τ₁（结构阈值）和τ₂（细节阈值）的深入分析显示，两者之间存在复杂的相互作用。较低的τ₁（如0.15）在搭配合适的τ₂时能取得最佳性能峰值（如PSNR 17.30, SSIM 0.77, CLIP-IQA 0.77），但对τ₂的选择更敏感。研究还发现，保持τ₁≤ τ₂的关系通常能获得更好的性能，即对结构变化的判断应至少与对细节变化的判断一样严格或更严格。对PFS的消融实验证实，引入PFS能带来最高14.5%的额外加速，而对图像质量指标（PSNR, SSIM, FID, CLIP-IQA）的影响大多在3%以内，验证了其作为高效相似性代理的有效性。
• •
  计算效率分析：对FLOPs（浮点运算次数）的分析显示，H2-Cache在512x512分辨率下将总FLOPs从基线的831.94T降低至158.77T，减少了5.24倍，这与实际时间加速比（5.24x）高度吻合，证明加速源于计算量的真实减少，而非硬件优化。
• •
  不同分辨率下的鲁棒性：H2-Cache在1024x1024、768x768、512x512和256x256等多种输出分辨率下均保持了稳定的加速比（约4.7x至5.1x）和接近基线的图像质量，表明其性能提升与图像尺度无关，具有良好的泛化能力。
• •
  PFS参数影响：固定缓存阈值（τ₁=0.20, τ₂=0.25）时，调整PFS的池化大小（D_p1, D_p2）可以微调性能。较小的池化尺寸（如128）倾向于更快的速度但质量略有下降，较大的池化尺寸（如1024）则更注重质量保持。
• •
  多提示词类别下的定性评估：在抽象、复杂构图、宏观、长尾、光影、动态、分布外风格等八类提示词上的生成结果对比显示，H2-Cache（配合PFS）生成的图像在视觉上与无缓存基线几乎无法区分，语义和局部细节都得到了很好的保持，同时提供了约3.25倍的稳定加速。

综上所述，H2-Cache通过巧妙利用去噪网络内部的功能分离，设计了一种分层双级缓存机制，并结合高效的池化特征摘要技术进行相似性判断，成功地解决了扩散模型推理加速中速度与保真度之间的尖锐矛盾。实验结果表明，该方法能实现数倍的加速，同时将图像质量的损失降至最低，显著优于现有的缓存策略。其设计不局限于特定模型架构（在Flux DiT和SDXL U-Net上均有效），且在不同分辨率、不同数据集上表现出良好的鲁棒性。这项研究为扩散模型在实际应用中的高效部署提供了强有力的技术支撑，显著降低了高保真生成式AI应用的硬件门槛和时间成本，对推动AIGC技术的普及和发展具有重要意义。未来的工作可能包括开发自适应阈值学习策略、扩展至批量推理场景、探索缓存误差校正机制以及将该原理应用于视频生成、3D生成等其他扩散模型模态的加速。