HybridEditDif：利用扩散模型进行文本和示例引导的图像编辑

《Pattern Recognition》：HybridEditDif: Text and Exemplar Guided Image Editing with Diffusion Models

图像编辑旨在恢复图像缺失区域同时保持视觉一致性和美学效果。现有文本引导方法常因局部图像内容与全局文本描述的语义不匹配导致错误内容生成，而示例引导方法仅依赖全局嵌入则无法共享文本图像嵌入空间。本文提出HybridEditDif模型，通过动态解耦的跨注意力机制协同整合文本与示例条件。采用自监督训练减少标注需求，结合参考图像与掩码形状增强技术提升性能。实验表明该模型在多种真实场景图像编辑中表现更优，且通过调整λ1和λ2参数支持纯文本或纯示例独立编辑，增强编辑灵活性。

　　图像编辑的目标是修复图像中的缺失区域，同时保持视觉一致性和审美吸引力。当前基于文本引导的编辑方法在处理局部图像内容与全局文本描述之间的语义不匹配时常常面临挑战，这会导致生成内容出现偏差。同时，仅依赖全局嵌入的示例引导修复方法在捕捉与文本表示共享的语义空间方面也存在不足。为了解决这些问题，我们提出了一种名为 HybridEditDif 的模型，该模型通过一种动态、解耦的跨注意力机制，将文本和示例条件进行整合，以协同指导图像修复。此外，我们引入了一种自监督的训练方案，以减少对人工标注的依赖，同时确保数据的一致性和多样性。参考图像和掩码形状的增强技术也进一步提升了模型的性能。实验结果表明，HybridEditDif 在各种真实场景图像上取得了优越的修复效果。

HybridEditDif 的设计基于对现有方法局限性的深入分析。传统图像编辑方法依赖于专业软件和人工操作，这种方式通常耗时且成本高昂。随着人工智能技术的发展，特别是扩散模型的出现，图像编辑领域经历了显著的变革。扩散模型通过逐步将背景中的随机噪声替换为原始图像的重建版本，使得图像修复变得更加高效和自动化。基于文本的图像生成方法在图像编辑中也得到了广泛应用，例如 DALL-E2、Stable Diffusion 和 Blend Diffusion 等模型，它们能够根据文本描述填充图像中的缺失对象，允许用户通过简单的文本提示指定所需内容。然而，文本引导的图像编辑技术仍然存在一些问题，比如局部图像内容与全局文本描述之间的语义不一致，可能导致在填充被遮挡区域时错误地应用背景元素，从而产生视觉上不协调的结果。此外，文本输入往往无法提供足够的细节来准确表示复杂的场景或抽象的概念，这在一定程度上限制了内容生成的范围。

相比之下，基于示例的图像编辑方法则提供了一种更直观的替代方案，通过丰富的视觉信息来弥补文本表达的不足。例如，ImageBrush 通过一对变换图像作为“视觉指令”，在扩散过程中对图像进行精确编辑，展示了在姿态转换和图像翻译等任务中的出色表现。PhD 结合图像分割和生成技术，从参考图像中提取目标对象并将其嵌入到背景图像中，确保生成图像的自然融合和一致性。Paint by Example 通过指定参考样本图像进行编辑，无需文本输入，直接根据样本图像的风格和内容生成目标图像。然而，基于示例的图像编辑方法同样存在一定的局限性，特别是在复杂场景中，合成过程可能产生视觉上的瑕疵或遗漏细节。此外，由于未能充分利用文本与图像共享的嵌入空间，生成的图像缺乏语义深度和一致性，从而影响整体质量。

近年来，基于文本和示例条件的高效图像重建架构成为了研究的热点。例如，ControlNet 和 IP-Adapter 等方法通过将额外网络整合到现有的文本到图像扩散模型中，实现了对图像生成的更精确控制。然而，在图像编辑领域，现有的文本与示例结合的框架仍然存在一定的问题，使得在保证图像细节和整体一致性方面变得困难。因此，开发一种能够灵活整合文本和示例的高效编辑模型具有重要意义。

HybridEditDif 的核心思想是同时利用示例图像和文本描述进行图像编辑。通过参考示例图像，模型能够确保前景与背景之间色彩和光照的自然过渡，从而提升图像的一致性和美观性。文本描述则强调对象的特征和动态变化，确保最终输出符合用户的特定期望。为了增强模型的泛化能力，我们采用生成模型中的先验知识对模型进行初始化。同时，我们引入了多种数据增强技术，如旋转、缩放、色彩调整和背景移除，以增加训练样本的多样性。为了更好地处理文本和示例条件之间的兼容性，我们提出了一种改进的解耦跨注意力机制。在扩散模型的每一层中，我们设置独立的跨注意力层，分别处理文本和图像，赋予不同的权重系数。通过调整这些权重系数，模型能够支持用户独立使用文本描述或参考图像进行编辑，从而提供更大的控制和定制化能力。

在实验部分，我们使用了 OpenImages 数据集作为训练的主要来源。该数据集涵盖了数百万张图像和 1600 万张标注的边界框，涉及 600 种物体类别。这种广泛的数据覆盖为模型的训练提供了丰富的物体多样性，有助于构建一个鲁棒的编辑系统。为了确保数据的一致性和计算效率，我们将所有图像统一调整为特定的分辨率，便于在训练过程中进行标准化的输入处理。此外，在实现细节方面，我们采用了多种优化策略，包括对跨注意力机制的调整，以提升模型在处理复杂图像时的性能。我们还引入了多种图像增强技术，以确保模型能够适应不同类型的输入，并在实际应用中保持高质量的输出。

HybridEditDif 的成功应用表明，它能够有效克服传统单模态图像编辑方法的局限性，通过深度整合文本语义指导和示例视觉线索，实现更加精确和灵活的图像修复。该方法不仅在图像细节的准确性上有所提升，还能够保持图像的整体一致性，从而生成既真实又富有创意的视觉内容。此外，HybridEditDif 在实际应用中的表现得到了验证，通过定量评估和主观评价，证明其在处理真实世界图像时具有显著优势。这些成果为图像编辑技术的发展提供了新的思路，也为未来的研究奠定了基础。

在相关工作的部分，我们回顾了条件图像生成的相关方法。条件图像生成是图像编辑的基础，尤其是在扩散模型的应用中。Glide 通过引入基于文本的像素级生成，改进了类条件模型中的标签替换机制。Imagen 通过深度优化提升了文本引导的图像质量。此外，特定的条件设置有助于提高图像合成的保真度和可控性。GLIGEN 则通过门控机制实现了对开放世界图像生成的精确控制。Make-A-Scene 通过整合多种技术，进一步提升了图像生成的灵活性和多样性。这些方法为 HybridEditDif 的设计提供了理论基础和技术支持，使得模型能够在复杂的图像修复任务中实现更高的准确性和一致性。

在实验设置部分，我们详细描述了训练数据和实现细节。训练数据的选择是模型性能的关键因素之一。OpenImages 数据集因其广泛的覆盖范围和丰富的标注信息，成为我们训练的主要来源。该数据集不仅包含大量图像，还提供了多种物体类别的标注，有助于模型学习到更加全面的图像特征。此外，我们对训练数据进行了预处理，包括图像的统一分辨率调整，以确保模型在训练过程中能够高效处理输入数据。在实现细节方面，我们对模型的结构进行了优化，特别是对跨注意力机制的改进，以确保模型能够灵活地处理文本和示例条件。我们还引入了多种数据增强技术，以提高模型的泛化能力和鲁棒性。

在结论部分，我们总结了 HybridEditDif 的研究意义和应用前景。HybridEditDif 作为一种创新的图像编辑方法，通过整合文本和示例条件，实现了对图像修复的更精确控制。该方法不仅提升了图像的一致性和美观性，还能够在复杂的场景中生成高质量的图像。通过定量和定性评估，我们验证了 HybridEditDif 在真实世界图像编辑任务中的优越性能。此外，该方法在实际应用中的表现表明，它能够满足用户对图像编辑的多样化需求，为未来的图像编辑技术提供了新的发展方向。

在 CRediT 作者贡献声明中，我们详细列出了每位作者在项目中的具体贡献。Qi Liu 负责方法设计、形式化分析和数据整理；Xuemei Fu 负责验证、方法设计、形式化分析、数据整理和概念设计；Huang Zhang 负责形式化分析和数据整理；Long Cheng 负责方法设计、形式化分析和数据整理；Jungong Han 负责可视化和验证；Catarina Moreira 负责论文的审阅和编辑、可视化和资源支持；Xin Ning 负责论文的初稿撰写、资金获取、形式化分析、数据整理和概念设计。每位作者的贡献都对项目的成功起到了关键作用。

在声明利益冲突部分，我们强调了研究的独立性和客观性。所有作者声明本研究在进行过程中没有受到任何商业或财务关系的影响，也没有潜在的利益冲突。这种透明度确保了研究结果的可信度和公正性。

最后，在致谢部分，我们对支持本研究的机构和基金表示感谢。本研究得到了国家科技重大专项（项目编号：2024YFE0210600）、国家自然科学基金（项目编号：62373343）以及北京市自然科学基金（项目编号：L233036）的支持。这些资金的资助为项目的顺利进行提供了重要保障，也体现了对图像编辑研究的重视。

HybridEditDif 的研究不仅在理论层面具有创新性，而且在实际应用中展现出强大的潜力。通过结合文本和示例条件，该方法能够有效解决传统图像编辑方法在语义一致性和视觉吸引力方面的不足。此外，该方法通过自监督训练和数据增强技术，提升了模型的泛化能力和鲁棒性，使得图像编辑更加高效和可控。未来，随着图像编辑技术的不断发展，HybridEditDif 有望在更多应用场景中得到推广和应用，为图像修复和生成提供更强大的支持。