基于潜在反演与文本优化的非刚性图像编辑方法研究

针对Stable Diffusion在非刚性图像编辑中难以平衡"图像身份"(image identity)保留与编辑灵活性的问题，研究人员提出融合文本优化(text optimization)、潜在反演(latent inversion)和时间步感知文本注入采样(timestep-aware text injection sampling)的三阶段方法TOLI。该方法在保持输入图像外观细节的同时，实现了对物体运动状态和构图的高质量编辑，为漫画创作等应用提供了无需模型微调的高效解决方案。

　　

在人工智能生成内容(AIGC)爆发式发展的当下，Stable Diffusion等扩散模型(diffusion model)已展现出强大的图像生成能力，但在执行非刚性图像编辑(non-rigid editing)——如改变动物姿态或物体构图时，往往面临"图像身份"(即物体外观和背景细节)严重丢失的困境。现有方法无论是依赖注意力机制(attention mechanism)强制融合图像结构，还是采用模型微调(fine-tuning)策略，都难以避免产生扭曲变形或颜色失真(color distortion)等问题。这种技术瓶颈严重制约了在漫画创作、影视特效等需要保持角色一致性的场景中的应用价值。

针对这一挑战，韩国科学技术院(KAIST)的研究团队Yunji Jung等人创新性地将文本嵌入优化(text embedding optimization)与潜在反演技术(latent inversion)相结合，提出名为TOLI的训练免费(training-free)编辑框架。该研究突破性地发现：通过时间步感知(timestep-aware)的文本提示切换策略——在采样初期使用源文本(source prompt)锁定图像结构，后期切换至目标文本(target prompt)实现编辑控制，可巧妙协调身份保持与编辑自由度之间的矛盾。相关成果发表于《Pattern Recognition Letters》，为扩散模型的可控编辑提供了新范式。

关键技术方法包括：基于Imagic的文本优化框架实现平滑编辑过渡；采用DDIM反演(DDIM inversion)技术替代模型微调，避免过拟合(overfitting)；设计分阶段文本注入策略，前50步使用源文本重建图像结构，后20步切换至目标文本完成编辑。实验使用Stable Diffusion-v1.4和Anything-v4模型，在包括动物姿态变换、物体增减等复杂编辑任务上验证效果。

研究结果部分显示：
文本优化与潜在反演部分证实，直接应用Imagic会导致颜色失真，而引入潜在反演可使PSNR指标提升3.2dB；
时间步感知文本注入采样通过消融实验证明，50/20步的划分策略在CLIP分数上比固定混合权重方法提高15%；
与基线方法对比中，TOLI在用户研究中获得78%的偏好率，显著优于Imagic(43%)和Masactrl(35%)；
跨域测试表明该方法在Anything-v4模型上仍保持稳定性，但对多物体交互场景(如"鹦鹉对视")的编辑成功率较低。

结论与讨论指出，该方法首次实现无需微调的非刚性编辑，其核心创新在于：通过潜在反演保持原始数据分布特性，利用扩散模型早期时间步决定图像结构的特点设计自适应提示策略。这不仅解决了注意力机制导致的生硬融合问题，还规避了微调引发的领域偏移(domain shift)。局限在于对复杂空间关系的编辑能力不足，未来可通过引入布局引导(layout guidance)进一步扩展应用边界。该技术为影视、游戏等创意产业提供了高效可控的内容生产工具，其"分阶段控制"思想对视频编辑等时序任务也具有启发意义。