基于自监督谱对齐的Koopman框架在多域时间序列建模与预测中的应用

本文提出UNICOM框架，首次实现无需位置掩码（mask）的端到端图像合成（image composition）任务统一。通过引入背景提示（background prompt）和空间映射模块，该扩散模型（diffusion model）能自适应调整前景姿态与背景语境，在分割数据集上自监督训练，显著提升合成图像的逼真度（realism）和一致性（faithfulness）。

　　

Highlight

本研究亮点在于突破传统图像合成（image composition）对掩码标注的依赖，通过UNICOM框架实现：

1）背景提示（background prompt）驱动的前景-背景自适应融合

2）基于分割数据的自监督三元组训练

3）空间映射模块（space mapping module）实现嵌入空间对齐

Related Work

综述了可控图像生成（controllable image generation）领域进展，指出现有方法仍受限于掩码标注的刚性约束。

Unified Image Composition

UNICOM框架核心创新：

• 背景提示编码场景上下文，指导生成过程

• 空间映射模块缩小参考图像与预训练扩散模型（如Stable Diffusion^v2.0）的嵌入差距

• 通过修复（inpainting）构建自监督训练三元组

Results and Discussion

实验采用Stable Diffusion^v2.0和OpenCLIP（ViT-H-14）图像编码器，定量显示UNICOM在：

1）前景姿态自然度提升37.6%

2）光影协调性指标（harmonization metric）优于基线21.4%

Conclusion

UNICOM首次实现：

• 多子任务（放置/协调/阴影）单流程整合

• 基于预训练扩散模型（pre-trained diffusion model）的零样本（zero-shot）适配能力

• 避免前景-背景对的精确匹配需求