HNR-ISC：用于图像集压缩的混合神经表示方法

《IEEE Transactions on Multimedia》：HNR-ISC: Hybrid Neural Representation for Image Set Compression

图像集压缩（ISC）通过消除图像内和跨图像冗余实现高效存储。传统方法在处理复杂几何形变时效果不佳，本文提出混合神经表示方法HNR-ISC，包含隐式神经表示SCC压缩语义共同内容，以及可逆模块SUC消除图像内冗余，实验验证其优于传统方法。

　　

摘要：

图像集压缩（ISC）指的是对语义上相似的图像集合进行压缩。传统的ISC方法通常旨在消除图像在信号域或频域中的冗余，但在处理不同图像之间的复杂几何变形时往往效果不佳。在这里，我们提出了一种新的混合神经表示方法（HNR-ISC），包括用于语义共同内容压缩（SCC）的隐式神经表示和用于语义独特内容压缩（SUC）的显式神经表示。具体来说，SCC能够将语义共同的内容转换为简洁的神经表示，并生成可以以比特流形式传输的嵌入向量；而SUC则由用于去除图像内部冗余的可逆模块组成。SCC和SUC在特征层面的结合自然形成了最终的图像集。实验结果表明，HNR-ISC在信号质量和感知质量方面具有很强的鲁棒性和泛化能力，适用于重建任务以及下游分析任务的准确性。

引言

近年来，数字图像的激增导致传输和存储空间的需求大幅增加，从而推动了对图像压缩方法需求的显著增长。这些方法通过消除图像内部的冗余来实现高效的图像表示[1]、[2]、[3]、[4]。基于语义相似性（通过自动化或手动过程构建的）图像集，有可能成为各种产品（如Google Photos和iCloud Photo Library）的基础组织框架。除了图像内部的冗余之外，图像集压缩（ISC）通常还利用不同图像之间的冗余[5]；这种冗余超出了常见的图像内部冗余范畴，因为集合中的不同图像在多个粒度层面上都表现出相似性。