CosAE：用于图像恢复的可学习傅里叶级数

Sifei Liu, Shalini De Mello, Jan Kautz

NVIDIA

论文 arXiv 视频 代码

摘要

本文介绍了一种新颖的通用自编码器——CosAE (Cosine Autoencoder)，它将经典的傅里叶级数与前馈神经网络无缝结合。CosAE 将输入图像表示为一系列 2D 余弦时序信号，每个信号由一组可学习的频率和傅里叶系数定义。这与传统的自编码器形成对比，后者通常会在其降低分辨率的瓶颈潜在空间中牺牲细节。然而，CosAE 在其瓶颈中编码频率系数，即幅度和相位。这种编码能够实现极端的空间压缩，例如瓶颈中 64 倍下采样的特征图，而不会在解码时丢失细节。

我们通过在灵活分辨率超分辨率和盲图像恢复这两个极具挑战性的任务上进行广泛实验，展示了 CosAE 的优势。这两个任务都要求恢复网络能够有效地泛化到复杂甚至未知的图像退化情况。我们的方法超越了最先进的方法，突显了其学习图像恢复通用表示的能力。

视频

网络架构

CosAE 在瓶颈中生成输入图像的极度压缩表示，同时仍然能够通过 HCM 进行扩展，并解码为高质量图像。HCM 是一组可学习的傅里叶基函数，用于将压缩表示扩展到原始图像空间。

灵活分辨率超分辨率

8 倍上采样图像。拖动以比较结果

8 倍上采样图像。拖动以比较结果

8 倍上采样图像。拖动以比较结果

8 倍上采样图像。拖动以比较结果

8 倍上采样图像。拖动以比较结果

ImageNet 4x 超分辨率

4 倍上采样的 ImageNet 结果。

盲图像恢复

未知退化的盲图像恢复。拖动以比较。

BibTeX

@article{liu2024cosae,
 author  = {Sifei Liu, Shalini De Mello, Jan Kautz},
 title   = {CosAE: Learnable Fourier Series for Image Restoration},
 journal  = {NeurIPS},
 year   = {2024},
}