什么是单幅图像超分辨率（SISR）

单幅图像超分辨率（SISR，Single Image Super-Resolution）‍是计算机视觉领域的一项基础且重要的技术任务。

核心定义

SISR的核心目标是：从一幅低分辨率（LR）的图像中重建出一幅清晰的高分辨率（HR）图像。与其相对的是多帧超分辨率（MSR），后者利用多张图像的互补信息来提升分辨率，而SISR只能依赖单张图像自身的信息。

为什么它很难？

SISR被视为一个病态的反问题。这意味着对于一幅给定的低分辨率图像，理论上可以对应无穷多幅不同的高分辨率图像。因为降采样过程会丢失大量的细节信息，导致我们很难确定哪个高分辨率图像是原始的“真实”图像。

发展历程与技术分类

SISR技术的发展主要经历了三个阶段：

1. 基于插值的方法：
   • 特点：直接利用数学方法（如最近邻、双线性、双三次插值）对图像进行放大。
   • 优点：计算速度快，成本低。
   • 缺点：重建效果一般，往往导致图像模糊、缺乏细节和真实感。
2. 基于模型的方法：
   • 特点：通过建立先验模型（如稀疏表示、非局部自相似性等）来约束重建过程。
   • 优点：重建效果好于单纯插值，能够保留一定的细节。
   • 缺点：计算复杂度高，速度较慢。
3. 基于深度学习的方法（目前主流）‍：
   • 特点：利用卷积神经网络（CNN）或Transformer等深度学习模型从大量数据中学习从低分辨率到高分辨率的映射关系。
   • 优点：重建效果显著优于传统方法，能够生成更清晰、更真实的细节。
   • 挑战：模型往往参数量大、计算量高，部署在移动设备上存在困难。

典型应用场景

由于硬件设备（如手机摄像头、老旧监控摄像头、卫星相机）往往难以直接获取高分辨率图像，SISR技术在以下领域有广泛应用：

• 移动终端：提升手机拍照的清晰度。
• 医疗成像：如显微镜图像、CT扫描图像的细节增强。
• 遥感与卫星成像：提升卫星拍摄地球表面的图像质量。
• 安防监控：提高监控录像中人物或车牌的辨识度。

最新趋势

当前的研究热点包括：

• 轻量化模型：如使用Adder网络、Transformer优化结构等，旨在降低模型计算量和内存占用，便于部署在手机等终端设备上。
• 跨尺度连续超分辨率：研究如何让模型能够适应不同的放大倍率（如1.5倍、2倍、3倍等）。
• 利用高频细节增强：通过学习图像的高频信息来恢复更真实的纹理。