跨尺度的图卷积超分网络IGNN-local方法在图片超分辨中存在的问题

2020年像素岛，南洋理工学院、商汤科技和哈尔滨师范大学的研究人员联合提出了一种跨尺度的图频域监督网络IGNN。

近年来，Non-local 方法借助同尺度自相似先验在图像去噪等图像恢复任务上取得了一些突破。然而，对于图像超判别任务，融合相同低比特率（LR）的相似图像块无法让网络直接感知高比特率（HR）的图像纹理。

针对上述问题，本文利用图像内部纹理跨尺度多次重复的特点，找到LR图像块对应的k个HR图像块，并动态建立LR-HR块的连接图。 IGNN基于连接图，在图像频域自适应融合k个HR图像块，使图像内部的高清纹理信息在超分中得到充分利用。 IGNN 的性能在所有五个公共数据集上都有显着提高。

论文名称：Cross-per-

论文链接：

代码链接：

图像超判别中的非局部方法问题

自然图像中的非局部自相似性是一种非常有效的先验信息，在图像复原问题中仍然受到广泛关注，例如Non-、BM3D等图像去噪技术。这种方法的基本思想是通过多个非局部图像块的信息融合来达到更好的恢复效果。

近年来，随着深度神经频域网络（CNN）在图像恢复领域的发展，各种变形的非局部模块被设计并嵌入到恢复网络框架中，如图右边的 Non-local 模块 (a) 和神经 KNN 模块 (b)。

在引入Non-local模块之前，由于前馈操作的局部性，CNN网络对图像的感知范围受限于其经验场的大小，难以感知非局部- 局部图像相似度。

另外，CNN网络往往通过大量的外部数据训练来获得图像恢复的能力，忽略了对当前图像内部纹理信息的挖掘和利用，因此纹理恢复在特定图像中的效果很穷。 Non-local模块的引入在一定程度上解决了以上两个问题。通过感知非局部图像的自相似性，对图像内部的相似纹理进行自加权（self-），从而进一步提高恢复网络的性能。

但是，目前的 Non-local 模块只探索相同规模的相似图像块。对于图像超判别的问题，它不能提供跨尺度的高清纹理信息，因此还需要进一步改进。图像超判别的目的是将低比特率（LR）图像映射到高帧率（HR）图像。网络很难通过相同尺度的相似块融合得到高清纹理信息，所以作者直观地想到了右图所示的解决方案，就是设计一个新的Non-local模块，使其可以跨尺度融合高清图像块。

这个方案有两个关键问题：

如何准确找到对应的 HD 块？如何合理融合这样的高清块？

本文的介绍部分将为您回答这两个问题。

方法介绍

针对以上两个问题，作者结合图频域提出了一种新颖的跨尺度Non-local聚合模块，如右图所示。这部分首先介绍了自然图像中“跨尺度patch”的本质像素岛，然后介绍了图像频域聚合模块如何找到并融合多个高清patch，最后介绍了跨尺度patch。频域监督网络的网络结构及实现细节。

1.图像块跨尺度复制

根据以上分析，跨尺度聚合模块设计成功的前提是自然图像中确实存在多个高清块。早在2011年，Irani等研究人员就已经发现了“图像块跨尺度递归”的特性，即在一张自然图像中，不同尺度的相似图像块会反复出现。

如右图（a）所示，不同尺度的窗口会同时出现在一张图像中，因此大尺度窗口可以帮助小尺度窗口进行过恢复。有人可能会问，这个案子是不是太特殊了？在实际捕获的图像中，通常没有那么多重复的图像块。

这里的例子只是为了让你更容易理解，真实算法考虑的图像块非常小，通常只有很小的重复纹理、边缘或角落，所以图像块跨尺度重复出现的性质非常重要的任何通常图片都是创建的，感兴趣的朋友可以查看这篇论文[,,CVPR'11]。

2.图形频域聚合

根据以上特点，作者提出了一个非局部图像频域聚合模块（建立一个LR-HR的连接图，使得k个HR的纹理信息可以聚合到LR，有助于图像恢复。上图（b）和（c）为模块示意图。

搜索k个高清块：与同尺度k近邻搜索不同，跨尺度近邻搜索不能直接对原图进行图像块匹配。为了找到K个HR块，作者首先将原图下采样了s次。对于原始图像中的每个LR查询块（红色），通过块匹配从下采样图像中搜索k个LR邻居块（蓝色）。 ）。然后，通过尺度映射将k个LR邻域映射到原始图像的尺度上，从而得到k个HR邻域。作者使用图（Graph）来建模LR和HR的跨尺度关联，将每个图像patch视为一个顶点，每条边代表LR和HR patch之间的直接相似度。这样就完善了一个LR-HR连接图。

高清块聚合：基于已建立的LR-HR连接图，作者提出了一种自适应高清块聚合方法，即根据LR和LR的相似度定义边缘的聚合残差人力资源块。其公式如下：

F_{L\s}^{q,ls}=\frac{1}{\(F_L)}\sum_{n_r\in\{S}_q}\text{exp}\left(\{F }_{\{\theta}}\left(\{D}^{n_r\toq}\right)\right)F_L^{n_r,ls},\;\;\q\\

其中 F_L^{n_r,ls} 表示第 r 个最近邻 HR 块，(\{F}_{\{\theta}}\left(\{D}^{n_r\toq}\right) 表示可能一种学习的自适应加权网络，可有效抑制低分辨率图像块的影响。

自适应图像块归一化（AdaPN）：作者观察到模块得到的相邻HR图像块与查询的LR图像块在特征低频信号（如颜色、亮度等）上会存在不一致。最后，除了上述的自适应加权，作者受到AdaIN的启发，提出了一种图像块的自适应归一化操作（AdaPN）来实现相邻HR块和查询LR块之间的低频信号对齐。 AdaPN 可以表示为：

\text{AdaPN}(F_L^{n_r,ls,c}|F_L^{q,l,c})=\sigma(F_L^{q,l,c})\left(\frac{F_L ^{n_r,ls,c}-\mu(F_L^{n_r,ls,c})}{\sigma(F_L^{n_r,ls,c})}\right)+\mu(F_L^{q, l,c})\\

通过AdaPN归一化可以使相邻HR图像块的低频信息迁移对齐，但可以保持相邻HR图像块的高频纹理信息不变。

3.跨尺度图频域超分数网络

基于上面提出的图频域聚合模块，作者提出了一个跨尺度的图频域超分割网络IGNN，如右图所示。

网络以EDSR为骨干网络，在EDSR中间插入模块进行跨尺度高清块聚合，聚合得到的高清特征F_{L\s}可以直接传输到在高尺度网络层旁边，网络可以直接感知隐藏在图像特征内部的高清纹理。