下面内容来自智源研究院CVPR2021预讲华为诺亚专场
1、深度学习的图像去噪方法面临的挑战
当前方法主要包括三类：
- 基于监督学习的方法：使用 noisy-clean 图像对进行训练（DnCNN, FFDNet, CBDNet, SGNet）。这类方法的难点在于，在真实场景中，比较难以获取 noisy-clean 的图像对
- Noise2Noise（ICML18）： 使用 Noisy-noisy 图像对进行训练，每个场景都需要 multiple independent observations 。在应用上有局限性：室内静态场景、MRI重建等
- 基于自监督的方法： 1）单张图像自身信息挖掘，代表方法是Deep image prior, Self2self, NoiseAsClean；2）Blind-spot network: 需要修改网络结构，训练困难，性能有限（noise2void，DBSN）；3）噪声建模方法：预测噪声分布，在实际场景中难以应用（Laine19）
2、Noise2Noise回顾
Noise2Noise是一个不需要 clean 数据的图像修复方法：
- Train arbitrary denosing network without the need of clean images.
- Requires pairs of independent noisy images of the same scene.
训练目标：
-
Given two indpendent noisy observations (y), (z) of the same unobserved image (x)
-
minimizing (argmin mathbb{R}_{x,y,z}||f_ heta(y)-z ||^2_2) yields the same solution as fully-supervised (noisy-clean pair) training
访方法的局限性：需要采集同一场景噪声独立的多个图像，这个对于动态场景（户外，或者自拍）比较困难。
因此，本工作的 motivation 就来了，构建更通用的Noise2Noise，有两个假设：
- 假设一：Noise2Noise是对一个场景进行多个采样用于训练，能不能对相似的场景进行多个采样进行训练？这样就可以降低数据采集的难度（independent noisy observation of similar scenes）
- 假设二：能不能每个场景使用一个含噪图像就训练整个网络？（One noisy observation per scene）
3、Neighbor2Neighbor
对于假设一： Neighbor2Neighbor使用ground truth相似的图片进行训练（Noise2Noise使用同一张图片的多个噪声图进行训练）。论文中有一个推导，表明找到相似但不相同的含噪图像 (y) 和 (z) 时，可以训练降噪网络。
对于假设二： 从含噪图像 (y) 采样出来的多个图像，被称为neighbors。作者构建了一个带约束的优化问题，具体可以参考作者论文。
整体框架如下图所示。对于含噪图像，进行两个采样得到 (g_1(y)) 和 (g_2(y))。然后把用降噪网络处理后的图像 (f_ heta(g_1(y))) 与 (g_2(y)) 做一个 loss ，这部分就是 Pseudo Noise2Noise。同时，构建第二个 loss ，也就是正则项。
接下来还有一个问题，就是 (g_1) 和 (g_2) 要非常的相似，如何构造这个非常相似的采样呢 ？论文中有一个图示，把图像拆分为好多 (k imes k) 的 cell （下图中 (k=2)）。在每个 cell 中随机选两个像素，一个归(g_1)，另一个归 (g_2)，这样就可以构建两个采样的子图。
4、实验结果
第一个实验是在合成的 RGB 数据集（加高斯噪声）上进行测试，可以看到比 noisy-clean 和 noise2noise 大约低 0.3db。性能比其它自监督的方法性能要明显好，同时，和英伟达 Laine19这个方法相比，性能是差不多的。
第二个实验是真实专景RAW图像的降噪（SIDD数据集）。与N2C相比，PSNR值低 0.1db。但是性能比其它自监督的方法要好。同时，如果使用更好的网络（RRG），性能会得到明显提升。
接下来的实验是 Ablation study，首先分析了正则项(gamma) 的作用。当(gamma)值 增大时，越来越多的细节保留越多，随之噪声也增多。
