前言

服务于所谓的图像去条纹，真是心都操碎了，到处去查论文看文献，之前一直在图像去噪那里寻寻觅觅冷冷清清，现在总算是找到了方向。

所谓图像去雨，就是广泛意义上的图层分解中，将或者雨滴图层与背景图层**分解开的任务，是图像分解任务中的常见类型，广泛应用于自动驾驶领域的图像预处理。

根据综述文章[1]，根据去雨任务的输入模态，可将图像去雨分为两条路线，即基于视频的去雨方法（多针对动态情况下，这种方法在低速自动驾驶上尤为适用）和基于单幅图像的去雨方法（多针对静态或者高速运动下的自动驾驶任务）。本文将主要介绍基于单幅图像的去雨线方法，因为它是非常典型的图像分解任务。进一步，根据去雨任务的技术路线，又可以将去雨方法分为基于模型的去雨方法和基于数据驱动的去雨方法，在数据驱动领域，又可以进一步细分为基于监督训练的方法、基于自监督训练的方法和基于无监督迭代的方法。

本文认为，即使基于监督训练的方法能够在基准测试集上取得较好的结果，但是仍然不足以泛化至真实模型上，基于自监督学习的方法虽然当前泛化能力较差，甚至图像分解的描述提取能力也弱于监督学习，但是其在真实环境中的潜在自适应能力，是真正意义上技术发展的方向。

去雨模型假设

雨滴涉及到复杂的物理建模，经过一顿操作猛如虎，推导结果近似为：

x=y+r\mathbf{x=y+r}

三项分别表示：带雨线的图像（简称为输入图像或退化图像）、不带雨线的干净图像（简称为干净图像或者信号图像）和雨线图像。以上雨线污染模型又被称为加性复合模型Additive Composite Model，ACM。此外，另一种稍微复杂的的模型是暴雨模型Heavy Rain Model，HRM，其模型为：

x=α⊙(y+∑t=1srt)+(1−α)a\mathbf{x}=\alpha\odot\left(y+\sum_{t=1}^s\mathbf{r}_t\right)+(1-\alpha)\mathrm{a}

其中rt\mathbf{r}_t是沿不同方向的雨线图层，a\mathbf{a}是整个图像所处的暴雨环境烟幕。另外还有数种雨线模型，但是都不甚常用，此处略去。

去雨的任务即是从输入图像中尽可能多地分离出雨线图层，并恢复出干净图像。

常见范式

要是能够得到一对带雨-去雨的图像对，是不是就能够用这样的数据集完成训练并泛化至一切其他情况上，就像常规的CV任务分类、检测那样？答案是不能，因为压根就不可能找到大规模的这种图像对，正常环境中下雨和不下雨的亮度、对比度甚至色度都是不同的，不可能得到完全匹配的图像对。为了解决这一问题，学者们开始八仙过海各显神通。

基础的监督训练

没有数据集？创造数据集就行了！

基于监督训练的方法都需要获取一种名叫合成图像synthetic image的仿真带雨-去雨图像对，如下图所示：
合成的带雨-去雨图像对
这种合成的图像一眼就能看出和真实图像的差异在哪里，虽然就是这么离谱，用它们作训练集得到的结果也不致于差得不可忍受。有了仿真带雨-去雨的图像对(xi,yi)(\mathbf{x}_i,\mathbf{y}_i)，自然地可以得到一种去雨网络设计：

y^i=fθ(xi)\hat{\mathbf{y}}_i = f_{\bm{\theta}}(\mathbf{x}_i)

损失函数可以选为MSE等度量致性的误差或者LPIPS等感知度量的误差。经过监督训练，可以在训练集上取得良好的收敛效果，诸如文献[2]，[3]，[4]和[5]等都沿用了这个设计思想。这种方法能够在训练集上得到极好的去雨效果，远远超过其他一切方法，但是模型的描述能力只停留在训练集所能体现出来的样本中，当训练集的建模本身就与真实雨线有较大差异、训练集样本数量不够或者训练集的背景单一时，模型将失去其泛化能力。

带自监督的监督训练

针对仿真数据集质量糟糕但是数量大，真实数据集数量少但是质量高的特点，部分文献提出了“使用仿真数据集训练模型的描述提取能力，然后使用真实数据集增强模型的下游任务能力（即图像分解能力）”，这一思路与大模型等相似，不过采取的方式恰好相反。这里，描述提取能力使用的是监督训练，而自监督往往是用于能力增强。如文献[3]、[6]，其工作流设计如下图：
文献3工作流设计
其中文献[3]自监督加在尺度不变性的金字塔部分，即不同尺度的同一幅图像自相对比，增强了网络对于多尺度去雨的能力。
文献6工作流设计
而文献[6]的自监督环节则是监督训练的网络已经得到了初步去雨的图像IρI^\rho的情况下，使用该图像和带雨输入图像INLI^\mathrm{NL}完成自监督精炼，进一步增强网络的去雨能力。

这种工作流设计能够在一定程度上提高模型的泛化能力，但是仍然脱离不开合成数据集的问题，有一点像“星期一三五量子力学，星期二四六经典力学”的感觉。

彻底的自监督网络

这种工作流设计完全抛弃了合成数据集，直接在大样本量的真实带雨图像集上完成模型训练。最典型的方法是基于字典学习的图像分解算法，更进一步可以引入对比学习[7]，该文献使用的方法如下图所示：
文献7工作流设计
其中的损失函数设计是本文的核心内容，作者使用对比学习领域常用的噪声对比误差Noise Constrastive Error，NCE构思形成了三种对比损失，即干净图像和雨线图像的图层对比损失LLayerConL_\mathrm{LayerCon}和不对称损失LAsyConL_\mathrm{AsyCon}、以及干净图像和带雨图像的位置对比损失LLocConL_\mathrm{LocCon}，然后加入图像一致性损失和条纹的变分损失，外加GAN网络的判别损失和欺骗损失，共计六项组成了完全的损失函数以完成对模型的训练。

本文的方法在自监督领域是创举，为了将NLP领域常用的NCE损失引入至CV领域，文章特地加入了字典学习领域常用的非局部采样方式non-Local Sample以提高模型对雨线模式和图像背景模式的判别能力。这种方法有效提高了传统自监督模型在测试集上的劣质表现，在视觉上，本文得到的去雨网络模型能够与监督学习得到的网络结果相当（但是PSNR和SSIM仍然不及监督学习），泛化能力有目共睹。

结论

当前的自监督去雨线方法仍然任重道远，正如LeCun所言，自监督学习才是大模型、人工智能的发展方向，雨线图像与背景图像鲜明的差异性、雨线图像自身高度一致的相似性已经证明了去雨线任务完全可以使用自监督方法处理。但是仅仅依靠损失函数上的创新尚不足以与监督学习甚至基于模型的传统方法抗衡，如何科学有效地引入先验信息，使模型能够收敛至最优解，是自监督学习模型发展的必然方向。
先验与梯度的对于模型收敛性的关系
上图所示白色箭头为标量场任意点处的梯度，黄色五角星代表最优解，黄色闪电标记代表先验信息；蓝线是在不加入先验信息时模型的收敛位置，黄线则是在先验信息作用下模型收敛至理想最优解处的示意，可见先验信息的引入能够得到性能和效果都更加优良的模型（这一点在文生图模型上体现得很充分）。

参考文献


[1] Yang W. , Tan R. T. , Wang S. , et al.Single Image Deraining: From Model-Based to Data-Driven and Beyond[J/OL].IEEE Transactions on pattern analysis and machine intelligence,2020,43(11):4059–4077

[2] Ren D. , Zuo W. , Hu Q. , et al.Progressive Image Deraining Networks: A Better and Simpler Baseline[A].2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)[C/OL].Long Beach, CA, USA:IEEE,2019:3932-3941

[3] Yang W. , Wang S. , Xu D. , et al.Towards Scale-Free Rain Streak Removal via Self-Supervised Fractal Band Learning[J/OL].AAAI,2020,34(07):12629-12636

[4] Yang W. , Tan R. T. , Feng J. , et al.Joint Rain Detection and Removal from a Single Image with Contextualized Deep Networks[J/OL].IEEE Trans. Pattern Anal. Mach. Intell.,2020,42(6):1377-1393

[5] Zheng Y. , Yu X. , Liu M. , et al.Single-Image Deraining via Recurrent Residual Multiscale Networks[J/OL].IEEE Trans. Neural Netw. Learning Syst.,2022,33(3):1310-1323

[6] Rai S. N. , Saluja R. , Arora C. , et al.FLUID: Few-Shot Self-Supervised Image Deraining[A].2022 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)[C/OL].Waikoloa, HI, USA:IEEE,2022:418-427

[7] Chang Y. , Guo Y. , Ye Y. , et al.Unsupervised Deraining: Where Asymmetric Contrastive Learning Meets Self-Similarity[J/OL].IEEE Trans. Pattern Anal. Mach. Intell.,2024,46(5):2638-2657