【《基于机器学习的图像去噪算法探究》开题报告7800字】

开题报告题目基于机器学习的图像去噪算法研究学生姓名学号指导教师学院专业职称选题的意义及研究状况：在如今的这个信息时代，图像传输的作用越来越明显。相比于文字载体而言，图像更为直接、明了，且所赋予的内容也更加丰富。可见图像在人类传递信息的整个过程中也发挥了重要的作用。然而在图像的获取和传输过程中，很容易出现图像噪声的情况，图像噪声的存在对人们的视觉感官有着很大的影响，甚至会影响到对图像的获得和理解。因此，对图像进行去噪处理使图像在传输过程中非常重要的一个步骤，图像只有清晰，人眼和计算机才能够采取到其所包含的重要信息。对图像进行去噪可以分为两类：空间去噪和变换去噪。就如大家所知道的，在信息传输中，图像载体比较受到欢迎。而图像由各种像素组成，在进行去噪的时候，采用空间去噪法，可以直接处理图像像素。除了这些之外，常用的方法还包括中值滤波、均值滤波等。变换域去噪法不是直接在图像本身进行去噪，而是图像被变换，然后处理系数以进行处理。在处理然后对由表格处理的图像进行逆变换之后，公共域变换域去噪基于基于小波变换的傅里叶变换。图像去噪和图像去噪是两个主要类别。在科研、军事技术、工农业生产、医疗、气象条件这几种领域里都广泛运用到图像处理技术。然而，在很多情况下，图像噪声会影响图像的传输，图像的有效信息也得不到良好的体现。因此，对图像去噪算法进行深入研究，有重要的现实意义。（一）传统去噪算法现状图像是人类文明社会发展的重要承载体，包含了很多人类智慧的结晶，自从数字图像发明以来，通过图像来传播信息的应用也越来越广泛。因此，如何去除图片中的噪声也是一个由来已久的课题，深度神经网络出现之前，研究者主要通过传统方法去噪，也取得了不错的效果。传统方法去噪中，一般分为三大类，分别是空域去噪、频域去噪、空域和频域结合，下面分别阐述三类算法。1空域去噪空间域去噪，顾名思义，就是在图像的二维空间内对像素值进行运算操作去噪，常见的有均值滤波去噪、中值滤波去噪、双边滤波去噪以及非局部均值降噪算法等。（1）均值滤波去噪均值滤波的意思是，对图片中的像素值取平均值，然后用平均值代替原始像素位置中的值，模型见式1-8。其中，表示原始图像在坐标处的像素值大小，表示运算后图像在的值大小。实际操作时，某一点滤波后的像素值大小是一个固定大小模板内取平均值得到的，即模板。例如，一个大小为3*3的模板见图1所示，其中，图1a)中框内的值为像素值大小，取平均值可得中间位置滤波后的值大小为X，图1b）表示实际运算时的权重矩阵。为了观察均值滤波去噪效果，现针对图1a）和图1a）所示的含有高斯噪声的图片进行去噪，观察去噪效果如图所示。实验采用的模板大小为7*7，可以发现，均值滤波的计算量小且简单，运算速度快，能有效的去除部分噪声，但也容易造成图像的细节与边缘部分模糊。a).均值滤波示例b).均值滤波权重矩阵图1均值滤波a).彩色图片去噪效果b).灰色图片去噪效果图2均值滤波去噪效果（2）中值滤波去噪不同于均值滤波取模板内平均值的做法，中值滤波则是取模板内像素值的中值，示例和均值权重矩阵见图3，是非线性滤波。a).中值滤波示例b).中值滤波权重矩阵图3中值滤波同样，针对图3a）和图4a）进行中值滤波，效果如图4所示，可以发现，相对于均值滤波，中值滤波的清晰度保持的比较好。a).彩色图片去噪效果b).灰色图片去噪效果图4中值滤波去噪效果(3)双边滤波和中值滤波类似，双边滤波同样为一种非线性滤波。但是其由两个高斯函数组成，一个是与空间距离相关，另一个是与灰度距离相关。另距离模板产生的权重系数为dis，灰度距离模板产生的权重系数为gra，则两者的计算公式见下式其中，表示当前点的位置，表示中心点的位置，表示空间域的标准差。表示当前点的灰度值大小，表示中心点的灰度值大小，表示灰度值的标准差。将下式相乘，即可得到双边滤波的模板，见。利用双边滤波对彩色噪声图像和灰度噪声图像去噪，可得实验结果，如图5所示，可以发现，双边滤波与高斯滤波相比，不仅能够对图像进行平滑去噪，还能很好的保留原图像的细节和边缘。这是因为高斯滤波只考虑了空间距离因素，双边滤波则加入了灰度值相关的权重系数，某一像素点与灰度中间值相差越大，则权重越小，反之，与灰度中间值大小相近的话，则对应的权重相对增大，这样很好的保留了原图像的信息。两个权重系数相乘，即可得到最后的双边滤波卷积模板，其中两个参数和的值也比较重要，选取的值越大，滤波后的图像越模糊，接近于高斯滤波，反之，当两个参数的值比较小时，则最后得到的图像边缘就比较清晰，因此，合适的选取参数对于滤波效果也至关重要。a).彩色图片去噪效果b).灰色图片去噪效果图5双边滤波去噪效果（4）非局部均值降噪非局部均值降噪（Non-LocalMeansDenoising,NLM）是AntoniBuades等人最早于2005年提出的非线性去噪算法，利用整幅图像的信息去噪。该算法主要用于单帧图片去噪，该算法的远离比较简单，主要思想是通过找某一点像素值相似的像素点，然后取这些像素值的平均值来取代原来的像素点的值。该算法在众多传统去噪算法中表现良好，算法关键是计算图片中其它像素点与当前像素点的相似性，计算时，算法定义两个大小不同的窗口，大窗口为搜索窗口，小窗口为邻域窗口，然后邻域窗口在搜索窗口内滑动，计算相似性。如图6所示，肉眼即可观察到邻域和相比于，和当前位置更相似。图6NLM示意图模型见式：其中，表示权重归一化参数，公式为：在以上两式中，表示目标像素的位置，表示中心位置为，搜索窗口大小为的搜索窗口，则是搜索窗口内的像素，表示权重归一化参数，计算方法在式1-14中给出。其中，表示两个像素点之间的欧氏距离，表示噪声标准差，是与相关的参数，其控制去噪结果的平滑程度。利用NLM算法对图像去噪，结果如图7所示。观察发现，NLM算法尽管由于算法复杂，计算量大导致计算时间增多，但效果相比以上阐述的算法更好一些，在去除图像大部分噪声的同时，还保留了原始图像的细节和边缘。a).彩色图片去噪效果b).灰色图片去噪效果图7NLM滤波去噪效果2频域去噪空域去噪相关算法是在含有噪声的二维图像内进行分析，如1.2.1节所述，已经有很多算法被研制进行出来去噪，发展时间长，但是，发展空间和发展潜力也变的相对狭窄。因此，近年来，许多学者和研究机构致力于对噪声图片在其他空间坐标去噪，比如频域空间。频域去噪，就是对含有噪声的图像信号进行傅里叶变换等，然后在频域空间内将噪声去除，留下原始的图像噪声信号，模型如式所示，去除图像中的噪声，即可得到原始图像。图像属于二维的离散数据，对于一个尺寸为M*N大小的二维图像，其傅里叶变换为：其中，表示像素空间坐标，，。同理可得二维离散数据的傅里叶反变换：频率域滤波可简单分为低通滤波器和高通滤波器两种。低通滤波器保留图像信号中的低频信号，抑制高频信号。因此，和滤波前相比，滤波后的图像低频信号占比大，图像也就比较平滑，缺少明显的边缘细节，原理上均值滤波，中值滤波等都属于低通滤波器。相反，高通滤波器则是使高频信号通过，去除低频信号，这样就使图像变得更加锐化。频率域滤波算法还有带阻滤波器、带通滤波器、陷波滤波器等，这些滤波器常用于去除图片中的周期噪声，尤其是带阻滤波器。常见的带阻滤波器为高斯带阻滤波器，其模型为式：其中，是阻塞频带中心频率到频率原点的距离，是当前点到频率原点的距离，是阻塞频带宽度。同样选取Set5数据集中的一张图片，对其添加周期噪声，原图和添加噪声后的图见图8所示，同时也可得到两张图片的频谱图，见图9所示。a).原图b).含有周期噪声的图片图8周期噪声a).原图幅度谱b).原图相位谱a).噪声图像幅度谱b).噪声图像相位谱图9图片频谱分析然后分别利用高斯带阻滤波器和普通的均值滤波器针对图转化为灰度图后进行滤波，滤波后的效果如图10所示。均值滤波后仍存在明显的周期噪声，无法很好的去除，而高斯带阻滤波器则很好的去除了周期噪声，实验时，低通频率选取的为50HZ。a).高斯带阻滤波器b).均值滤波器图10周期噪声去噪以上针对传统的空间域去噪和频率域去噪阐述分析了原理，并采用Set5数据集中的图片，在MATLAB和PYCHARM中进行了实验对比分析。除了这些常见的传统去噪算法外，还有最大/最小值滤波、直方图均衡化等还原图片的算法。其中业界公认比较好的去噪算法为BM3D算法，是空域去噪和变换域去噪结合的算法，将在第二章进行详尽展开分析。（二）基于神经网络的图像去噪现状近年来，随着计算机计算能力的提升、GPU的迭代以及海量数据的增长，深度学习发展的速度越来越快，应用领域也越来越广泛。深度学习算法主要由神经网络组成，整体思路是利用神经网络拟合一个“函数”，给定输入，然后算法经过计算给出一个期望的输出。很多专家学者也致力于研究利用深度学习进行图片还原去噪，本节首先针对深度学习以及神经网络进行了阐述分析，然后对利用神经网络进行去噪的算法进行现状分析。神经网络在图片中的应用除了识别、定位外，还可用于图像修复。近年来，越来越多的机构在图片超分辨率、图片解码、图片去噪以及图片去雾等方面做了大量的研究，修复效果也在逐年提升。YingTai等人于2017年结合人类思考的特点，提出了一个具有持续性和内存特点的深度神经网络结构MemNetREF_Ref50389777\r\h，用于解决当网络结构深度过深时，上层网络机构对下层网络机构影响削弱的问题。该网络机构主要应用在图像去噪、超分辨率以及JPEG解码等图像恢复任务。算法的基础网络结构如图11所示，主要包括用于提取图片特征的FENet，多级内存存储模块（Memoryblock）以及最后的重建网络ReconNet。该算法的主要贡献在于提出了存储和门控机制解决深度神经网络的长期依赖型问题，算法包括长期记忆和短期记忆两种模式，利用网络结构中的存储块来存储长期记忆，利用递归单元来学习短期记忆，然后将长期记忆和短期记忆发送到门单元（GateUnit），门单元最后通过自适应学习算法来更新两种记忆的不同权重。该网络结构在图像去噪领域表现优秀，在BSD数据集上测试的信噪比在同类算法中表现优秀。图11MemNet来自哈尔滨工业大学的KaiZhang等人于2018年提出了一种基于CNN的快速灵活图片去噪算法（FFDNet）。不同于只能去除特定噪声的判别式学习算法，该算法能够能够去除含有不同噪声水平的图片，同时也能够消除空间变异噪声。而且，该算法在不降低去噪效果的情况下，运行速度比BM3D算法快，鲁棒性能好。算法的网络结构如图12所示，输入的图片被重整为4个子图片，然后加上一张噪声图，经过CNN网络计算后，输出4张去噪后的子图片，然后重建为整张图片。FFDNet不仅能够很好的去除噪声，而且还能保留图像细节，在去噪和保持图片原始性之间做了很好的平衡。图12FFDNet为了解决KNN算法优化时在选择规则的不可微分的问题，Tobias等人于2018年提出了一个可用于神经网络结构中的N3模块，该模块基于连续确定松弛的KNN，并在此基础上提出了N3Net，模块模型和网络结构如图13所示，模块中嵌入了Embeddingnetwork，多个N3模块相连组成了N3Net。该网络结构可用于图片去噪，通过实验证明了去噪效果良好。图13N3Net图14FOCNetXixiJia等人于2019年受到分数阶微分方程具有长期记忆的启发，提出了一个分数最优控制网络FOCNet，网络结构基于分数阶微分方程的离散化进行设计，同时添加了多尺度特征交互，加强了对动态系统的控制。网络结构的具体实现如图20所示。基于离散化的FOC方程，该网络结构在前向传播和反向传播中都具备了长期记忆功能，通过大量的实验证明，在不同噪声水平的图片中，FOCNet处理后的图片的信噪比领先于其他同类去噪算法水平。此外，还有很多基于神经网络去除噪声的算法，比如DnCnn、RED、N3Net等，该类算法在某些方面都已经优于传统的去噪算法。本文基于DnCNN算法进行图片去噪，详见第三章。（三）神经网络轻量化现状神经网络的深度越深，对问题的拟合能力就越强，但是过深的神经网络不仅可能带来过拟合问题，而且会使网络的运算量增加。很多终端设备比如手机、平板电脑等由于产品尺寸限制，无法安装大型的处理器，计算能力低，而消费者在终端设备上处理照片的需求很高，因此针对神经网络去噪，在算法计算量和去噪效果之间寻找平衡至关重要。本节主要针对如何对神经网络算法降低计算量进行现状分析。1.降低运算量的卷积操作当标准卷积的计算输入特征图通道为1层，输出的通道也为一层，为了通用的表示一次卷积的计算量，假设输入的特征图的尺寸为H*W*C，H和W分别表示特征图的高和宽，C表示通道数，卷积核的尺寸为K*K*C，个数为M，则一次标准卷积运算的计算量为：HWCK2M。为了探究更多计算量小的卷积操作，下面分别阐述分析GroupedConvolution、DepthwiseConvolution以及Pointwise。（1）GroupedConvolutionGroupedConvolution又称分组卷积，对输入的特征图在通道空间进行平均分组。假设分为G组，则每组特征图的输入尺寸为：H*W*(C/G)，卷积核的尺寸为K*K*(C/G)，个数为M/G，则每组卷积的计算量为：H*W*(C/G)*K2(M/G)，简化为HWCK2M/G2，一共有G组，所以一次分组卷积的计算量为HWCK2M/G，是标准卷积的1/G，分组越多，计算量减少的也越快。分组卷积的示意图如图15所示，实例中分了两组。分组卷积除了能够减少参数量，还起到了正则化的作用，在组数设置的合理的情况下，还能进一步减少参数量，起到全局加权池化的作用。图15分组卷积（2）DepthwiseConvolutionDepthwiseConvolution可看作是GroupedConvolution的一种特殊形式，即分的组数等于输入特征图的通道数C，即G=C，则一次DepthwiseConvolution的计算量是HWK2M，是标准卷积计算量的1/C。原理可用图16表示，相当于每个通道只被一个卷积核进行卷积。图16DepthwiseConvolution（3）PointwiseConvolutionPointwiseConvolution卷积与标准卷积类似，但是卷积核的大小为1*1，假设个数仍为M个，则一次PointwiseConvolution的计算量为HWCM，是一次标准卷积计算量的1/K2。1*1的卷积核提取的图像信息比较少，除了减少参数量，还可根据卷积核个数用于改变输入特征图的通道数量。2.轻量化神经网络1）SqueezeNetForrestN.Iandola等人于2016年提出了一个轻量化的容易在移动设备上部署的神经网络结构SqueezeNetREF_Ref50389876\r\h[14]，该网络结构通过在imageNet上测试，达到了和AlexNet相似的准确率，但是模型大小和计算量大幅降低。参数数量是AlexNet的1/50，模型大小仅为0.5MB，是AlexNet模型大小的1/510。神经网络结构如图23所示，作者为了减少网络结构中的参数量，主要用到了以下几点策略：首先用1*1的卷积核代替原来3*3的卷积核，根据PointwiseConvolution可知，参数量可减少至原操作的1/3。其次，减少3*3的卷积核的数量。最后是在网络后期阶段进行下采样，比如maxpool。以上三种方法同时使用，最终极大的减少了算法的参数量。图17SqueezeNet2）MobileNet来自于美国谷歌公司的学者AndrewG.Howard等人在2017年提出了应用于手机视觉的轻量化神经网络MobileNets。文章中网络轻量化主要是通过深度可分离卷积（depthwiseseparableconvolution）来实现的，不同于传统的卷积操作，深度可分离卷积的主要思路是将原始M个K*K*C大小的卷积核拆开。首先设置C个K*K*1大小的卷积核，对输入的特征图进行卷积，然后设置M个1*1的卷积核继续进行卷积，连续两次卷积后的特征图尺寸与标准卷积后的特征图尺寸相同，参数量变为原来的（1/M+1/（H*W）），改变前后的卷积核对比如图24所示。图18卷积核对比3）ShuffleNet2017年，来自中国Face++公司的XiangyuZhang等人研究出了一款用于手机移动设备上的轻量级网络ShuffleNet。该算法的结构单元如图19所示，主要运用了逐点群卷积（pointwisegroupconvolution）和通道清洗（channelshuffle）。在逐点群卷积卷积即把GroupedConvolution和PointwiseConvolution结合起来，首先对输入特征图的通道进行分组，然后使用1*1的卷积核进行卷积，最后再把每组连接到一起。分组卷积会导致组与组之间的信息交换受阻，因此，文章通过通道清洗将每一组卷积后的特征图打乱，交换信息，有利于加快学习。图19ShuffleNet单元以上就是近年来的轻量化网络，观察可以发现，网络结构的轻量化都是在围绕GroupedConvolution、DepthwiseConvolution以及Pointwise等展开研究，验证了此类算法对减少深度学习系统参数的正确性。主要内容、研究方法和思路、总体安排和进度（包括阶段性工作内容及完成日期）：主要内容：本文主要研究针对图像的去噪算法，首先概括阐述了目前的噪声模型以及分类，并详细分析了传统去噪算法和基于神经网络的去噪算法的现状，并针对传统方法去噪进行了实验验证。然后详细阐述了基于空间域和变换域结合的传统方法去噪，详细分析了去噪领域中图片质量评价方法和BM3D算法，并针对BM3D算法中的参数调节进行了详尽的实验分析。本文还分析了DNCNN算法的网络架构，并针对里面的残差学习和批量归一化进行了详尽的阐述，最后通过人工添加高斯白噪声进行试验，验证了算法的可行性。研究方法和思路：本文首先阐述了传统去噪算法原理，并针对常见的均值滤波等进行了实验分析，观察了不同去噪算法的结果。然后特别针对BM3D算法进行了详尽的阐述，并对不同的参数进行了对比去噪实验，探究出了一个合适的参数组合。本文然后以神经网络算法作为引入，主要阐述了DNCNN算法的网络结构，DNCNN算法利用残差学习，输入一张带有噪声的图片，输出只含有噪声的二维图片ResidualImage。该网络利用残差学习和批量归一化的结合将图片去噪效果提到了一个新的高度，本文还针对DNCNN算法进行了轻量化分析，通过减小网络深度、设置分组卷积等方式减轻原网络结构的参数量。最后，本文借鉴前人网络设计经验，提出了一种新颖的基于模型的CNN去噪器，该算法结合了两个不同的网络以增强图像去噪性能。算法内部使用膨胀卷积来提高去噪性能，并使模型更易于训练。实验结果表明，本文设计的算法与其他最新的图像去噪方法相比具有很强的竞争力。总体安排和进度：1选题2022年12月15日-2023年1月10日2撰写论文开题报告并提交2023年1月11日-2023年1月25日3准备资料、撰写修改并提交论文初稿2023年1月26日-2023年2月20日4准备资料、撰写修改并提交论文二稿2023年2月21日-2023年3月20日5论文定稿、打印装订并提交论文终稿2023年3月20日-2023年4月21日6论文答辩2023年4月22日-2023年5月10日阮秋琦.数字图像处理[M].第3版.北京:电子工业出版社，2011:50.常慧宾,张婕.基于变分正则化的混合泊松-高斯噪声图像去噪方法综述[J/OL].天津师范大学学报(自然科学版):2020：1-10.王连利.图像加性噪声类型识别与参数估计的方法研究[D].昆明理工大学,2018.王晨,贾晓芬.集成SVM的图像椒盐噪声去除方法[J].青岛科技大学学报(自然科学版),2020,41(03):92-103.杨蕾,高歌,赵建军,等.COX-2在胃癌组织中的表达及与Hp感染的关系探讨[J].癌变·畸变·突变.2003,15(7):147-149.杨成佳.图像去噪及其效果评估若干问题研究[D].吉林大学,2016.BuadesA,CollB,MorelJM.Non-localmeansdenoising[J].ImageProcessingOnLine,2011,1:208-212.熊慧,戚海龙,刘近贞.基于频域约束子空间法的经颅磁刺激信号去噪[J].中国生物医学工程学报,2019,38(06):764-768.DabovK,FoiA,KatkovnikV,etal.Imagedenoisingbysparse3-Dtransform-domaincollaborativefiltering[J].IEEETransactionsonimageprocessing,2007,16(8):2080-2095.TaiY,YangJ,LiuX,etal.Memnet:Apersistentmemorynetworkforimagerestoration[C]//ProceedingsoftheIEEEinternationalconferenceoncomputervision.2017:4539-4547.张案瑜.基于改进BM3D的图像去噪算法研究[D].西安电子科技大学,2019.冷凯群.基于非局部均值的图像去噪算法研究[D].北京工业大学,2019.任超,李现广,邓开元,潘亚龙,朱子林,张志刚,施显健.结合BM3D和多级非线性加权平均中值滤波的遥感影像混合噪声去噪方法[J].测绘通报,202