【《深度残差收缩网络概述》1600字】

深度残差收缩网络概述目录TOC\o"1-3"\h\u22404深度残差收缩网络概述 183251.1深度残差网络基础 1127271.2软阈值化及阈值的要求 2158541.3深度残差收缩网络的网络结构 31.1深度残差网络基础深度残差网络(DeepResidualNetwork,ResNet)是个十分热门的深度学习网络，自其诞生之日起，就被广泛的引用，它在各个学术平台上被引进了几万次。深度残差收缩网络就是以残差网络为基础进行修改得到的，后续文章会详细的介绍。普通化的深度恒等残差拓扑网络设计为其在基础上的恒等残差拓扑网络设计做出最大的重要贡献之一是那就是，给定在基础上的普通深度恒等残差拓扑网络可以提供恒等残差映射(identityshortcut)的思想。与普通卷积模型神经网络模型相比，普通卷积模型神经网络几乎没有任何可能跨越神经网络不同层次的恒等函数映射。如如下图2.6所示,(a)-(c)分别向我们详细展示了三种不同的类型残差处理模块(residualbuildingunit,RBU)，三个不同的类型残差处理模块之间最大的一个相同点之处就是它们都已经完全包含了恒等式的映射。不同点指的是在(a)的成果图中，图像中的特征导出输入和使用图像特征输出的文件尺寸和图片大小应该是相同的，而不是在(b)和(c)的成像图中，特征导出输入和使用图像特征输出的图片尺寸大小是不同的。而图2.7展示的是深度残差收缩网络的最主体结构部分，它同样是由一层层的残差块堆叠而成的。(b)(c)图2.6不同结构残差块图2.7深度残差网络主体部分1.2软阈值化及阈值的要求在医学图像领域，医学图像样本都是含有噪声的或是含有影像标签准确性的冗余信息，这些噪声和冗余信息的出现会影响模型的训练效果。所以在深度残差网络上引入了一个新的思路，就是在原有的网络上加上了软阈值化的概念，提供一种非线性变换的思路，如图2.8(a)所示。软阈值化的主要思想是，设定一个阈值，如果图像的某个特征的绝对值小于所设定的阈值，就直接将该特征赋值为0。对于图像上的其他特征，将其朝0的方向进行一定程度的“收缩”。由于软阈值化主要在深度残差网络上引入特征收缩的思想，因此也叫深度收缩残差网络。由于在训练模型的过程中会出现梯度消失和梯度爆炸的风险，所以在原有的软阈值化思想上进一步改进了梯度的特性。如图2.8(b)所示，将梯度设置成了两个值，分别为0和1。其思想和ReLU激活函数很类似。在软阈值化的过程中最主要的就是阈值的设定，由于每种样本的噪声背景不同，所以需要根据每种样本的噪声含量设置独有的阈值，另外阈值的设置应该在合理的范围之内并且要为正值，如果输入特征的取值范围在-1和1之间，但将阈值设置为10，输出就会全部为0。会使模型训练的结果出现严重偏差。图2.8软阈值化许多信号降噪都离不开软阈值化，它是最核心的一个步骤。软阈值化的思想可以如下公式所表示。 y=x−δ,x>δ0,−δ≤x≤δ软阈值化输出数据对输入数据进行求导的公式如下： y=1,x>δ0,−δ≤x≤δ1,x<−δ由如上导数公式可知，所求导的结果就在0和1之间选择，这也应证了软阈值化和ReLU激活函数性质相同的特点。1.3深度残差收缩网络的网络结构深度残差收缩网络中最主要的一个基本特点是"收缩"的性质其中软阈值化，软阈值化离不开阈值的设定，所以我们需要一个与squeeze-and-excitationnetworks[17]相同的结构来自动设定软阈值化函数所需要的阈值。如图2.9(a)所示的特征图就是共同使用了一个通道阈值，在图2.9(b)中每个图像的通道就会各自拥有独立的通道阈值。在2.9(a)这个子网络里,将每个图像的特征点或者图像输入到最左边的一个子网络里，求这些图像的绝对值，然后通过平均和全局的均值进行池化，从而得到一个图像的特征标记作p。在整个网络的最右边,输入的是被整个全局均值池化的网络特征结构示意图，通过这个以Sigmoid激活的函数表示为全连接整个网络的最后一层，将结果归一化之后,得到一个介于0到1之间的值这里记作,阈值就可以用P来表示。由此可见，阈值是一个特征图上的绝对值与一个0至1的数字相乘所形成的平均值。所以在此网络结构下既能够保证设定阈值为正数,又不会过于巨大。而且也可以使得每个图像特征都有各的阈值可以设定。图2.9残差收缩网络残差块下图分别展示了深度收缩残差网络的两种不同的结构，图2.10