【《经典卷积神经网络架构概述》2200字】

经典卷积神经网络架构概述1.1Xception系列受到Szegedy等人[27]提出的Inceptionv3网络模型启发，google团队在17年提出了Xception网络模型[28]，该网络模型在Inception模块的基础上引入深度可分离卷积思想和残差结构，通过将卷积的通道相关性和空间相关性完全拆分处理，获取多层次维度特征信息。其模块操作分为两步，首先使用1*1大小的卷积核处理输入特征图通道相关性，完成逐点卷积的映射处理，再用3*3卷积核完成深度卷积的映射处理，同时Xception模块将3*3卷积个数增加到与上层输出的通道数量一致，让其在每个通道上都做相应的卷积操作，最终将融合后得到的特征图输出。下图2-4为Xception基础模块。由于参数充分有效的使用，相较于Inceptionv3模型性能上具有明显的优势，同时网络在参数计算量上大幅减少，宽度增加，对图像特征的处理上更加简洁高效。图2-4Xception基本模块1.2Shufflenet系列在对模型的加速和压缩问题的思考下，XiangyuZhang等在2018年提出了Shufflenetv2网络[29]。作为Shufflenet网络[30]的优化版本，Shufflenetv2网络继承其轻量化的特点，由于使用逐点组卷积会带来很大的计算量，因此修改V1模型的多个逐点组卷积结构和元素级加操作，使得模型结构更加简洁。同时提出模型的评估上不仅仅是从浮点运算量（FloatingPointOperations，FLOPs）来衡量，还引入内存访问时间（MemoryAccessCost，MAC）和网络并行度两个标准。在Shufflenetv2网络结构沿用通道混洗操作，其主要作用是让不同通道间进行信息交换，融合不同通道的特征，通过对不同通道输入的信息流进行维度改变，转置后恢复原维度输出，能够大幅提高模型的表示能力和精度。通道混洗过程如图2-5所示，图中ABC代表不同分组的通道。针对分组后的特征信息丢失的问题，采用通道混洗操作后，不同通道间的特征信息经过重组，转置操作后进行铺平分组再输出，实现通道信息的交换，从而获取丰富的特征信息。图2-5通道混洗过程在此基础上，V2模型引入了通道分割（ChannelSplit）操作，设计更优的混洗模块和下采样模块，新的模块结构单元在速度、精度和计算量上有明显优势，进一步提升模型精度，大幅减少网络的复杂度。基本模块的堆叠组成一个高效的网络模型。其基本构造块如图2-6所示。图2-6Shufflenetv2的基本模块2019年MegviiResearch提出Shufflenertv2plus网络，对Shufflenetv2结构进一步优化，在基础框架上引入Xception模块和SE模块，替换第二层和第四层部分模块结构，合理降低网络的参数量。还对原基础模块中3*3大小的卷积核进行调整，交替使用3*3、5*5和7*7大小的卷积核，增大感受野，提高网络的非线性能力。同时模型的有效性还体现在足够的网络深度上，能够更好的提取到图像数据多层次的特征信息。1.3Mobilenet系列Mobilenet系列网络[31-33]的创新思想是使用深度可分离卷积替换原始普通卷积，将普通卷积过程拆分成深度卷积和点卷积两个阶段实现，用更少的参数和计算量达到与用标准卷积的原结构相近的准确率。假设输入图大小为M*H*W*C，有N个k*k大小的卷积核，padding设为1，步长为1，按普通卷积操作形式计算得输出图大小为M*H*W*k。深度可分离卷积从深度层面扩充原操作，深度卷积操作是将输入进行分组，分组数和通道数一致，每组进行k*k大小卷积核的卷积操作，目的是收集通道的空间特征。接着按照k*1*1大小卷积核的卷积操作，逐点收集特征，最终输出结果保证输入通道数和输出通道数目一致。为验证深度可分离卷积结构在计算参数量和运算成本上的有效性，在参数量上对两类卷积结构分别进行对比计算，其数学计算式如（2-11）-（2-13）所示。其中表示标准卷积的参数量，表示深度可分离卷积的参数量。（2-11）（2-12）（2-13）与之前的模型相比，Mobilenet在检测速度上也有一定提升，模块中的批归一化层使得梯度爆炸和弥散现象发生可能性降低，提高模型的稳定性能。论文中传统卷积模块和Mobilenet深度可分离模块模块图[33]如下2-7所示。（a）传统卷积模块（b）深度可分离卷积模块图2-7传统卷积和深度可分离卷积模块[33]19年Google提出Mobilenetv3网络[22]，结合深度可分离卷积，在原V2网络结构的基础上进行改进，部分块中加入SE结构，调整尾端网络结构，平均池化操作提前，再接1*1卷积扩张，最后经过1*1卷积后输出，降低模型的计算量，头部卷积核通道数量从32缩减到16维，精度保持不变。1.4Resnet系列在深层次网络难以训练和退化问题的背景下，KaimingHe等提出了基于深度残差结构的神经网络Resnet[34]模型，以top5错误率降至3.57%的惊艳表现下，获得15年ILSVRC比赛的冠军。当系统中较深层网络架构收敛时，单纯增加网络的层数，会出现准确率饱和后下降情况，即产生了退化现象。但是这种退化现象的出现并非由过拟合情况造成的，在对该问题的研究中发现以下模块结构设计思路：在浅层网络上加入的多层网络能够通过学习获取参数同时复制浅层网络对应层上的全部参数，并建立恒等映射的方式构建网络，其性能和上个网络性能相近，即当增加的层是恒等映射的情况下能很好地解决此类退化问题。基于上述分析建立一个输入输出的连接，假设x为初始层的输入数据，原始模块预期输出映射函数为，残差映射函数为，即让堆叠非线性层拟合残差映射的结果为，在学习过程中假定对的学习能力强于，优化原始映射，让网络更容易的学习有效参数。对于深层网络引入批标准化（BatchNormalization，BN），包含残差单元的多层网络的梯度信息在反向传播时易于传播，网络优化较容易，可在随机梯度下降（SGD）下可进行端到端的训练。残差网络包含两种结构模块，可分为基本残差模块和下采样残差模块。快捷连接操作需要考虑到输入输出的通道维度，其基本结构如图2-8所示。图2-8残差模块结构残差块的结构主要由两条路径构成，主要路径上输入向量经过线性运算式和非线性ReLU激活函数变换得到输出向量，计算涉及到权重系数和偏置数值，再按相同运算得到下一层。快捷路径使用跳跃连接，