Python计算机视觉编程与应用 课件 第8章 卷积神经网络基础

卷积神经网络基础让机器更好的理解和服务人类人获得的输入是什么？图像信息序列信息任务：理解图像内容方法：卷积神经网络任务：理解语音/文字/视频方法：循环神经网络一个例子计算机视觉输入图像输入图像大小为32x32，输入数据量为32x32x3=3072隐层神经元个数为100，第一层权值数量为3072x100=307200/aics一个例子实际场景中，往往需要更大的输入图像以及更深的网络结构。输入图像大小为1024x1024，第一层隐层神经元个数为1000第一层权重数量级为10^9，过多的参数会导致过拟合卷积神经网络可以有效减少权重数量输入图像/aics全连接前馈神经网络权重矩阵的参数非常多局部不变性特征自然图像中的物体都具有局部不变性特征，比如尺度缩放、平移、旋转等操作不影响其语义信息。而全连接前馈网络很难提取这些局部不变特征。卷积神经网络（CNN）全连接卷积局部连接权重共享所有神经元之间的连接都使用不同权重。输出层神经元共用同一组权重，进一步减少权重数量。权重数量/aicsCNN组成VGG16卷积层（conv）池化层（max

pool）全连接层（FC）Softmax/aics卷积层卷积层如何检测特征检测复杂边缘将权重作为参数，在训练中学习。8w0w1w2w3w4w5w6w7w8filter/kernel卷积神经网络的两个重要特征：局部连接、权重共享

可有效减少权重参数，避免过拟合，为增加卷积层数提供可能。/aics卷积神经网络卷积神经网络生物学上局部感受野（ReceptiveField）卷积神经网络有两个结构上的特性：局部连接权重共享卷积神经网络卷积神经网络数据表示：矩阵，张量（Tensor）卷积层卷积卷积经常用在信号处理中，用于计算信号的延迟累积。假设一个信号发生器每个时刻t产生一个信号xt，其信息的衰减率为wk，即在k−1个时间步长后，信息为原来的wk倍假设w1=1,w2=1/2,w3=1/4时刻t收到的信号yt为当前时刻产生的信息和以前时刻延迟信息的叠加滤波器（filter）或卷积核（convolutionkernel）卷积卷积经常用在信号处理中，用于计算信号的延迟累积。给定一个收入信号序列x和滤波器w卷积的输出为：Filter:[-1,0,1]卷积扩展引入滤波器的滑动步长s和零填充p等宽卷积窄卷积两维卷积在图像处理中，图像是以二维矩阵的形式输入到神经网络中，因此我们需要二维卷积。卷积层数学：卷积运算神经网络：实际为计算矩阵内积(相关系数)；

(“*”表示卷积)231523745231396042064712410806702163*1014-3230-1=321014-3230-1卷积层231523745231396042064712410806702163*1014-3230-1=32401014-3230-1231523745231396042064712410806702163*1014-3230-1=324037751014-3230-1卷积层离散卷积的边缘效应卷积层离散卷积的边缘效应Zero-Padding，edge-padding，reflect-padding二维卷积步长1，零填充0步长2，零填充0步长1，零填充1步长2，零填充1卷积神经网络用卷积层代替全连接层卷积作为特征提取器特征映射（FeatureMap）：图像经过卷积后得到的特征。卷积核看成一个特征提取器卷积层卷积层如何检测特征10-110-110-1101010000101010000101010000101010000101010000101010000030300030300030300030300*=11010-10-1-110101010100101010100010101000010100

0001000000

0000000

1030301030301030

30100301000*=检测垂直边缘检测对角线边缘卷积层基本操作单元：卷积层卷积层基本操作单元：卷积层卷积层多输入特征图单输出特征图卷积运算*inputfilter=output6x6x33x3x34x4卷积层*=6x6x33x3x34x40000110020000020120000220121-1-1-1-10-1111-1-1-10-1-101-111-11-11-11C=0C=1C=2*=2-2-1+2+0-2+0+2+(-1)+0+0+2=2卷积层卷积层基本操作单元：卷积层卷积层基本操作单元：卷积层size=3c_in=3c_out=2stride=1padding=0卷积层的映射关系步长2

filter个数33*3填充卷积层典型的卷积层为3维结构总结：卷积层参数35*inputfilter1=output

filter2output+bias

filter：可训练bias：可训练，使分类器偏离激活函数原点，更灵活；activation总结：卷积层参数36激活层激活层基本操作单元：激活层ReLU激活层基本操作单元：激活层激活层基本操作单元：激活层池化层池化层基本操作单元：池化Pooling/降采样层池化层基本操作单元：池化Pooling/降采样层池化层池化Pooling/降采样层池化层基本操作单元：池化Pooling/降采样层正则化批归一化BatchNormalization数据扩增/增强/增广DataAugmentation减少过拟合的最简单方法是增加训练样本。图像增强方法旋转（rotaing）、翻转（flipping）、放缩（scaling）及平移（shfiting）等。Dropout微调Fine-tunningCNN结构卷积网络结构卷积网络是由卷积层、汇聚层、全连接层交叉堆叠而成。趋向于小卷积、大深度趋向于全卷积典型结构一个卷积块为连续M个卷积层和b个汇聚层（M通常设置为2∼5，b为0或1）。一个卷积网络中可以堆叠N个连续的卷积块，然后在接着K个全连接层（N的取值区间比较大，比如1∼100或者更大；K一般为0∼2）。卷积网络结构深度特征学习L=||y-f(x)||1L=1,ify≠f(x)L=CE(y,f(x))交叉熵深度学习深度特征学习表示学习CNN以图像的原始像素作为输入，基于输出层定义的损失函数使用反向传播算法端到端(End-to-end)学习，从而自动学习得到图像底层到高层的层次化语义表达表示学习浅层学习局部特征，深层学习整体特征57神经网络可视化：conv6conv9Springenberg,J.T.;Dosovitskiy,A.;Brox,T.&Riedmiller,M.Strivingforsimplicity:theallconvolutinalnetICML,2015,1-12卷积神经网络结构58为何选择“深”而非“广”的网络结构即使只有一层隐层，只要有足够的神经元，神经网络理论上可以拟合任意连续函数。为什么还要使用深层网络结构？深度网络可从局部到整体“理解图像”学习复杂特征时（例如人脸识别），浅层的卷积层感受野小，学习到局部特征，深层的卷积层感受野大，学习到整体特征。以宽度换深度，用多个小卷积替代一个大卷积，在获得更多样特征的同时所需权重数量也更少。深度网络可减少权重数量典型的卷积网络卷积神经网络CNN模型结构变迁针对移动端的轻量型网络MobileNetV3(2016.04)ShuffleNet(2016.06)Xception(2016.10)SqueezeNet(2016.02)LeNet(1998)AlexNet(2012)VGGNet(2014)NIN(2013)GoogLeNet(2014)ResNet(2015)DenseNet(2016)NAS(2018)PYTORCHHUBLeNet-5LeNet-5是一个非常成功的神经网络模型。基于LeNet-5的手写数字识别系统在90年代被美国很多银行使用，用来识别支票上面的手写数字。LeNet-5共有7层。需要多少个卷积核？卷积网络结构https://atcold.github.io/pytorch-Deep-Learning/zh/week03/03-2/LeNet-5卷积网络结构https://atcold.github.io/pytorch-Deep-Learning/zh/week03/03-2/AlexNet2012ILSVRCwinner（top5errorof16%comparedtorunner-upwith26%error）第一个现代深度卷积网络模型，首次使用了很多现代深度卷积网络的一些技术方法，比如使用GPU进行并行训练，采用了ReLU作为非线性激活函数，使用Dropout防止过拟合，使用数据增强5个卷积层、3个汇聚层和3个全连接层torchvisionAlexNetInception网络2014ILSVRCwinner（22层）参数：GoogLeNet：4MVSAlexNet：60M错误率：6.7%Inception网络是由有多个inception模块和少量的汇聚层堆叠而成。Inception模块v1在Inception网络中，一个卷积层包含多个不同大小的卷积操作，称为Inception模块。Inception模块同时使用1×1、3×3、5×5等不同大小的卷积核，并将得到的特征映射在深度上拼接（堆叠）起来作为输出特征映射。卷积和最大汇聚都是等宽的。Inception模块v3用多层的小卷积核来替换大的卷积核，以减少计算量和参数量。使用两层3x3的卷积来替换v1中的5x5的卷积使用连续的nx1和1xn来替换nxn的卷积。Inception模块v3用多层的小卷积核来替换大的卷积核，以减少计算量和参数量。使用两层3x3的卷积来替换v1中的5x5的卷积使用连续的nx1和1xn来替换nxn的卷积。残差网络残差网络（ResidualNetwork，ResNet）是通过给非线性的卷积层增加直连边的方式来提高信息的传播效率。假设在一个深度网络中，我们期望一个非线性单元（可以为一层或多层的卷积层）f(x,θ)去逼近一个目标函数为h(x)。将目标函数拆分成两部分：恒等函数和残差函数ResNet2015ILSVRCwinner（152层）错误率：3.57%残差单元DenseNetStandardCNNResNetDenseNetDenseNetDenseNet常用CNN结构NAS常用CNN结构CNN可视化CNN可视化：滤波器AlexNet中的滤波器（96filters[11x11x3]）CNN可视化：CNNExplainer解释器CNN解释器：https://poloclub.github.io/cnn-explainer/GitHub：/poloclub/cnn-explainer论文：/abs/2004.15004佐治亚理工ZijieWangCNN可视化：CNNExplainer解释器单击神经元，进