计算机视觉 课件 第5-9章 深度学习基础理论-高空作业异常行为监测

计算机视觉第五章深度学习基础理论卷积神经网络经典网络解析卷积卷积核（滤波器）：可学习的权重矩阵，用于提取特征。卷积卷积核（滤波器）：可学习的权重矩阵，用于提取特征。卷积严格来说，卷积层是个错误的叫法，因为它所表达的运算其实是互相关运算（cross-correlation），而不是卷积运算。卷积运算的数学定义对于连续函数对于离散序列卷积与互相关（Cross-Correlation）的区别卷积需要翻转核，而互相关直接滑动计算（不翻转）。在深度学习中，通常误称“互相关”为“卷积”，因为翻转由网络自动学习。卷积全连接神经网络的瓶颈问题：图像尺寸32x32x3，隐层每个神经元权值个数是多少？全连接神经网络的瓶颈问题：图像尺寸32x32x3，隐层每个神经元权值个数是多少？回答：32x32x3=3072全连接神经网络的瓶颈问题：图像尺寸32x32x3，隐层每个神经元权值个数是多少？回答：32x32x3=3072仅适合处理小图像！卷积神经网络卷积神经网络卷积网络中的卷积核不仅具有宽和高，还具有深度，常写成如下形式：宽度x高度x深度卷积核参数不仅包括核中存储的权值，还包括一个偏置值卷积网络中的卷积操作卷积网络中的卷积操作计算过程：将卷积核展成一个5x5x3的向量，同时将其覆盖的图像区域按相同的展开方式展成5x5x3的向量计算两者的点乘。在点乘的结果上加上偏移量数学公式：𝒘

为卷积核的权值，

𝑏

为卷积核的偏置卷积网络中的卷积操作图像偏导梯度算子模板-Sobel算子-101-202-101

121000-1-2-1卷积网络中的卷积操作特征响应图中每个位置上的值反映了图像上对应位置是否存在卷积核所记录的基元结构信息。卷积网络中的卷积操作卷积网络中的卷积操作卷积网络中的卷积操作特征响应图组深度等于卷积核的个数；卷积层输入不局限于图像，可以是任意三维数据矩阵;该层的卷积核深度要求与输入的三维矩阵的深度一致。卷积网络中的卷积操作特征响应图组深度等于卷积核的个数；卷积层输入不局限于图像，可以是任意三维数据矩阵;该层的卷积核深度要求与输入的三维矩阵的深度一致。不同的特征响应图反映了输入图像对不同卷积核的响应结果；同一特征响应图上不同位置的值表示输入图像上不同位置对同一卷积核的响应结果。卷积步长（stride）卷积神经网络中，卷积核可以按照指定的间隔进行卷积操作，这个间隔就是卷积步长。卷积步长（stride）卷积神经网络中，卷积核可以按照指定的间隔进行卷积操作，这个间隔就是卷积步长。图像尺寸：7x7卷积核尺寸：3x3卷积步长：1卷积结果：5x5卷积步长（stride）卷积神经网络中，卷积核可以按照指定的间隔进行卷积操作，这个间隔就是卷积步长。图像尺寸：7x7卷积核尺寸：3x3卷积步长：2卷积结果：3x3卷积步长（stride）

卷积卷积神经网络中，卷积核可以按照指定的间隔进行卷积操作，这个间隔就是卷积步长。图像原始尺寸：7x7卷积后尺寸：5x5卷积卷积神经网络中，卷积核可以按照指定的间隔进行卷积操作，这个间隔就是卷积步长。图像原始尺寸：7x7卷积后尺寸：5x5原始图像的边界丢失了许多有用信息而填充是解决此问题最有效的方法边界填充卷积神经网络中最常用的填充方式是零值填充。图像尺寸：5x5卷积核尺寸：3x3卷积步长：1零值填充：0卷积结果：3x3边界填充卷积神经网络中最常用的填充方式是零值填充。图像尺寸：5x5卷积核尺寸：3x3卷积步长：1零值填充：1卷积结果：5x5边界填充

边界填充

特征响应图组给定输入数据矩阵时，影响输出的特征图组尺寸大小的因素：卷积核的宽、高；是否采用边界填充操作；卷积步长；该层的卷积核个数。特征响应图组

特征响应图组

卷积神经网络池化操作pooling池化操作：对特征响应图某个区域进行池化就是在该区域上指定一个值来代表整个区域。池化操作pooling池化操作对每一个特征响应图独立进行；操作不改变特征响应图的个数。对特征响应图某个区域进行池化就是在该区域上指定一个值来代表整个区域。池化操作pooling常见的池化操作：最大池化（maximumpooling）——使用区域内的最大值来代表这个区域；池化操作pooling常见的池化操作：最大池化（maximumpooling）——使用区域内的最大值来代表这个区域；特征响应图中的75%的响应信息都丢掉池化操作pooling常见的池化操作：平均池化——采用区域内所有值的均值作为代表。52146338234211234423平均池化池化操作pooling池化操作：对特征响应图某个区域进行池化就是在该区域上指定一个值来代表整个区域。池化的作用：降低特征响应图组中每个特征响应图的宽度和高度，减少后续卷积层的参数的数量，降低计算资源耗费，进而控制过拟合。相同卷积核大小可以处理更大感受野经典卷积神经网络解析LeNet-5AlexNetKrizhevskyA,SutskeverI,HintonGE.Imagenetclassificationwithdeepconvolutionalneuralnetworks[J].Advancesinneuralinformationprocessingsystems,2012,25.ImageNet大规模视觉识别挑战赛ImageNetLargeScaleVisualRecognitionChallenge（ILSVRC）计算机视觉领域最具权威的学术竞赛之一ImageNet数据集——由斯坦福大学李飞飞教授主导制作，其包含了超过1400万张全尺寸的有标记图片2012年ILSVRC——1281167张训练集，50000张验证集，100000张测试集。ImageNet大规模视觉识别挑战赛ImageNetLargeScaleVisualRecognitionChallenge（ILSVRC）ImageNet大赛历年冠军-top5错误率AlexNet让错误率下降了10个百分点ImageNet大规模视觉识别挑战赛ImageNetLargeScaleVisualRecognitionChallenge（ILSVRC）ImageNet大赛历年冠军-top5错误率AlexNet让错误率下降了10个百分点深度卷积神经网络的前提大规模数据集硬件性能发展AlexNet主体贡献1.提出了一种卷积层加全连接层的卷积神经网络结构2.首次使用ReLU函数做为神经网络的激活函数3.首次提出Dropout正则化来控制过拟合4.使用加入动量的小批量梯度下降算法加速了训练过程的收敛；5.使用数据增强策略极大地抑制了训练过程的过拟合；6.利用了GPU的并行计算能力，加速了网络的训练与推断。AlexNet的网络结果105MAlexNet的网络结果105M层数统计说明：计算网络层数时仅统计卷积层与全连接层；池化层与各种归一化层都是对它们前面卷积层输出的特征图进行后处理，不单独算作一层。AlexNet共8层:5个卷积层(CONV1~CONV5)3个全连接层(FC6~FC8)AlexNet的网络结果105M第一层(CONV1):96个11x11卷积核，步长为4，没有零填充问题：输入:227x227x3大小的图像，输出特征图个数及尺寸为多少?尺寸：(227-11)/4+1=55个数：96问题：这层有多少个参数?参数:(11*11*3+1)*96=35K第一个卷积层提取了96种结构的响应信息，得到了96个特征相应图；特征图每个元素经过ReLU函数操作后输出。AlexNet的网络结果105M局部响应归一化层（NORM1）作用:对局部神经元的活动创建竞争机制；响应比较大的值变得相对更大；抑制其他反馈较小的神经元；增强模型的泛化能力AlexNet的网络结果局部响应归一化层（NORM1）后来的研究表明：更深的网络中该层对分类性能的提升效果并不明显，且会增加计算量与存储空间。然而，随着深度学习的发展，LRN逐渐被其他更高效、更通用的归一化技术取代。LRN在AlexNet之后逐渐被淘汰，BN及其变体成为归一化的主流选择。批归一化（BN,BatchNormalization）：直接对每个批次的均值和方差进行归一化，解决内部协变量偏移（InternalCovariateShift）问题。允许更高的学习率，减少对初始化的敏感度，成为ResNet等现代架构的标配。层归一化（LN,LayerNormalization）：适用于RNN/Transformer等序列模型。实例归一化（IN,InstanceNormalization）：常用于风格迁移任务（如GANs）。组归一化（GN,GroupNormalization）：在小批量场景下替代BN（如目标检测）。AlexNet的网络结果105MMaxPOOL1:窗口大小3x3，步长为2重叠有助于对抗过拟合作用：降低特征图尺寸，对抗轻微的目标偏移带来的影响输出尺寸：(55-3)/2+1=27特征图个数：96参数个数：0AlexNet的网络结果105M第二层(CONV2):256个5x5卷积核，步长为1，使用零填充p=2问题：输入:27x27x96大小的特征图组，输出特征图个数及尺寸为多少?尺寸：(27-5+2*2)/1+1=27个数：256AlexNet的网络结果105M第三、四层(CONV3、CONV4):384个3x3卷积核，步长为1，使用零填充p=1问题：CONV3输入:13x13x256大小的特征图组，输出特征图个数及尺寸为多少?尺寸：(13-3+2*1)/1+1=13个数：384AlexNet的网络结果105M第五层(CONV5):256个3x3卷积核，步长为1，使用零填充p=1AlexNet的网络结果105M第六——八层(FC6、FC7、FC8):全连接神经网络分类器MAXPOOL3的输出：特征响应图组FC6期望输入：向量输出：图像类别概率AlexNet的网络结果105M第六——八层(FC6、FC7、FC8):全连接神经网络分类器MAXPOOL3的输出：特征响应图组FC6期望输入：向量输出：图像类别概率AlexNet的网络结果105M第六——八层(FC6、FC7、FC8):全连接神经网络分类器MAXPOOL3的输出：特征响应图组FC6期望输入：向量输出：图像类别概率AlexNet的网络结果105M第六——八层(FC6、FC7、FC8):全连接神经网络分类器MAXPOOL3的输出：特征响应图组FC6期望输入：向量输出：图像类别概率AlexNet的网络结果105M第六——八层(FC6、FC7、FC8):全连接神经网络分类器MAXPOOL3的输出：特征响应图组FC6期望输入：向量输出：图像类别概率AlexNet的网络结果105M第六——八层(FC6、FC7、FC8):全连接神经网络分类器MAXPOOL3的输出：特征响应图组FC6期望输入：向量输出：图像类别概率AlexNet的网络结果105M第六——八层(FC6、FC7、FC8):全连接神经网络分类器MAXPOOL3的输出：特征响应图组FC6期望输入：向量输出：图像类别概率FC6输入：9216维向量9216x1=9216=6x6x2569216x1AlexNet的网络结果105M重要说明：用于提取图像特征的卷积层以及用于分类的全连接层是同时学习的；卷积层与全连接层在学习过程中会相互影响、相互促进AlexNet的网络结果105M重要技巧：➢Dropout策略防止过拟合；➢

使用加入动量的随机梯度下降算法，加速收敛；➢

验证集损失不下降时，手动降低10倍的学习率；➢

采用样本增强策略增加训练样本数量，防止过拟合；➢

集成多个模型，进一步提高精度。AlexNet的网络结果AlexNet分布于两个GPU，每个GPU各有一半神经元;CONV1、CONV2、CONV4、CONV5仅使用在同一GPU的前层网络输出的特征图作为输入;CONV3、FC6、FC7、FC8拼接前一层所有的特征图，实现了神经网络的跨GPU计算。AlexNet放在GPU上训练，但受限于当年的GPU显存较小所以分开在两个GPU上运算，现在已经不需要了。AlexNet的网络结果105MAlexNet的网络结果105M从数据中习得，从数据中学习对于分类有意义的结构特征，具有“语义结构”，描述输入图像中的结构信息，描述结果存储在256个6×6的特征响应图里。经典卷积神经网络解析VGG16VGG网络贡献：➢

使用尺寸更小的3x3卷积核串联来获得更大的感受野；➢

放弃使用11x11和5x5这样的大尺寸卷积核；➢

深度更深、非线性更强，网络的参数也更少;➢

去掉了AlexNet中的局部响应归一化层（LRN）层。SimonyanK,ZissermanA.Verydeepconvolutionalnetworksforlarge-scaleimagerecognition[J].arXivpreprintarXiv:1409.1556,2014.VGG16问题1：小卷积核有哪些优势？回答：多个小尺寸卷积核串联可以得到与大尺寸卷积核相同的感受野；2个3x3卷积核串联，感受野为5x53个3x3卷积核串联，感受野为7x7VGG16问题1：小卷积核有哪些优势？回答：多个小尺寸卷积核串联可以得到与大尺寸卷积核相同的感受野；使用小卷积核串联构建的网络深度更深、非线性更强、参数也更少3个3×3卷积核串联，感受野为7×7假设卷积层输入和输出的特征图个数均为C：三个3×3的卷积串联参数个数一个7×7的卷积层卷积参数个数

VGG16VGG16➢13个卷积层与3个全连接➢

分为5段conv1,…,conv5，每一段中卷积层的卷积核个数均相同➢

所有卷积层均采用3x3的卷积核及ReLU激活函数；➢

所有的池化层都采用最大池化，其窗口大小为2x2、步长为2；➢

经过一次池化操作，其后卷积层的卷积核个数就增加一倍，直至到达512；➢

全连接层中也使用了Dropout策略VGG16问题1：小卷积核有哪些优势？VGG16问题2：为什么VGG网络前四段里，每经过一次池化操作，卷积核个数就增加一倍？VGG16问题2：为什么VGG网络前四段里，每经过一次池化操作，卷积核个数就增加一倍？前层卷积核个数少，后层卷积核个数多前层学习到基元信息，如点、线、边、斑点...基元数量有限，但组合得到的语义或结构，不计其数后层的语义结构多为复杂的模式VGG16问题2：为什么VGG网络前四段里，每经过一次池化操作，卷积核个数就增加一倍？回答：1.池化操作可以减小特征图尺寸，降低显存占用2.增加卷积核个数有助于学习更多的结构特征，但会增加网络参数数量以及内存消耗3.一减一增的设计平衡了识别精度与存储、计算开销VGG16问题3：为什么卷积核个数增加到512后就不再增加了？VGG16

GoogLeNetGoogLeNetSzegedyC,LiuW,JiaY,etal.Goingdeeperwithconvolutions[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2015:1-9.GoogLeNetGoogLeNet的创新点：➢

提出了一种Inception结构，它能保留输入信号中的更多特征信息；➢

去掉了AlexNet的前两个全连接层，并采用了平均池化，这一设计使得GoogLeNet只有500万参数，比AlexNet少了12倍；➢

在网络的中部引入了辅助分类器，克服了训练过程中的梯度消失问题。串联结构（如VGG）存在的问题后面的卷积层只能处理前层输出的特征图；前层因某些原因（比如感受野限制）丢失重要信息，后层无法找回。串联结构（如VGG）存在的问题后面的卷积层只能处理前层输出的特征图；前层因某些原因（比如感受野限制）丢失重要信息，后层无法找回。解决方案：每一层尽量多的保留输入信号中的信息GoogLeNetInception模块GoogLeNetInception模块参数个数=516,096总计算量=404,619,264641283228x28x256GoogLeNet1x1卷积GoogLeNet利用1x1卷积进行压缩会损失信息吗？位置A的这个64维向量是一个非常稀疏向量利用1x1卷积进行非线性压缩通常不会损失信息GoogLeNetInception模块参数个数=516,096总计算量=404,619,264InceptionV1模块641283228x28x256GoogLeNetInception模块参数个数=516,096总计算量=404,619,264InceptionV1模块641283228x28x2569616GoogLeNetInception模块参数个数=516,096总计算量=404,619,264InceptionV1模块参数个数=168,448总计算量=132,063,232641283228x28x2569616GoogLeNetGoogLeNet输入1024个特征图输出1024维向量GoogLeNet输入1024个特征图输出1024维向量特征响应图上每个位置的值反应了图像对应位置的结构与卷积核记录的语义结构的相似程度平均池化丢失了语义结构的空间位置信息忽略语义结构的位置信息，有助于提升卷积层提取到的特征的平移不变性GoogLeNetGoogLeNet虽然ReLU单元能够一定程度解决梯度消失问题，但是并不能完全解决深层网络难以训练的问题。离输出远的层就不如靠近输出的层训练得好。让低层的卷积层学习到的特征也有很好的区分能力，从而让网络更好地被训练，而且低层的卷积层学到了好的特征也能加速整个网络的收敛。仅利用网络最后的输出作为预测结果，忽略辅助分类器的输出。卷积神经网络卷积神经网络深度神经网络过深时可能出现的问题梯度消失/爆炸传统深度网络中，反向传播时梯度通过链式法则逐层传递，若梯度值过小（消失）或过大（爆炸），会导致底层参数难以更新或训练不稳定。即使使用ReLU、BatchNorm等技术缓解，极深的网络仍可能面临此问题。训练误差上升（退化问题）实验表明，单纯增加深度会导致训练误差不降反升（非过拟合导致，而是优化困难）。这说明深层网络难以学习恒等映射（IdentityMapping），导致性能不如浅层网络。过拟合风险参数量随深度指数增长，而训练数据有限时，模型可能记住噪声而非学习泛化特征。ResNetResNet具有以下贡献：➢

提出了一种残差模块，通过堆叠残差模块可以构建任意深度的神经网络，而不会出现“退化”现象。➢

提出了批归一化方法来对抗梯度消失，该方法降低了网络训练过程对于权重初始化的依赖；➢

提出了一种针对ReLU激活函数的初始化方法；He,Kaiming,etal."Deepresiduallearningforimagerecognition."ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2016.ResNet

ResNet关于残差结构：1.残差结构能够避免普通的卷积层堆叠存在信息丢失问题，保证前向信息流的顺畅。2.残差结构能够应对梯度反传过程中的梯度消失问题，保证反向梯度流的通顺。ResNet-18卷积神经网络计算机视觉第六章图像分割传统图像分割方法阈值分割区域分割边缘检测与连接基于深度学习的图像分割全卷积网络UNet及其变体MaskR-CNNDeepLab系列6.1概述一般的图像处理过程图像分割就是将人们感兴趣的部分（前景）从背景中提取出来108图像分割就是根据图像的灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同。

分割任务分类a）原图b）语义分割

c）实例分割d）全景分割109分割任务分类——语义分割语义分割（SemanticSegmentation）：为每个像素分配一个类别标签（如“人”“车”“背景”），不区分同类实例。给每个像素分配类别标签不区分实例，只考虑像素类别在像素级别进行分类，同类别的分为一类，比如某个像素是猫、狗、人、车等，它比目标检测预测的边框更加精细。语义分割任务可以形象地理解为：用不同颜色标注不同类别的像素区域。110分割任务分类——实例分割实例分割（InstanceSegmentation）：区分同一类别的不同个体（如“人1”“人2”）它既具备语义分割（SemanticSegmentation）的特点，需要做到像素层面上的分类，也具备目标检测（ObjectDetection）的一部分特点，即需要定位出不同实例，即使它们是同一种类。实例分割就是对同一类的不同对象也要进行分割，比如说，语义分割会将车分为一类，人分为另一类。但是，实例分割不同的是，它会将车继续进行分类，每一辆车都是一个实例类别。111分割任务分类——全景分割全景分割（PanopticSegmentation）：结合语义分割和实例分割，同时标注所有像素的类别和实例ID全景分割任务要求图像中的每个像素点都必须被分配给一个语义标签和一个实例id。全景分割是实例分割与语义分割的结合。全景分割中的每一个像素点都会分成对应的语义标签和实例标签。如果一种类别里有多个实例，会用不同的颜色进行区分，我们可以知道哪个像素属于哪个类中的哪个实例。112传统图像分割方法阈值分割区域分割边缘检测与连接基于深度学习的图像分割全卷积网络UNet及其变体MaskR-CNNDeepLab系列第六章图像分割114基于阈值的分割方法基本思想：基于图像的灰度特征来计算一个或多个灰度阈值，并将图像中每个像素的灰度值与阈值作比较，最后将像素根据比较结果分到合适的类别中。特点：经典、简单、计算代价小、速度快，是最老的分割方法且在简单的应用中仍然广泛地使用着。关键：如何取得一个合适的阈值？？？1156.2.1全局阈值基于阈值的分割方法原理：整幅图像

f使用同一个阈值进行分割处理，适用于背景和前景有明显对比的图像。缺点：这种方法只考虑像素本身的灰度值，一般不考虑空间特征，因此对噪声很敏感。常用方法：利用图像灰度直方图的峰谷法、迭代阈值分割法、最大类间方差法、最大熵阈值分割法等。116要求目标图像和背景图像的灰度级应有明显的区别，且灰度直方图具有较明显的双峰。分割图像的直方图双峰分别代表目标图像和背景图像，而波谷代表分割图像的边缘。当灰度级直方图具有双峰特性时，选取两峰之间的谷对应的灰度级作为阈值。直方图法如何选择阈值T：确定直方图的波峰在两个峰值之间选择阈值117defthreshTwoPeaks(gray):#计算灰度直方图histogram=cv2.calcHist([gray],[0],None,[256],[0,256])

#寻找灰度直方图的最大峰值对应的灰度值

maxLoc=np.where(histogram==np.max(histogram))firstPeak=maxLoc[0][0]#寻找灰度直方图的第二个峰值对应的灰度值

measureDists=np.zeros([256],dtype=float)forkinrange(256):measureDists[k]=pow(k-firstPeak,2)*histogram[k]maxLoc2=np.where(measureDists==np.max(measureDists))secondPeak=maxLoc2[0][0]

#找到两个峰值之间的最小值作为阈值

thresh=0:#第一个峰值在第二个峰值的右侧iffirstPeak>secondPeak

temp=histogram[int(secondPeak):int(firstPeak)]minloc=np.where(temp==np.min(temp))thresh=secondPeak+minloc[0][0]+1else:#第一个峰值在第二个峰值的左侧

temp=histogram[int(firstPeak):int(secondPeak)]minloc=np.where(temp==np.min(temp))thresh=firstPeak+minloc[0][0]+1#找到阈值之后进行阈值处理，得到二值图像

threshImage_out=gray.copy()#大于阈值的都设置为255threshImage_out[threshImage_out>thresh]=255threshImage_out[threshImage_out<=thresh]=0returnthresh,threshImage_out最大类间方差法，又叫大津阈值法（Otsu，1979）基本原理：以最佳阈值将图像的灰度直方图分割成两部分，使两类之间的方差取最大值，即分离性最大。此算法利用了最小二乘法原理。最佳阈值：测试每一个可能的阈值，然后计算前景和背景的灰度级方差。当这些方差的加权和最小时，就可以推导得到这个阈值在某种“最佳”的意义上分离了直方图，因为背景和前景的分布都达到了“最紧致”状态，即选择阈值使得目标和背景的类间方差最大化。最大类间方差法119

（5）选择最优阈值

defotsu_thresh(image):rows,cols=image.shape[:2]#计算灰度直方图gray_hist=cv2.calcHist([image],[0],None,[256],[0,256])

norm_hist=gray_hist/float(rows*cols)

zero_cumu=np.zeros([256],np.float32)one_cumu=np.zeros([256],np.float32)foriinrange(256):ifi==0:zero_cumu[i]=norm_hist[i]one_cumu[i]=0else:zero_cumu[i]=zero_cumu[i-1]+norm_hist[i]one_cumu[i]=one_cumu[i-1]+i*norm_hist[i]#计算方差，找到最大的方差对应的阈值

thresh=0sigma=0foriinrange(256):ifzero_cumu[i]==0orzero_cumu[i]==1:sigma_tmp=0else:#前景和背景像素均值

mu_B=one_cumu[i]/zero_cumu[i]mu_F=(one_cumu[255]-one_cumu[i])/(1-zero_cumu[i])sigma_tmp=(zero_cumu[i]*(1.0-zero_cumu[i]))*math.pow(mu_B-mu_F,2)ifsigma<sigma_tmp:thresh=isigma=sigma_tmp#阈值分割

thresh_img=image.copy()thresh_img[thresh_img>thresh]=255thresh_img[thresh_img<=thresh]=0returnthresh,thresh_img

(a)原图(b)OTSU结果图图7-3OTSU算法应用实例

6.2.2自适应阈值基于阈值的分割方法

123基于区域的分割方法图像分割不仅需要考虑像素点的灰度、颜色等信息，还需要考虑像素点所处的位置。阈值分割只考虑像素的灰度值，没有考虑到像素的空间关系。区域分割法利用图像的空间性质，认为分割出来的属于同一区域的像素应具有相同的性质。常用的区域分割法有区域生长法、分裂合并法和分水岭法等。1246.3.1区域生长法基于区域的分割方法

区域生长是将具有相似性质的像素或者子区域聚集起来构成更大区域的过程；基本思想：首先对每个需要分割的区域找一个种子像素作为生长的起点；然后将种子像素邻域中与种子像素有相同或相似性质的像素（根据某种事先确定的生长或相似准则来判定）合并到种子像素所在的区域中，形成新的生长点。再将这些新像素当作新的种子像素，继续进行上面的过程，直到不能生长为止（即有不满足条件的像素被包括进来），这样一个区域就长成了。1256.3.1区域生长法基于区域的分割方法区域生长的好坏决定于以下几个因素：(1)初始点(生长点)的选取：选择或确定一组能正确代表所需区域的种子像素；(2)生长准则：确定在生长过程中能将相邻像素包括进来的准则；基于区域灰度差基于区域内灰度分布统计性质…(3)终止条件：制定让生长过程停止的条件或规则。1261．基于区域灰度差的生长(1)对图像像素顺序扫描，找到第1个还没有归属的像素，设该像素为生长点；(2)以生长点为中心，依次扫描它的8邻域像素，将邻域像素逐个与中心像素比较，若灰度差满足生长准则，则将它与生长点合并，并将其压入堆栈。(3)从堆栈中取出一个像素作为新的生长点，把它返回到步骤(2)，检查新生长点的邻域，直到区域不能进一步扩张；(4)当堆栈为空时返回到步骤(1)；(5)重复步骤(1)~(4)，直到图像中的每个点都有归属时，生长结束。基于区域的分割方法6.3.1区域生长法10475104770155520565225641047510477015552056522564初始情形T=1时的区域生长10475104770155520565225641047510477015552056522564初始情形T=1时的区域生长10475104770155520565225641047510477015552056522564初始情形T=1时的区域生长10475104770155520565225641047510477015552056522564初始情形T=1时的区域生长10475104770155520565225641047510477015552056522564初始情形T=1时的区域生长10475104770155520565225641047510477015552056522564初始情形T=1时的区域生长10475104770155520565225641047510477015552056522564初始情形T=1时的区域生长10475104770155520565225641047510477015552056522564初始情形T=1时的区域生长10475104770155520565225641047510477015552056522564初始情形T=1时的区域生长10475104770155520565225641047510477015552056522564初始情形T=1时的区域生长10475104770155520565225641047510477015552056522564初始情形T=2时的区域生长138基于区域的分割方法区域内灰度分布相似性，即以灰度分布统计性质作为生长准则

具体步骤如下：(1)把图像分成互不重叠的小区域；(2)比较邻接区域的灰度直方图，根据灰度分布的相似特性进行区域合并；(3)设定终止准则，通过反复进行步骤(2)中的操作将各个区域依次合并，直到终止准则满足。2．基于灰度分布相似性的生长6.3.1区域生长法区域分裂合并则是区域生长的逆过程：区域生长—从某个或者某些像素点出发，最后得到整个区域，进而实现目标提取。

分裂合并从整个图像出发，不断分裂得到各个子区域，然后把前景区域合并，实现目标提取。

分裂合并的假设是对于一幅图像，前景区域由一些相互连通的像素组成。如果把一幅图像分裂到像素级，就可以判定该像素是否为前景像素。当所有像素点或者子区域完成判断以后，把前景区域或者像素合并起来就可得到前景目标。1396.3.2区域分裂合并法基于区域的分割方法从整幅图像开始通过不断分裂得到各个区域图像四叉树表达方法的迭代分裂合并算法R1R2R3R41R42R43R44RR4R3R2R1R44R43R42R41一致性测度？分裂合并算法的步骤：对于任一区域Ri

，如果，则将其分裂成互不重叠的四等分；对相邻区域Ri

和Rj，如果，则将二者合并；如果进一步的分裂合并都不可能了，则终止算法一致性测度灰度差方差分裂过程合并过程合并过程合并过程合并过程合并过程合并过程合并过程合并过程151基于边缘的分割方法基于边缘检测的图像分割，是一个通过确定图像中的边缘轮廓像素，然后将这些像素连接起来构建区域边界的过程。单独的边缘检测只能产生边缘点，并不能称为完整的图像分割过程。边缘检测的优点是边缘定位准确、运算速度快，但它有两大难点限制了其在图像分割中的应用：①不能保证边缘的连续性和封闭性:②在高细节区存在大量的碎边缘，难以形成一个大区域，但是又不宜将高细节区分为小碎片。两大步骤：（1）边缘检测，确定边界点；（2）边缘连接，形成闭合区域152评价标准根据是否需要理想分割的参考结果图像，可进一步分为无监督评价法和有监督评价法。无监督评价法通过分割结果图像的质量参数来评价相应的分割算法。无监督评价的指标一般分为区域内一致性指标、区域间差异性指标和语义性指标三类有监督评价法是将算法分割得到的图像与理想分割的参考图像进行对比，实现对分割算法的评价有监督评价的指标主要基于分割图像与参考图像二者的相似度或差异度153无监督评价1）区域内一致性指标好的分割，其分割的区域内部的特征具有均匀性和一致性。区域内一致性指标主要基于图像的灰度、颜色、纹理和熵等信息。2）区域间差异性指标好的分割，其分割的相邻区域间的特征具有显著的差异。区域间差异性指标主要基于灰度、颜色、重心距离等信息。3）语义指标语义指标主要基于分割目标的形状和边界平滑度等信息。154有监督评价有真值图像作参考，有监督评价方法得到的评价结果更加准确，也是使用最多的评价方法。真阳性（True

Positive，TP）是指分割算法将实际目标正确地分割为目标；假阴性（False

Negative，FN）是分割算法将实际目标错误地分割为背景；假阳性（False

Positive，FP）是分割算法将实际背景错误地分割成目标；真阴性（True

Negative，TN）是分割算法将实际背景正确地分割为背景PA(PixelAccuracy)为图像中分类正确素点数量与图像中所有像素点数量的比值:MPA(MeanPixelAccuracy)为每类目标分类正确的像素数量与该类目标所有像素数量比值后的平均值:155评价标准IoU(IntersectionoverUnion)为某一类别目标的真值标签和预测标签的交集与真值标签和预测标签的并集之间的比值:MeanIoU为图片的全局评价指标，是类别IoU的均值:156评价标准传统图像分割方法阈值分割区域分割边缘检测与连接基于深度学习的图像分割全卷积网络FCNUNet及其变体MaskR-CNNDeepLab系列第六章图像分割分割任务分类——语义分割语义分割（SemanticSegmentation）：为每个像素分配一个类别标签（如“人”“车”“背景”），不区分同类实例。给每个像素分配类别标签不区分实例，只考虑像素类别在像素级别进行分类，同类别的分为一类，比如某个像素是猫、狗、人、车等，它比目标检测预测的边框更加精细。语义分割任务可以形象地理解为：用不同颜色标注不同类别的像素区域。158应用：路面分割语义分割思路：滑动窗口语义分割思路：滑动窗口问题:效率太低！重叠区域的特征反复被计算语义分割思路：全卷积问题:效率太低！重叠区域的特征反复被计算163语义分割思路：全卷积164语义分割思路：全卷积解决方案：让整个网络只包含卷积层，一次性输出所有像素的类别预测。165语义分割思路：全卷积解决方案：让整个网络只包含卷积层，一次性输出所有像素的类别预测。问题：处理过程中一直保持原始分辨率，对于显存的需求会非常庞大…166语义分割思路：全卷积解决方案：让整个网络只包含卷积层，并在网络中嵌入下采样与上采样过程。167语义分割思路：全卷积解决方案：让整个网络只包含卷积层，并在网络中嵌入下采样与上采样过程。下采样：Pooling,stridedconvolution上采样：？？？如何从小特征图变到大特征图168反池化操作:Unpooling最近邻法针床法169反池化操作:“MaxUnpooling”indexpooling记住哪个元素是最大的使用池化层中的位置对应的下采样层和上采样层转置卷积（TransposeConvolution）170可学习的上采样:转置卷积（TransposeConvolution）转置卷积（TransposeConvolution）（老叫法）反卷积Deconvolution171可学习的上采样:转置卷积（TransposeConvolution）172回顾:3x3卷积核，步长（stride）1，零填充（padding）1转置卷积（TransposeConvolution）173回顾:3x3卷积核，步长（stride）1，零填充（padding）1转置卷积（TransposeConvolution）174回顾:3x3卷积核，步长（stride）1，零填充（padding）1转置卷积（TransposeConvolution）175回顾:3x3卷积核，步长（stride）2

，零填充（padding）1转置卷积（TransposeConvolution）176回顾:3x3卷积核，步长（stride）2

，零填充（padding）1转置卷积（TransposeConvolution）177回顾:3x3卷积核，步长（stride）2

，零填充（padding）1转置卷积（TransposeConvolution）178回顾:3x3卷积核，步长（stride）2

，零填充（padding）1转置卷积（TransposeConvolution）卷积核在输出中每移动一个像素，在输入中移动两个像素步长表示输入和输出中移动的比率1793x3转置卷积，stride2，padding1转置卷积（TransposeConvolution）1803x3转置卷积，stride2，padding1转置卷积（TransposeConvolution）1813x3转置卷积，stride2，padding1转置卷积（TransposeConvolution）1823x3转置卷积，stride2，padding1转置卷积（TransposeConvolution）每输入一个像素，转置卷积核在输出中移动2个像素步长给出了输出和输入移动之间的比率1833x3转置卷积，stride2，padding1转置卷积（TransposeConvolution）每输入一个像素，转置卷积核在输出中移动2个像素步长给出了输出和输入移动之间的比率重叠区域计算卷积核为2x2的转置卷积184转置卷积（TransposeConvolution）卷积核为2x2，步长为2的转置卷积185转置卷积（TransposeConvolution）以一维向量举例186转置卷积（TransposeConvolution）输出由输入加权求和将卷积写为矩阵乘法例子:1D卷积,卷积核尺寸=3,步长=1,零填充=1187转置卷积（TransposeConvolution）将卷积写为矩阵乘法例子:1D卷积,卷积核尺寸=3,步长=2,零填充=1188转置卷积（TransposeConvolution）189全卷积网络FCNLongJ,ShelhamerE,DarrellT.Fullyconvolutionalnetworksforsemanticsegmentation[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2015:3431-3440.190全卷积网络FCNLongJ,ShelhamerE,DarrellT.Fullyconvolutionalnetworksforsemanticsegmentation[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2015:3431-3440.191全卷积网络FCNFCN是用深度神经网络来做语义分割的奠基性工作它用转置卷积层来替换CNN最后的全连接层，从而可以实现每个像素的预测192全卷积网络FCN传统图像分割方法阈值分割区域分割边缘检测与连接基于深度学习的图像分割全卷积网络FCNUNet及其变体MaskR-CNNDeepLab系列第六章图像分割计算机视觉第七章图像识别1概述2图像分类3目标检测4小结图像分类1概述2传统图像分类3深度学习图像分类4评价指标与技术挑战5案例分析6小结图像识别图像识别任务大致可以分为三类：图像分类、目标检测以及图像分割图像分类imageclassification：将输入的图像分为不同的类别目标检测objectdetection：对图像中的多个物体进行定位和分类图像分割imagesegmentation：像素级别上的分类，属于同一类的像素都要被归为一类，需要将物体的轮廓边界准确定位概述概述图像识别图像分类的基本原理是通过对图像的特征进行提取，并将这些特征与预先训练好的模型进行比较，从而判断图像所属的类别。概述通过分类X光片诊断疾病。医学影像分类识别道路标志保障行车安全。自动驾驶物体识别利用图像分类过滤违规内容，维护平台环境。社交媒体内容过滤概述图像分类应用领域概述概述图像分类应用概述概述图像分类发展概述概述图像分类的难点概述传统图像分类特征提取分类器KNNSVMRF传统图像分类传统图像分类传统方法流程图像→预处理→手工特征提取→特征编码（词袋模型）→分类器颜色特征、纹理特征和形状特征SIFT(尺度不变特征变换)︰提取图像的局部特征。HOG(方向梯度直方图)︰提取图像的边缘和纹理信息。LBP(局部二值模式)︰提取图像的局部纹理特征。KNN(k最近邻)SVM(支持向量机)：基于手工特征进行分类。随机森林：基于决策树的集成学习方法。SIFTHOGLBP传统图像分类传统图像分类传统方法流程图像→预处理→手工特征提取→特征编码（词袋模型）→分类器SIFTHOGLBP特征维度高导致计算效率低，难以处理大规模数据。计算效率低手工特征无法适应复杂场景，如细粒度鸟类分类难以提取有效特征。手工特征适应性差传统图像分类传统机器学习vs深度学习传统机器学习vs深度学习深度学习图像分类深度学习图像分类深度学习图像分类卷积神经网络（CNN）核心思想CNN整体架构图：输入层→卷积层→池化层→全连接层→输出层深度学习图像分类深度学习图像分类卷积神经网络（CNN）核心组件卷积池化激活函数深度学习图像分类深度学习图像分类卷积神经网络（CNN）模型训练深度学习图像分类深度学习图像分类卷积神经网络（CNN）经典模型解析LeNet-501首个成功CNNLeNet-5是首个成功应用的卷积神经网络，5层网络结构。02邮政编码识别应用应用于邮政编码识别，奠定了CNN在图像分类领域的基础。03适合入门学习其结构简单，适合初学者学习，为后续复杂模型提供思路。深度学习图像分类深度学习图像分类卷积神经网络（CNN）经典模型解析AlexNet激活函数使用Relu（f(x)=max(x,0)），成功解决了Sigmoid在网络较深时的梯度弥散问题训练时使用Dropout随机忽略一部分神经元，以避免模型过拟合引入了局部响应归一化（LocalResponseNormalization，LRN）,引入竞争机制，增强了模型的泛化能力使用CUDA加速深度卷积网络的训练，多GPU训练技术深度学习图像分类深度学习图像分类卷积神经网络（CNN）经典模型解析ResNet退化问题：随着网络深度的增加，准确度会达到饱和，急速退化。ResNet的思路是：通过引入深度残差学习框架来解决退化问题，令每个堆叠的层拟合一个残差映射，而不是让这些层去拟合隐含的映射。普通网络与深度残差网络的最大区别在于：深度残差网络有很多旁路的支线将输入直接连到后面的层，使得后面的层可以直接学习残差，这些支路就叫做shortcut。传统的卷积层或全连接层在信息传递时，或多或少会存在信息丢失、损耗等问题。深度学习图像分类评价指标与技术挑战数据集ImageNetCifar-10/100MNIST1400万张标记图片22,000个类别ILSVRC1000类Places、StanfordCars、CUB-200-2011、SVHN，…数据集的选择非常重要。一个好的数据集应该具有较大的规模、多样化的类别和高质量的标注。评价指标与技术挑战大规模视觉识别挑战赛（ImageNetLargeScaleVisualRecognitionChallenge）评价指标与技术挑战ILSVRC评价指标与技术挑战评价指标与技术挑战评价指标准确率

vs.

混淆矩阵（精确率、召回率、F1-score）评价指标与技术挑战评价指标与技术挑战评价指标准确率

vs.

混淆矩阵（精确率、召回率、F1-score）Top-1与Top-5错误率Top-1错误率是指概率最大的预测结果不在正确标签中的概率。Top-5错误率是指概率前五的预测结果不在正确标签中的概率。评价指标与技术挑战评价指标与技术挑战技术挑战数据问题：样本不足、类别不平衡、标注成本高。模型问题：过拟合（训练集好，测试集差）、计算效率低。解决方案方向：数据增强、迁移学习、模型轻量化。迁移学习模型轻量化正则化评价指标与技术挑战评价指标与技术挑战未来趋势Transformer架构融入：减少卷积依赖，用全局自注意力实现图像理解在ImageNet上取得与CNN相当甚至更好性能轻量化模型：在移动端和边缘设备部署要求模型更加高效，如MobileNet、ShuffleNet、EfficientNet的提出，将分类模型压缩到嵌入式设备中仍能保持高精度。自监督与弱监督学习减少对标注数据的依赖，通过无标签数据中学习特征，然后在下游分类任务中微调提升性能。多模态融合：与NLP结合，使模型不仅能分类图像，还能对图像描述、问答，拓展模型的应用空间。评价指标与技术挑战基于提示词微调和特征重放的小样本类增量图像分类方法评价指标与技术挑战评价指标与技术挑战迁移学习应用于病虫害叶片分类，利用预训练模型提升分类效率。交通标志识别要求实时性，模型轻量化技术降低计算负担。肺炎X光片分类中，数据增强解决样本不足问题，提升模型泛化能力。医学影像分类自动驾驶物体识别农业病虫害叶片分类案例分析案例分析如果数据量少，如何设计高效的图像分类系统？数据量少时的系统设计CNN在实时场景（如视频监控）中的瓶颈是什么？CNN实时场景瓶颈案例分析案例分析案例分析案例1医学影像分类任务：X光片中的肺炎检测。挑战：数据量少、医生标注耗时、类别不平衡（正常vs.肺炎）。解决方案：迁移学习（ImageNet预训练模型）+数据增强（旋转、翻转）。案例分析案例分析案例2自动驾驶中的交通标志识别案例分析案例分析分组讨论问题：“如果让你设计一个垃圾分类系统，选择传统方法还是CNN？为什么？”案例分析核心知识点从手工特征到CNN自动学习，实现端到端训练。层次化特征学习通过卷积、池化、非线性激活实现高效特征提取。CNN性能强大准确率、泛化性、计算效率需满足不同场景需求。模型优化平衡核心知识点总结与作业课程总结：图像分类是图像识别的核心子任务，CNN通过层次化特征学习实现端到端映射。传统方法依赖人工特征，CNN自动学习更鲁棒的特征表示。课后作业：任务1：对比LeNet-5与AlexNet的结构差异，总结CNN发展的关键改进点。任务2：调研一个图像分类的实际应用（如农业病虫害识别），撰写300字分析报告（技术难点+解决方案）。扩展资源推荐：论文：《ImageNetClassificationwithDeepConvolutionalNeuralNetworks》（AlexNet）、《DeepResidualLearningforImageRecognition》（ResNet）。工具：Netron（模型结构可视化工具）、TensorBoard（训练监控）、Kaggle（数据集与案例代码）。总结与作业第七章图像识别1概述2图像分类3目标检测4小结目标检测1概述2传统目标检测3深度学习目标检测4评价指标与技术挑战5案例分析6小结概述图像识别图像识别任务大致可以分为三类：图像分类、目标检测以及图像分割图像分类imageclassification（是什么）：将输入的图像分为不同的类别目标检测objectdetection（是什么&在哪）：对图像中的多个物体进行定位和分类图像分割imagesegmentation：像素级别上的分类，属于同一类的像素都要被归为一类，需要将物体的轮廓边界准确定位概述概述目标检测目标检测：对图片中可变数量的目标进行定位和分类，即同时确定物体的位置和类别如何同时识别图中所有物体及其位置？概述概述目标检测目标检测：对图片中可变数量的目标进行定位和分类，即同时确定物体的位置和类别图像识别（classification）：输入：图片输出：物体的类别评估方法：准确率定位（localization）：输入：图片输出：方框在图片中的位置（x,y,w,h）评估方法：检测评价函数intersection-over-union定位的问题的解决思路有哪些？CNN概述概述目标检测思路一：看做回归问题需要预测出（x,y,w,h）四个参数的值，从而得出方框的位置。概述概述目标检测思路一：看做回归问题需要预测出（x,y,w,h）四个参数的值，从而得出方框的位置。步骤1：*先解决简单问题，搭一个识别图像的神经网络*在AlexNetVGGGoogleLenet上fine-tuning一下概述概述目标检测思路一：看做回归问题步骤2:在上述神经网络的尾部展开（也就说CNN前面保持不变，我们对CNN的结尾处作出改进：加了两个头：“分类头”和“回归头”）成为classification+regression模式概述概述目标检测思路一：看做回归问题步骤3:Regression那个部分用欧氏距离损失使用SGD训练步骤4:预测阶段把2个头部拼上完成不同的功能这里需要进行两次fine-tuning第一次在ALexNet上做，第二次将头部改成regressionhead，前面不变，做一次fine-tuningRegression的部分加在哪？有两种处理方法：

•加在最后一个卷积层后面（如VGG）

•加在最后一个全连接层后面（如R-CNN）概述概述目标检测思路二：取图像窗口刚才的classification+regression思路取不同的大小的“框”让框出现在不同的位置，得出这个框的判定得分取得分最高的那个框根据得分的高低，我们选择了右下角的黑框作为目标位置的预测。概述概述目标检测框要取多大？取不同的框，依次从左上角扫到右下角。非常粗暴啊。总结一下思路：对一张图片，用各种大小的框（遍历整张图片）将图片截取出来，输入到CNN，然后CNN会输出这个框的得分（classification）以及这个框图片对应的x,y,h,w（regression）。概述概述目标检测概述概述应用领域核心挑战：尺度变化（大物体vs.小物体）、遮挡、实时性要求概述概述概述发展历程概述概述概述发展历程概述概述发展历程概述概述概述发展历程图2基于深度学习的视觉目标检测发展过程(图中括号内为作者信息)概述概述当图像有很多物体怎么办的？多物体识别+定位多个物体看成分类问题有何不妥？

•你需要找很多位置，给很多个不同大小的框

•你还需要对框内的图像分类概述传统目标检测流程传统目标检测传统目标检测流程区域选取：首先选取图像中可能出现物体的位置，由于物体位置、大小都不固定，因此传统算法通常使用滑动窗口（SlidingWindows）算法，但这种算法会存在大量的冗余框，并且计算复杂度高。（1）滑动窗口检测器从左到右、从上到下滑动窗口，利用分类识别目标。为了在不同观察距离处检测不同的目标类型，需要使用不同大小和宽高比的窗口缺点：计算量大，速度慢传统目标检测传统目标检测流程区域选取：首先选取图像中可能出现物体的位置，由于物体位置、大小都不固定，因此传统算法通常使用滑动窗口（SlidingWindows）算法，但这种算法会存在大量的冗余框，并且计算复杂度高。（2）选择性搜索(SelectiveSearch)图像中物体可能存在的区域应该是有某些相似性或者连续性区域的。首先，对输入图像进行分割算法产生许多小的子区域。其次，根据这些子区域之间相似性(相似性标准主要有颜色、纹理、大小等等)进行区域合并。每次迭代过程中对这些合并的子区域做外切矩形，降低了计算量。传统目标检测传统目标检测流程区域选取：首先选取图像中可能出现物体的位置，由于物体位置、大小都不固定，因此传统算法通常使用滑动窗口（SlidingWindows）算法，但这种算法会存在大量的冗余框，并且计算复杂度高。特征提取：在得到物体位置后，通常使用人工精心设计的提取器进行特征提取，如SIFT和HOG等。由于提取器包含的参数较少，并且人工设计的鲁棒性较低，因此特征提取的质量并不高。特征分类：最后，对上一步得到的特征进行分类，通常使用如SVM、AdaBoost的分类器。缺点：计算效率低、泛化能力差传统目标检测传统目标检测重合度（IOU,IntersectionOverUnion)IOU的含义：衡量真实目标框与预测目标框差异的一种参数。传统目标检测传统目标检测非极大值抑制（NMS,Non-MaximumSuppression）假设要定位这个汽车，算法找出了一堆可能的方框，每个方框对应一个概率，我们需要判别哪些矩形框是没用的。利用NMS算法去除掉IOU高的候选框，抑制不是极大值的框，最后找到最佳结果目的：消除多余的框，找到最佳的物体检测位置传统目标检测深度学习目标检测算法概述目标分类判断输入图像或所选择图像区域（Proposals）中是否有感兴趣类别的物体出现，输出一系列带分数的标签表明感兴趣类别的物体出现在输入图像或所选择图像区域中的可能性。目标定位确定输入图像或所选择图像区域（Proposals）中感兴趣类别的物体的位置和范围，输出物体的包围盒、或物体中心、或物体的闭合边界等，通常使用方形包围盒，即BoundingBox用来表示物体的位置信息。深度学习