计算机视觉 课件 第7章视觉目标识别

1第七章视觉目标识别§7.2传统识别方法§7.1视觉识别概述§7.3深度学习方法§7.4课程大作业2§7.1视觉识别概述一、问题定义二、系统概述3视觉识别概述问题定义视觉目标识别旨在对输入的视觉信息进行判别，从而完成分类任务。常见任务有图像分类、视频识别、点云分类等任务的输出形式是维度为C的one-hot向量，即在预先指定好的C个类别中选择输入图像所属的类别图像分类点云分类4视觉识别概述系统概述视觉目标识别可以分为特征提取和特征分类两个阶段特征提取的目标：将图像重要信息进行提取和精炼，通常使用一个高维向量表示整个图像，以便于后续的分类特征分类的目标：设计分类器，在高维空间中将不同类别的特征向量进行区分，分类的难度取决于特征提取的质量和分类器的能力特征提取特征分类5视觉识别概述代表性应用人脸识别年龄估计亲属关系认证行人再识别6§7.2传统识别方法一、特征提取二、特征分类7传统识别方法特征提取方法：BOW(BagofWords)单词袋模型：这里的“单词”指代我们在图像数据库中所提取出的“图像特征”，每个特征就是一个单词8传统识别方法特征提取方法：BOW(BagofWords)回顾SIFT特征描述子第一步：高斯金字塔的构建第二步：高斯差分金字塔（DOG）的获得9传统识别方法特征提取方法：BOW(BagofWords)回顾SIFT特征描述子第三步：特征点的定位和选择在保留下来的兴趣点周围的一个区域内计算局部梯度的幅值和方向。然后，在一个包含36个方向、覆盖所有360°方向的区域内计算方向直方图。兴趣点的方向被指定为该直方图的顶点最终检测到的点与一个特定的尺度和方向有关10传统识别方法特征提取方法：BOW(BagofWords)回顾SIFT特征描述子将图像中通过SIFT检测器获得的关键点连接起来，可以有效描述图像中一个关键点周围的局部区域11传统识别方法特征提取方法：BOW(BagofWords)步骤一：特征提取，提取数据图像中的每个特征点即SIFT特征点12传统识别方法特征提取方法：BOW(BagofWords)步骤二：学习“视觉词典”，将所有提取到的特征点进行归类，获得“单词”，将所有的单词整合为一份“视觉词典”步骤三：数据量化，针对所输入的图片数据特征集，根据所得到的视觉词典对其进行量化13传统识别方法特征提取方法：BOW(BagofWords)步骤四：词频统计，将输入的图片数据转化为视觉单词的频率直方图步骤五：聚类，在聚类过程中，可以通过给定输入图像的BOW直方图,在数据库中查找k个最近邻的图像，可以根据这k个近邻图像的分类标签，进行投票获得分类结果14传统识别方法特征提取方法：SPM(SpatialPyramidMatching)传统方法使用手工设计的特征描述子提取图像的纹理信息作为特征主要介绍典型的SPM特征提取算法，基于SIFT描述子构建金字塔特征15传统识别方法特征提取方法：SPM(SpatialPyramidMatching)SPM是一种利用空间金字塔进行图像匹配、识别、分类的算法它是在不同分辨率上统计图像SIFT特征点分布，从而获取图像的局部信息16传统识别方法特征提取方法：SPM(SpatialPyramidMatching)第一步：PyramidMatchKernels假设存在两个特征集合X、Y，其中每个特征x的维度为d，则d维的特征空间可以根据尺度L划分出D=2dL个bins则基于直方图特征可以得到第L层特征匹配为由此推出两个点集X、Y的匹配程度pyramidmatchkernel为17传统识别方法特征提取方法：SPM(SpatialPyramidMatching)第二步：SpatialMatchingScheme将图像划分为固定大小的块，如从左到右：1*1，2*2，4*4，然后统计每个方块中词中的不同word的个数从左到右，统计不同level中各个块内的直方图最后将每个level中获得的直方图都串联起来，并给每个level赋予权重18传统识别方法特征提取方法：SPM(SpatialPyramidMatching)应用：基于SPM特征的图像检索19传统识别方法典型分类方法：SVM最优超平面：一个超平面，如果它能够将训练样本没有错误地分开，并且两类训练样本中离超平面最近的样本与超平面之间的距离是最大，则把这个超平面称作最优（分类）超平面，或最大间隔超平面求解最优超平面

20传统识别方法

21传统识别方法典型分类方法：决策树一棵决策树包含一个根结点，若干个内部结点和若干个叶结点叶结点对应于决策结果，其它每个结点对应于一个属性测试每个结点（除叶结点外）包含的样本集合根据属性测试的结果被划分到其子结点中，根结点包含样本全集根结点内部结点叶结点22传统识别方法

随机选择属性，进一步减小基学习器之间相关性！23传统识别方法典型分类方法：Adaboost提升方法串行式训练基学习器根据先前基学习器的表现调整训练样本新增的基学习器关注先前基学习器预测错误的部分训练分类器分类器权重更新分布24§7.3深度学习方法一、传统方法与深度学习方法二、基于卷积神经网络的视觉识别三、基于自注意力机制的视觉识别四、基于视觉语言模型的视觉识别25传统方法大多分为两个部分：特征提取、分类器设计深度学习方法大多采用端到端设计传统方法与深度学习方法26基于深度神经网络的视觉目标识别方法深度神经网络AlexNet2012ResNet2015VisionTransformer2020SwinTransformer20211989YannLeCun首次提出卷积网络的概念2014VGG162017DenseNet2021CLIP27卷积神经网络一般包含三部分：(1)并行卷积操作：产生一组线性激活响应；(2)非线性激活操作：这一级有时也被称为检测级；(3)非线性池化操作：来进一步调整这一层的输出卷积神经网络28卷积网络是图灵奖得主YannLeCun于1989年所发明的，是一类包含卷积操作且具有深度结构的前馈神经网络1989年在论述网络结构时首次提出了“卷积”一词，通过对网络参数进行随机初始化并使用随机梯度下降对网络参数进行训练和学习卷积神经网络LeCun,Y.,Boser,B.,Denker,J.S.,Henderson,D.,Howard,R.E.,Hubbard,W.andJackel,L.D.,1989.Backpropagationappliedtohandwrittenzipcoderecognition.Neuralcomputation,1(4),pp.541-551.29二维卷积中，卷积的第一个参数(如函数x)通常叫做输入(input)，第二个参数(如函数w)叫做核函数(kernelfunction)，输出有时也被称作特征映射(featuremap)

卷积神经网络部件：二维卷积

30如果把一张二维图像I作为输入，使用一个二维的核函数K卷积操作：卷积神经网络部件：卷积运算32×32×3图像(width×height×RGB)32×32×3图片5×5×3

滤波器滤波器通常与输入深度相同（在某些卷积中可能不是如此）

31离散卷积可以看作为矩阵的乘法，然而这个矩阵的一些元素被限制为必须和另外一些元素相等。例如对于单变量的离散卷积，矩阵每一行中的元素都与上一行对应位置平移一个单位的元素相同卷积神经网络部件：卷积运算32卷积神经网络部件：卷积运算步幅(Stride)：有时我们希望降低空间分辨率(H×W)，这时我们需要对样本进行下采样33卷积神经网络部件：卷积运算填充(Padding)：多层卷积会多次降低空间分辨率，而在计算中我们希望利用图像边界处的像素信息34卷积神经网络部件：池化运算池化操作(Pooling):

降低分辨率，减缓卷积层对位置等变换的敏感性，增加平移不变性35卷积神经网络的训练激活函数：是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端，将非线性特性引入到网络模型中36卷积神经网络的训练批量归一化(BatchNormalization)：将该层特征值分布重新拉回标准正态分布，特征值将落在激活函数对于输入较为敏感的区间，输入的小变化可导致损失函数较大的变化，使得梯度变大，避免梯度消失，加快收敛

逐通道均值逐通道方差归一化输入逐层的输出37卷积神经网络的训练数据增广（DataAugmentation）：让有限的数据产生更多的数据，增加训练样本的数量以及多样性（噪声数据），提升模型的鲁棒性，一般用于训练集38ImageNetILSVRC：卷积网络在图像分类领域取得了巨大进展，主要表现在ILSVRC竞赛中优胜冠军从经典的机器学习算法转向深度学习算法，尤其是卷积网络结构基于卷积神经网络的视觉识别39基于卷积网络的视觉目标识别：AlexNet模型由5个卷积层、3个池化层、和3个全连接层构成。AlexNet与LeNet结构类似，但使⽤了更多的卷积层和更⼤的参数空间来拟合⼤规模数据集ImageNet基于卷积神经网络的视觉识别K.,Alex,I.Sutskever,andG.E.Hinton.ImageNetClassificationwithDeepConvolutionalNeuralNetworks.NIPS,2012.(Cited113548)40基于卷积网络的视觉目标识别：VGG16模型采用连续的几个3x3卷积核，代替AlexNet中较大的卷积核(11x11,7x7,5x5)。对于给定的感受野，采用堆积的小卷积核优于采用大的卷积核，因为多个非线性层可增加网络深度，来保证学习到更复杂的模式，而且代价较小基于卷积神经网络的视觉识别K.Simonyan,A.Zisserman.VeryDeepConvolutionalNetworksforLarge-ScaleImageRecognition.ICLR,2015.(Cited83226)41基于卷积网络的视觉目标识别：

ResNet模型核心思想是引入了残差边，如果新加的层学习效果非常差，就可以通过一条残差边将这一部分直接“跳过”，使得添加的新网络层至少不会使效果比原来差，就可以较为稳定地通过加深层数来提高模型的效果基于卷积神经网络的视觉识别K.Heetal.DeepResidualLearningforImageRecognition.CVPR2016.(BestPaper)(Cited127784)

42基于卷积网络的视觉目标识别：

ResNet模型ResNet是在AlexNet的基础上发展优化而来，残差神经网络的一大优势就是恒等映射。AlexNet的问题在于随着层数的增加导致优化退步的后果，ResNet通过引入残差块缓解梯度消失/爆炸的现象基于卷积神经网络的视觉识别K.Heetal.DeepResidualLearningforImageRecognition.CVPR2016.(BestPaper)(Cited127784)43基于卷积网络的视觉目标识别：DenseNet模型思路与ResNet模型基本一致，主要是前面所有层与后面层采取密集连接的方式，另一个不同是特征在channel上的连接采取了特征重用(featurereuse)基于卷积神经网络的视觉识别GHuangetal.DenselyConnectedConvolutionalNetworks.CVPR2017.(BestPaper)(Cited26847)优势：更强的梯度流计算高效底层特征复用44自注意力机制自注意力机制通过学习输入序列中不同位置元素之间的关联性，使模型能够根据输入的不同部分自适应地分配注意力权重45基于自注意力机制的视觉识别基于自注意力机制的视觉目标识别：VisionTransformer模型ViT将自注意力机制引入视觉领域，将图像划分为一系列的块，作为模型的输入序列，通过自注意力机制实现图像的全局关联性捕捉46视觉语言模型基于视觉语言模型的视觉目标识别：CLIP模型在计算机视觉和自然语言处理交汇的领域中，ContrastiveLanguage-ImagePretraining(CLIP)

作为一项卓越的视觉语言模型，为目标识别带来了新的思维范式。其原理基于对比学习，通过联合训练图像和文本的编码器，在嵌入空间中建立了强大的语义联系CLIP的工作原理主要依赖于对比学习的思想。通过让模型学习使相同语义的图像和文本嵌入更接近，不同语义的更远离，CLIP能够理解图像和文本之间的关系。图像通过卷积神经网络进行编码，文本则通过Transformer模型编码。具体而言，CLIP的损失函数可表述为:

基于视觉语言模型的视觉目标识别：CLIP模型CLIP可以直接用于图像分类，通过对文本描述的理解，无需额外标注信息，在零样本学习方面表现出色47基于视觉语言模型的视觉识别48ImageNet图像数据集应用举例：图像识别ImageNet是检验图像识别性能最主要的数据集49基于卷积神经网络的图像识别应用举例：图像识别AlexNet

(NeurIPS

2012)VGG

(ICLR

2015)ResNet

(CVPR

2016,

Best

Paper)DenseNet

(CVPR

2017,

Best

Paper)50基于视觉Transformer的图像识别应用举例：图像识别ViT(ICLR

2021)PVT

(ICCV

2021)Swin

Transformer

(ICCV

2021,

Best

Paper)MLP-Mixer

(NeurIPS

2021)51Transformer模型引发了图像基础模型的百家争鸣应用举例：图像识别52Transformer模型在多个主流视觉任务上展现出强大的性能，启发思考其背后强大视觉建模能力的深层次原因应用举例：图像识别53高阶交互网络：HorNet应用举例：图像识别归纳出Transformer的优势在于动态权重、高阶交互、长程建模，并提出可同时高效实现上述三种功能的门控递归卷积模块YongmingRao,WenliangZhao,Yansong

Tang,

Jie

Zhou,

Ser-NamLim,

andJiwenLu,

HorNet:EfficientHigh-OrderSpatial

Interactions

withRecursiveGatedConvolutions,

NeurIPS,2022.54高阶交互网络：HorNet应用举例：图像识别提出的门控递归卷积可以在有限复杂度内实现任意阶交互，能够直接替代视觉Transformer网络中的自注意力模块来提升模型的性能55高阶交互网络：HorNet应用举例：图像识别HorNet在图像识别、目标检测、语义分割中均取得了比Swin和ConvNeXt更好的性能56动态稀疏网络：DynamicViT应用举例：图像识别传统Transformer模型计算量大，与图像的像素平方成正比，预测结果只与少部分的token有关，存在大量冗余计算Yongming

Rao,

Wenliang

Zhao,

Benlin

Liu,

Jiwen

Lu,