《数字图像处理教程（OPENCV版）》 课件 Ch11 目标的表示与描述、Ch12 目标识别

数字图像处理教程第11章目标的表示与描述11.1表示11.1.1边界追踪

11.1.1边界追踪

11.1.2链码将轮廓用一系列具有特定长度和方向的相连的直线段表示用线段的起点加上各线段方向编号所构成的数列每个线段的长度固定方向数目有限，每个线段的方向使用一个数字编号11.1.2链码前述链码不实用太长轻微干扰造成链码结果剧烈变化增加采样间隔可以提高抗干扰能力11.1.2链码链码归一化处理前述编码结果与起点有关归一化处理方法将边界分别以不同起点、相同顺/逆时针进行链码编码，分别对各编码数列中所有数求和，将具有最小和的那个数列做为链码编码，确保起点相同11.1.2链码前述链码编码不具有旋转不变性，边界旋转后链码发生变化链码的差分编码链码编码看成一个循环数列，最后一个编码与第一个编码首尾相接差分编码为相邻二个链码编码数之差，如果二者之差为负数则对该值取模（模为4或8，取决于连通性）差分链码具有旋转不变性第一个差分0-3=-3，由于采用4向编码故对-3进行模4运算得到1，第2个差分码是0-0仍为0，…，最后一个编码与第一个编码首尾相接，最终得到的循环差分码为：11031101311311.1.2链码归一化的差分链码既具有唯一性，也具有平移和旋转不变性归一化的差分链码称为边界的形状数形状数序列的长度被称为形状数的阶11.1.3多边形近似边界曲线可以用任意精度的多边形近似多边形近似的目的是用尽量少的线段拟合边界的基本形状多边形近似有很多算法11.1.3多边形近似多边形近似有很多算法聚合近似从边界中任选一点做为出发点，将该点顺时针或逆时针方向依次与曲线上点连接成线段，并计算每条线段与线段二端点间实际曲线的误差，如果误差恰好大于阈值，则用这条线段代替该段实际边界曲线。然后以线段末端点为起点，重复上述过程，直到环绕一周为止。拆分近似选择边界上距离最远的二个点做为顶点连接成线段，分别在线段二侧的边界上各找到一个距离该线段最远的点。如果找到的点到线段的距离大于阈值则将该点做为新顶点，将所有当前顶点顺序连接，重复上述过程，直到找不出新顶点为止11.2边界描述子11.2.1一些基本描述子

11.2.1一些基本描述子偏心率：基本矩形的主轴与副轴之比边界周长边界凸包边界轮廓是否是凸的11.2.2傅里叶描述子

11.2.2傅里叶描述子

11.3区域描述子11.3.1一些基本描述子

11.3.1一些基本描述子

11.3.2区域矩与不变矩

11.3.2区域矩与不变矩

11.3.2区域矩与不变矩

11.3.2区域矩与不变矩

11.3.2区域矩与不变矩

11.3.2区域矩与不变矩Zernike矩重建图像11.4纹理描述11.4.1灰度直方图统计矩

11.4.1灰度直方图统计矩

11.4.2LBP特征局部二值模式，用于描述局部纹理特征对亮度变化不敏感比较一个像素与其邻域像素值，若邻域值大则邻域记为1，反之记为0。以左上角邻点为起点，顺时针方向将各比特组成一个序列对应一个10进制数值，每个值称为一个LBP模式。以该数值做为LBP图对应位置的像素值11.4.2LBP特征LBP值随图像旋转而变化对LBP增加选择不变性对每个像素素LBP二值序列进行循环移位，比较每次移位后对应的十进制数值，选择最小的一个数值做为该像素的LBP模式LBP特征一般与支持向量机SVM联合使用11.4.3共生矩阵

11.4.3共生矩阵共生矩阵关于对角线对称本质上相当于像素对的联合直方图细纹理图像共生矩阵中数值较为分散规则粗纹理图像的共生矩阵中数值集中于主对角线附件实际中一般不直接用共生矩阵进行纹理描述，而是对其计算14个统计量，称为Haralick特征量，用这组统计量构成的特征向量描述纹理11.4.4方向梯度直方图在目标识别中边缘和转角包含的信息比平坦区域多，而边缘和转角处梯度的幅度远大于其它区域，因此可利用梯度描述目标方向梯度直方图（HOG）又称梯度直方图，或HOG描述子HOG将图像分割为多个矩形区域，每个区域的梯度统计特征拼接起来作为HOG特征向量HOG对局部变形、光照变化具有鲁棒性，常与支持向量机SVM联合使用，主要用于目标检测11.4.4方向梯度直方图

块单元格11.4.4方向梯度直方图

11.4.4方向梯度直方图

11.5主成分分析用于特征降维11.5主成分分析用于特征降维

11.5主成分分析用于特征降维

11.5主成分分析用于特征降维

11.5主成分分析用于特征降维

11.5主成分分析用于特征降维

11.6特征点检测与描述特征点指那些在含有相同目标场景的不同图像中以相似形式表示的点，可以凭借这些点在不同图像中找出相同的目标场景。特征点描述广泛用于目标识别、检测、跟踪等应用中11.6.1Harris角点、Shi-Tomashi角点和FAST角点检测角点角点是特征点中非常典型的一类一般指图像中各方向灰度均剧烈变化的点或者边缘线上曲率极大值点11.6.1Harris角点、Shi-Tomashi角点和FAST角点检测

11.6.1Harris角点、Shi-Tomashi角点和FAST角点检测

11.6.1Harris角点、Shi-Tomashi角点和FAST角点检测

11.6.1Harris角点、Shi-Tomashi角点和FAST角点检测

11.6.1Harris角点、Shi-Tomashi角点和FAST角点检测

11.6.1Harris角点、Shi-Tomashi角点和FAST角点检测Harris角点检测具有旋转不变性对亮度、对比度变化不敏感Harris角点不具有尺度不变性，检测窗口大小相同时检测结果随图像尺度而异11.6.1Harris角点、Shi-Tomashi角点和FAST角点检测

11.6.1Harris角点、Shi-Tomashi角点和FAST角点检测

11.6.1Harris角点、Shi-Tomashi角点和FAST角点检测FAST角点FAST角点检测速度比其它角点快对噪声敏感，检测前最好中值滤波平滑图像FAST角点不具有旋转不变性不具有尺度不变性11.6.2SIFT特征点检测与描述尺度不变特征变换(SIFT)检测SIFT特征点、提供对特征点的描述即SIFT描述子SIFT特征具有尺度不变性和旋转不变性，光线变化时保持不变，对视角变化、仿射、噪声和模糊具有鲁棒性，广泛应用于目标匹配SIFT基本步骤：①对图像建立尺度空间高斯金字塔以及对应的高斯差分金字塔、②在尺度空间高斯差分金字塔中进行极值点检测、③对关键点精确定位、④确定关键点方向、⑤SIFT描述子计算11.6.2SIFT特征点检测与描述

11.6.2SIFT特征点检测与描述1、SIFT尺度空间构建尺度空间的目的是检测出在各种尺度下存在的特征点，而LoG检测特征点效果好用不同尺度高斯图像相减得到对应的DoG图像，减少计算量11.6.2SIFT特征点检测与描述SIFT尺度空间11.6.2SIFT特征点检测与描述

11.6.2SIFT特征点检测与描述3、关键点定位

包含2个操作关键点精确定位尺度可以看成是对原始图像的采样，采样后检测到的极值点并不是真正意义上的极值点。通过对尺度空间DoG函数进行曲线拟合找到真正的极值点删除不稳定的关键点低对比度点：若关键点DoG响应值低于0.03则被判为低对比度点边缘点11.6.2SIFT特征点检测与描述

11.6.2SIFT特征点检测与描述

11.6.2SIFT特征点检测与描述11.6.2SIFT特征点检测与描述5、SIFT描述子每个特征点建立一个描述子（续1）对128维向量进行归一化处理为了消除光照变化对描述子的影响，对128维向量的每个分量均除以相同系数，该系数为128个分量之和，处理后所有分量之和为1，这样特征点周围局部光照变化不改变SIFT描述子为防止局部高对比度对SIFT描述符的过度影响，若阶段a)处理后128个分量中存在数值超过0.2的，将其数值修改为0.2，然后再次进行阶段a)的归一化11.6.3SURF特征点检测与描述加速稳健特征(SURF)是对SIFT的改进SURF比SIFT计算复杂度低、检测速度快SURF基本过程分为建立尺度空间、关键点定位、为关键点分配方向得到SURF特征点、计算特征点的SURF描述子11.6.3SURF特征点检测与描述

11.6.3SURF特征点检测与描述

11.6.3SURF特征点检测与描述

11.6.3SURF特征点检测与描述

11.6.3SURF特征点检测与描述

11.6.3SURF特征点检测与描述

11.6.3SURF特征点检测与描述11.6.4BRIEF描述子BRIEF描述子对已检测到的特征点用二进制码串进行描述BRIRF仅提供对特征点的描述，不包含特征点的检测BRIEF描述子不具备尺度不变性和旋转不变性11.6.4BRIEF描述子

11.6.4BRIEF描述子BRIEF描述子占用的存储空间少由于采用二进制编码，可以用汉明距离度量二个BRIEF描述子的相似度计算BRIEF描述子耗时远小于SURF、SIFT描述子，实时处理的应用中常用BRIEF描述子像素对如何选择影响BRIEF描述子的有效性，选择的像素对彼此相关性越小越好，BRIEF提供了五种随机选择像素点对的方法11.6.5ORB特征点检测与描述ORB(OrientedFASTandRotatedBRIEF)是一种快速特征点检测和描述的算法特征点检测由FAST算法改进得到特征点描述是对BRIEF描述子的改进ORB具有尺度不变性和旋转不变性，处理速度远比SIFT和SURF快11.6.5ORB特征点检测与描述

11.6.5ORB特征点检测与描述

数字图像处理教程第12章目标识别目标识别对特定目标进行有效描述，该描述能将目标与图像中其它区域通过某种方式区分目标可以用模式来表示。模式指对事物特征或属性的定量或定性描述模式类指具有某些共性的一组模式常用的模式表示方法有用于定量描述的向量、用于定性描述的串和树12.1基于决策理论的模式识别12.1基于决策理论的模式识别

12.1.1基于匹配的决策

12.1.1基于匹配的决策

12.1.1基于匹配的决策模板匹配模板匹配，用于在图像中发现与给定模板相似的区域、确定图像中目标位置以及与模板相似度等，进而在图像中识别出目标计算量小处理速度快，适合对大小固定、方向固定目标进行识别12.1.1基于匹配的决策

12.1.1基于匹配的决策相关匹配最匹配区域的左上角12.1.1基于匹配的决策模板匹配不能检测到目标的大小变化和角度旋转。对于大小和方向存在变化的目标，模板匹配不是一个高效的识别方法。12.1.2统计分类器

12.1.2统计分类器

12.1.2统计分类器

12.1.2统计分类器

12.1.2统计分类器

12.1.2统计分类器

12.1.2统计分类器

12.1.3神经网络采用非线性计算，通过对训练集中已知所属模式类的各模式进行学习计算，得到误差较小的输入与输出之间复杂关系并根据训练得到的决策对未知模式判决其所属类别12.1.3神经网络

12.1.3神经网络神经元是神经网络的基本单元，接收来自外部的不同刺激，在神经元细胞内对不同刺激产生不同强度反应，综合为一个输出权重影响神经元对输入信息敏感程度，通过控制权重形成识别偏好偏置某种程度上代表对信息敏感度激活函数一般采用非线性，目的是在决策中加入非线性因素以应对线性计算无法解决的问题12.1.3神经网络隐藏层用于提取特征，将输入信息映射到特征空间不同网络隐藏层结构不同隐藏层基本组成包含卷积层和池化层12.1.3神经网络

12.1.3神经网络池化层不改变输入矩阵的深度，仅用于缩小矩阵，达到提取大尺度特征的目的池化层减少后续网络节点个数，加快处理速度用得最多的池化处理是最大值池化，此外还有平均池化12.1.3神经网络输出层将前面学到各种特征映射到样本标记空间，输出分类信息输出层的第一个卷积层也称为平坦(flatten)层，把隐藏层输出的多维信息通过卷积一维化数据一维化后各层神经元全连接(fullyconnected)，对特征进行重新拟合，减少特征信息的丢失12.2特征点匹配所有特征点用相同类型的描述子描述特征匹配包括二个方面不同图像中特征点相互匹配组成匹配对从上述点对中选出真实的匹配对，剔除虚假匹配对12.2.1特征点匹配基础

12.2.1特征点匹配基础

12.2.1特征点匹配基础

12.2.2匹配一致性RANSAC算法最小二乘法容易受到错误匹配的干扰随机抽样一致性（randomsampleconsensus,RANSAC）算法对匹配对进行筛选，通过迭代运算剔除不符合最优模型的匹配对（外点，outliners）12.2.2匹配一致性

12.2.2匹配一致性

12.2.2匹配一致性

12.2.2匹配一致性RANSAC算法RANSAC方法简单通用，对噪声干扰鲁棒性好能够广泛应用于多种模型，相比同样采用投票机制的Hough变换，RANSAC能够同时求解更多参数当外点占比较小时只需几次迭代就可以找出真正的模型参数，当外点占比较高时需要的迭代次数急剧增加12.2.2匹配一致性

错误的匹配周边没有支撑正确的匹配周边有很多类似的匹配（支撑）12.2.2匹配一致性GMS算法基本步骤将二幅图像分别分为互不重叠的网格区域对图1中每个网格，在图2中找到与其匹配最多的网格在这二个网格周围，检查支撑匹配对数量，大于阈值说明上步的匹配是真实的网格网格及其邻域匹配网格12.2.2匹配一致性

12.3运动目标跟踪12.3.1光流法通过光流估计检测和跟踪运动目标光流是目标在连续二帧间的显著运动模式，是关于像素点的瞬时运动速度的二维向量光流中的每一维表示连续二帧间图像亮度在一个方向上的变化，可以看成具有某亮度值的像素由于运动而产生的瞬时速度场12.3.1光流法光流估计利用时间上相邻的两帧图像得到点的运动，估计可基于梯度、基于匹配、基于能量、基于相位等进行依据估计中所用点的疏密程度，光流估计分为稀疏估计和稠密估计稀疏估计需要指定一组特征点进行跟踪稠密估计对整幅图像或图像某一区域进行逐点匹配的图像配准方法，计算所有点的偏移量，从而形成一个稠密的光流场12.3.1光流法

12.3.1光流法

光流方程12.3.1光流法

光流方程12.3.1光流法

12.3.1光流法

12.3.1光流法

12.3.1光流法

12.3.1光流法

12.3.1光流法

12.3.1光流法

12.3.1